Chatbot-Testing

Chatbots automatisiert testen

gentesty führt das Gespräch mit deinem Chatbot wie ein echter Nutzer, vergleicht den Verlauf mit dem erwarteten Ergebnis und zeigt dir vor jedem Release, was sich verschlechtert hat.

Free-Plan: 1 Bot und 10 Testminuten pro Monat für Chat und Telefon, CHF/EUR 0.

Ergebnis eines Testlaufs in gentesty: drei erwartete Aussagen bestanden, eine nicht bestanden, mit Begründung
Ergebnis eines Testlaufs: Jede erwartete Aussage wird einzeln bewertet, mit Begründung.

Was ist Chatbot-Testing?

Beim Chatbot-Testing wird geprüft, ob ein Chatbot in festgelegten Gesprächssituationen so antwortet wie erwartet. Automatisiert heißt: Die Gespräche werden nicht von Hand durchgetippt, sondern von einem Testwerkzeug geführt und bewertet. So lassen sie sich nach jeder Änderung am Bot, am Prompt oder am Sprachmodell wiederholen.

So testet gentesty einen Chatbot

Schritt 1

Szenario beschreiben

Du schreibst auf, was der Nutzer will und was am Ende herauskommen soll. Beispiel: Tim meldet seiner Versicherung eine kaputte Sonnenbrille.

Schritt 2

gentesty führt das Gespräch

gentesty chattet an Tims Stelle mit dem Bot und spielt den Dialog von Anfang bis Ende durch.

Schritt 3

Verlauf bewerten

Sprachmodelle vergleichen das tatsächliche mit dem erwarteten Ergebnis, wörtlich oder nach Bedeutung. Jede erwartete Aussage erhält ein Urteil mit Begründung.

Schritt 4

Release entscheiden

Du siehst, welche Szenarien bestanden haben und welche nicht, und entscheidest auf dieser Grundlage über das Release.

Die Anleitung für die ersten Schritte führt dich vom leeren Workspace bis zum ersten bewerteten Testlauf.

Wann sich automatisierte Chatbot-Tests lohnen

Vor jedem Release

Dieselben Szenarien laufen vor jedem Deployment. Was vorher funktioniert hat und jetzt scheitert, fällt auf, bevor Kunden es merken.

Nach einem Modell- oder Prompt-Wechsel

Ein neues Sprachmodell oder ein geänderter Prompt verschiebt das Verhalten des Bots. Die Testläufe zeigen, wo genau.

Laufend im Betrieb

Geplante Testläufe prüfen den Bot regelmäßig und melden Fehlschläge per E-Mail, Slack, Microsoft Teams oder Rocket.Chat (ab Business).

Mehr dazu im Ratgeber: Regressionstests für Chatbots und Voicebots.

Welche Chatbots sich anbinden lassen

Für Vapi, Kore.ai und Dialogflow gibt es vorgefertigte Integrationen. Jeden anderen Chatbot mit Web-Chat-Oberfläche bindest du über seine URL an: gentesty analysiert die Seite und richtet die Integration automatisch ein. Die Anleitung Eigenen Chatbot anbinden beschreibt den Weg Schritt für Schritt.

Du testest einen Sprachbot am Telefon? Dafür gibt es eine eigene Seite: Voicebots testen.

Von Hand testen oder automatisiert?

FrageVon HandMit gentesty
Wer führt das Gespräch?Eine Person tipptgentesty
Wiederholbar?Jedes Mal neuDerselbe Testfall, beliebig oft
ErgebnisEindruck der PersonBewertung pro Testlauf, über Releases vergleichbar
Aufwand pro ReleaseWächst mit jedem FallDie Testfälle laufen von selbst

Häufige Fragen zum Chatbot-Testing

Muss ich meinen Chatbot für die Tests umbauen?

Nein. gentesty testet von außen: über eine der vorgefertigten Integrationen oder über die Web-Chat-Oberfläche, die auch deine Kunden nutzen. Am Bot selbst ändert sich nichts.

Funktioniert das mit Bots, die jedes Mal anders formulieren?

Ja. Die Bewertung vergleicht nicht nur Wort für Wort, sondern auch nach Bedeutung. Eine anders formulierte, inhaltlich richtige Antwort besteht den Test.

Was kostet automatisiertes Chatbot-Testing mit gentesty?

Der Free-Plan kostet nichts und enthält einen Bot und 10 Testminuten pro Monat. Pay as you go kostet CHF/EUR 20 Grundgebühr pro Monat plus Nutzung, Business CHF/EUR 120 pro Monat plus Nutzung. Alle Details stehen auf der Seite Preise.

Lassen sich die Tests in eine CI-Pipeline einbinden?

Ja, im Enterprise-Plan über die API: Ein Skript startet die Testläufe und liest die Ergebnisse aus. Die Anleitung zur API zeigt die Schritte.

Wo werden die Gesprächsdaten verarbeitet?

Plattform und Datenbanken laufen in Frankfurt (Deutschland). Anbieter ist die b-nova Schweiz GmbH in Basel. Die Liste aller Unterauftragsverarbeiter ist öffentlich.