
Was ist Chatbot-Testing?
Beim Chatbot-Testing wird geprüft, ob ein Chatbot in festgelegten Gesprächssituationen so antwortet wie erwartet. Automatisiert heißt: Die Gespräche werden nicht von Hand durchgetippt, sondern von einem Testwerkzeug geführt und bewertet. So lassen sie sich nach jeder Änderung am Bot, am Prompt oder am Sprachmodell wiederholen.
So testet gentesty einen Chatbot
Schritt 1
Szenario beschreiben
Du schreibst auf, was der Nutzer will und was am Ende herauskommen soll. Beispiel: Tim meldet seiner Versicherung eine kaputte Sonnenbrille.
Schritt 2
gentesty führt das Gespräch
gentesty chattet an Tims Stelle mit dem Bot und spielt den Dialog von Anfang bis Ende durch.
Schritt 3
Verlauf bewerten
Sprachmodelle vergleichen das tatsächliche mit dem erwarteten Ergebnis, wörtlich oder nach Bedeutung. Jede erwartete Aussage erhält ein Urteil mit Begründung.
Schritt 4
Release entscheiden
Du siehst, welche Szenarien bestanden haben und welche nicht, und entscheidest auf dieser Grundlage über das Release.
Die Anleitung für die ersten Schritte führt dich vom leeren Workspace bis zum ersten bewerteten Testlauf.
Wann sich automatisierte Chatbot-Tests lohnen
Vor jedem Release
Dieselben Szenarien laufen vor jedem Deployment. Was vorher funktioniert hat und jetzt scheitert, fällt auf, bevor Kunden es merken.
Nach einem Modell- oder Prompt-Wechsel
Ein neues Sprachmodell oder ein geänderter Prompt verschiebt das Verhalten des Bots. Die Testläufe zeigen, wo genau.
Laufend im Betrieb
Geplante Testläufe prüfen den Bot regelmäßig und melden Fehlschläge per E-Mail, Slack, Microsoft Teams oder Rocket.Chat (ab Business).
Mehr dazu im Ratgeber: Regressionstests für Chatbots und Voicebots.
Welche Chatbots sich anbinden lassen
Für Vapi, Kore.ai und Dialogflow gibt es vorgefertigte Integrationen. Jeden anderen Chatbot mit Web-Chat-Oberfläche bindest du über seine URL an: gentesty analysiert die Seite und richtet die Integration automatisch ein. Die Anleitung Eigenen Chatbot anbinden beschreibt den Weg Schritt für Schritt.
Du testest einen Sprachbot am Telefon? Dafür gibt es eine eigene Seite: Voicebots testen.
Von Hand testen oder automatisiert?
| Frage | Von Hand | Mit gentesty |
|---|---|---|
| Wer führt das Gespräch? | Eine Person tippt | gentesty |
| Wiederholbar? | Jedes Mal neu | Derselbe Testfall, beliebig oft |
| Ergebnis | Eindruck der Person | Bewertung pro Testlauf, über Releases vergleichbar |
| Aufwand pro Release | Wächst mit jedem Fall | Die Testfälle laufen von selbst |
Häufige Fragen zum Chatbot-Testing
Muss ich meinen Chatbot für die Tests umbauen?
Nein. gentesty testet von außen: über eine der vorgefertigten Integrationen oder über die Web-Chat-Oberfläche, die auch deine Kunden nutzen. Am Bot selbst ändert sich nichts.
Funktioniert das mit Bots, die jedes Mal anders formulieren?
Ja. Die Bewertung vergleicht nicht nur Wort für Wort, sondern auch nach Bedeutung. Eine anders formulierte, inhaltlich richtige Antwort besteht den Test.
Was kostet automatisiertes Chatbot-Testing mit gentesty?
Der Free-Plan kostet nichts und enthält einen Bot und 10 Testminuten pro Monat. Pay as you go kostet CHF/EUR 20 Grundgebühr pro Monat plus Nutzung, Business CHF/EUR 120 pro Monat plus Nutzung. Alle Details stehen auf der Seite Preise.
Lassen sich die Tests in eine CI-Pipeline einbinden?
Ja, im Enterprise-Plan über die API: Ein Skript startet die Testläufe und liest die Ergebnisse aus. Die Anleitung zur API zeigt die Schritte.
Wo werden die Gesprächsdaten verarbeitet?
Plattform und Datenbanken laufen in Frankfurt (Deutschland). Anbieter ist die b-nova Schweiz GmbH in Basel. Die Liste aller Unterauftragsverarbeiter ist öffentlich.