Woraus ein Testfall besteht
Bei klassischer Software ist ein Testfall eine Eingabe und eine erwartete Ausgabe. Ein Chatbot führt ein Gespräch über mehrere Schritte und stellt Rückfragen. Der Testfall muss deshalb auch festlegen, wie der Nutzer auf diese Rückfragen antwortet.
| Baustein | Beantwortet die Frage | Beispiel |
|---|---|---|
| Anfangsnachricht | Womit beginnt der Nutzer? | „Ich möchte meinen Termin verschieben.“ |
| Kontext | Wer ist der Nutzer, und was weiß er? | Name, Kundennummer, alter und gewünschter Termin |
| Ende | Wann ist das Anliegen erledigt? | Der Bot hat den neuen Termin bestätigt. |
| Erwartete Aussage | Was muss bis dahin gesagt worden sein? | Der Bot nennt den neuen Termin mit Datum und Uhrzeit. |
Ein Beispiel von Anfang bis Ende
Anliegen: Eine Kundin will einen Werkstatttermin verschieben.
- Anfangsnachricht: „Hallo, ich muss meinen Termin am Dienstag verschieben.“
- Kontext: Du bist Anna Beispiel, Kundennummer 48213. Dein Termin ist am Dienstag, 12. Mai, um 9 Uhr. Du möchtest auf Donnerstag, 14. Mai, wechseln, vormittags. Wenn Donnerstag nicht geht, nimmst du Freitag.
- Ende: Der Bot hat einen neuen Termin bestätigt oder erklärt, dass er keinen anbieten kann.
- Erwartete Aussagen:
- Der Bot fragt nach der Kundennummer oder einem anderen Merkmal, um die Kundin zu erkennen.
- Der Bot bestätigt einen neuen Termin am Donnerstag oder Freitag mit Uhrzeit.
- Der Bot sagt, dass der Termin am Dienstag damit entfällt.
- Der Bot nennt keine Kosten für die Umbuchung.
Der Kontext enthält auch die Ausweichlösung. Ohne sie weiß der simulierte Nutzer nicht, was er sagen soll, wenn der Bot den Donnerstag ablehnt, und das Gespräch endet irgendwo.
Wie du die erwarteten Aussagen formulierst, steht im Artikel LLM-Chatbots testen.
Welche Testfälle du zuerst schreibst
Die besten Testfälle stammen aus echten Gesprächen, nicht aus der Spezifikation.
- Die häufigsten Anliegen. Chat-Protokolle oder die Auswertung des Kundenservice zeigen, womit die meisten Gespräche beginnen. Zehn bis zwanzig Anliegen decken oft den größten Teil ab.
- Zu jedem Anliegen eine Abweichung. Die Kundin korrigiert sich, kennt ihre Kundennummer nicht oder ändert mittendrin ihr Ziel.
- Die Grenzen. Fragen, die der Bot nicht beantworten darf, und Fälle, in denen er an einen Menschen übergeben muss.
- Fehler aus dem Betrieb. Jede Beschwerde über den Bot wird zu einem Testfall, bevor der Fehler behoben wird.
Wie daraus eine Suite wird, die vor jedem Release läuft, beschreibt der Artikel Regressionstests für Chatbots und Voicebots.
Fünf Fehler, die Testfälle unbrauchbar machen
- Mehrere Anliegen in einem Testfall. Scheitert er, weißt du nicht, an welchem Anliegen es lag.
- Zu wenig Kontext. Der Bot fragt nach dem Geburtsdatum, der Testfall kennt keines, das Gespräch bleibt stecken.
- Kein klares Ende. Ohne Abschlusskriterium läuft das Gespräch weiter, bis ein Limit greift, und der Test scheitert, obwohl der Bot alles richtig gemacht hat.
- Testdaten, die der Bot nicht kennt. Ein Kunde oder ein Vertrag, den es in der Testumgebung nicht gibt, führt zu einer Fehlermeldung statt zu einem Gespräch.
- Der Wortlaut als Erwartung. Ein Bot, der frei formuliert, trifft denselben Satz kein zweites Mal.
Testfälle pflegen
Eine Sammlung von Testfällen ist nur so gut wie ihre Ordnung. Gib jedem Fall einen Namen, der Anliegen und Variante nennt, zum Beispiel „Termin verschieben: Wunschtag belegt“. Gruppiere Fälle nach Thema, damit du nach einer Änderung an der Terminlogik genau diese Fälle laufen lassen kannst. Und lösche Fälle, wenn es das Anliegen nicht mehr gibt: Ein Test, der seit Monaten ignoriert wird, entwertet alle anderen.
Testfälle in gentesty
In gentesty besteht ein Testfall aus Anfangsnachricht, Kontext, Abschlusskriterien und den erwarteten Ergebnissen. gentesty führt das Gespräch mit deinem Bot selbst und beantwortet Rückfragen aus dem Kontext. Mit Tags gruppierst du Testfälle, und per Excel oder CSV lassen sich viele Fälle auf einmal anlegen und ändern.
Die Anleitung für die ersten Schritte zeigt, wie du den ersten Testfall anlegst. Weiter zu Chatbots testen.
Häufige Fragen
Wie lang sollte ein Testfall für einen Chatbot sein?
So lang wie ein einzelnes Anliegen. Ein Testfall deckt ein Ziel des Nutzers ab, zum Beispiel einen Termin verschieben. Will der Nutzer im selben Gespräch noch seine Adresse ändern, ist das ein zweiter Testfall.
Brauche ich echte Kundendaten für die Tests?
Nein. Nimm Testkunden, die in der Testumgebung deines Bots angelegt sind, und erfundene Namen. Wichtig ist nur, dass der Bot diese Daten kennt: Eine Kundennummer, die es im System nicht gibt, lässt jeden Test scheitern.
Wer sollte die Testfälle schreiben?
Am besten die Menschen, die die Anliegen kennen: Fachbereich, Kundenservice oder Product Owner. Ein Testfall aus Szenario und erwarteten Aussagen braucht keine Programmierkenntnisse.