Warum Bots ohne Code-Änderung schlechter werden
Klassische Software verhält sich gleich, solange niemand den Code ändert. Ein Bot, der auf einem Sprachmodell aufbaut, hat mehr bewegliche Teile:
- Das Sprachmodell. Der Anbieter veröffentlicht eine neue Version oder stellt die alte ab.
- Der Prompt. Eine Ergänzung für einen neuen Fall verschiebt das Verhalten in drei alten.
- Die Wissensbasis. Ein neues Dokument widerspricht einem bestehenden.
- Angebundene Systeme. Eine Schnittstelle liefert ein Feld anders, der Bot antwortet plötzlich falsch.
- Bei Voicebots: Spracherkennung, Stimme und Telefonie haben eigene Versionen und eigene Fehlerquellen.
Keine dieser Änderungen fällt in einem Code-Review auf. Sichtbar werden sie erst im Gespräch.
Was eine Regressionssuite enthält
Eine Regressionssuite ist eine Sammlung von Testfällen, die zusammen das abdecken, was der Bot können muss.
| Art des Testfalls | Beispiel |
|---|---|
| Hauptanliegen | Schaden melden, Termin verschieben, Passwort zurücksetzen |
| Abweichungen | Der Nutzer korrigiert sich oder gibt eine ungültige Angabe |
| Grenzen | Der Nutzer fragt etwas, das der Bot nicht beantworten darf |
| Frühere Fehler | Jeder Fehler aus dem Betrieb, einmal behoben, bleibt als Test |
Jeder Testfall beschreibt ein Szenario und die Aussagen, die am Ende gefallen sein müssen. Den genauen Wortlaut legst du besser nicht fest: Ein Bot, der frei formuliert, besteht sonst nie zweimal denselben Test. Mehr dazu im Artikel LLM-Chatbots testen.
Wann die Suite laufen sollte
- Vor jedem Release. Die Suite ist das Tor: Scheitern Fälle, die vorher bestanden haben, geht die Änderung nicht live.
- Nach einem Modell- oder Prompt-Wechsel. Lass die Suite mit der alten und der neuen Einstellung laufen und vergleiche die Ergebnisse.
- Regelmäßig im Betrieb. Ein täglicher oder wöchentlicher Lauf fängt Änderungen ab, die von außen kommen.
Ergebnisse richtig lesen
Ein einzelner Fehlschlag ist noch keine Regression. Sprachmodelle antworten nicht jedes Mal gleich, deshalb lohnt sich ein zweiter Blick:
- Scheitert der Fall bei einer Wiederholung erneut? Dann ist es ein echter Fehler.
- Scheitert er nur manchmal? Dann ist das Verhalten instabil, und auch das ist ein Befund.
- Scheitern mehrere Fälle zum selben Thema? Dann liegt die Ursache meist in einer einzigen Änderung.
Hilfreich ist eine Bewertung, die pro erwarteter Aussage ein Urteil mit Begründung liefert. So siehst du nicht nur, dass ein Fall gescheitert ist, sondern woran.
Regressionstests mit gentesty
In gentesty legst du Testfälle als Szenario mit erwarteten Aussagen an. gentesty führt die Gespräche selbst, per Chat oder per Telefonanruf, und bewertet jede Aussage. Geplante Testläufe und Benachrichtigungen in Slack, Microsoft Teams oder Rocket.Chat gibt es ab dem Business-Plan, die API für CI-Pipelines im Enterprise-Plan.
Weiter zu Chatbots testen oder Voicebots testen.
Häufige Fragen
Was ist ein Regressionstest bei einem Chatbot?
Ein Regressionstest wiederholt Gespräche, die früher funktioniert haben, und prüft, ob sie nach einer Änderung immer noch zum erwarteten Ergebnis führen. Eine Regression ist ein Fall, der vorher bestanden hat und jetzt scheitert.
Wie viele Testfälle braucht eine Regressionssuite?
Für den Anfang reichen die zehn bis zwanzig Anliegen, die den größten Teil der Gespräche ausmachen. Danach wächst die Suite mit jedem Fehler, der im Betrieb auffällt: Jeder wird zu einem neuen Testfall.
Wie oft sollten Regressionstests laufen?
Vor jedem Release und nach jeder Änderung an Prompt, Sprachmodell oder Wissensbasis. Weil sich auch die Umgebung ändern kann, lohnt sich zusätzlich ein regelmäßiger Lauf, zum Beispiel täglich.