Anleitungen Erste Schritte

Vom leeren Workspace zum ersten bewerteten Run

Sie verbinden Ihren Chatbot, beschreiben einen Testfall und sehen nach dem ersten Run, welche erwarteten Antworten Ihr Bot geliefert hat.

Für
Alle Benutzer
Zeitbedarf
Rund 20 Minuten
Abo
Alle Abos

Überblick

Ein Test in gentesty besteht aus vier Teilen:

BegriffBedeutung
ChatbotDer Bot, den Sie testen, mit der Adresse der Webseite, auf der er läuft.
TestfallEin Gespräch, das gentesty als Nutzer mit Ihrem Bot führt, und die Antworten, die Sie dabei erwarten.
EvaluatorVergleicht nach dem Gespräch die Nachrichten Ihres Bots mit den erwarteten Antworten.
RunEine Ausführung eines Testfalls: das Gespräch und seine Bewertung.

Im Dashboard heißen Testfälle Testszenarien. Diese Anleitung zeigt alle Schritte mit einem Chatbot. Für Voicebots siehe Voicebot testen.

Bevor Sie beginnen

  • Sie sind bei gentesty angemeldet.
  • Ihr Chatbot läuft auf einer Webseite, die aus dem Internet erreichbar ist. gentesty öffnet diese Seite während des Tests. Adressen in Ihrem internen Netz ruft gentesty nicht auf.
  • Sie wissen, welches Anliegen Ihr Bot lösen soll und welche Antworten Sie dabei erwarten.
  • Ihre Rolle erlaubt, Bots und Testszenarien anzulegen und Runs zu starten. Fehlt Ihnen eine Berechtigung, ist die Schaltfläche ausgegraut.

01 Chatbot anlegen

gentesty Chatbots

Die Symbol-Schaltflächen zeigen ihren Namen, wenn Sie mit der Maus darüberfahren.

  1. Klicken Sie oben rechts auf das Plus-Symbol Chatbot hinzufügen.

  2. Füllen Sie im Schritt Allgemein die Felder aus:

    FeldWert
    Chatbot NameEin Name, an dem Sie den Bot wiedererkennen, zum Beispiel Support-Bot.
    Chatbot URLDie Adresse der Webseite, auf der Ihr Chatbot läuft. Fehlt https://, ergänzt gentesty es.
  3. Wählen Sie unter Anbieter auswählen die Plattform, auf der Ihr Chatbot basiert, zum Beispiel Dialogflow, Kore.ai oder Vapi. Die Auswahl erscheint, sobald Name und URL eingetragen sind.

  4. Klicken Sie auf Weiter. gentesty prüft jetzt, ob die URL erreichbar ist.

  5. Erscheint der Schritt LLM Konfiguration, lassen Sie die vorausgewählte Konfiguration stehen und klicken Sie auf Weiter. Mit diesem Sprachmodell spricht gentesty als Nutzer mit Ihrem Bot und prüft das Gespräch. Eine eigene Konfiguration über Neue LLM Konfiguration gibt es im Enterprise-Abo.

  6. Prüfen Sie im Schritt Eingabe überprüfen Ihre Angaben und klicken Sie auf Speichern.

gentesty öffnet die Seite des neuen Chatbots mit den Tabs Testszenarien und Konfiguration.

Schritt Allgemein des Chatbot-Assistenten mit Chatbot Name, Chatbot URL und dem Anbieter Dialogflow
Name und URL eintragen, dann unter Anbieter auswählen die Plattform wählen.

02 Testfall erstellen

gentesty Chatbots › Ihr Bot › Testszenarien

Ein Testfall legt fest, womit das Gespräch beginnt, wer der Nutzer ist, wann das Gespräch endet und welche Antworten Sie vom Bot erwarten.

  1. Klicken Sie im Tab Testszenarien auf das Plus-Symbol Evaluierungskonfiguration hinzufügen.

  2. Füllen Sie den Schritt Name aus und klicken Sie auf Weiter:

    FeldWert
    Testszenario-NameZum Beispiel Passwort zurücksetzen.
    TagsOptional. Mit Tags gruppieren und filtern Sie Testfälle.
    Maximale Ping-Pong-RundenWie viele Nachrichtenwechsel das Gespräch höchstens hat. Vorgabe: 10.
    Timeout pro Nachricht (in Sekunden)Wie lange gentesty höchstens auf eine Antwort des Bots wartet. Vorgabe: 10.
  3. Füllen Sie im Schritt Evaluierungsdetails alle Felder aus:

    FeldWert
    AnfangsnachrichtDie erste Nachricht, die gentesty an Ihren Bot schickt, zum Beispiel Ich habe mein Passwort vergessen.
    AbschlusskriterienWoran gentesty erkennt, dass das Gespräch beendet ist, zum Beispiel Der Bot hat erklärt, wie ich das Passwort zurücksetze.
    KontextWer der Nutzer ist und was er weiß, zum Beispiel Name und Kundennummer. Damit beantwortet gentesty Rückfragen des Bots.
  4. Legen Sie im selben Schritt die erwarteten Ergebnisse an: Wählen Sie einen Erwarteter Treffertyp, geben Sie den erwarteten Text ein und klicken Sie auf das Plus-Symbol. Wiederholen Sie das für jede Antwort, die Sie erwarten. Klicken Sie danach auf Weiter.

    TreffertypErfüllt, wenn eine Nachricht des Bots …
    Exakte ÜbereinstimmungZeichen für Zeichen dem Text entspricht.
    Semantische Übereinstimmungdasselbe bedeutet, auch wenn sie anders formuliert ist.
    Teilweise Übereinstimmungden Text unverändert als zusammenhängendes Stück enthält.
    Token-Übereinstimmungalle Wörter einer Zeile aus Token-Phrasen enthält, in beliebiger Reihenfolge und ohne Rücksicht auf Groß- und Kleinschreibung. Mit Token-Modus wählen Sie, ob alle Zeilen (UND) oder eine (ODER) passen müssen.

    Mit Gesprächsaussage prüfen Sie dagegen eine Aussage über das ganze Gespräch, zum Beispiel „Der Chatbot fragt keine Angabe erneut ab, die der Nutzer bereits genannt hat“. Dafür liest gentesty alle Nachrichten zusammen, die des Bots und die eigenen. In den Details des Ergebnisses sehen Sie die Begründung und die Nachrichten, auf die sie sich stützt.

    Ein erwartetes Ergebnis ist erfüllt, sobald eine einzige Nachricht des Bots passt. Das Fragezeichen-Symbol rechts über der Liste zeigt Beispiele zu allen Treffertypen.

  5. Wählen Sie im Schritt Benutzerdefinierte Evaluatoren mindestens einen Evaluator, zum Beispiel den Semantic Evaluator, den jeder neue Workspace mitbringt. Klicken Sie auf Weiter.

  6. Prüfen Sie im Schritt Abschliessen Ihre Angaben und klicken Sie auf Fertigstellen.

Schritt Evaluierungsdetails mit Anfangsnachricht, Abschlusskriterien, Kontext und hervorgehobener Liste der erwarteten Ergebnisse
Ein erwartetes Ergebnis besteht aus Treffertyp und Text. Das Plus-Symbol fügt es der Liste darunter hinzu.

Ein Evaluator prüft nach dem Gespräch jedes erwartete Ergebnis gegen die Nachrichten Ihres Bots und markiert es als erfüllt oder nicht erfüllt. Wählen Sie mehrere Evaluatoren, bewertet jeder den Run für sich. Eigene Evaluatoren, zum Beispiel mit einem eigenen Prompt, legen Sie ab dem Business-Abo über Neuen Evaluator erstellen an.

03 Run starten

gentesty Chatbots › Ihr Bot › Testszenarien

  1. Klicken Sie in der Zeile Ihres Testfalls auf das Play-Symbol Starten.
  2. gentesty meldet Erfolgreich gestartet und öffnet die Run Queue.

Mehrere Testfälle starten Sie auf einmal: Markieren Sie sie in der Liste und klicken Sie oben auf das Play-Symbol. Das Play-Symbol auf der Karte eines Bots unter Chatbots startet alle Testfälle dieses Bots.

So läuft ein Run ab

  1. gentesty öffnet die Webseite Ihres Chatbots und schickt die Anfangsnachricht.
  2. gentesty liest jede Antwort des Bots und antwortet als Nutzer. Was der Nutzer weiß, kommt aus dem Kontext.
  3. Nach jeder Antwort des Bots prüft gentesty die Abschlusskriterien. Sind sie erfüllt, endet das Gespräch und die Evaluatoren bewerten es.
  4. Ist die Maximale Ping-Pong-Runden erreicht, bevor die Abschlusskriterien erfüllt sind, sagt der Bot zu oft hintereinander dasselbe oder ist das Gespräch zu Ende, ohne dass die Abschlusskriterien erfüllt sind, wird das Gespräch gestoppt. Die Evaluatoren bewerten es bis zu diesem Punkt, und der Run gilt als fehlgeschlagen.

Die Run Queue zeigt Runs, die noch nicht beendet sind, mit dem Status In Warteschlange, Wird gestartet oder Läuft. Fertige Runs verschwinden aus der Liste und erscheinen darunter in der Run-Übersicht. Einen Run, der noch In Warteschlange ist, stoppen Sie mit Abbrechen.

04 Ergebnis lesen

gentesty Run Queue › Run-Übersicht

Jeder Start bildet in der Run-Übersicht eine Gruppe mit Datum, Uhrzeit und der Anzahl bestandener (✔) und fehlgeschlagener (✖) Runs. Solange Runs laufen, aktualisiert sich die Gruppe selbst.

  1. Öffnen Sie die Gruppe Ihres Starts.
  2. Klicken Sie in der Spalte Fall auf den Namen Ihres Testfalls. Die Seite des Runs öffnet sich.

Den Status zeigt das Symbol in der Spalte Status, wenn Sie mit der Maus darüberfahren:

StatusBedeutung
BestandenMindestens ein Evaluator hat alle erwarteten Ergebnisse als erfüllt bewertet.
FehlgeschlagenKein Evaluator hat alle erwarteten Ergebnisse als erfüllt bewertet, oder das Gespräch wurde nicht bewertet.
FehlerDer Run konnte nicht abgeschlossen werden.

Die Seite des Runs hat diese Bereiche:

BereichInhalt
EvaluierungenEine Karte pro Evaluator mit dem Gesamtergebnis und je einem Ergebnis pro erwartetem Ergebnis. Ist ein Ergebnis nicht erfüllt, nennt Grund die Ursache.
KonfigurationDie Werte, mit denen der Run lief, in den Tabs Anfangsnachricht, Kontext, Abschlusskriterien und Erwartete Ergebnisse.
LaufdetailsDas Gespräch unter Nachrichten. Solange der Run läuft, ist die Live-Ansicht eingeschaltet und neue Nachrichten erscheinen sofort. Systemnachrichten anzeigen blendet die Meldungen von gentesty ein und aus, zum Beispiel warum ein Gespräch endete.

Hat der Run eine Bewertung, ist Evaluierungen geöffnet, sonst Laufdetails. Mit Zugriff auf die Abrechnung sehen Sie zusätzlich die Kosten des Runs.

Seite eines Runs mit Kosten, der Karte des Semantic Evaluator mit Gesamtergebnis FAIL, drei erfüllten und einem nicht erfüllten erwarteten Ergebnis mit Grund
Ein einziges nicht erfülltes erwartetes Ergebnis genügt, damit der Evaluator FAIL meldet. Unter Grund steht die Ursache.

Die letzten Runs eines Testfalls sehen Sie auch in der Spalte Status im Tab Testszenarien. Ein Klick auf ein Symbol öffnet den Run. Mit Ergebnisse exportieren laden Sie alle Runs einer Gruppe als Excel-Datei herunter, siehe Testfälle importieren und Ergebnisse exportieren.

Wie geht es weiter?

Fehlerbehebung

Was Sie sehenUrsacheLösung
Diese URL konnte nicht erreicht werden. unter Chatbot URLgentesty erreicht die Seite nicht, oder sie antwortet mit einem Fehler. Adressen im internen Netz ruft gentesty nicht auf.Öffentlich erreichbare Adresse eintragen. Prüfen, ob eine Firewall oder ein HTTP-Header den Zugriff blockiert.
Keine Anbieterauswahl im Schritt AllgemeinChatbot Name oder Chatbot URL ist leer.Beide Felder ausfüllen.
Chatbot hinzufügen ist ausgegraut, Maximal … Bots erlaubtIhr Abo erlaubt keine weiteren Bots. Chatbots und Voicebots zählen zusammen.Einen Bot löschen, den Sie nicht mehr brauchen, oder das Abo wechseln.
Weiter bleibt im Schritt Evaluierungsdetails ausgegrautEin Feld ist leer, oder es gibt noch kein erwartetes Ergebnis.Alle Felder ausfüllen und das erwartete Ergebnis mit dem Plus-Symbol hinzufügen.
Meldung Keine TestfälleDer Bot hat noch keinen Testfall.Testfall anlegen, siehe Schritt 2.
Meldung Monatliches Limit erreichtDas monatliche Limit Ihres Workspaces ist ausgeschöpft. Neue Runs sind bis zum nächsten Monat gesperrt.Bis zum nächsten Monat warten oder uns kontaktieren.
Starten ist ausgegraut, Nicht genügend Guthaben, um einen Run zu starten.Ihr Guthaben reicht nicht für einen Run.Zahlungsdaten unter Account › Payment Details prüfen.
Über den Evaluierungen steht Gespräch gestoppt, unter Nachrichten steht Max Ping Pong reached. Increase if you want to have a longer conversationDie Abschlusskriterien waren nach der Maximale Ping-Pong-Runden nicht erfüllt.Abschlusskriterien so formulieren, dass Ihr Bot sie im Gespräch erfüllen kann, oder den Wert erhöhen.
Über den Evaluierungen steht Gespräch gestoppt, unter Nachrichten steht The chatbot said the same thing 3 times in a row, so the conversation was stopped.Ihr Bot hat mehrmals hintereinander dasselbe gesagt, auch mit anderen Worten. Wie oft, stellen Sie unter Abbruch nach wiederholten Bot-Nachrichten in Folge am Bot oder am Testfall ein.Gespräch unter Nachrichten prüfen. Oft hilft eine genauere Anfangsnachricht oder mehr Kontext.
Über den Evaluierungen steht Gespräch gestoppt, unter Nachrichten steht The conversation ended without reaching the finish criterion, so it was stopped.Der Testkunde hat sich verabschiedet und Ihr Bot hatte nichts mehr hinzuzufügen, die Abschlusskriterien waren aber nicht erfüllt. Oft hat der Bot das Anliegen anders abgeschlossen als erwartet, zum Beispiel mit einer Fehlermeldung oder der Übergabe an einen Mitarbeiter.Gespräch unter Nachrichten prüfen. Ist der andere Ausgang ebenfalls gültig, die Abschlusskriterien so formulieren, dass sie beide Ausgänge abdecken. Abschalten lässt sich der Stopp unter Gespräch stoppen, wenn es zu Ende ist am Bot oder am Testfall.
Evaluierungen ist leer, das Gespräch endete normalDer Testfall hat keinen Evaluator.Testfall mit dem Stift-Symbol im Tab Testszenarien bearbeiten und im Tab Evaluator über Evaluator-Konfiguration verknüpfen einen Evaluator hinzufügen.

Kommen Sie nicht weiter? Kontaktieren Sie uns mit dem Namen des Bots, des Testfalls und dem Zeitpunkt des Runs.