ai-assist Benutzerhandbuch
Testen
Der Reiter Testen verbindet manuellen Live-Chat, Debug-Spalte, Testfall-Recorder, automatische Regression, QS-Startberatung und AFS-Split-Screen-Prüfung.
Was Sie hier erledigen
1
2
3
4
5
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Manuell | Direkter Test einer Chat-Session in der Admin-Oberfläche. |
| 2 | Chatverlauf | Zeigt Assistenten- und Benutzernachrichten. |
| 3 | Eingabe | Sendet Testnachrichten an den Chat. |
| 4 | Recorder, Export und Judge | Zeichnet Testfälle auf, kopiert oder speichert den Chat, bewertet die aktuelle Antwort mit dem Judge oder startet neu. |
| 5 | Debugspalte | Zeigt Parameter und Voraussetzungen; Antwortpfad öffnet die fachliche Ablaufanalyse an der Bot-Antwort. |
Abb. T-01 zeigt die manuelle Testansicht vor der Erklärung der Testaufgaben. Der Chat links nutzt eine echte Session, die Debugspalte rechts zeigt Parameter und Voraussetzungen; fachliche Ablaufdaten öffnen Sie an der Bot-Antwort über Antwortpfad.
- Beratungen aus Sicht der Bürger:innen manuell durchspielen.
- Testfälle aufzeichnen, speichern und automatisch erneut ausführen.
- Services, Fakten, Prompts, Voraussetzungen und AFS-Verhalten prüfen.
- AFS-Feldmarkierung und Formularbefüllung im Split-Screen absichern.
Sicht Manuell
- Der Chat verhält sich wie der Bürgerchat und nutzt eine echte Session.
- Direkt oberhalb der Eingabe zeigt der Service-Kontextindikator Service-Empfehlung: oder Service-Bezug:, wenn die nächste freie Eingabe auf einen Service bezogen wird. Das x hebt Empfehlung oder Bezug auf, ohne den sichtbaren Verlauf zu löschen.
- Mit Aufzeichnung starten/stoppen erzeugen Sie einen neuen Testfall.
- Der Export speichert den sichtbaren Verlauf; neue Session setzt den Testkontext zurück.
- Aktuelle Antwort mit Judge bewerten öffnet eine Ein-Klick-Bewertung der letzten relevanten Bot-Antwort. Der Judge leitet den erwarteten Service aus der Session ab, prüft gegen aktive Wissenskarten und zeigt bei auffälliger Wissenslage konkrete Pflegehinweise.
- Formular anzeigen blendet die AFS-Split-Ansicht ein.
- Die Debug-Spalte zeigt Parameter und Voraussetzungen; fachliche Ablaufdaten liegen im Antwortpfad an der Bot-Antwort.
- Überspringen Sie die Voraussetzungenprüfung, erscheinen die Voraussetzungen gelb mit Übersprungen / nicht geprüft. Das gilt auch während der anschließenden Formularassistenz. Grün kennzeichnet erfüllte Voraussetzungen.
- Der Bürgerchat bietet im Debugmodus denselben Wiederholen-Ablauf wie der Admin-Chat: freie Eingaben werden für die nächste Session gemerkt, aber nur aufgezeichnet, solange die Debugspalte sichtbar ist.
Der Kontextindikator ist bewusst kein Teil des Chatverlaufs. Wenn Sie ihn im Test lösen, wird nur der interne Servicebezug entfernt; die nächste Eingabe startet wieder offen in der Startberatung. Im Chat erscheint danach nur eine kurze Bestätigung.
Die Judge-Bewertung ist verfügbar, wenn eine aktive Testsession mindestens eine Nutzerfrage mit nachfolgender Bot-Antwort enthält und die angemeldete Person die Leserechte für Chat-Tests, Debug, Services und Wissen besitzt. Das Overlay enthält keine manuelle Service- oder Antwortauswahl; es startet automatisch und zeigt Judge prüft ..., bis ein Ergebnis oder ein nicht bewertbarer Zustand vorliegt.
Bewertbar sind deutschsprachige Testdialoge mit ausreichendem Service-, Frage- und Wissenskartenkontext. Fehlt dieser Kontext, ändert ai-assist keine Daten, sondern meldet, dass keine belastbare Bewertung möglich ist.
Beispiel: Testfall aus einem Dialog erzeugen
Starten Sie in einer neuen Session die Aufzeichnung und führen Sie einen kurzen Dialog. Ein erkannter Service-Bezug genügt für die Benennung; eine ausdrückliche Serviceauswahl ist dafür nicht erforderlich. Der zweite Klick auf Aufzeichnung öffnet die Vorschau der erkannten Schritte. Prüfen Sie die vorgeschlagenen Prüfungen und Werte und wählen Sie Speichern.
Nach erfolgreichem Speichern öffnet sich automatisch QS-Service & Assistenz. Der neue Testfall ist blau markiert und wird ins Sichtfeld gescrollt; ein zuvor gesetzter Suchtext wird geleert. Bei Verwerfen oder einem Speicherfehler bleiben Sie in der manuellen Ansicht.
Der Name besteht aus dem erkannten Servicenamen und einer laufenden Nummer, beispielsweise Alleinerziehenden Förderung 1, danach Alleinerziehenden Förderung 2. Ohne erkannten Service heißt der Testfall Kein Service 1 usw. Das ist bei einem noch offenen Anliegen korrekt. Bereits gespeicherte Namen werden nicht rückwirkend geändert.
Beispiel: Wissenslücke aus dem Testchat prüfen
Stellen Sie im manuellen Testchat eine freie Fachfrage. Wenn die Antwort fehlt, zu grob ist oder nicht zum erwarteten Detail passt, öffnen Sie Aktuelle Antwort mit Judge bewerten. Prüfen Sie Begründung, Coverage und angezeigte Wissenskarten. Springen Sie über den Kartenpfeil in Fakten > Wissen & Rechnen, wenn eine Quelle oder Wissenskarte ergänzt oder präzisiert werden muss.
Sicht QS-Service & Assistenz
1
2
3
4
5
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | QS-Service & Assistenz | Wechselt zur Verwaltung gespeicherter Dialog- und AFS-Testfälle. |
| 2 | Testfallliste | Zeigt Testfallname und sichtbare Nummer, darunter Service und Datumsangaben. Die Suche steht oberhalb der Liste. |
| 3 | Testfall/Testlauf | Trennt gespeicherte Erwartung von tatsächlichem Laufprotokoll. |
| 4 | Ausführen und Verwalten | Startet oder löscht ausgewählte Testfälle; Sichtprüfung und Sprache stehen daneben. |
| 5 | Freigabe und Auswahl | AUTT-Freigabepunkt oben, Auswahlcheckbox darunter. Beide Aktionen sind unabhängig. |
Abb. T-02 steht vor der Beschreibung der Sicht QS-Service & Assistenz. Links werden Testfälle gesucht und ausgewählt, rechts werden Erwartung, Testlauf und Ergebnisse kontrolliert.
- Links stehen Testfälle mit Suche, Checkboxen und Auswahlzähler.
- Erste Zeile, fett: Testfallname mit Nummer. Der Name lässt sich per Doppelklick ändern. Bei Platzmangel wird nur der Namensteil gekürzt; eine Nummer am Ende bleibt sichtbar. Beim Darüberfahren erscheint der vollständige Name.
- Zweite Zeile: der zugeordnete Service. Ein individuell geänderter Testfallname ändert diese Zuordnung nicht.
- Dritte Zeile: Kreis = Aufzeichnungsdatum, Dreieck = letzter Testlauf; ein Strich bedeutet, dass noch kein Laufdatum vorliegt.
- nur offen zeigt Testfälle, für die noch nicht sowohl im Admin als auch im Bürgerchat ein OK-Ergebnis vorliegt.
- Der Punkt für AUTT-Freigabe sitzt links über der Auswahlcheckbox. Er zeigt die Freigabe für automatische UI-/Split-Screen-Tests: blau = noch kein freigabefähiges OK-Ergebnis, rot = nicht freigegeben, grün = freigegeben. Aktivieren ist nach einem OK-Ergebnis im Admin möglich. Die Checkbox darunter wählt den Testfall für gemeinsame Aktionen aus; Auswahl und Freigabe sind unabhängig.
- Die Statussymbole rechts unten zeigen die Ergebnisse getrennt für a = Admin und c = Bürgerchat. Der Testfallname nutzt die freie Breite darüber.
- Abspielen führt ausgewählte Fälle nacheinander aus.
- Sprache startet den nächsten Lauf in der gewählten Dialogsprache; deutsch aufgezeichnete Nutzereingaben werden beim Abspielen übersetzt. Alle führt die freigegebenen und vollständig übersetzten Sprachen nacheinander aus und zeigt je Sprache einen eigenen Testlauf-Reiter mit OK- oder Fehler-Symbol.
- Sichtprüfung ist standardmäßig aus; bei Bedarf pausiert sie bei AFS-Prüfkarten für OK/NOK.
- Die Tabs Testfall und Testlauf trennen gespeicherte Erwartung und tatsächlichen Lauf; Fehlerartefakte werden im jeweiligen Testlauf als JSON heruntergeladen.
- Längere QS-Serviceberatung-Läufe werden serverseitig als Lauf geführt. Während des Laufs sendet der Browser Heartbeats; Stop und Browser-Schließen verhindern nach kurzer Wartezeit neue Testfälle, bereits geschriebene Testlauf-Ergebnisse bleiben erhalten.
- Beim Wiedereinstieg bleiben verwaiste Ergebnisdetails nur für die Person vollständig sichtbar, die den Lauf gestartet hat.
- Prüfungen und Werte können im Testfall-Inspector bearbeitet werden.
Beispiel: Testlauf-Fehlerartefakt JSON
{
"artifact_id": "autt-failure-wohnbeihilfe-001",
"artifact_filename": "autt-failure-wohnbeihilfe-001.json",
"screenshot_selector": "#afsPreviewFrame",
"frame_selector": "#afsPreviewFrame",
"preview_proxy_url": "/admin/afs-preview/..."
}
Dieses JSON ist ein technisches Analysepaket für fehlgeschlagene Testläufe. Es wird nicht importiert und ersetzt keinen gespeicherten Testfall.
Beispiel: unterbrochener QS-Serviceberatung-Lauf
Sie starten mehrere ausgewählte Testfälle und schließen den Browser während des Laufs. Bereits gespeicherte Testläufe bleiben am Testfall erhalten. Beim erneuten Öffnen sieht nur die startende Person vollständige Fehlerdetails und Run-Logs dieses unterbrochenen Laufs; andere Admins sehen keine Dialoginhalte aus dem verwaisten Lauf.
Beispiel: stabile Erwartung wählen
Wenn die Antwortformulierung schwankt, ist Antwort ok plus Service oder State meist robuster als ein langer exakter Textvergleich. Für AFS-Schritte ergänzen Sie AFS-Felder, damit nicht nur die Chatantwort, sondern auch die Formularmarkierung geprüft wird.
QS-Startberatung
Die Ansicht QS-Startberatung prüft, ob die freie Startberatung passende Antworten aus den Wissenskarten liefert und ob die Bewertung durch den Judge nachvollziehbar ist. Links steht die Serviceauswahl, rechts die Auswertung der Testfragen.
1
2
3
4
5
6
7
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | QS-Startberatung | Wechselt zur Qualitätssicherung der freien Startberatung. |
| 2 | Servicefilter | Sucht Services und filtert bei Bedarf auf offene QS-Ergebnisse. |
| 3 | Servicekarte | Zeigt Fragenset, Freigabestatus und Durchschnittsbewertung. |
| 4 | Testfragen | Zeigt die Fragenansicht des ausgewählten Services. |
| 5 | Fragen und Bewertungen | Zeigt Antwortvorschau, Judge-Score und Detailzugang je Frage. |
| 6 | Import, Export und Pflege | Importiert CSV, exportiert Fragen, legt Fragen an oder löscht markierte Fragen. |
| 7 | Diagnose-Backlog exportieren | Berücksichtigt Suchbegriff, Diagnosefilter und – sobald gesetzt – nur die per Checkbox markierten Fragen; vor dem Download erscheint eine Zusammenfassung. |
- Links wählen Sie einen oder mehrere Services aus. nur offen filtert auf Services mit noch offenen oder auffälligen QS-Ergebnissen.
- Der Prozentwert in der Serviceliste zeigt denselben Durchschnitt der bewerteten Overall-Ergebnisse wie der Laufabschluss. Ergebnisse mit noch unklarem Overall und ohne Score werden nicht als 0 % eingerechnet.
- Das Statuslämpchen eines Services zeigt, ob das Frageset freigeschaltet, teilweise freigeschaltet oder noch Entwurf ist.
- In der Fragenansicht werden Frage, Antwort und Bewertung laufend eingetragen; nicht beantwortete Fragen sind mit einem roten Ausrufezeichen markiert.
- Dual-Ergebnisse zeigen immer die Slots 1 für Service unbekannt und 2 für Service bekannt. Fehlt nach einem abgebrochenen Lauf ein finales Teilresultat, bleibt der Slot als fehlt sichtbar.
- Bei parallelen Läufen nimmt jeder freie QS-Worker die nächste offene Frage. Die Statuszeile zeigt Gesamtfortschritt, aktive Frage-Worker, Laufzeit und Prognose.
- Vor dem Start prüft AI Assist die Testbereitschaft jedes ausgewählten Services. Inaktive Services, Wissenskarten, Glossarbegriffe, Voraussetzungen oder Berechnungen sowie fehlende aktive Wissenskarten, ungültige aktive Voraussetzungen und ungültige aktive Berechnungen erscheinen in einem Warn-Overlay. Sie können den Start abbrechen oder nach bewusster Prüfung mit Trotzdem starten fortsetzen; leere optionale Bereiche lösen allein keine Warnung aus.
- Längere QS-Startberatung-Läufe werden als serverseitige Läufe geführt. Während des Laufs sendet der Browser Heartbeats; beim Schließen des Browsers wird der Lauf nach kurzer Wartezeit angehalten und bereits geschriebene Teilergebnisse bleiben erhalten.
- Wenn Sie sich erneut anmelden oder den Reiter wieder öffnen, zeigt Lauf-Ergebnisse im betroffenen Service abgeschlossene, teilweise abgeschlossene oder abgebrochene QS-Läufe. Über den Pfeil springen Sie zur Fragenliste; laufende Restläufe können gestoppt, abgeschlossene Einträge ausgeblendet werden.
- Restliche Fragen fortsetzen ist nur für die Person verfügbar, die den ursprünglichen Lauf gestartet hat.
- Ergebnisse von Läufen, die durch Browser-Schließen verwaist sind, sieht nur der ursprüngliche Auftraggeber vollständig. Andere berechtigte Admins erhalten keine Antworttexte, Judge-Details oder Debug-Inhalte dieses verwaisten Laufs.
- Fragen aus CSV importieren liest eine ausgewählte CSV-Datei ein. Der Import erkennt Komma-, Semikolon- und Tab-Trennzeichen. Unterstützt werden Kopfzeilen mit
frageoderquestion; ohne Kopfzeile gilt jede nicht leere Zeile als eigene Frage für den gewählten Service. Kommas im Fragetext bleiben erhalten. - Fragen als CSV exportieren erzeugt eine reimportierbare Datei für das aktive Service-Frageset. Die Exportspalten sind
frage,service_slug,split,test_goal,expected_answer_modeundweight. - Diagnose-Backlog exportieren erzeugt eine CSV-Arbeitsliste für Nacharbeit und Triage. Es werden nur Ergebnisse des aktiven Services berücksichtigt, die zum Eintrag in Fragen suchen … und zum gewählten Diagnosefilter passen. Sobald Sie Fragen per Checkbox markieren, wird der Export zusätzlich auf diese Fragen eingeschränkt. Vor dem Download zeigt eine Zusammenfassung Service, Auswahl, Suche, Filter, CSV-Umfang und Dateiname. Der Button bleibt deaktiviert, wenn daraus kein exportierbarer Eintrag entsteht. Die Datei ist nicht als Fragenimport gedacht.
- Die Diagnosefilter trennen Wissen fehlt, Wissen dünn, Quelle prüfen und Evidenzspur unklar. Quelle prüfen bedeutet, dass die Originalquelle noch nicht abschließend geprüft werden konnte. Evidenzspur unklar ist dagegen ein Judge-/Trace-Befund und keine behauptete Wissenslücke.
- Mit Neue Frage anlegen ergänzen Sie einzelne Fragen direkt im Tab. Mit Markierte Fragen löschen entfernen Sie bewusst ausgewählte Fragen.
- Ein Klick auf den Prozentwert öffnet Details zur Bewertung mit Frage, Antwort, Ergebnis, Einschätzung, Begründung, Verbesserung und verwendeten Wissenskarten.
- Die Bewertungsdetails trennen Flow, Antwortinhalt, verwendete Evidenz, Quellenkonsistenz und Gesamtbewertung. Jede anwendbare Achse zeigt Status, Score, Grund und Diagnosecodes. Die Antwortachse bewertet nur den sichtbaren Fachinhalt. Deshalb bleibt dort eine exakte Antwort korrekt, auch wenn Evidenz oder Quellenprüfung unvollständig sind; die Gesamtbewertung kann gleichzeitig teilweise korrekt oder nicht korrekt sein.
- Bewertungsmodus unterscheidet LLM-Judge, Matrix, Heuristik und einen technischen Judge-Ausfall. Bei einem technischen Ausfall wird kein fachlicher Ersatzscore angezeigt: Antwortinhalt, Evidenz und Quellenkonsistenz bleiben unklar, während ein unabhängiges Matrixurteil zum Flow erhalten bleibt. Der Lauf setzt die übrigen Fragen fort.
- Sichtbare Judge- und Answer-Fit-Texte werden auf Deutsch ausgegeben. Liefert das Sprachmodell für einen fehlenden Frageaspekt dennoch eine englische Formulierung, übernimmt AI Assist dieses Fragment nicht in die sichtbare Antwort, sondern verwendet einen neutralen deutschen Grenzsatz.
- Der Kartenvergleich zeigt fünf getrennte Rollen: Kandidaten, Reranker-Auswahl, Aspektgenau ergänzt, Finaler Antwortkontext und Antwort verwendet. Eine nur ausgewählte, verfügbare oder ergänzte Karte gilt nicht automatisch als verwendet. Nach einer erfolgreichen Antwortprüfung wird eine einzelne tragende Karte als verwendet nachgewiesen; bei mehreren Karten müssen die tragenden Karten ausdrücklich zugeordnet sein. Ist die tatsächliche Nutzung nicht belegt, steht dort unbekannt (keine verlässliche Verwendungsinformation) und die Evidenzbewertung bleibt unklar statt vorsorglich positiv. Sind Antwort, verwendete Karte und positive Wissenskette vollständig belegt, zeigt der Judge 100 % ohne Diagnose-Tag. Der Pfeil an der Kartenfläche springt zur jeweiligen Wissenskarte im Reiter Fakten.
- Wissenskette nennt die erkannte Problemstufe: Originalquelle, Aggregation, Wissens-Claim, aktive Wissenskarte, Auswahl oder Antwortbildung. Stufenprüfung zeigt für jede Stufe, ob der konkrete Frageaspekt getragen wird, fehlt, unklar ist oder nicht geprüft wurde. Direkte Quellen-IDs und eindeutig gleiche Quellen-URLs können dabei dieselbe gespeicherte Kette belegen.
- Fragt eine gestartete Berechnung zunächst einen fehlenden Pflichtwert ab, ist diese sichtbare Rückfrage eine korrekte Kontrollantwort. Wissenskarten-Evidenz und Quellenkonsistenz sind für diesen Zwischenschritt nicht anwendbar; sie dürfen deshalb keinen Wissens-Tag erzeugen.
- Information fehlt in der Quelle erscheint nur, wenn alle für den Service vorgesehenen Originalquellen vollständig geprüft wurden. Ein aspektgenauer Harvest-Ausschnitt kann den Inhalt dagegen positiv belegen, auch wenn die Gesamtquelle gekürzt ist; die Diagnose läuft dann bei Aggregation, Claim, Karte, Auswahl und Antwort weiter.
- Fachliche Nacharbeit erfolgt primär im Reiter Fakten über Wissenskarten, Kategorien und Schlüsselwörter. Service-Suchprobleme werden zuerst über Service-Metadaten geprüft; Fachprofile sind nur für kundenspezifische Begrifflichkeit und freie Startberatungssignale zuständig.
Beispiel: QS-Startberatung später fortsetzen
Ein Lauf über mehrere Services wird durch Stop oder Browser-Schließen beendet, nachdem ein Teil der Fragen schon bewertet wurde. Öffnen Sie nach der Anmeldung den betroffenen Service in QS-Startberatung und prüfen Sie Lauf-Ergebnisse. Dort bleiben Teilergebnisse sichtbar; Restliche Fragen fortsetzen legt einen neuen Lauf für offene Fragen an und ist nur für die ursprüngliche startende Person verfügbar.
CSV-Import und -Export für Fragen
Der Fragenexport verwendet Komma als Trennzeichen und ist als Importvorlage geeignet. Der Import akzeptiert zusätzlich Semikolon- und Tab-getrennte Dateien. Zulässige Werte für split sind training, validation und holdout; ohne Wert wird training verwendet. test_goal akzeptiert routing, knowledge_answer, boundary, no_answer oder mixed. expected_answer_mode akzeptiert answerable, no_answer, boundary_answer oder unknown. Das Gewicht weight ist eine positive Zahl; bei Komma-CSV verwenden Sie am besten Dezimalpunkte oder setzen Dezimalkommas in Anführungszeichen.
Beispiel: reimportierbare CSV
frage,service_slug,split,test_goal,expected_answer_mode,weight
Welche Nachweise brauche ich?,wohnbeihilfe,training,knowledge_answer,answerable,1
Wann muss ich den Antrag stellen?,wohnbeihilfe,validation,boundary,boundary_answer,1.5
Beispiel: einfache Datei ohne Kopfzeile
Welche Unterlagen brauche ich?
Gibt es eine Frist?
Muss ich den Antrag neu stellen, wenn sich mein Einkommen ändert?;
X Darf ich den Antrag rückwirkend stellen?
Diese Kurzform ist nur eindeutig, wenn der Import aus einem ausgewählten Service heraus erfolgt oder der Service aus dem Dateinamen erkannt werden kann. Ein führendes X wird als Markierung gespeichert und nicht Teil der Frage. Ein abschließendes Semikolon wird bei reinen Fragenlisten toleriert.
Beispiel: Semikolon-CSV
frage;service_slug
Muss ich den Antrag neu stellen, wenn sich mein Einkommen ändert?;wohnbeihilfe
Welche Nachweise brauche ich?;wohnbeihilfe
Beispiel: erweiterte Importspalten
question,service,split,ziel,antwortmodus,expected_route,response_pattern,projection,gewicht
Wird ein bestimmtes Einkommen vorausgesetzt?,wohnbeihilfe,holdout,knowledge_answer,answerable,answer,"Einkommen|Grenze",free_first_turn,2
Die zusätzlichen Spalten expected_route, response_pattern und projection werden als Metadaten übernommen, erscheinen aber nicht im Standardexport.
CSV-Diagnose-Backlog
Der Button Diagnose-Backlog exportieren exportiert die gefilterte QS-Sicht des aktiven Services als Arbeitsliste. Der Begriff Diagnose ist dabei bewusst weiter als Judge: Die Judge-Bewertung ist ein Bestandteil; zusätzlich enthält der Backlog Wissenslage, technische Diagnose, Handlungsziel, Priorität sowie Antwort- und Quellenlücken. Ohne Checkbox-Auswahl werden alle zum Suchbegriff und Diagnosefilter passenden Fragen berücksichtigt; mit Auswahl nur die markierten Fragen. Alle Diagnosen umfasst dabei nur Ergebnisse mit erkanntem Handlungsbedarf; neutrale Ergebnisse ohne Diagnosegruppe werden nicht aufgenommen. Für jede passende Projektion entsteht eine eigene Zeile. Die vorgeschaltete Zusammenfassung zeigt den tatsächlichen Umfang und startet den Download erst mit CSV exportieren. Die Datei enthält zusätzlich zu den bisherigen Feldern die getrennten Werte und Scores für flow, antwort_achse, evidenz, quellenkonsistenz und gesamtachse sowie den bewertungsmodus. Sie dient der fachlichen Nacharbeit und wird nicht wieder importiert.
Beispiel: Backlog-Zeile
service_slug,service_name,frage_ref,frage_id,projektion,diagnosegruppe,wissenslage,handlungsziel,chat_score,wissen_score,flow,flow_score,antwort_achse,antwort_score,evidenz,evidenz_score,quellenkonsistenz,quellenkonsistenz_score,gesamtachse,gesamtachse_score,wissensketten_diagnose,bewertungsmodus,source_gap,prioritaet,verdict,issue_type,frage,antwort,begruendung,verbesserung,coverage_reason,karten
wohnbeihilfe,Wohnbeihilfe,Wohnbeihilfe-003,128,Service bekannt,Wissenslage,Wissen dünn,Wissenskarte schärfen,72,40,nicht anwendbar,,teilweise korrekt,70,unklar,,unklar,,unklar,,Wissenskarte fehlt,LLM-Judge,nein,hoch,Teilweise richtig,card_generation_gap,"Welche Unterlagen brauche ich?","Antwortauszug ...","Begründung ...","Verbesserung ...","Passender Claim vorhanden; aktive Wissenskarte fehlt","Karte A; Karte B"
1
2
3
4
5
6
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Frage | Zeigt, welche QS-Frage bewertet wurde. |
| 2 | Bewertung | Erklärt Antwort, Ergebnis, Einschätzung, Begründung und Verbesserung. |
| 3 | Diagnosehinweise | Zeigt nachvollziehbare Hinweise aus Bewertung und Antwortpipeline, falls vorhanden. |
| 4 | Kartenvergleich | Trennt Kandidaten, Reranker-Auswahl, aspektgenaue Ergänzung, finalen Kontext, tatsächliche Verwendung und Judge-Rollen. |
| 5 | Wissenskarte | Zeigt die fachliche Quelle mit Sprung in den Reiter Fakten. |
| 6 | Schließen | Kehrt zur QS-Fragenliste zurück. |
1
2
3
4
5
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Checkbox-Auswahl | Bestätigt, dass nur die markierten Fragen berücksichtigt werden. |
| 2 | Suche und Diagnosefilter | Zeigt die zusätzlich wirksamen Einschränkungen. |
| 3 | CSV-Inhalt | Nennt die Anzahl der Diagnosezeilen und betroffenen Fragen. |
| 4 | Datei | Zeigt den vorgesehenen Namen der CSV-Datei. |
| 5 | CSV exportieren | Bestätigt die Zusammenfassung und startet den Download. |
Beispiel: fachliche Lücke schließen
Wenn eine Antwort fachlich nicht beantwortet werden konnte, öffnen Sie die Bewertungsdetails und beginnen Sie bei der in Wissenskette genannten Stufe. Ergänzen Sie eine Originalquelle nur bei Information fehlt in der Quelle; bei Aggregations-, Claim- oder Kartenlücken bearbeiten Sie die entsprechende Faktenstufe. Bei Auswahl- oder Antwortfehlern bleibt die Wissenskarte bestehen und die technische Suche beziehungsweise Antwortbildung wird geprüft. Starten Sie danach den QS-Lauf erneut.
Arbeitsablauf: Testfall aufzeichnen
- Starten Sie in Manuell eine neue Session.
- Starten Sie die Aufzeichnung.
- Führen Sie einen realistischen Dialog bis zum erwarteten Ergebnis.
- Stoppen Sie die Aufzeichnung.
- Prüfen Sie die vorgeschlagenen Prüfungen und Werte.
- Wählen Sie im Vorschau-Overlay Speichern. Nach erfolgreichem Speichern wechselt die Ansicht automatisch zu QS-Service & Assistenz.
- Prüfen Sie den dort markierten Testfall: Name und Nummer stehen fett in der ersten Zeile, der zugeordnete Service darunter. Führen Sie ihn bei Bedarf erneut aus.
AFS-Split-Screen-Prüfung
1
2
3
4
5
| Marker | Element | Bedeutung |
|---|---|---|
| 1 | Manuell | Direkter Test einer Chat-Session in der Admin-Oberfläche. |
| 2 | Chatverlauf | Zeigt Assistenten- und Benutzernachrichten. |
| 3 | Eingabe | Sendet Testnachrichten an den Chat. |
| 4 | Recorder, Export und Judge | Zeichnet Testfälle auf, kopiert oder speichert den Chat, bewertet die aktuelle Antwort mit dem Judge oder startet neu. |
| 5 | Debugspalte | Zeigt Parameter und Voraussetzungen; Antwortpfad öffnet die fachliche Ablaufanalyse an der Bot-Antwort. |
Abb. T-01 zeigt den manuellen Testkontext, in dem die AFS-Split-Screen-Prüfung durchgeführt wird. Die Formularvorschau erscheint parallel zum Chat, sobald ein geeigneter AFS-Link in der Session verfügbar ist.
- Die Formularvorschau zeigt das AFS-Formular parallel zum Chat.
- Aktuell abgefragte Felder werden markiert und in den sichtbaren Bereich gescrollt.
- Markierung prüft, ob das richtige Formularfeld hervorgehoben ist.
- Befüllung prüft, ob die Antwort im richtigen Formularfeld angekommen ist.
- Bei wiederholbaren Blöcken und Datei-Uploads ist die richtige Blockinstanz besonders wichtig.
Referenz: wichtige Prüfungen
| Prüfung | Bedeutung | Typischer Einsatz |
|---|---|---|
| Antwort ok | Bot-Antwort ist technisch vorhanden und enthält keine Fehlerzeichen. | Grundprüfung für jeden Erwartungsschritt. |
| Textanker | wichtige erwartete oder verbotene Begriffe im Antworttext. | Kurze fachliche Kernaussagen prüfen, ohne ganze Antwort festzunageln. |
| State | erwarteter Workflow-Zustand. | Dialogsteuerung stabil prüfen, wenn Text variieren darf. |
| Service | vorgeschlagener oder ausgewählter Service. | Matching und Serviceauswahl absichern. |
| AFS-Felder | im Chat abgefragte Formularfelder. | Split-Screen-Markierung und Formularbefüllung prüfen. |
Häufige Probleme
- Test schlägt nach Fachänderung fehl: prüfen, ob Erwartung oder Fachlogik angepasst werden muss.
- AFS-Prüfung ist rot: sichtbares Formular, Markierung und JSON-Fehlerartefakt im Testlauf prüfen.
- LLM-Formulierung schwankt: stabile Prüfungen wie State, Service und Textanker bevorzugen.
- Testfall bleibt offen: Ergebnis im Tab Testlauf lesen, Ursache beheben und danach AUTT-Freigabe bewusst setzen.