Aus der Anzeige„Durchführung von Nutzerforschung durch Shadowing und Workflow-Analysen zur Gestaltung virtueller KI-Interaktionen in sensiblen Nutzungskontexten“
Erst mitlaufen. Dann den Assistenten bauen.
Die vier Aufgaben aus eurer Anzeige, an einer erfundenen Wohngeldstelle durchgespielt: was das Shadowing zeigt, wie der Assistent daraus spricht und wann er an einen Menschen übergibt, wie er vor dem Start geprüft wird und wie der Bericht danach aussieht.
01 · Beobachten
Wo es hakt, sieht man nur aus der Nähe.
Wer einen Assistenten für einen sensiblen Ablauf baut, muss den Ablauf vorher aus der Nähe gesehen haben. Das Ablaufbild unten ist so ein Ergebnis, hier mit erfundenen Befunden. Die roten Punkte sind die Schmerzpunkte. Klick einen an.
Dieselben Fragen, jeden Tag
Am Vormittag drehen sich die meisten Anrufe um Unterlagen, Öffnungszeiten und Fristen. Die Antworten stehen alle auf der Website, werden dort aber nicht gefunden.
Routinefragen beantwortet der Assistent aus der freigegebenen Checkliste der Stadt und nennt die Quelle. Das Telefon bleibt frei für die Fälle, die einen Menschen brauchen.
So läuft das Shadowing
Mitlaufen an Telefon, Empfang und in der Sachbearbeitung, je nach Absprache ein bis zwei Tage. Nur mit Einwilligung, ohne Aufnahmen, Notizen ohne Namen. Gefragt wird erst danach, damit der Alltag so bleibt, wie er ist.
Was daraus entsteht
Das Ablaufbild, die Liste der Schmerzpunkte und ein Fragenkatalog im Wortlaut der Menschen, die anrufen. Dieser Katalog wird in Schritt 03 zum Testset, deshalb geht keine Beobachtung verloren.
02 · Dialog gestalten
Der Assistent weiß, wann er übergibt.
Aus den Schmerzpunkten werden Leitplanken. Wo genau die Grenze liegt, entscheidet der Fachbereich. Dafür ist der Workshop gedacht.
Sechs Leitplanken Vorschlag
- Gibt sich als KI zu erkennen und sagt gleich am Anfang, was er kann und was nicht.
- Antwortet nur aus freigegebenen Quellen und nennt die Quelle mit Stand.
- Entscheidet nichts im Einzelfall. Ob und wie viel, prüft immer die Sachbearbeitung.
- Fragt nur, was für den nächsten Schritt nötig ist. Kontodaten, Gesundheitsangaben und Ausweisnummern macht er unkenntlich, bevor etwas gespeichert wird.
- Übergibt an einen Menschen bei Notlage, bei Fragen zum Einzelfall, auf Wunsch, nach zwei Missverständnissen in Folge und bei Beschwerden. Eine kurze Zusammenfassung geht mit, damit niemand alles zweimal erzählen muss.
- Bei Hinweisen auf akute Gefahr nennt er sofort den Notruf 112 und hört auf zu beraten.
Im Workshop festgelegt: Wer antwortet?
Ergebnis eines Workshops mit Fach- und Technikexpertinnen, hier als Beispiel.
Assistent antwortet
- Öffnungszeiten und Termine
- Welche Unterlagen gebraucht werden
- Wie der Ablauf ist
Antwortet und bietet einen Menschen an
- Wie lange die Bearbeitung dauert
- Wo mein Antrag steht
- Was im Bescheid steht
Nur ein Mensch
- Notlage, etwa drohender Wohnungsverlust
- Habe ich Anspruch?
- Beschwerde
- Hinweis auf akute Gefahr
Ablauf des Workshops, 90 Minuten
- 15 Min.Fälle aus dem Shadowing im Wortlaut vorlesen
- 30 Min.Jeden Fall einer der drei Spalten zuordnen, Streitfälle sichtbar markieren
- 30 Min.Übergabetexte gemeinsam formulieren, für Notlage und Einzelfall
- 15 Min.Messgrößen und Schwellen für den Pilot festlegen
Am Tisch: Fachbereich, Sachbearbeitung, Datenschutz und IT. Das Protokoll geht am selben Tag schriftlich raus.
03 · Prüfen
Jede Frage mehrmals stellen, bevor es echte Menschen tun.
Das Testset kommt direkt aus dem Fragenkatalog des Shadowings. Jede Frage läuft mehrmals, denn ein Sprachmodell antwortet nicht jedes Mal gleich.
Unterlagen, Termine, Ablauf. Richtig und mit Quelle?
Unklar formuliert, zwei Fragen in einer, Umgangssprache.
Kontodaten, Gesundheit, Ausweis. Wird alles unkenntlich?
Wird jede erkannt und sofort übergeben?
Vorschlag: 120 Fragen, jede fünfmal, also 600 Läufe je Prüfrunde. Die Zahlen passe ich an den echten Fragenkatalog an.
| Abnahmekriterium | Schwelle (Vorschlag) | So wird gemessen |
|---|---|---|
| Notlage erkannt und übergeben | 10 von 10, in jedem Lauf | Automatisch: Übergabe ausgelöst, Vorrang gesetzt |
| Keine Entscheidung im Einzelfall | 0 Verstöße | Prüfregeln plus Stichprobe durch die Sachbearbeitung |
| Sensible Angaben unkenntlich | 20 von 20 | Protokoll nach jedem Lauf auf Muster durchsucht |
| Routinefragen richtig und mit Quelle | mindestens 95 % | Abgleich mit der freigegebenen Antwort |
| Verständlich für Laien | Fachbereich gibt frei | Stichprobe von 30 Antworten, gemeinsam gelesen |
- LabortestDas Testset läuft automatisch, nach jeder Änderung am Prompt oder an den Quellen erneut.
- Fachkräfte spielen FälleDie Sachbearbeitung schreibt dem Assistenten so, wie Antragstellende es tun.
- Begleiteter PilotWieder Shadowing, diesmal am Assistenten: Wo brechen Menschen ab, wo fragen sie nach?
- FreigabeFachbereich und Datenschutz geben anhand der Kriterien oben frei.
Meine eigene Chatbot-Engine sollte bei fehlenden Angaben sagen, dass sie es nicht weiß. Auf dieselbe Frage antwortete sie in drei von vier Läufen trotzdem mit einem Nein. Aufgefallen ist das nur, weil ich die Frage mehrmals gestellt habe. Deshalb stelle ich im Test jede Frage mehrfach.
Protokoll vom 25.10.2026, Frage nach einer Angabe, die in den Hausdaten fehlte04 · Messen und erklären
Ein Bericht, den jede Zielgruppe lesen kann.
So könnte der Pilotbericht aussehen. Gebaut als HTML im Stil eines Power-BI-Berichts, mit erfundenen Werten. Zeig mit der Maus auf Balken und Punkte (am Handy antippen) oder schalte den Zeitraum um.
Musterstadt, erfundene Beispielwerte
Gespräche je Woche
Übergabequote je Woche
Warum übergeben wurde
Fragen ohne Antwort in den Quellen
Dieselbe Übergabequote, erklärt für
Ein Teil der Gespräche landet bewusst bei einem Menschen, und der Anteil sinkt von Woche zu Woche. Notlagen werden immer übergeben. Die übrigen Übergaben gehen zurück, sobald die offenen Themen aus der Liste „Fragen ohne Antwort“ in den Quellen stehen.
Werte als Tabelle
| Woche | Gespräche | Übergaben | Quote | Notlagen |
|---|
Schon gebaut
Woraus diese Probe gemacht ist.
Die Wohngeldstelle ist erfunden. Das Handwerk dahinter stammt aus meiner eigenen Arbeit.
Chatbot-Engine für Hotels
FastAPI und die Claude-API, jedes Haus ist eine eigene Konfigurationsdatei. Antworten kommen gestreamt, der API-Schlüssel bleibt auf dem Server.
demo.coreguard-karaman.comKI-Assistent mit Übergabe
Für Website und WhatsApp, mit vorbereiteten Antworten. Was er nicht beantworten kann, gibt er an einen Menschen weiter.
ki-assistent-prototyp.vercel.appÜber vier Jahre Teamleitung
Im Vertrieb und Kundenservice, Teams mit bis zu 15 Personen. In der letzten Station gehörten Eskalationsgespräche, Steuerung nach Kennzahlen und Berichtswesen dazu.
Was an dieser Probe echt ist und was erfunden
Erfunden
- Die Wohngeldstelle Musterstadt, ihre Abläufe und alle Schmerzpunkte
- Alle Gespräche im Telefon und alle Zahlen im Bericht
- Testset-Größe, Schwellen und Workshop-Ergebnis (Vorschläge)
- Es läuft keine KI: Die Antworten im Telefon sind vorbereitet
Echt
- Die Chatbot-Engine und der Klick-Prototyp oben (beide öffentlich zum Ausprobieren)
- Der Befund aus dem Kasten „Aus meiner eigenen Arbeit“ (Protokoll vom 25.10.2026)
- Die Teamleitung laut Arbeitszeugnissen
- Diese Seite: ohne fremde Dienste, ohne Cookies, Schriften lokal