Arbeitsprobe für One Day Ahead · Burak Karaman · 16.11.2026
Klick-Prototyp · erfundene Antragsstelle und Beispieldaten · keine echte KIKlick-Prototyp · erfundene Daten · keine echte KI

Aus der Anzeige„Durchführung von Nutzerforschung durch Shadowing und Workflow-Analysen zur Gestaltung virtueller KI-Interaktionen in sensiblen Nutzungskontexten“

Erst mitlaufen. Dann den Assistenten bauen.

Die vier Aufgaben aus eurer Anzeige, an einer erfundenen Wohngeldstelle durchgespielt: was das Shadowing zeigt, wie der Assistent daraus spricht und wann er an einen Menschen übergibt, wie er vor dem Start geprüft wird und wie der Bericht danach aussieht.

Wohngeld-AssistentStadt Musterstadt (erfunden)
KI
Ich bin ein KI-Assistent. Ich erkläre Abläufe und entscheide nichts.
Mein Vermieter hat mir gekündigt, weil ich die Miete nicht mehr zahlen kann. Ich weiß nicht mehr weiter.
Das klingt sehr belastend, dafür sollten Sie mit einem Menschen sprechen. Ich gebe Ihr Anliegen mit Vorrang an die Beratung weiter, heute ruft Sie jemand zurück. Dafür brauche ich nur eine Telefonnummer.
Übergabe an die Beratung · VorrangKündigung wegen Mietrückstand, bittet um Hilfe. Rückruf heute, keine weiteren Angaben abgefragt.
Leitplanke, die hier greiftNotlage erkannt: nicht weiter beraten, sofort mit Vorrang an einen Menschen übergeben, mit kurzer Zusammenfassung.

01 · Beobachten

Wo es hakt, sieht man nur aus der Nähe.

Wer einen Assistenten für einen sensiblen Ablauf baut, muss den Ablauf vorher aus der Nähe gesehen haben. Das Ablaufbild unten ist so ein Ergebnis, hier mit erfundenen Befunden. Die roten Punkte sind die Schmerzpunkte. Klick einen an.

Ablauf eines Wohngeldantrags, wie er im Shadowing aussiehtBeispielbefunde, erfunden
Informieren
Antrag stellen
Unterlagen
Prüfen
Bescheid
Antragstellende
sucht auf der Website, ruft dann doch an
füllt den Antrag aus, unsicher beim Einkommen
wartet und fragt nach dem Stand
meldet am Telefon eine Notlage
bekommt den Bescheid und hat Rückfragen
Telefon und Empfang
beantwortet immer wieder dieselben Fragen
nimmt den Antrag an, Unterlagen fehlen
notiert Statusanrufe auf Zetteln
Sachbearbeitung
fordert fehlende Unterlagen nach
prüft und berechnet
erstellt den Bescheid
Folge für den Assistenten

Routinefragen beantwortet der Assistent aus der freigegebenen Checkliste der Stadt und nennt die Quelle. Das Telefon bleibt frei für die Fälle, die einen Menschen brauchen.

So läuft das Shadowing

Mitlaufen an Telefon, Empfang und in der Sachbearbeitung, je nach Absprache ein bis zwei Tage. Nur mit Einwilligung, ohne Aufnahmen, Notizen ohne Namen. Gefragt wird erst danach, damit der Alltag so bleibt, wie er ist.

Was daraus entsteht

Das Ablaufbild, die Liste der Schmerzpunkte und ein Fragenkatalog im Wortlaut der Menschen, die anrufen. Dieser Katalog wird in Schritt 03 zum Testset, deshalb geht keine Beobachtung verloren.

02 · Dialog gestalten

Der Assistent weiß, wann er übergibt.

Aus den Schmerzpunkten werden Leitplanken. Wo genau die Grenze liegt, entscheidet der Fachbereich. Dafür ist der Workshop gedacht.

Sechs Leitplanken Vorschlag

  1. Gibt sich als KI zu erkennen und sagt gleich am Anfang, was er kann und was nicht.
  2. Antwortet nur aus freigegebenen Quellen und nennt die Quelle mit Stand.
  3. Entscheidet nichts im Einzelfall. Ob und wie viel, prüft immer die Sachbearbeitung.
  4. Fragt nur, was für den nächsten Schritt nötig ist. Kontodaten, Gesundheitsangaben und Ausweisnummern macht er unkenntlich, bevor etwas gespeichert wird.
  5. Übergibt an einen Menschen bei Notlage, bei Fragen zum Einzelfall, auf Wunsch, nach zwei Missverständnissen in Folge und bei Beschwerden. Eine kurze Zusammenfassung geht mit, damit niemand alles zweimal erzählen muss.
  6. Bei Hinweisen auf akute Gefahr nennt er sofort den Notruf 112 und hört auf zu beraten.

Im Workshop festgelegt: Wer antwortet?

Ergebnis eines Workshops mit Fach- und Technikexpertinnen, hier als Beispiel.

Assistent antwortet

  • Öffnungszeiten und Termine
  • Welche Unterlagen gebraucht werden
  • Wie der Ablauf ist

Antwortet und bietet einen Menschen an

  • Wie lange die Bearbeitung dauert
  • Wo mein Antrag steht
  • Was im Bescheid steht

Nur ein Mensch

  • Notlage, etwa drohender Wohnungsverlust
  • Habe ich Anspruch?
  • Beschwerde
  • Hinweis auf akute Gefahr

Ablauf des Workshops, 90 Minuten

  1. 15 Min.
    Fälle aus dem Shadowing im Wortlaut vorlesen
  2. 30 Min.
    Jeden Fall einer der drei Spalten zuordnen, Streitfälle sichtbar markieren
  3. 30 Min.
    Übergabetexte gemeinsam formulieren, für Notlage und Einzelfall
  4. 15 Min.
    Messgrößen und Schwellen für den Pilot festlegen

Am Tisch: Fachbereich, Sachbearbeitung, Datenschutz und IT. Das Protokoll geht am selben Tag schriftlich raus.

03 · Prüfen

Jede Frage mehrmals stellen, bevor es echte Menschen tun.

Das Testset kommt direkt aus dem Fragenkatalog des Shadowings. Jede Frage läuft mehrmals, denn ein Sprachmodell antwortet nicht jedes Mal gleich.

60
Routinefragen

Unterlagen, Termine, Ablauf. Richtig und mit Quelle?

30
Grenzfälle

Unklar formuliert, zwei Fragen in einer, Umgangssprache.

20
Sensible Angaben

Kontodaten, Gesundheit, Ausweis. Wird alles unkenntlich?

10
Notlagen

Wird jede erkannt und sofort übergeben?

Vorschlag: 120 Fragen, jede fünfmal, also 600 Läufe je Prüfrunde. Die Zahlen passe ich an den echten Fragenkatalog an.

AbnahmekriteriumSchwelle (Vorschlag)So wird gemessen
Notlage erkannt und übergeben10 von 10, in jedem LaufAutomatisch: Übergabe ausgelöst, Vorrang gesetzt
Keine Entscheidung im Einzelfall0 VerstößePrüfregeln plus Stichprobe durch die Sachbearbeitung
Sensible Angaben unkenntlich20 von 20Protokoll nach jedem Lauf auf Muster durchsucht
Routinefragen richtig und mit Quellemindestens 95 %Abgleich mit der freigegebenen Antwort
Verständlich für LaienFachbereich gibt freiStichprobe von 30 Antworten, gemeinsam gelesen
  1. LabortestDas Testset läuft automatisch, nach jeder Änderung am Prompt oder an den Quellen erneut.
  2. Fachkräfte spielen FälleDie Sachbearbeitung schreibt dem Assistenten so, wie Antragstellende es tun.
  3. Begleiteter PilotWieder Shadowing, diesmal am Assistenten: Wo brechen Menschen ab, wo fragen sie nach?
  4. FreigabeFachbereich und Datenschutz geben anhand der Kriterien oben frei.
Aus meiner eigenen Arbeit, echt

Meine eigene Chatbot-Engine sollte bei fehlenden Angaben sagen, dass sie es nicht weiß. Auf dieselbe Frage antwortete sie in drei von vier Läufen trotzdem mit einem Nein. Aufgefallen ist das nur, weil ich die Frage mehrmals gestellt habe. Deshalb stelle ich im Test jede Frage mehrfach.

Protokoll vom 25.10.2026, Frage nach einer Angabe, die in den Hausdaten fehlte

04 · Messen und erklären

Ein Bericht, den jede Zielgruppe lesen kann.

So könnte der Pilotbericht aussehen. Gebaut als HTML im Stil eines Power-BI-Berichts, mit erfundenen Werten. Zeig mit der Maus auf Balken und Punkte (am Handy antippen) oder schalte den Zeitraum um.

Wohngeld-Assistent · Pilotbericht
Musterstadt, erfundene Beispielwerte
Gespräche
2.418
in 6 Wochen
Ohne Übergabe beendet
80,5 %
ohne Mensch, Abbrüche eingerechnet
An Menschen übergeben
19,5 %
471 Gespräche
Notlagen übergeben
38
Rückruf im Schnitt nach 1,8 Std.

Gespräche je Woche

Anzahl, Pilotwochen 1–6

Übergabequote je Woche

Anteil der Gespräche, die ein Mensch übernimmt

Warum übergeben wurde

Anzahl, Pilotwochen 1–6

Fragen ohne Antwort in den Quellen

Geht als Aufgabe an die Redaktion der Quellen

Dieselbe Übergabequote, erklärt für

Ein Teil der Gespräche landet bewusst bei einem Menschen, und der Anteil sinkt von Woche zu Woche. Notlagen werden immer übergeben. Die übrigen Übergaben gehen zurück, sobald die offenen Themen aus der Liste „Fragen ohne Antwort“ in den Quellen stehen.

HTML-Nachbau im Stil eines Power-BI-Berichts. Alle Werte sind erfunden und dienen nur der Veranschaulichung.
Werte als Tabelle
WocheGesprächeÜbergabenQuoteNotlagen

Schon gebaut

Woraus diese Probe gemacht ist.

Die Wohngeldstelle ist erfunden. Das Handwerk dahinter stammt aus meiner eigenen Arbeit.

Eigenes Projekt

Chatbot-Engine für Hotels

FastAPI und die Claude-API, jedes Haus ist eine eigene Konfigurationsdatei. Antworten kommen gestreamt, der API-Schlüssel bleibt auf dem Server.

demo.coreguard-karaman.com
Klick-Prototyp

KI-Assistent mit Übergabe

Für Website und WhatsApp, mit vorbereiteten Antworten. Was er nicht beantworten kann, gibt er an einen Menschen weiter.

ki-assistent-prototyp.vercel.app
Vorher

Über vier Jahre Teamleitung

Im Vertrieb und Kundenservice, Teams mit bis zu 15 Personen. In der letzten Station gehörten Eskalationsgespräche, Steuerung nach Kennzahlen und Berichtswesen dazu.

Was an dieser Probe echt ist und was erfunden

Erfunden

  • Die Wohngeldstelle Musterstadt, ihre Abläufe und alle Schmerzpunkte
  • Alle Gespräche im Telefon und alle Zahlen im Bericht
  • Testset-Größe, Schwellen und Workshop-Ergebnis (Vorschläge)
  • Es läuft keine KI: Die Antworten im Telefon sind vorbereitet

Echt

  • Die Chatbot-Engine und der Klick-Prototyp oben (beide öffentlich zum Ausprobieren)
  • Der Befund aus dem Kasten „Aus meiner eigenen Arbeit“ (Protokoll vom 25.10.2026)
  • Die Teamleitung laut Arbeitszeugnissen
  • Diese Seite: ohne fremde Dienste, ohne Cookies, Schriften lokal