Vierzehn Regeln, eine Jurysitzung und ein Harness
Warum ein LLM auch mit einem gut aussehenden Prompt keine brauchbaren Interviewfragen produziert, und was sich ändert, wenn man ihm ein Harness anlegt.
Ein Sprachmodell erzeugt ohne Vorgaben Interviewfragen, die korrekt aussehen und trotzdem nichts hervorholen, weil es in die Mitte der Verteilung zieht. Was den Unterschied macht, ist kein besserer Prompt, sondern ein Harness: ein explizit gemachtes Regelwerk, gegen das jede Frage geprüft wird. In diesem Fall waren es vierzehn Fehlerkriterien für Interviewfragen aus einem Paper der Carnegie Mellon University. Mit ihnen wurden die Fragen des Modells in 87 von 128 Paarvergleichen bevorzugt, ohne sie war es ein Unentschieden gegen geschulte Interviewende. Und die Liste verbessert nicht nur die Prompts, sondern auch die eigenen Fragen.
Die Jury
Diese Woche saß ich in einer Jury. Es ging um die Vergabe eines Jugend-Kunst-Preises, also um junge Menschen, die etwas gemacht haben, das ihnen wichtig ist, und um eine Runde von Erwachsenen, die herausfinden soll, was da eigentlich passiert ist. Der Anteil der Sitzung, der aus Anschauen besteht, ist der einfache. Der Anteil, der aus Fragen besteht, ist der schwierige.
Ich wollte gute Fragen stellen. Nicht originelle, nicht clevere, sondern solche, die etwas hervorholen, das ich vorher nicht wusste. Das ist, wenn man ehrlich ist, exakt dasselbe Problem wie im UX Research. Also habe ich mich an dem orientiert, was ich kenne: Interviewfragen aus der Nutzendenforschung. Und weil das schnell gehen sollte, habe ich sie mir mit einem LLM erarbeiten lassen.
Das Ergebnis war korrekt und trotzdem unbrauchbar
Was zurückkam, sah gut aus. Höflich, neutral, sauber formuliert, keine offensichtliche Suggestion. Und trotzdem war es genau das, was ich für mich intern „Median-Output“ nenne: der Durchschnitt aller Fragen, die man zu diesem Thema stellen könnte. „Erzähl mir etwas über deinen Arbeitsprozess.“ „Was war die größte Herausforderung?“ „Was möchtest du mit der Arbeit ausdrücken?“
Das sind keine Interviewfragen. Das sind Überschriften.
Interessanterweise ist die Neutralität selbst ein Teil des Problems. Trevor Calabro, UX-Researcher und Autor des Newsletters UX Research in the Wild, hat dafür im Dezember 2025 einen guten Begriff geprägt. Er schreibt: „Instead of unintentional leading questions, I think what we are seeing is unintentional over-neutrality.“ Unbeabsichtigte Über-Neutralität also. Wer viel mit LLMs arbeitet, trainiert sich an, jede Anweisung von Kontext, Szenario und Richtung zu befreien, weil das Modell sonst schlechter antwortet. Menschen brauchen aber genau das Gegenteil. Sie brauchen eine Szene, einen Moment, eine Richtung, an der entlang sie sich erinnern können. Eine Frage ohne Kontext bekommt eine Antwort ohne Kontext. Das ist keine Bosheit des Modells, sondern eine Übertragung, die man erst bemerkt, wenn man sie einmal gesehen hat.
Und die dritte Frage oben, die nach dem, was die Künstlerin ausdrücken wollte, ist obendrein handwerklich falsch. Sie verlangt von der befragten Person, meine Arbeit zu übernehmen. Dazu gleich mehr.
Dann habe ich angefangen zu suchen: 14 Fehlerkriterien aus der Forschung
Gefunden habe ich ein Paper von Yuchen Shen, Anmol Singhal und Travis Breaux von der Carnegie Mellon University, vorgestellt auf der IEEE International Requirements Engineering Conference 2025 (arXiv:2507.02858). Die Autoren untersuchen, ob ein LLM in Anforderungsinterviews brauchbare Nachfragen erzeugen kann.
Der eigentliche Schatz steckt aber nicht im Ergebnis, sondern im Zwischenschritt. Die Autoren haben vierzehn Publikationen aus Requirements Engineering, HCI und Software Engineering durchgesehen und daraus 28 Fehlerkriterien für Interviewfragen synthetisiert. Vierzehn davon haben sie ausgewählt, in zwei Kategorien.
Kategorie 1: Fehler bei Nachfragen
- Stillschweigende Annahmen nicht aufdecken. Du lässt Annahmen stehen, die die befragte Person unbegründet mitbringt.
- Keine Alternativen suchen. Du fragst nicht nach anderen Wegen, anderen Optionen, anderen Möglichkeiten.
- Keine Klärung bei Unklarheit. Du akzeptierst eine Aussage, obwohl unklar bleibt, was gemeint war.
- Keine Klärung bei Widersprüchen. Du akzeptierst eine Aussage, obwohl sie dem widerspricht, was vorher gesagt wurde.
- Implizites Wissen nicht heben. Du kommst nicht an das, was die befragte Person weiß und du nicht.
Kategorie 2: Fehler in der Formulierung
- Generische, gegenstandsunabhängige Fragen. Die Frage hat keinen Bezug zum konkreten Fall.
- Zu lange oder zu verschachtelte Fragen. So gebaut, dass um Wiederholung gebeten werden muss.
- Fachjargon. Begriffe außerhalb des gemeinsamen Vokabulars.
- Technische Fragen. Die Antwort setzt Fachwissen voraus, das nicht vorhanden ist.
- Fragen, die nicht zum Profil passen. Die Person kann sie aufgrund ihres Hintergrunds gar nicht beantworten.
- Nach Lösungen fragen. Du verlangst einen Vorschlag statt einer Beschreibung.
- Mehrere Anforderungsarten in einer Frage mischen. Zwei Fragen in einem Satz.
- Vage Fragen mit mehreren Lesarten. Die Frage lässt sich auf mehr als eine Weise verstehen.
- Vage Fragen ohne erschließbaren Sinn. Es fehlt so viel Kontext, dass eine Antwort nicht möglich ist.
Nichts davon ist überraschend, wenn man es liest. Alles davon macht man trotzdem, wenn man zuhört und gleichzeitig denken muss.
Und dann habe ich die Liste in den Prompt gepackt
Nicht als Inspiration, sondern als Regelwerk: Halte dich daran, prüfe jede Frage gegen diese vierzehn Kriterien, gib mir nur, was durchkommt.
Der Unterschied war deutlich. Aus „Was war die größte Herausforderung?“ wurde „Erzähl mir von dem Moment, an dem du die Arbeit fast anders gemacht hättest. Was hätte sich geändert?“ Aus der Frage nach der Aussageabsicht wurde eine Frage danach, was jemand zuerst sieht, der die Arbeit nicht kennt, und ob das dem entspricht, was gedacht war. Fragen, die einen Ort haben. Fragen, auf die man mit einer Geschichte antworten kann statt mit einer Zusammenfassung.
Das deckt sich mit den Zahlen im Paper, und die sind für mich der eigentliche Punkt. In der ersten Studie, ohne Regelwerk, waren die vom Modell erzeugten Nachfragen statistisch nicht besser und nicht schlechter als die von geschulten Interviewenden. Unentschieden. In der dritten Studie, mit den Fehlerkriterien als Vorgabe, wurden die Fragen des Modells in 87 von 128 Paarvergleichen bevorzugt. Bei Relevanz, Klarheit und Informationsgehalt lagen sie durchgehend vorn, alle Unterschiede signifikant.
Im Abstract fassen die Autoren beide Befunde in einem Satzpaar zusammen: „LLM-generated questions are no worse than the human-authored questions with respect to clarity, relevancy, and informativeness.“ Und: „LLM-generated questions outperform human-authored questions when guided by common mistakes types.“
| Erste Studie: ohne Regelwerk | Dritte Studie: mit den 14 Kriterien | |
|---|---|---|
| Verglichen mit | geschulten Interviewenden | geschulten Interviewenden |
| Ergebnis | statistisch unentschieden | 87 von 128 Paarvergleichen bevorzugt |
| Relevanz, Klarheit, Informationsgehalt | kein Unterschied | durchgehend vorn |
| Signifikanz | keine Unterschiede | alle Unterschiede signifikant |
| Modell und Aufgabe | identisch | identisch |
Gleiches Modell. Gleiche Aufgabe. Der Unterschied liegt vollständig im Harness.
Zwei Details, die ich ehrlich finde
Erstens: Kriterium 11, das Fragen nach Lösungen, musste dem Modell mit einem Beispiel erklärt werden, weil es sonst nicht zuverlässig griff. Shen, Singhal und Breaux formulieren es sinngemäß so: Es ist unangemessen, Nutzende zu fragen, wie ein Feature gestaltet sein sollte oder wie eine ideale Oberfläche aussähe. Das ist die direkte Entsprechung zu meiner Jury-Frage nach der Aussageabsicht. Beide verlangen von der befragten Person, die Arbeit des Fragenden zu übernehmen. Interpretation ist mein Job, nicht der der Künstlerin.
Zweitens: Als das Modell alle vierzehn Fehler gleichzeitig vermeiden sollte, gelang das nur bei einer von dreißig Fragen vollständig. Immerhin vermieden 28 von 30 mindestens elf. Einen Fehler auf Ansage wegzuoptimieren ist also leicht. Alle vierzehn im Blick zu behalten, während man zuhört, bleibt schwer. Für Maschinen wie für Menschen. Genau deshalb ist eine Jurysitzung anstrengend, und ich finde es beruhigend, dafür jetzt eine Zahl zu haben.
Ein drittes Detail für alle, die Prompts bauen: Die Autoren mussten die Kriterien von negativer in positive Formulierung übersetzen, weil LLMs mit Verneinungen schlecht umgehen. Also nicht „versäume es nicht, nach Alternativen zu fragen“, sondern „eine gute Nachfrage sucht nach Alternativen“. Außerdem hat allein das Großschreiben der Rollenbezeichnungen im Prompt die Fehlerrate messbar gesenkt, weil das Modell sonst Interviewende und Befragte verwechselte. Robustheit hängt an solchen Kleinigkeiten.
Die eigentliche Lektion
Ich merke, wie oft ich inzwischen bei derselben Beobachtung lande. Ein LLM ist kein Werkzeug, das man bedient, sondern eines, das man einspannt. Ohne Harness zieht es in die Mitte der Verteilung, weil die Mitte statistisch die sicherste Antwort ist. Das sieht dann aus wie ein Ergebnis, ist aber nur ein Durchschnitt.
Das Harness ist die eigentliche Arbeit. In diesem Fall waren es vierzehn Zeilen aus einem Paper. In anderen Fällen ist es eine Quellenhierarchie, eine Prüfschleife, ein Kriterienkatalog. Immer ist es etwas, das jemand vorher durchdacht hat und das explizit gemacht wurde. Der Prompt ist der Zügel. Das Harness ist das, woran der Zügel überhaupt erst befestigt ist. Für Entwicklungsteams habe ich denselben Punkt in AI-Dev#1 beschrieben; wie ich das in Projekten begleite, steht auf der Seite zur KI-gestützten Entwicklung.
Und die schöne Nebenwirkung: Die vierzehn Regeln haben nicht nur meine Prompts verbessert. Sie haben meine eigenen Fragen in der Sitzung verbessert. Die Checkliste funktioniert offline.
Kompakt zum Mitnehmen: die vierzehn Fehler auf einen Blick
| Der Fehler | Woran du ihn in der Sitzung merkst |
|---|---|
| Annahmen nicht aufdecken | Du nickst bei einem „natürlich“ |
| Keine Alternativen | Niemand fragt, was noch möglich gewesen wäre |
| Keine Klärung bei Unklarheit | Du hoffst, dass es später klar wird |
| Keine Klärung bei Widersprüchen | Dir fällt es auf, du sagst nichts |
| Implizites Wissen nicht heben | Alle reden über das Sichtbare |
| Generische Frage | Die Frage passt auch auf jede andere Arbeit |
| Zu lange Frage | Rückfrage: „Wie war die Frage nochmal?“ |
| Jargon | Höfliches Nicken ohne Antwort |
| Technische Frage | Die Antwort beginnt mit „Ich glaube“ |
| Falsches Profil | Betretenes Schweigen |
| Nach Lösungen fragen | Du bittest um Interpretation deiner Aufgabe |
| Mehrere Fragen in einer | Nur der zweite Teil wird beantwortet |
| Mehrdeutige Frage | Zwei Personen verstehen sie verschieden |
| Frage ohne Kontext | Die Antwort ist eine Gegenfrage |
Wer selbst hineinschauen möchte: Shen, Singhal, Breaux, Requirements Elicitation Follow-Up Question Generation, arXiv:2507.02858. Der Anhang mit den 28 ursprünglichen Kriterien liegt im zugehörigen Repository.
Falls du eine ähnliche Liste für andere Formate hast, Retrospektiven, Bewerbungsgespräche, Elterngespräche, schreib mir. Ich sammle Harnesses.
Häufige Fragen
Weil es ohne Vorgabe in die Mitte der Verteilung zieht: Der Durchschnitt aller denkbaren Fragen ist statistisch die sicherste Antwort. Heraus kommen Formulierungen wie „Was war die größte Herausforderung?“ oder „Erzähl mir etwas über deinen Arbeitsprozess“. Das sind keine Interviewfragen, das sind Überschriften. Sie sind korrekt, höflich und neutral, holen aber nichts hervor, was man vorher nicht wusste. Der Fehler liegt nicht im Modell, sondern im fehlenden Regelwerk, gegen das es seine Vorschläge prüfen könnte.
Ein Harness ist die explizit gemachte Struktur, in die ein Sprachmodell eingespannt wird: ein Kriterienkatalog, eine Quellenhierarchie, eine Prüfschleife. Der Prompt ist nur der Zügel, das Harness ist das, woran der Zügel befestigt ist. Immer ist es etwas, das jemand vorher durchdacht hat. Im hier beschriebenen Fall bestand das Harness aus vierzehn Fehlerkriterien für Interviewfragen, gegen die jede erzeugte Frage geprüft wurde. Gleiches Modell, gleiche Aufgabe, deutlich bessere Ergebnisse.
Ein von Trevor Calabro geprägter Begriff für eine Gewohnheit, die man sich im Umgang mit LLMs antrainiert: jede Anweisung von Kontext, Szenario und Richtung zu befreien, weil das Modell sonst schlechter antwortet. Bei Menschen wirkt genau das Gegenteil. Sie brauchen eine Szene, einen Moment, eine Richtung, an der entlang sie sich erinnern können. Eine Frage ohne Kontext bekommt eine Antwort ohne Kontext. Es handelt sich um eine Übertragung aus der Mensch-Maschine-Kommunikation in die Mensch-Mensch-Kommunikation, die man erst bemerkt, wenn man sie einmal gesehen hat.
Fünf betreffen das Nachfragen: stillschweigende Annahmen nicht aufdecken, keine Alternativen suchen, keine Klärung bei Unklarheit, keine Klärung bei Widersprüchen, implizites Wissen nicht heben. Neun betreffen die Formulierung: generische Fragen ohne Bezug zum Fall, zu lange oder verschachtelte Fragen, Fachjargon, technische Fragen, Fragen jenseits des Profils der befragten Person, Fragen nach Lösungen statt nach Beschreibungen, mehrere Anforderungsarten in einer Frage, vage Fragen mit mehreren Lesarten und vage Fragen ohne erschließbaren Sinn.
Im Paper von Shen, Singhal und Breaux (IEEE RE 2025, arXiv:2507.02858) waren die Nachfragen des Modells ohne Regelwerk statistisch weder besser noch schlechter als die von geschulten Interviewenden, also unentschieden. Mit den Fehlerkriterien als Vorgabe wurden die Fragen des Modells in 87 von 128 Paarvergleichen bevorzugt, bei Relevanz, Klarheit und Informationsgehalt durchgehend und signifikant. Gleiches Modell, gleiche Aufgabe: Der Unterschied liegt vollständig im Harness.
Weil Sprachmodelle mit Verneinungen schlecht umgehen. Statt „versäume es nicht, nach Alternativen zu fragen“ also besser „eine gute Nachfrage sucht nach Alternativen“. Die Autoren des Papers mussten dafür sämtliche Fehlerkriterien von negativer in positive Formulierung übersetzen. Ein zweiter Kniff aus derselben Arbeit: Allein das Großschreiben der Rollenbezeichnungen im Prompt senkte die Fehlerrate messbar, weil das Modell sonst Interviewende und Befragte verwechselte. Robustheit hängt an solchen Kleinigkeiten.
Weil die Frage die Arbeit des Fragenden an die befragte Person delegiert. Nutzende zu fragen, wie ein Feature gestaltet sein sollte oder wie eine ideale Oberfläche aussähe, verlangt einen Vorschlag statt einer Beschreibung. Dasselbe gilt für die Jury-Frage „Was möchtest du mit der Arbeit ausdrücken?“. Interpretation ist die Aufgabe der fragenden Seite, nicht die der Künstlerin. Im Paper ist genau dieses Kriterium dasjenige, das dem Modell mit einem Beispiel erklärt werden musste, weil es sonst nicht zuverlässig griff.