Ein Sprachmodell, das plausibel klingende Antworten erfindet, ist im Geschäftsalltag schlimmer als eines, das schweigt. Die übliche Sorge: Die Abhilfe sei schlimmer als das Problem — wer ein Modell zur Zurückhaltung erzieht, bringt es auf allem zum Verstummen. Es geht beides — der folgende Verlauf zeigt, was Zuverlässigkeit kostet und wie wenig nötig ist, um sie zu bekommen.
Für einen Test habe ich einem lokal laufenden Modell 74 Fragen zu echten deutschen Behördendokumenten gestellt — darunter bewusst solche, deren Antwort in den Unterlagen gar nicht steht. Ein brauchbares System muss beides können: die vorhandene Antwort finden und bei der fehlenden ehrlich „steht hier nicht“ sagen.
Der größte Hebel ist eine einzige Regel
Ohne jede Anweisung beantwortet selbst ein gut gewähltes Modell die meisten unbelegten Fragen trotzdem — aus dem Weltwissen heraus, oft falsch: 79 Prozent. Allein die klare Regel „Antworte nur aus dem Kontext, sonst sage: steht hier nicht“ senkt das auf 4 Prozent. Und sie kostet nichts, wo es zählt: Die blasse Linie bewegt sich nicht, die richtigen Antworten bleiben bei 88 Prozent. Der größte Sprung im Diagramm ist zugleich das Billigste darin — ein einziger sorgfältig formulierter Satz.
Die letzten Prozente sind ein Regler
Die verbleibenden 4 Prozent sind hartnäckig. Es sind Fragen, deren Thema zwar passt, deren konkrete Antwort im Text aber fehlt und die das Modell aus Weltwissen beantwortet. Man bekommt sie auf null — aber nicht umsonst.
Zwei Mechanismen bringen den Rest: ein Retrieval-Gate, das Fragen abweist, zu denen gar kein passender Text gefunden wird, bevor das Modell überhaupt läuft; und ein unabhängiger Prüfer — ein zweites Modell, das jede Antwort auf Beleg prüft. Der Prüfer muss ein anderes Modell sein: Lässt man ein Modell die eigene Antwort prüfen, winkt es den eigenen Fehler durch. Zusammen erreichen sie null Erfindungen — senken die Abdeckung dabei aber von 88 auf 56 Prozent. Denn ein Prüfer, der streng genug ist, die letzte Erfindung zu fangen, weist auch einige richtige Antworten ab.
Das ist kein Fehler, sondern eine Wahl: Eine Behörde nimmt lieber die harte Null und ein ehrliches „weiß nicht“, ein internes Hilfswerkzeug lieber die Abdeckung. Diese Kurve macht die Wahl sichtbar, statt sie zu verstecken.
Und wenn die Antworten doch einbrechen?
Dann liegt es fast immer am Modell, nicht an den Schichten. Ein zu kleines Modell kann seine Antworten nicht wörtlich belegen und wird von genau denselben Schutzmechanismen mit abgeräumt — dort fällt die Abdeckung deutlich stärker. Die Lehre ist nicht „weniger absichern“, sondern „das passende Modell wählen“. Der zweite Faktor ist die Suche selbst: Was gar nicht erst gefunden wird, kann auch die beste Antwortlogik nicht beantworten — eine gute Trefferquote hebt die ganze Kurve.
Der Kern bleibt: Zuverlässigkeit heißt nicht, dass das Modell verstummt. Mit dem richtigen Modell und einer einzigen Regel fallen die Erfindungen, ohne dass die Abdeckung leidet — und alles läuft auf eigener Hardware, gemessen statt behauptet.