Wie verhindert und erkennt man Halluzinationen im Eigenbetrieb?

Nicht versprechen, sondern messen

NIST bezeichnet überzeugend formulierte, aber falsche Inhalte generativer KI als Confabulation. Ein lokaler Server beseitigt dieses Modellrisiko nicht. Er verbessert die technische Kontrolle über Daten und Betrieb, macht Antworten jedoch nicht automatisch wahr. Deshalb braucht das System mehrere unabhängige Schutzschichten.

Vor der Antwort wird der Anwendungsbereich begrenzt. RAG liefert nur freigegebene, aktuelle Quellen, und Berechtigungen werden serverseitig angewandt. Der Systemprompt fordert eine klare Ablehnung, wenn die Fundstellen keine Antwort tragen. Für Zahlen, Termine oder Rechtsaussagen können zusätzliche strukturierte Quellen und deterministische Prüfregeln verwendet werden.

In der Antwort werden verwendete Dokumente, Versionen und möglichst genaue Textstellen angezeigt. Eine bloß generierte Quellenangabe ist wertlos; der Link muss aus den tatsächlich abgerufenen Metadaten stammen. Aussagen ohne belegende Fundstelle werden markiert oder unterdrückt. Bei folgenreichen Entscheidungen bleibt eine fachkundige Person in der Freigabe.

Nach der Antwort erfolgt eine Evaluation. Ein realistischer Start kann 100 repräsentative Fragen umfassen, darunter bewusst unbeantwortbare, widersprüchliche und berechtigungsgeschützte Fälle. Diese Zahl ist ein Planungswert, keine Norm. Pro Fall werden mindestens Faktentreue, Belegtreue, korrekte Ablehnung und Datenzugriff bewertet. Zusätzlich werden Beschwerden und korrigierte Antworten in einen Regressionstest übernommen.

NIST empfiehlt für generative KI systematische Test-, Evaluierungs-, Verifikations- und Validierungsverfahren. Praktisch bedeutet das: Modell, Prompt, Retrieval-Konfiguration und Datenstand bekommen gemeinsam eine Versionsnummer. Jede Änderung läuft gegen denselben Testkatalog. Erst wenn vorab definierte Schwellen eingehalten werden, kommt sie in Produktion. Temperatur oder Top-p können Reproduzierbarkeit beeinflussen, ersetzen aber niemals diese Kontrolle.