Wie bewertet man ein neues Sprachmodell vor dem produktiven Einsatz?

Die Aufgabe bestimmt den Test

Vor dem Download wird der Einsatzbereich beschrieben: Sprache, erwartete Eingaben, verbotene Inhalte, Ausgabeformat, benötigte Kontextlänge und technische Ziele. Danach werden Lizenz, Modellkarte, Herkunft, Revision und bekannte Einschränkungen geprüft. Ein Modellname ohne eindeutige Revision ist keine reproduzierbare Betriebsbasis.

Der Abnahmekatalog enthält reale Fälle aus dem eigenen Prozess. Ein Startbestand von mindestens 100 repräsentativen Aufgaben kann für einen eng begrenzten Assistenten sinnvoll sein, ist aber ein Planungswert und keine allgemeine Norm. Er umfasst normale Fragen, Grenzfälle, absichtlich unbeantwortbare Fragen, Prompt-Injection-Versuche, geschützte Daten und lange Kontexte. Erwartete Antwort, zulässige Varianten und Bewertungsmethode werden vor dem Modelllauf festgelegt.

Strukturierte Aufgaben lassen sich mit Metriken wie Exact Match, Accuracy oder F1 automatisieren. Offene Texte benötigen ein fachliches Bewertungsraster und Stichproben durch qualifizierte Personen. NIST fordert bei generativer KI systematische Test-, Evaluierungs-, Verifikations- und Validierungsverfahren. Zusätzlich werden Quellenbezug, korrekte Ablehnung und Berechtigungsgrenzen geprüft; sprachliche Eleganz darf faktische Fehler nicht verdecken.

Unter demselben Lastprofil werden Time to First Token, p95-Ende-zu-Ende-Latenz, Fehlerrate, Tokenrate und Speicherbedarf gemessen. Basismodell, Quantisierung, Prompt, RAG-Stand und Hardware bleiben im Vergleich dokumentiert. Akzeptanzgrenzen werden vor dem Ergebnis festgelegt, damit keine nachträgliche Schönrechnung entsteht. Nach erfolgreicher Offline-Abnahme erhält zunächst nur ein begrenzter Canary-Verkehr das neue Modell. Monitoring und ein getesteter Rollback bleiben aktiv, bis genügend reale Evidenz vorliegt.