Wann ist Fine-Tuning sinnvoller als RAG?

Wissen und Verhalten getrennt entscheiden

RAG und Fine-Tuning lösen unterschiedliche Probleme. RAG liefert zur Anfrage aktuelle Fundstellen aus einer externen Wissensbasis. Quellen können ausgetauscht, gesperrt oder versioniert werden, ohne das Modell neu zu trainieren. Das passt zu Preisen, Richtlinien, Verträgen und Produktwissen, die sich ändern oder in einer Antwort belegt werden müssen.

Fine-Tuning verändert dagegen das Modellverhalten anhand von Beispielen. Es kann sinnvoll sein, wenn ein Basismodell trotz sauberer Instruktion wiederholt ein bestimmtes Format, eine Terminologie oder eine eng definierte Klassifikation nicht zuverlässig beherrscht. Für die bloße Speicherung neuer Fakten ist es unpraktisch: Inhalte lassen sich nicht so einfach einzeln löschen, aktualisieren oder mit einer Originalquelle verknüpfen.

Eine belastbare Reihenfolge

1. Prompt-Baseline: Zuerst wird mit einem festen Testsatz gemessen, was Systemanweisung, Beispiele und strukturierte Ausgabe bereits leisten.
2. RAG-Baseline: Bei Wissensfragen wird geprüft, ob bessere Quellen, Abschnittsbildung oder Retrieval-Filter das Problem beheben.
3. Trainingsziel festlegen: Nur ein verbleibender, messbarer Verhaltensfehler rechtfertigt einen Trainingsversuch. Trainings-, Validierungs- und Regressionstest werden getrennt versioniert.
4. Parameter-effizient starten: PEFT-Verfahren wie LoRA trainieren nur einen kleinen Teil zusätzlicher Parameter statt aller Modellgewichte. Das senkt typischerweise Speicher- und Verwaltungsaufwand, ersetzt aber keine Qualitätsprüfung.
5. Nebenwirkungen prüfen: Der Adapter muss nicht nur im Zieltest besser sein. Sicherheit, allgemeine Fähigkeiten, unerwünschtes Auswendiglernen und Leistung außerhalb des Trainingsbereichs werden erneut geprüft.

In vielen Unternehmenssystemen ist eine Kombination sinnvoll: RAG liefert freigegebene Fakten, während ein kleiner Adapter ein stabiles Ausgabeformat unterstützt. Die Entscheidung fällt anhand derselben realen Testfälle und nicht anhand einer Demo. Ohne ausreichende, rechtmäßig nutzbare Trainingsbeispiele bleibt Fine-Tuning ein unnötiges Risiko.