RAG vs. Fine-Tuning

Zwei unterschiedliche Wege, ein Sprachmodell mit spezifischem Wissen oder Verhalten auszustatten - was jeder Ansatz technisch tut, wo seine Grenzen liegen, und ein Entscheidungsrahmen.

Wer ein Sprachmodell für einen spezifischen Anwendungsfall anpassen möchte, stößt fast immer auf dieselbe Grundsatzfrage: RAG oder Fine-Tuning? Beide Ansätze lösen unterschiedliche Probleme, haben unterschiedliche Grenzen, und lassen sich kombinieren - die Frage ist selten “entweder-oder”, sondern “was zuerst, und wofür”.

1. Was RAG technisch tut

Retrieval-Augmented Generation läuft in zwei Schritten ab: Zunächst wird die Nutzeranfrage (oder ein daraus abgeleiteter Suchbegriff) in eine Vector Database geschickt, die per Embedding-Ähnlichkeit die inhaltlich passendsten Textabschnitte aus einer hinterlegten Wissensbasis findet. Diese gefundenen Abschnitte werden dann als zusätzlicher Kontext direkt in die Anfrage an das Sprachmodell eingefügt, bevor es antwortet. Das Modell selbst bleibt dabei vollständig unverändert - es “lernt” nichts dauerhaft dazu, sondern erhält bei jeder einzelnen Anfrage passenden Kontext neu geliefert und vergisst ihn danach wieder.

2. Was Fine-Tuning technisch tut

Fine-Tuning verändert die Gewichte des Modells selbst durch zusätzliches Training mit spezialisierten Beispieldaten - anders als bei RAG wird hier also tatsächlich etwas dauerhaft im Modell verankert, nicht nur zur Laufzeit bereitgestellt. Das eignet sich gut, um einen bestimmten Ton, ein festes Antwortformat oder spezifisches Verhalten dauerhaft zu etablieren - etwa, dass ein Modell bei Kundenanfragen konsequent im Corporate-Wording antwortet oder Ausgaben stets in einem bestimmten strukturierten Format liefert.

3. Der entscheidende Unterschied

RAG beantwortet die Frage “Welche Informationen soll das Modell nutzen?”, Fine-Tuning beantwortet die Frage “Wie soll sich das Modell grundsätzlich verhalten?”. Wer aktuelle, häufig wechselnde Fakten benötigt - etwa Produktinformationen, Preise oder interne Dokumentation -, ist mit RAG meist besser bedient, da sich die zugrunde liegende Wissensbasis aktualisieren lässt, ohne das Modell neu zu trainieren.

4. Was RAG nicht löst

RAG verhindert Halluzinationen nicht vollständig - es senkt ihre Wahrscheinlichkeit, indem es dem Modell verlässlichen Kontext liefert, aber ein Modell kann trotzdem falsch aus dem gelieferten Kontext schließen oder ihn ignorieren. Die Qualität einer RAG-Antwort steht und fällt zudem mit der Qualität des Retrieval-Schritts: Findet die Suche die falschen oder unvollständigen Abschnitte, kann selbst ein leistungsfähiges Modell keine korrekte Antwort mehr liefern, egal wie gut es sonst ist. Auch das Kontextfenster setzt eine harte Grenze - je mehr Kontext pro Anfrage eingefügt wird, desto teurer und langsamer wird die Anfrage, und ab einer gewissen Menge lässt sich nicht mehr beliebig viel Wissensbasis “mitgeben”.

5. Was Fine-Tuning nicht löst

Fine-Tuning eignet sich schlecht, um dem Modell aktuelle oder sich häufig ändernde Fakten beizubringen - jede Änderung an den zugrunde liegenden Informationen erfordert im Prinzip ein erneutes Training, was deutlich aufwendiger und langsamer ist als das Aktualisieren einer Wissensbasis bei RAG. Zudem besteht bei Fine-Tuning das Risiko des sogenannten “Catastrophic Forgetting”: Ein zu aggressives oder schlecht kuratiertes Training auf engen Beispieldaten kann dazu führen, dass das Modell an Fähigkeiten verliert, die es vorher zuverlässig beherrschte, weil das Training sie unbeabsichtigt überschreibt.

6. Aufwand und Kosten im Vergleich

RAG erfordert vor allem Infrastruktur für Indexierung und Retrieval (eine Vector Database, eine Pipeline zum Aufbereiten und Einbetten der Wissensbasis), aber kein eigenes Modelltraining - der Einstieg ist entsprechend niedrigschwelliger. Fine-Tuning erfordert kuratierte, oft manuell erstellte Trainingsbeispiele in ausreichender Menge und Qualität, Trainingsinfrastruktur oder einen entsprechenden Anbieter-Service, und in der Regel mehrere Iterationen, bis das gewünschte Verhalten zuverlässig erreicht ist. In der Praxis ist RAG deshalb häufig der Ansatz mit der kürzeren Time-to-Value, während Fine-Tuning tendenziell mehr Vorlaufzeit und Expertise verlangt.

7. Wann sich eine Kombination lohnt

In der Praxis werden beide Ansätze häufig kombiniert: Ein per Fine-Tuning auf einen bestimmten Tonfall und ein festes Antwortformat trainiertes Modell greift zusätzlich über RAG auf aktuelle, firmenspezifische Fakten zu. So lässt sich sowohl konsistentes Verhalten (Fine-Tuning-Stärke) als auch aktuelles Wissen (RAG-Stärke) erreichen, ohne dass ein Ansatz die Schwäche des anderen kompensieren muss.

8. Ein häufiger Fehler

Ein verbreiteter Fehler ist, ein Verhaltensproblem mit RAG lösen zu wollen - etwa “das Modell antwortet nicht im gewünschten Format” - obwohl zusätzlicher Kontext daran nichts ändert, wenn das eigentliche Problem im Antwortverhalten des Modells liegt, nicht in fehlendem Wissen. Umgekehrt versuchen Teams gelegentlich, aktuelle Fakten per Fine-Tuning ins Modell zu “brennen”, was bei sich häufig ändernden Informationen unnötig aufwendig ist und schnell veraltet. Vor der Wahl des Ansatzes lohnt sich deshalb die klare Frage: Fehlt dem Modell Wissen, oder verhält es sich grundsätzlich falsch?

9. Wie du den Erfolg misst

Bei RAG lohnt sich eine getrennte Bewertung von Retrieval und Generierung: Werden überhaupt die inhaltlich richtigen Abschnitte gefunden (Retrieval-Qualität), und nutzt das Modell diese Abschnitte tatsächlich korrekt in der Antwort (Generierungs-Qualität)? Ein Fehler in der Antwort kann an jeder der beiden Stellen entstehen, und die Fehlerursache lässt sich nur unterscheiden, wenn beide Schritte getrennt betrachtet werden. Bei Fine-Tuning ist ein vom Trainingsdatensatz getrennter Evaluations-Datensatz wichtig, um zu prüfen, ob sich das gewünschte Verhalten tatsächlich verallgemeinert hat oder das Modell lediglich die Trainingsbeispiele selbst wiedergibt.

10. Entscheidungsrahmen

Ändern sich die relevanten Fakten häufig (Preise, Dokumentation, Produktkatalog)? → RAG.
Geht es primär um Tonfall, Format oder ein wiederkehrendes Verhaltensmuster, nicht um Faktenwissen? → Fine-Tuning.
Reicht ein gut formulierter Prompt allein nicht aus, um das gewünschte Verhalten zuverlässig zu erreichen? → Fine-Tuning als nächster Schritt, statt weiter am Prompt zu feilen.
Braucht die Anwendung sowohl aktuelles Wissen als auch konsistentes Verhalten? → Kombination aus Fine-Tuning und RAG.
Ist der Aufwand für ein eigenes Trainings-Setup aktuell nicht zu rechtfertigen? → Mit RAG starten, Fine-Tuning später ergänzen, falls nötig.