PEFT (Parameter-Efficient Fine-Tuning)

PEFT (Parameter-Efficient Fine-Tuning) ist eine Methode, um ein vortrainiertes KI-Modell – meist ein Large Language Model (LLM) – an eine Aufgabe oder Domäne anzupassen, ohne alle Modellgewichte zu trainieren. Stattdessen werden nur wenige zusätzliche, „leichte“ Parameter optimiert (z. B. Adapter oder Low-Rank-Matrizen wie bei LoRA). Das spart Rechenzeit, GPU-Speicher und Kosten.

Was bedeutet PEFT?

PEFT steht für „Parameter-Efficient Fine-Tuning“. Gemeint ist: Die große, bereits gelernte Wissensbasis des Modells bleibt weitgehend eingefroren, und man trainiert nur einen kleinen Parameter-Satz, der das Verhalten gezielt verschiebt (z. B. Tonalität, Format, Fachsprache oder Aufgabenlösung). Dadurch lässt sich ein Modell schneller und oft auch sicherer anpassen als beim klassischen Fine-Tuning.

Wie funktioniert PEFT (vereinfacht in Schritten)?

• 1) Basismodell wählen: Ein vortrainiertes Large Language Model (LLM) dient als Ausgangspunkt.
• 2) PEFT-Module hinzufügen: Je nach Technik werden kleine Zusatzkomponenten eingebaut (z. B. Adapter-Layer oder LoRA-Matrizen in Attention/MLP-Schichten).
• 3) Basisgewichte einfrieren: Die ursprünglichen Modellparameter werden nicht verändert.
• 4) Training auf Zieldaten: Nur die PEFT-Parameter werden mit Aufgaben-/Domänendaten optimiert (z. B. Support-Tickets, Produkttexte, interne Richtlinien in Q&A-Form).
• 5) Deployment: Für die Inference nutzt man das Basismodell plus die kleinen PEFT-Gewichte (oft als „Adapter“ ladbar und austauschbar).

Warum ist PEFT wichtig?

PEFT ist besonders relevant, weil moderne Modelle sehr groß sind. Vollständiges Fine-Tuning kann teuer sein, lange dauern und erfordert viel Speicher. Mit PEFT können Teams mehrere spezialisierte Varianten desselben Basismodells betreiben (z. B. „Sales“, „Support“, „Legal“) und je nach Workflow dynamisch den passenden Adapter laden. Das ist praktisch für Automations-Setups mit n8n oder Agenten-Architekturen wie AI Agents (KI-Agenten), weil sich Fähigkeiten modular kombinieren lassen.

Typische Einsatzfälle (mit Beispielen)

• Unternehmenssprache & Format: Ein Modell schreibt konsequent im gewünschten Stil (z. B. „Sie“-Ansprache, kurze Bulletpoints, bestimmte Terminologie).
• Aufgabenspezialisierung: Bessere Ergebnisse für wiederkehrende Aufgaben wie Klassifikation, Extraktion oder strukturierte Antworten (ergänzend zu Structured Outputs (JSON Schema)).
• Domänenwissen als Verhalten: PEFT kann Regeln, Prioritäten und „wie man antwortet“ stärken. Für aktuelles Faktenwissen ist oft RAG (Retrieval-Augmented Generation) besser geeignet, weil es externe Quellen einbindet.

PEFT vs. RAG – wann was?

PEFT eignet sich, wenn das Modell ein neues Verhalten lernen soll (z. B. Tonalität, Entscheidungslogik, Output-Format). RAG (Retrieval-Augmented Generation) ist meist überlegen, wenn häufig wechselnde Inhalte oder viele Dokumente abgefragt werden (z. B. Handbücher, Policies), weil man Wissen über Embeddings und eine Vektordatenbank (Vector Database) aktuell halten kann, ohne das Modell neu zu trainieren.

Was kostet PEFT?

PEFT ist in der Regel deutlich günstiger als vollständiges Fine-Tuning, weil weniger Parameter trainiert werden und damit weniger GPU-Speicher und Trainingszeit nötig sind. Die Kosten hängen vor allem von (1) Modellgröße, (2) Datenmenge/Qualität, (3) Trainingsdauer, (4) Infrastruktur (Cloud vs. On-Prem) und (5) Evaluationsaufwand ab. Zusätzlich fallen Betriebskosten für Tests, Monitoring und ggf. MLOps an.

Merksatz: PEFT macht Fine-Tuning „leichtgewichtig“: Du behältst die Stärke des Basismodells und trainierst nur kleine Zusatzgewichte, um es effizient auf deinen Use Case zuzuschneiden.