Model Drift (Modell-Drift)

Model Drift (Modell-Drift) bezeichnet den Leistungsabfall eines KI-Modells im laufenden Betrieb, weil sich Daten, Nutzerverhalten oder die Umgebung verändern. Ein Modell, das gestern noch sehr präzise war, kann heute schlechtere Vorhersagen liefern, obwohl der Code unverändert ist – etwa durch neue Trends, andere Datenquellen oder geänderte Geschäftsprozesse.

Was bedeutet Model Drift genau?

Im Kern heißt Model Drift: Die Beziehung zwischen Eingaben (Features) und Ausgaben (Labels/Antworten) verschiebt sich über die Zeit. Das Modell wurde auf historischen Daten trainiert, die die Realität von damals abbilden. Wenn die Realität „wandert“, passt das gelernte Muster nicht mehr optimal. Das betrifft klassische ML-Modelle genauso wie Large Language Model (LLM)-basierte Systeme, z. B. ChatGPT-Workflows, AI Agents (KI-Agenten) oder Automatisierungen in n8n.

Wie funktioniert Model Drift (und welche Arten gibt es)?

• Data Drift (Input Drift): Die Verteilung der Eingabedaten ändert sich. Beispiel: Ein Support-Bot erhält plötzlich deutlich mehr Anfragen zu einem neuen Produkt; die bisherigen Tickets decken das Thema kaum ab.
• Concept Drift: Die Bedeutung/Regel hinter dem Ziel ändert sich. Beispiel: Eine Betrugserkennung – Betrüger passen ihre Muster an, wodurch „alte“ Signale weniger aussagekräftig werden.
• Label/Feedback Drift: Das Feedback oder die Labels werden anders erzeugt. Beispiel: Ein Team bewertet Antworten strenger als früher oder es gibt neue Richtlinien, was als „korrekt“ gilt.
• Upstream/Tool Drift: Abhängigkeiten ändern sich. Beispiel: Ein LLM nutzt Function Calling / Tool Use; eine API liefert neue Felder, andere Formate oder andere Standardwerte – die Pipeline verhält sich anders.

Warum ist Model Drift bei LLMs, RAG und Automationen besonders relevant?

Bei generativen Systemen kommt Drift oft „indirekt“: Inhalte, Wissensquellen und Tools ändern sich. In RAG (Retrieval-Augmented Generation)-Setups kann sich z. B. der Dokumentenbestand oder die Suchqualität der Vektordatenbank (Vector Database) verändern. Auch andere Embeddings (neues Modell, andere Dimensionen) können Retrieval-Ergebnisse verschieben. Das führt nicht nur zu schlechteren Antworten, sondern auch zu mehr Halluzinationen (Hallucinations), weil das Modell fehlende oder falsche Kontextsignale kompensiert.

Woran erkennt man Modell-Drift? (typische Symptome)

• Sinkende Genauigkeit/Erfolgsquote (z. B. weniger korrekt gelöste Tickets, schlechtere Klassifikation).
• Mehr Eskalationen an Menschen oder längere Bearbeitungszeiten in Automationen.
• Steigende Fehlerraten in Tools/APIs, mehr „Edge Cases“.
• Qualitätsmetriken verschlechtern sich (z. B. Retrieval-Precision, Antwort-Consistency, Compliance).

Was kann man gegen Model Drift tun?

• Monitoring & Alarme: Drift-Checks auf Input-Verteilungen, Qualitätsmetriken und Tool-Fehler. Das ist ein Kernbaustein von MLOps.
• Regelmäßige Evaluation: Test-Sets, Golden Answers, A/B-Tests und Stichproben-Reviews (besonders wichtig bei Generative KI (Generative AI)).
• Daten- und Wissenspflege: RAG-Dokumente aktuell halten, Retrieval testen, Versionierung von Embeddings und Indizes.
• Nachtraining/Anpassung: Je nach Fall Fine-Tuning oder effizientere Updates wie LoRA; alternativ Prompt- und Tool-Logik über Prompt Engineering stabilisieren.
• Governance & Compliance: Klare Verantwortlichkeiten, Audit-Trails und Freigaben – relevant für AI Governance, EU AI Act und Datenschutz (DSGVO/GDPR) & KI.

Praktisch gilt: Model Drift ist kein Ausnahmefall, sondern Normalbetrieb. Wer KI produktiv nutzt – ob Vorhersagemodelle oder LLM-Automationen – braucht Prozesse, um Veränderungen früh zu erkennen und Modelle, Daten und Tools kontrolliert nachzuziehen.