EU AI Act: Human Oversight

EU AI Act: Human Oversight bezeichnet die Vorgaben im EU AI Act, die sicherstellen sollen, dass Menschen KI-Systeme (vor allem Hochrisiko-KI) wirksam überwachen, eingreifen und Entscheidungen notfalls stoppen oder korrigieren können. Ziel ist, Fehlentscheidungen, Diskriminierung und Sicherheitsrisiken zu reduzieren, indem KI nicht „autonom“ ohne sinnvolle menschliche Kontrolle über kritische Ergebnisse entscheidet.

Was bedeutet „menschliche Aufsicht“ im EU AI Act?

Human Oversight heißt nicht einfach „ein Mensch schaut irgendwann mal drauf“, sondern eine geplante, dokumentierte und praktikable Aufsicht über den KI-Einsatz. Der EU AI Act verlangt, dass Hochrisiko-KI so gestaltet und betrieben wird, dass eine natürliche Person die Systemausgaben verstehen, angemessen bewerten und bei Bedarf eingreifen kann. Dazu gehören Rollen, Prozesse, Schulungen und technische Funktionen, die menschliche Kontrolle realistisch ermöglichen.

Wie funktioniert Human Oversight in der Praxis?

• Vor dem Einsatz: Festlegen, wer überwacht (Rollen), welche Entscheidungen die KI unterstützen darf und welche immer menschlich getroffen werden müssen.
• Während des Betriebs: Menschen prüfen KI-Outputs je nach Risiko (z. B. Freigabe-Workflows, Vier-Augen-Prinzip, Stichproben, Schwellenwerte).
• Eingriffsmöglichkeiten: „Override“ (manuelles Übersteuern), Pausieren/Abschalten, Eskalationswege, Rückfallprozesse ohne KI.
• Nachgelagert: Protokollierung, Monitoring, Fehleranalyse und kontinuierliche Verbesserung (z. B. über Model Monitoring & Observability (LLMOps), Audits, Incident-Handling).

Typische Mechanismen (mit Beispielen)

• Human-in-the-Loop (HITL): Die KI macht einen Vorschlag, ein Mensch muss aktiv freigeben (z. B. automatisierte Kreditvorprüfung, die erst nach menschlicher Prüfung entschieden wird). Siehe Human-in-the-Loop (HITL).
• Human-on-the-Loop: Die KI läuft weitgehend automatisch, aber Menschen überwachen Dashboards/Alarme und greifen bei Anomalien ein (z. B. Betrugserkennung mit Eskalation bei hoher Unsicherheit).
• Human-in-command: Menschen definieren Ziele, Grenzen und Einsatzkontext (z. B. welche Datenquellen eine RAG (Retrieval-Augmented Generation)-Suche nutzen darf und welche nicht).

Warum ist das gerade bei LLMs und Automatisierung wichtig?

Bei Large Language Model (LLM)-Anwendungen (z. B. ChatGPT-ähnliche Systeme) entstehen Risiken durch Halluzinationen (Hallucinations), Prompt-Manipulation (z. B. Prompt Injection), oder unklare Verantwortlichkeiten in automatisierten Workflows. Wenn ein LLM etwa in n8n oder einer Automatisierung (Automation) eigenständig E-Mails versendet, Tickets schließt oder Daten ändert, muss Human Oversight sicherstellen, dass kritische Aktionen geprüft, begrenzt oder abgesichert werden (z. B. Freigabe vor externen Nachrichten, Rate-Limits, Tool-Sandboxing, klare Stop-Schalter).

Was bedeutet das für Unternehmen organisatorisch?

Human Oversight ist Teil von AI Governance: Zuständigkeiten (Owner, Reviewer), Training der Aufsichtspersonen, klare Kriterien für Eingriffe, sowie Nachweise (Dokumentation, Logs). Praktisch heißt das oft: definierte Freigabeprozesse, rollenbasierte Rechte, verständliche UI für Prüfer, und Qualitätskontrollen (z. B. regelmäßige Evaluation (Eval) & Benchmarking gegen einen Goldstandard).

Kurz gesagt

„EU AI Act: Human Oversight“ verlangt, dass KI – insbesondere Hochrisiko-KI – nicht unkontrolliert entscheidet: Menschen müssen KI-Ergebnisse nachvollziehen, überwachen und bei Bedarf effektiv stoppen oder korrigieren können. Das wird durch Prozesse, Schulungen und technische Kontrollmechanismen umgesetzt.