EU AI Act: Hochrisiko-Systeme (High-Risk AI)

EU AI Act: Hochrisiko-Systeme (High-Risk AI) sind KI-Systeme, die nach der EU-KI-Verordnung (EU AI Act) als besonders risikoreich für Sicherheit, Grundrechte oder kritische gesellschaftliche Bereiche eingestuft werden. Für diese Systeme gelten strenge Pflichten über den gesamten Lebenszyklus – von Entwicklung und Test bis Betrieb und Überwachung – damit Risiken kontrolliert, dokumentiert und nachvollziehbar gemanagt werden.

Was bedeutet „Hochrisiko“ im EU AI Act?

„Hochrisiko“ bedeutet nicht, dass ein System „schlecht“ ist, sondern dass sein Einsatz in bestimmten Kontexten potenziell gravierende Folgen haben kann (z. B. Diskriminierung, Sicherheitsrisiken, falsche Entscheidungen mit Rechtswirkung). Der EU AI Act ordnet Hochrisiko-KI typischerweise dort ein, wo KI über Zugangschancen, Gesundheit, Sicherheit oder Rechte von Menschen mitentscheiden kann.

Typische Beispiele für Hochrisiko-KI

• Personal & Bildung: KI zur Bewerberauswahl oder Bewertung von Prüfungsleistungen.
• Kritische Infrastruktur: KI zur Steuerung/Überwachung von Energie- oder Verkehrssystemen.
• Gesundheit: Diagnostik- oder Triage-Unterstützung (je nach Einordnung/Produktkontext).
• Finanzen: Kreditwürdigkeitsbewertung, wenn sie maßgeblich über Zugang zu Leistungen entscheidet.
• Öffentlicher Sektor/Justiz: Systeme, die Entscheidungen vorbereiten, die Rechte betreffen.

Wichtig: Auch ein auf Large Language Model (LLM) basierender Chatbot oder ein AI Agents (KI-Agenten)-Workflow kann in den Hochrisiko-Bereich fallen, wenn er in einem Hochrisiko-Anwendungsfall eingesetzt wird (z. B. automatisierte Vorauswahl von Bewerbungen). Es kommt also stark auf den Use Case an, nicht nur auf die Modellart.

Wie funktioniert die Compliance bei Hochrisiko-Systemen?

Hochrisiko-KI erfordert ein strukturiertes Risikomanagement und belastbare Nachweise. Typische Bausteine sind:

• Risikomanagement: Risiken identifizieren, bewerten, mitigieren und regelmäßig überprüfen.
• Daten- & Qualitätsanforderungen: Geeignete Trainings-/Testdaten, Bias-Prüfungen, Daten-Governance.
• Technische Dokumentation: Nachvollziehbarkeit der Systemlogik, Grenzen, Annahmen, Versionen.
• Protokollierung & Monitoring: Logging, Performance- und Drift-Überwachung (z. B. mit Model Monitoring & Observability (LLMOps)).
• Transparenz & Nutzerinformationen: Klare Hinweise, wofür das System geeignet ist und wofür nicht.
• Menschliche Aufsicht (Human Oversight): Prozesse, damit Menschen eingreifen, prüfen und Entscheidungen verantworten können (siehe Human-in-the-Loop (HITL))
• Sicherheit & Robustheit: Schutz vor Manipulation, Fehlfunktionen und Missbrauch (z. B. Red Teaming (KI-Red-Teaming), Threat Modeling für LLMs).

Warum ist das wichtig – gerade bei LLMs, Automatisierung & Agents?

In der Praxis entstehen Hochrisiko-Risiken oft durch die Kombination aus Automatisierung und Entscheidungseinfluss: Ein LLM, das „nur Text generiert“, wird kritisch, wenn seine Ausgabe direkt in Workflows einfließt (z. B. in n8n-Automationen), ohne Kontrolle, Nachweise oder klare Grenzen. Themen wie Halluzinationen (Hallucinations), Prompt Injection oder unklare Datenherkunft können dann zu falschen Entscheidungen, Diskriminierung oder Compliance-Verstößen führen. Deshalb sind Governance-Strukturen (siehe AI Governance) und saubere Dokumentation essenziell.

Abgrenzung: Hochrisiko vs. „normale“ KI

Nicht jedes KI-Projekt ist Hochrisiko. Viele generative Anwendungen (z. B. Marketingtexte) sind eher niedrig- bis mittleres Risiko. Hochrisiko wird es, wenn KI in regulierten oder grundrechtsrelevanten Domänen eingesetzt wird oder Entscheidungen mit erheblicher Wirkung vorbereitet/automatisiert. Für die Einordnung hilft der Blick in den EU AI Act sowie eine strukturierte AI Risk Assessment (KI-Risikobewertung).