loskan.io
@

EU AI Act: Prohibited AI (Verbotene KI-Praktiken)

DefinitionKI-Anwendungen, die nach EU AI Act untersagt sind.

EU AI Act: Prohibited AI (Verbotene KI‑Praktiken) bezeichnet KI-Anwendungen und -Nutzungen, die nach dem EU AI Act grundsätzlich verboten sind, weil sie als unvereinbar mit den Grundrechten, der Sicherheit und der menschlichen Würde gelten. Anders als „Hochrisiko“-Systeme sind diese Praktiken nicht durch Auflagen „heilbar“, sondern dürfen in der EU (mit eng begrenzten Ausnahmen) nicht eingesetzt oder in Verkehr gebracht werden.

Was ist nach dem EU AI Act „verboten“?

Der EU AI Act arbeitet risikobasiert: Von minimalem Risiko bis hin zu verbotenem Risiko. „Prohibited AI“ ist die oberste Kategorie. Sie umfasst bestimmte Zwecke und Methoden, bei denen die Wahrscheinlichkeit von Missbrauch oder schwerem Schaden als so hoch bewertet wird, dass ein Verbot als verhältnismäßig gilt. Der genaue Zuschnitt ist rechtlich definiert (u. a. in Artikel 5) und wird durch Leitlinien und Praxis weiter konkretisiert. Für den Gesamtrahmen siehe EU AI Act.

Typische verbotene KI-Praktiken (mit Beispielen)

  • Manipulative oder täuschende KI, die das Verhalten von Menschen erheblich verzerrt (z. B. unterschwellige Techniken), insbesondere wenn dadurch Schaden entsteht.
    Beispiel: Ein Voice-/Chatbot, der Nutzer gezielt in finanzielle Entscheidungen drängt, indem er psychologische Schwächen ausnutzt.
  • Ausnutzung von Vulnerabilitäten (z. B. Alter, Behinderung, soziale Lage), um Entscheidungen zu beeinflussen.
    Beispiel: Eine KI in einer Lern-App, die Kinder gezielt zu Käufen oder riskantem Verhalten verleitet.
  • Social Scoring durch Behörden (oder in behördenähnlichen Konstellationen), bei dem Personen anhand ihres Verhaltens/Profils bewertet werden und daraus nachteilige Behandlung folgt.
    Beispiel: Ein „Bürger-Score“, der Zugang zu Leistungen oder Kontrollen steuert.
  • Bestimmte Formen biometrischer Kategorisierung (z. B. Ableitung sensibler Merkmale) sowie Emotionserkennung in bestimmten Kontexten (insbesondere am Arbeitsplatz und in Bildung), soweit rechtlich untersagt bzw. stark eingeschränkt.
    Beispiel: Kamera-KI, die Bewerber*innen in Interviews nach „Stress“ oder „Ehrlichkeit“ bewertet.
  • Ungezielte massenhafte Gesichtsbilder-Sammlung (Scraping) zum Aufbau/Erweitern von Gesichtserkennungsdatenbanken.
    Beispiel: Automatisches Crawlen sozialer Netzwerke, um eine Face-ID-Datenbank zu trainieren.
  • Bestimmte Anwendungen von „Remote Biometric Identification“ (Echtzeit-Fernidentifizierung in öffentlichen Räumen) sind grundsätzlich untersagt, mit eng definierten Ausnahmen für Strafverfolgung unter strengen Bedingungen.

Wie erkennt man in der Praxis, ob ein Use Case „Prohibited AI“ ist?

  • 1) Zweck prüfen: Geht es um Manipulation, Ausnutzung von Schwächen, Scoring oder biometrische Überwachung?
  • 2) Kontext prüfen: Bildung, Arbeitsplatz, öffentlicher Raum und Behördenkontexte sind besonders sensibel.
  • 3) Daten & Signale prüfen: Werden biometrische Daten, Emotionen, sensible Merkmale oder großflächig gescrapte Bilder genutzt?
  • 4) Schaden & Grundrechte prüfen: Gibt es ein realistisches Risiko für Diskriminierung, Zwang, Entmündigung oder Überwachung?
  • 5) Governance dokumentieren: Ergebnisse als Teil von AI Governance und einer AI Risk Assessment (KI-Risikobewertung) festhalten.

Bezug zu LLMs, Chatbots und Automatisierung

Viele Large Language Model (LLM)- oder ChatGPT-basierte Systeme sind nicht per se verboten. Kritisch wird es, wenn ein LLM in einem Workflow (z. B. über n8n und Automatisierung (Automation)) gezielt zur manipulativen Beeinflussung vulnerabler Gruppen eingesetzt wird oder wenn es mit verbotenen biometrischen/überwachungsbezogenen Funktionen gekoppelt wird. Technische Maßnahmen wie Guardrails (KI-Leitplanken), Content Filtering / Safety Classifier und Human-in-the-Loop (HITL) helfen, verbotene Muster früh zu verhindern – ersetzen aber keine rechtliche Einordnung.

Warum ist das wichtig?

„Prohibited AI“ ist ein Compliance-Stoppschild: Wer solche Praktiken umsetzt, riskiert erhebliche Sanktionen, Reputationsschäden und Projektabbrüche. Für Unternehmen bedeutet das: Use Cases früh screenen, klare Policies definieren, Trainingsdaten- und Funktionsumfang prüfen und bei Unsicherheit juristisch/Compliance-seitig validieren – insbesondere bei biometrischen und verhaltensbeeinflussenden Anwendungen sowie im Zusammenspiel mit Datenschutz (DSGVO/GDPR) & KI.

  • 7%

    Compliance-Budgetanteil

    KMU, die KI-gestützte Kunden- oder HR-Prozesse prüfen, kalkulieren häufig rund 7% ihres AI-Budgets für rechtliche Bewertung und Risikoprüfung ein, um verbotene Praktiken nach dem EU AI Act auszuschließen.

  • 3 von 5

    betroffene Use Cases

    Bei ersten AI-Governance-Checks stellen viele Mittelständler fest, dass etwa 3 von 5 diskutierten KI-Ideen in sensiblen Bereichen wie Mitarbeitendenbewertung, biometrischer Erfassung oder manipulativer Einflussnahme regulatorisch kritisch sind.

  • 4-8 Wochen

    Prüfaufwand vor Rollout

    Die interne Prüfung auf verbotene KI-Praktiken kann bei KMU den Projektstart um 4 bis 8 Wochen verlängern, senkt aber das Risiko kostspieliger Fehlentwicklungen und späterer Produktanpassungen.

  • Bewerber-Screening auf verbotene Emotionserkennung prüfen und ersetzen

    Ein KMU im Personalbereich überprüft seine Recruiting-Software darauf, ob sie Mimik, Stimme oder Verhalten von Bewerbenden zur vermeintlichen Emotionserkennung auswertet. Solche Funktionen werden deaktiviert und durch zulässige, transparente Eignungskriterien wie Qualifikation, Berufserfahrung und strukturierte Interviews ersetzt, um Verstöße gegen verbotene KI-Praktiken zu vermeiden.

  • Kundenanalyse ohne manipulative KI-Mechanismen im Online-Shop gestalten

    Ein mittelständischer Händler analysiert, ob eingesetzte KI im Shop gezielt besonders schutzbedürftige Kundengruppen zu ungewollten Käufen drängt, etwa durch personalisierte psychologische Druckmuster. Stattdessen setzt das Unternehmen auf regelbasierte Produktempfehlungen, klare Einwilligungen und nachvollziehbare Personalisierung, um Marketing wirksam und rechtskonform zu gestalten.

  • Zutritts- und Videoüberwachung auf unzulässige biometrische Fernidentifikation prüfen

    Ein KMU mit Lager oder Bürostandort bewertet seine Sicherheitslösungen darauf, ob KI-gestützte Kameras Personen in Echtzeit biometrisch identifizieren oder sensible Merkmale ableiten. Wenn solche Funktionen enthalten sind, werden sie durch zulässige Alternativen wie Ausweiskarten, PIN-Systeme oder nicht-biometrische Videoüberwachung ersetzt, um Compliance-Risiken frühzeitig zu reduzieren.

Häufig gestellte Fragen

Welche KI-Praktiken sind nach dem EU AI Act verboten?

Verboten sind KI-Anwendungen, die als unvereinbar mit Grundrechten, Sicherheit oder menschlicher Würde gelten. Dazu zählen insbesondere manipulative oder täuschende KI, Ausnutzung von Schutzbedürftigkeit, bestimmte Formen von Social Scoring sowie einige biometrische Anwendungen und Emotionserkennung in klar geregelten Kontexten.

Was ist der Unterschied zwischen verbotener KI und Hochrisiko-KI im EU AI Act?

Verbotene KI-Praktiken dürfen in der EU grundsätzlich nicht eingesetzt oder in Verkehr gebracht werden, weil ihr Risiko als nicht akzeptabel gilt. Hochrisiko-KI ist dagegen unter strengen Anforderungen wie Dokumentation, Risikomanagement, menschlicher Aufsicht und Qualitätskontrollen grundsätzlich zulässig.

Woher weiß ich, ob in meinem Unternehmen verbotene KI-Praktiken eingesetzt werden?

Genau dafür ist eine strukturierte Prüfung wichtig, denn problematische KI-Nutzung steckt oft nicht nur in offensichtlichen Tools, sondern auch in Workflows, Automationen oder externen SaaS-Lösungen. Mit meinem Tech-Gutachten analysiere ich deine Tool-Landschaft, Prozesse und KI-Einsätze und zeige dir klar, wo rechtliche oder operative Risiken bestehen.

Ich nutze schon KI-Tools im Team – muss ich jetzt alles abschalten?

Nein, nicht jede KI ist vom EU AI Act verboten. In der KI-Beratung prüfen wir gemeinsam, welche Anwendungen unkritisch, welche anpassbar und welche tatsächlich problematisch sind, damit du nicht aus Angst funktionierende Prozesse stoppst, sondern sauber priorisiert handelst.

Ist EU-AI-Act-Compliance nur etwas für große Unternehmen mit eigener IT-Abteilung?

Nein, gerade kleinere Unternehmen ohne CTO oder IT-Leitung brauchen oft eine pragmatische Einordnung. Mit der Tech-Partnerschaft bekommst du einen externen CTO an die Seite, der Tech-Entscheidungen mitdenkt, Risiken früh erkennt und dir hilft, KI und Tools rechts- und praxistauglich aufzusetzen.

Wie aufwendig ist es, problematische KI-Nutzung durch saubere Prozesse oder Systeme zu ersetzen?

Das hängt vom aktuellen Setup ab, ist aber meist deutlich einfacher als viele denken, wenn man strukturiert vorgeht. Mit OrbitOS setze ich dir auf Wunsch ein integriertes System für CRM, Projektmanagement, Content, KI-Assistenten und Dashboards auf, sodass du nicht nur Risiken reduzierst, sondern gleichzeitig effizienter arbeitest.

Lohnt sich externe Unterstützung bei EU-AI-Act-Fragen überhaupt wirtschaftlich?

Ja, weil Fehlentscheidungen bei KI schnell teuer werden: durch unnötige Tools, ineffiziente Prozesse oder rechtliche Risiken. Ich verbinde Compliance-Verständnis mit praktischer Umsetzung, damit du nicht nur weißt, was problematisch ist, sondern auch, welche KI-Anwendungen sich wirklich lohnen und sauber in deinem Unternehmen funktionieren.