AI Vendor Assessment (Provider-Bewertung)

AI Vendor Assessment (Provider-Bewertung) ist die strukturierte Prüfung eines KI-Anbieters, bevor (oder während) dessen Modelle, APIs oder Tools im Unternehmen eingesetzt werden. Bewertet werden typischerweise Informationssicherheit, Datenschutz/DSGVO, vertragliche Grundlagen (z. B. DPA/AVV), Kosten, SLAs sowie technische und organisatorische Risiken – mit dem Ziel, Compliance sicherzustellen und Ausfälle, Datenabfluss oder Vendor Lock-in zu vermeiden.

Was bedeutet AI Vendor Assessment konkret?

Im KI-Kontext reicht klassische Lieferantenprüfung oft nicht aus, weil zusätzlich modell- und datenbezogene Risiken entstehen: Prompt- und Output-Daten können sensible Informationen enthalten, Modelle können sich durch Updates verändern, und KI-Features (z. B. Agenten, Tool-Use) erweitern die Angriffsfläche. Ein AI Vendor Assessment verbindet deshalb Third-Party-Risk-Management mit KI-spezifischer Governance und technischen Prüfungen.

Wie funktioniert eine Provider-Bewertung für KI? (typischer Ablauf)

• 1) Scope festlegen: Welcher Use Case, welche Datenklassen (z. B. PII), welche Regionen/Data Residency, welche Integrationen (z. B. n8n-Workflows)?
• 2) Security & Architektur prüfen: Zertifizierungen (ISO 27001/SOC2), Verschlüsselung, IAM/SSO, Audit-Logs, Incident Response, Pen-Tests, Schlüsselverwaltung, Mandantentrennung.
• 3) Datenschutz/DSGVO prüfen: Rechtsgrundlage, Auftragsverarbeitung über Data Processing Agreement (DPA/AVV), Unterauftragsverarbeiter, Datenaufbewahrung/Retention, Löschkonzepte, internationale Transfers (z. B. DPF), Betroffenenrechte.
• 4) Modell- & Produkt-Risiken bewerten: Training auf Kundendaten (Opt-in/Opt-out), Umgang mit Prompts/Outputs, Schutz vor Prompt Injection/Datenabfluss, Safety-Controls, Update-Politik (Breaking Changes, Deprecations).
• 5) SLAs/SLOs & Betrieb: Verfügbarkeit, Latenz, Support-Zeiten, Eskalation, Wartungsfenster, Rate Limits, Monitoring/Statuspage; relevant bei produktiven AI Agents (KI-Agenten) oder RAG-Systemen.
• 6) Kosten & kommerzielle Bedingungen: Preis pro Token/Request, Mindestumsätze, Kosten für Logging/Storage, Egress, Enterprise-Features; Vergleich über TCO (siehe Total Cost of Ownership (TCO) für LLMs).
• 7) Entscheidung & Controls: Risikoklasse, Freigabeprozess, Vertragsanhänge, technische Guardrails, Review-Zyklen.

Welche Kriterien sind besonders wichtig?

• Datenfluss & Datensparsamkeit: Welche Daten gehen an den Provider, wie werden sie minimiert (z. B. PII-Redaction), und wo werden sie verarbeitet (Data Residency)?
• Retention & Nutzung für Training: Werden Eingaben/Ausgaben gespeichert, wie lange, und dürfen sie zur Modellverbesserung genutzt werden?
• Vertragliche Absicherung: DPA/AVV, TOMs, Haftung, Subprozessoren, Audit-Rechte, Exit-Klauseln (Lock-in).
• Technische Reife: Stabilität der API, Versionierung, Observability, sichere Authentifizierung, Rollen & Rechte.

Beispiele aus der Praxis

Beispiel 1 (Customer Support): Ein Unternehmen integriert ChatGPT-ähnliche Funktionen in ein Ticketsystem. Im Assessment wird festgelegt: keine Speicherung von Ticketinhalten beim Provider, DPA/AVV ist Pflicht, Logs werden pseudonymisiert, und es gibt klare SLAs wegen Kundenbetrieb.

Beispiel 2 (RAG für internes Wissen): Für RAG (Retrieval-Augmented Generation) werden interne Dokumente verarbeitet. Die Provider-Bewertung prüft Data Residency, Verschlüsselung, Zugriffskontrollen, sowie ob Embeddings (siehe Embeddings) als personenbezogen gelten können und wie Löschung/Re-Indexing funktioniert.

Warum ist AI Vendor Assessment wichtig?

Es reduziert Compliance- und Sicherheitsrisiken, verhindert Überraschungen bei Kosten und Performance und schafft belastbare Entscheidungsgrundlagen für eine Multi-Provider- oder Exit-Strategie. Gerade bei generativer KI ändern sich Modelle und Bedingungen schnell – regelmäßige Re-Assessments sind daher Teil guter AI Governance.