KI-Compliance: KI-Systeme steuern und KI für die Compliance-Arbeit nutzen

KI-Compliance bedeutet zweierlei: die fortlaufende Arbeit, mit der sichergestellt wird, dass die KI-Systeme, die Ihre Organisation entwickelt oder nutzt, geltende Gesetze, Standards und interne Richtlinien erfüllen, und den Einsatz von KI für routinemäßige Compliance-Aufgaben mit hohem Volumen.

Dieser Artikel behandelt beide Bedeutungen: die Risiken, die KI-Compliance adressiert, die wichtigsten Rahmenwerke, den Aufbau eines Compliance-Programms, Kontrollen für KI-Agenten und die Bereiche, in denen KI Compliance-Teams unterstützt. Zum Schluss folgen Fragen, die Sie vor dem Kauf eines Compliance-Tools stellen sollten.

Was ist KI-Compliance?

KI-Compliance bezeichnet zweierlei: dafür zu sorgen, dass KI-Systeme die Vorgaben der KI-Regulierung erfüllen, und KI für Compliance-Aufgaben einzusetzen.

Im ersten Sinne stellt KI-Compliance sicher, dass ein KI-System über den gesamten KI-Lebenszyklus hinweg – von den Trainingsdaten bis zu Leistung und Nutzung – Gesetze, Vorschriften, ethische Standards und interne Richtlinien einhält.

So verpflichtet etwa das Local Law 144 von New York City Arbeitgeber, die ein automatisiertes Tool für Personalentscheidungen einsetzen, dieses innerhalb eines Jahres vor dem Einsatz einem Bias-Audit unterziehen zu lassen, Informationen über das Audit zu veröffentlichen und Beschäftigte oder Bewerbende zu benachrichtigen.

Die Arbeit an der regulatorischen KI-Compliance ist nie abgeschlossen, weil KI-Anwendungen aktualisiert werden, sich die verarbeiteten Daten ändern und sich Vorschriften weiterentwickeln.

Im zweiten Sinne setzen Compliance-Teams KI für routinemäßige Aufgaben mit hohem Volumen ein, etwa für die Überwachung von Transaktionen, die Prüfung von Dokumenten und die Verfolgung regulatorischer Änderungen.

Einige Finanzinstitute nutzen KI beispielsweise, um Transaktionen zu prüfen und Fehlalarme bei der Transaktionsüberwachung zu reduzieren, bevor Analysten entscheiden, welche Fälle eine Verdachtsmeldung erfordern.

KI-Compliance vs. KI-Governance vs. KI-Risikomanagement

Die drei Begriffe überschneiden sich, decken aber unterschiedliche Bereiche ab: Governance legt die Regeln fest, Risikomanagement ermittelt, was schiefgehen könnte, und Compliance stellt sicher, dass die Regeln eingehalten werden.

Warum KI-Compliance wichtig ist

KI-Compliance begrenzt Ihr Risiko von Bußgeldern, schützt die Privatsphäre der Menschen, deren Daten Ihre KI verarbeitet, und ermöglicht es Ihrer Organisation, im Fall eines Audits Rechenschaft über ihren Einsatz von KI-Systemen abzulegen.

• Regulatorische Sanktionen: Nach dem EU AI Act kann der Einsatz einer verbotenen KI-Praxis, etwa das Ableiten von Emotionen von Beschäftigten am Arbeitsplatz, bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes kosten. Anbietern und Betreibern drohen bei Verstößen gegen den AI Act Bußgelder von bis zu 15 Mio. € oder 3 %.
• Datenschutz: Ein KI-System, das personenbezogene Daten verarbeitet, unterliegt Datenschutzgesetzen wie der DSGVO in der EU. Das umfasst Trainingsdaten, Prompts und Ausgaben, die personenbezogene Daten enthalten.
• Audit-Bereitschaft: Mit Aufzeichnungen darüber, welche KI-Systeme Sie nutzen, wer sie genehmigt hat und wie Sie sie überwachen, können Sie Aufsichtsbehörden, Prüfern und Kunden Rede und Antwort stehen.

Die wichtigsten Risiken, die KI-Compliance adressiert

KI-Compliance adressiert fünf Hauptrisiken: algorithmische Verzerrung, mangelnde Erklärbarkeit, Halluzinationen in regulierten Prozessen, Datenschutz und Datenlecks sowie Schatten-KI.

Vergrößern

So zeigen sich die wichtigsten Risiken, und mit diesen Kontrollen lassen sie sich beispielsweise in Schach halten:

• Algorithmische Verzerrung: Ein Modell reproduziert Muster aus seinen Trainingsdaten, die bestimmte Gruppen benachteiligen. Ein Recruiting-Tool könnte etwa Bewerbende anhand eines Stellvertretermerkmals für Alter oder ethnische Herkunft, wie Abschlussjahr oder Postleitzahl, schlechter einstufen. Bias-Audits, die Ergebnisse über demografische Gruppen hinweg vergleichen, helfen, solche Muster zu erkennen.
• Mangelnde Erklärbarkeit: Die Organisation kann nicht darlegen, wie ein Modell zu einer Entscheidung gelangt ist. Kann ein Kreditgeber nicht erklären, warum ein Modell einen Kredit abgelehnt hat, kann er das Ergebnis nicht verteidigen. Organisationen beugen dem vor, indem sie Modelleingaben und Entscheidungslogik dokumentieren und Modelle mit nachvollziehbaren Ausgaben wählen.
• Halluzinationen in regulierten Prozessen: Ein generatives KI-Tool stellt etwas Falsches überzeugt als Tatsache dar. Ein Anwalt könnte beispielsweise ein KI-Tool nach Rechtsprechung fragen, die ein Argument stützt, und Verweise auf Gerichtsurteile erhalten, die es nicht gibt. Wer für jede Ausgabe Quellen verlangt und diese von einer qualifizierten Person prüfen lässt, erkennt solche Fehler.
• Datenschutz und Datenlecks: Vertrauliche Informationen oder Kundendaten gelangen in ein Tool außerhalb der Kontrolle der Organisation. Ein Mitarbeiter könnte etwa Kundendatensätze in ein öffentliches KI-Tool einfügen, das Eingaben speichert, um künftige Modelle zu trainieren. Wer nur genehmigte Tools mit vertraglichen Beschränkungen für Training und Datenspeicherung nutzt, verringert das Risiko.
• Schatten-KI: Beschäftigte nutzen KI-Tools, die die Organisation nicht genehmigt hat oder nicht einsehen kann. In einer Umfrage von Compliance Week aus dem Jahr 2026 gaben 42 % der Teilnehmenden an, dass Beschäftigte KI unkontrolliert nutzen. Mögliche Lösungen sind eine Liste genehmigter Tools in Kombination mit einem schnellen Freigabeprozess für KI-Tools sowie Web-Gateways.

Wichtige Rahmenwerke für KI-Compliance

KI-Compliance stützt sich auf verbindliche KI-Governance-Rahmenwerke wie den EU AI Act sowie auf freiwillige Rahmenwerke wie das NIST AI Risk Management Framework und ISO/IEC 42001, die Organisationen dabei helfen, diese zu erfüllen.

EU AI Act

Der EU AI Act (Verordnung (EU) 2024/1689) verfolgt bei der KI-Regulierung einen risikobasierten Ansatz: Manche Praktiken sind vollständig verboten, Hochrisikosysteme unterliegen strengen Auflagen, während für andere nur geringe Transparenzpflichten gelten. Er gilt für Anbieter und Betreiber überall, „wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird“.

Die Pflichten nach dem EU AI Act hängen von der Rolle einer Organisation ab:

• Wer ein Hochrisiko-KI-System entwickelt oder unter eigenem Namen in Verkehr bringt (Anbieter), muss eine Konformitätsbewertung durchführen, die CE-Kennzeichnung anbringen, das System registrieren, eine technische Dokumentation führen und das System nach der Markteinführung überwachen.
• Wer ein von jemand anderem entwickeltes System nutzt (Betreiber), muss die Anweisungen des Anbieters befolgen, die Aufsicht Personen übertragen, die über „die erforderliche Kompetenz, Ausbildung und Befugnis“ verfügen, Protokolle mindestens sechs Monate lang aufbewahren und Beschäftigte sowie andere von den Entscheidungen des Systems Betroffene informieren.

Vergrößern

Der AI Act wird schrittweise eingeführt. Die Regeln zu verbotenen Praktiken, zur KI-Kompetenz und zu KI mit allgemeinem Verwendungszweck gelten seit 2025, während die Pflichten für Hochrisikosysteme am 2. Dezember 2027 greifen und am 2. August 2028 für KI, die in Produkte integriert ist, die unter das Produktsicherheitsrecht der EU fallen.

EN 18286:2026 zu Qualitätsmanagementsystemen ist die erste europäische Norm, die den AI Act unterstützt. Bei Anbietern, die sie anwenden, wird vermutet, dass sie die Anforderung des AI Act an das Qualitätsmanagement erfüllen.

NIST AI Risk Management Framework

Das im Januar 2023 veröffentlichte NIST AI RMF (Risk Management Framework) ist ein freiwilliges US-Rahmenwerk, das auf vier Funktionen aufbaut: Govern, Map, Measure und Manage.

Sein im Juli 2024 veröffentlichtes Generative AI Profile wendet das Rahmenwerk auf die Risiken generativer KI an.

ISO/IEC 42001

ISO/IEC 42001 ist die internationale Norm für KI-Managementsysteme und umfasst die Richtlinien, Rollen und Prozesse, die eine verantwortungsvolle Entwicklung und Nutzung von KI steuern. Die Zertifizierung ist freiwillig und erfolgt durch unabhängige Zertifizierungsstellen, nicht durch die ISO selbst.

Ein Zertifikat bezieht sich auf das Managementsystem der Organisation, nicht auf ein bestimmtes KI-Produkt.

US-amerikanische und branchenspezifische Vorschriften für KI

In den USA gibt es kein einheitliches Bundesgesetz zu KI. Vorschriften stammen von Städten und Bundesstaaten sowie aus bestehenden Gesetzen und Verordnungen, die auf KI anwendbar sind.

So regelt etwa Colorados SB26-189, das am 1. Januar 2027 in Kraft tritt, Technologien für automatisierte Entscheidungsfindung, und Datenschutzgesetze wie der California Consumer Privacy Act (CCPA) oder HIPAA gelten immer dann, wenn KI geschützte Daten verarbeitet.

So bauen Sie ein KI-Compliance-Programm auf

Der Aufbau eines KI-Compliance-Programms umfasst sechs Schritte: Ihre KI-Systeme inventarisieren, sie nach Risiko klassifizieren, Kontrollen den geltenden Regeln zuordnen, Verantwortliche benennen, jedes System dokumentieren und es mit Aufzeichnungen überwachen, die ein Prüfer kontrollieren kann.

Vergrößern

Jeder der folgenden Schritte endet mit dem Dokument, das er hervorbringt:

1. Alle KI-Systeme inventarisieren. Listen Sie die Systeme auf, die Ihre Organisation entwickelt, kauft oder nutzt, einschließlich KI-Funktionen in bestehender Software und Tools, die Beschäftigte ohne Genehmigung eingeführt haben. Halten Sie fest, was jedes System tut, wer es nutzt und mit welchen Daten es in Berührung kommt.
   Ergebnis: Ein KI-Inventar.
2. Jeden Anwendungsfall nach Risiko klassifizieren. Bewerten Sie jedes System nach dem Schaden, den es verursachen könnte, anhand eines Schemas wie der Risikostufen des EU AI Act. Ein Tool, das Prämien für Lebensversicherungen festlegt, gilt nach dem AI Act beispielsweise als Hochrisikosystem, eines, das interne Besprechungen zusammenfasst, dagegen nicht.
   Ergebnis: Ein Risikoregister.
3. Kontrollen den geltenden Regeln zuordnen. Listen Sie die Gesetze, Standards und internen Richtlinien auf, die für jedes System gelten, sowie die Kontrolle, die jede Compliance-Anforderung erfüllt. Eine dokumentierte menschliche Prüfung trägt beispielsweise dazu bei, die Anforderungen des EU AI Act an die menschliche Aufsicht über Hochrisikosysteme zu erfüllen und der Forderung des NIST AI RMF nach dokumentierten Prozessen für die menschliche Aufsicht nachzukommen.
   Ergebnis: Eine Kontrollmatrix.
4. Verantwortliche und Punkte für menschliche Aufsicht festlegen. Benennen Sie für jedes System eine verantwortliche Person und legen Sie fest, an welcher Stelle ein Mensch die Ausgaben prüft. So verantworten beispielsweise Rechts- und Compliance-Abteilung die Pflichten, das Sicherheitsteam die technischen Kontrollen und die Fachbereiche ihre Anwendungsfälle, während eine Führungskraft die Gesamtverantwortung trägt. Sorgen Sie dafür, dass die Menschen in der gesamten Organisation informiert sind, und richten Sie klare Kommunikationswege ein.
   Ergebnis: Benannte Verantwortliche für jedes System.
5. Jedes System dokumentieren. Halten Sie für jedes System Zweck, Trainingsdaten, Tests und bekannte Einschränkungen in Formaten wie Model Cards und Folgenabschätzungen fest. Anbieter von Hochrisikosystemen müssen zudem die technische Dokumentation gemäß Anhang IV des EU AI Act erstellen.
   Ergebnis: Eine Systemdokumentation.
6. Überwachen, protokollieren und Nachweise aufbewahren. Gestalten Sie Protokolle von Anfang an als Audit-Nachweise, die zeigen, was ein System getan und wer es geprüft hat. Der EU AI Act verlangt, dass Hochrisikosysteme Ereignisse während ihres gesamten Lebenszyklus automatisch aufzeichnen. Ein Audit-Trail sollte Folgendes erfassen:
   • Das verwendete Modell und seine Version
   • Eingaben und Ausgaben oder eine festgelegte Stichprobe davon
   • Trainings- oder Fine-Tuning-Daten
   • Punkte der menschlichen Prüfung und deren Ergebnisse
   • Aktionen, die ein Agent ausgeführt hat, und die dabei genutzten Berechtigungen
   • Wie lange jede Aufzeichnung aufbewahrt wird

Ergebnis: Überwachungsaufzeichnungen und ein Audit-Trail.

Spezialisierte KI-Compliance-Tools wie IBM watsonx.governance und OneTrust AI Governance können Teile dieses Programms übernehmen, darunter das KI-Inventar, Risikobewertungen anhand des EU AI Act und die Dokumentation.

So genehmigen Sie KI-Tools für Beschäftigte

Prüfen Sie vor der Genehmigung eines KI-Tools vier Punkte:

• Datenzugriff: Welche Dateien, Systeme und verbundenen Wissensdatenbanken das Tool lesen kann und ob diese personenbezogene Daten enthalten, die es offenlegen könnte.
• Training mit Eingaben: Ob der Anbieter Prompts, Dateien oder Ausgaben zum Trainieren seiner Modelle verwendet und ob Ihr Vertrag mit dem Anbieter dies untersagt.
• Aufbewahrung: Wie lange der Anbieter Prompts, Dateien und Unterhaltungsverläufe speichert und ob Sie diese Dauer verkürzen können.
• Hosting und Übermittlungen: Wo der Anbieter Daten speichert und verarbeitet, einschließlich Übermittlungen außerhalb Ihrer Region.

Compliance-Kontrollen für KI-Agenten

KI-Agenten benötigen mehr Kontrollen als Chat-Tools, weil sie ihre Schritte selbst festlegen und über gewährte Tools und Berechtigungen handeln. Drei Kontrollen halten sie in Schach:

• Zugriff nach dem Least-Privilege-Prinzip: Geben Sie einem Agenten nur die Tools und Berechtigungen, die seine Aufgabe erfordert. Excessive Agency, also der Fall, dass ein Agent mehr tun kann, als seine Aufgabe erfordert, ist laut den OWASP Top 10 for LLM Applications 2026 eines der größten Sicherheitsrisiken.
• Ein Protokoll jeder Aktion: Erfassen Sie jeden Tool-Aufruf, die abgerufenen Daten und die genutzten Berechtigungen, um nachzuvollziehen, was ein Agent getan hat und für wen.
• Menschliche Freigabe für folgenreiche Aktionen: Lassen Sie Schritte von einer Person bestätigen, die Daten außerhalb der Organisation senden, Geld bewegen oder sich nicht rückgängig machen lassen.

Wie KI in der Compliance-Arbeit eingesetzt wird

Compliance- und Risikomanagement-Teams nutzen KI, um Kontrollen zu überwachen, Risiken zu bewerten, regulatorische Änderungen zu verfolgen, Dokumente zu prüfen und Warnmeldungen zu Finanzkriminalität vorzusortieren.

In einer Umfrage von Compliance Week aus dem Jahr 2026 unter 193 Führungskräften aus Compliance, Ethik, Risikomanagement und Audit gaben mehr als 83 % an, KI zu nutzen, und fast 40 % sagten, ihre Unternehmen hätten sie für Risikobewertung und -überwachung eingeführt.

Häufige KI-Anwendungsfälle in der Compliance sind:

• Kontinuierliche Compliance-Überwachung und Nachweiserfassung: KI führt Prüfungen durch und sammelt Nachweise für deren Wirksamkeit (z. B. überfällige Sicherheitsinspektionen von Anlagen in einem Werk).
• Risikobewertung und Priorisierung: KI ordnet Geschäftsbereiche oder Dritte nach Risiko (z. B. Lieferanten mit neuen Sanktions- oder Prozessrisiken).
• Überwachung regulatorischer Änderungen: KI verfolgt Veröffentlichungen von Aufsichtsbehörden und fasst Änderungen zusammen (z. B. überarbeitete Leitlinien zur Korruptionsbekämpfung, die die Geschenkgrenze in der Spesenrichtlinie senken).
• Prüfung von Dokumenten und Richtlinien: KI gleicht Verträge und Richtlinien mit Anforderungen ab (z. B. Lieferantenverträge ohne Auditrechtsklausel).
• Screening auf Finanzkriminalität: KI sortiert Warnmeldungen aus der Transaktionsüberwachung und Kundenprüfung vor (z. B. Namenstreffer auf Sanktionslisten, die sich als eine andere Person herausstellen).

Für KI im Compliance-Einsatz gilt dieselbe Governance wie für andere KI-Systeme. Die britische Financial Conduct Authority erklärte im Oktober 2026: „Unternehmen sind für die KI-Systeme verantwortlich, die sie entwickeln, beschaffen und einsetzen – einschließlich ihrer Ausgaben und Ergebnisse“, und warnte davor, die menschliche Prüfung zu „einer ‚Abhak‘-Übung“ zu machen.

In der Praxis können KI-Tools Routineaufgaben wie das Sammeln von Nachweisen oder das Kennzeichnen regulatorischer Änderungen übernehmen, nicht aber Entscheidungen mit rechtlicher Verantwortung, etwa ob verdächtige Aktivitäten gemeldet werden oder wie Richtlinien gestaltet werden sollen.

Datenkontrollen in Perplexity Enterprise

Perplexity Enterprise bietet Administratoren Kontrollmöglichkeiten für das Training mit Eingaben, den Datenzugriff und die Aufbewahrung:

• Kein Training mit Ihren Daten: Perplexity verwendet Unternehmensinhalte niemals zum Training seiner KI-Modelle, und die Vereinbarungen mit externen Modellanbietern untersagen diesen, damit zu trainieren.
• Zugriffskontrolle: SSO, SCIM und rollenbasierte Berechtigungen legen fest, wer Dateien hochladen und Antworten teilen darf.
• Aufbewahrung und Audit-Logs: An Sitzungen angehängte Dateien werden nach sieben Tagen gelöscht. Organisationen mit 50 oder mehr Plätzen oder mindestens einem Platz für Enterprise Max können zudem die Aufbewahrung von Sitzungen festlegen und erhalten Audit-Logs zur Nutzeraktivität.
• Zertifizierungen: Perplexity ist nach SOC 2 Type II zertifiziert, erfüllt die DSGVO und erlaubt die Arbeit mit geschützten Gesundheitsinformationen nur auf Grundlage eines unterzeichneten Business Associate Agreements.

Wenn Sie eine Einführung in diese Kontrollen wünschen, kontaktieren Sie unser Vertriebsteam, um eine persönliche Demo zu vereinbaren.

Häufig gestellte Fragen

Was ist EU-KI-Compliance?

EU-KI-Compliance bedeutet, die Pflichten aus dem EU AI Act für Ihre Rolle (Anbieter oder Betreiber) und für die Risikostufe jedes Systems zu erfüllen. Die Pflichten greifen schrittweise, wobei die Pflichten für Hochrisiko-Systeme ab dem 2. Dezember 2027 gelten.

Was ist eine HIPAA-konforme KI?

Eine HIPAA-konforme KI ist ein Tool, das im Rahmen der HIPAA-Schutzmaßnahmen für geschützte Gesundheitsinformationen eingesetzt wird. Wenn der Anbieter diese Informationen speichert oder verarbeitet, verlangt das US-Gesundheitsministerium (Department of Health and Human Services) zuvor ein unterzeichnetes Business Associate Agreement.

Gilt der EU AI Act für US-Unternehmen?

Ja. Der AI Act erfasst US-Unternehmen, die KI-Systeme auf dem EU-Markt in Verkehr bringen, sowie Unternehmen, deren KI-Ausgaben in der EU verwendet werden.

Kann KI Compliance-Beauftragte ersetzen?

KI kann Compliance-Beauftragte nicht ersetzen. Organisationen sind für ihre Arbeit verantwortlich, und KI-Technologien können Fehler machen, sodass Compliance-Beauftragte KI-Ausgaben weiterhin sorgfältig prüfen und freigeben müssen.