Einhaltung der EU-KI-Verordnung (EU AI Act): Ein praktischer Leitfaden für Unternehmensberatungen

Viele Beratungsteams nutzen KI-Tools für Recherchen, Analysen und Angebote. In manchen Fällen kommt KI auch in sensiblen Bereichen wie der Personalauswahl, der Bonitäts- oder Kreditwürdigkeitsprüfung von Kunden oder bei automatisierten Entscheidungen zum Einsatz.

Verstöße gegen die KI-Verordnung können schwere Folgen haben: Geldbußen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes sowie Haftungsrisiken und Reputationsschäden.

Dieser Leitfaden erklärt die fünf zentralen Governance-Bereiche der KI-Verordnung. Er gibt Ihnen einen Überblick über Ihre aktuellen Pflichten und die Sonderregeln für Hochrisiko-Systeme ab dem 2. Dezember 2027.

Regulatorische Anforderungen auf einen Blick

Was gilt als KI mit begrenztem vs. hohem Risiko?

Bestimmen Sie zunächst Ihre Risikokategorie.

🟡 KI-Anwendungen mit begrenztem Risiko unterstützen bei Recherche, Entwurf, Texterstellung oder Inhaltserstellung, wobei der Mensch die Entscheidungsgewalt behält und die Ergebnisse vor der Verwendung oder Übergabe prüft.

🔴 Hochrisiko-KI beeinflusst wichtige Entscheidungen über Menschen maßgeblich, zum Beispiel:

• Personalentscheidungen wie Einstellungen, Beförderungen oder Leistungsbeurteilungen
• Zugang zu Finanz- oder Versorgungsleistungen wie Kreditprüfungen oder Versicherungsabschlüsse

Wenn Sie unsicher sind, ob eine Anwendung als Hochrisiko gilt, hilft die Klassifizierung nach Anhang III der KI-Verordnung. Im Zweifel sollten Sie ein System strenger einstufen: Das spart im Ernstfall hohe Bußgelder.

Inhaltsverzeichnis: Zentrale Governance-Bereiche

• 1. 📋 Governance und Rechenschaftspflicht
• 2. 🏷️ Systemrollen und Klassifizierungen
• 3. 🔗 Lieferkettenintegrität und Dateninfrastruktur
• 4. 👁️ Transparenz und Offenlegung
• 5. 📈 Überwachung im laufenden Betrieb (Post-Market-Monitoring)

Die 5 Governance-Bereiche: Anforderungen nach Risikokategorie

Die KI-Verordnung legt Anforderungen in fünf zentralen Governance-Bereichen fest. Während grundlegende Pflichten bereits heute gelten, greifen die erweiterten Regeln für Hochrisiko-Anwendungen ab dem 2. Dezember 2027.

1. 📋 Governance und Rechenschaftspflicht

Hier geht es um klare Zuständigkeiten, Schulung der Mitarbeitenden und Risikoüberwachung.

🟡 Anwendungen mit begrenztem Risiko

Sicherstellung der KI-Kompetenz:

• Stellen Sie sicher, dass Beschäftigte, die KI nutzen, über eine ausreichende KI-Kompetenz verfügen, die ihrer Rolle und dem Nutzungskontext angemessen ist.
• Eine formelle Zertifizierung ist nicht nötig, aber das Team sollte Grenzen, Halluzinationsrisiken und die nötige Kontrolle verstehen.

Schriftliche Richtlinie:

• Legen Sie in einer KI-Richtlinie fest, welche Tools und Daten erlaubt sind und was eine sichere Nutzung ausmacht.

Dokumentation im VVT:

• Tragen Sie jedes neue KI-Tool sofort in Ihr Verzeichnis von Verarbeitungstätigkeiten (VVT) ein. Halten Sie dort Name, Anbieter, verarbeitete Datenkategorien und die Rechtsgrundlage fest.

Datenschutz-Folgenabschätzung (DSFA):

• Verarbeitet ein Tool besondere Kategorien personenbezogener Daten (z. B. Gesundheit oder Biometrie) oder überwacht es Personen systematisch, ist eine DSFA nötig. Diese prüft Datenflüsse, Speichersicherheit und Zugriffsrechte des Anbieters.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 4 und 26; DSGVO Artikel 5 und 30.

🔴 Hochrisiko-Anwendungen (durchsetzbar ab 2. Dez. 2027)

Zusätzlich zu den Anforderungen für begrenztes Risiko gilt Folgendes:

Umfassende DSFA und Folgenabschätzung für Grundrechte (FRIA):

• Führen Sie eine detaillierte DSFA zu Datenumgang, Sicherheit und Risiken durch.
• Erstellen Sie eine Grundrechte-Folgenabschätzung (FRIA). Sie bewertet Fairness, Nichtdiskriminierung und Transparenz sowie die menschliche Kontrolle automatisierter Entscheidungen.

Operative Überwachung und Dokumentation:

• Überwachen Sie Hochrisiko-Systeme im laufenden Betrieb, um Leistungsprobleme früh zu erkennen und Benachteiligungen zu vermeiden.
• Halten Sie Systemlogik, Trainingsdaten, Eingaben, Leistungskennzahlen und bekannte Grenzen in einer klaren technischen Dokumentation fest.

Menschliche Aufsicht:

• Legen Sie verbindliche Überprüfungsregeln fest, damit das System in sensiblen Bereichen keine Entscheidungen alleine trifft.
• Etablieren Sie klare Prozesse, die es Einzelpersonen ermöglichen, eine manuelle Überprüfung oder Korrektur sie betreffender KI-generierter Ergebnisse anzufordern.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 4, 6, 13, 14, 26 und 27; DSGVO Artikel 5, 22 und 30.

2. 🏷️ Systemrollen und Klassifizierungen

Dieser Bereich regelt, wie Sie KI-Systeme kategorisieren und verwalten.

🟡 Anwendungen mit begrenztem Risiko

Ausschluss verbotener KI-Praktiken (Art. 5 KI-VO):

• Achten Sie darauf, dass kein Tool emotionale Zustände, psychologische Merkmale oder Verhaltensweisen von Beschäftigten analysiert.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 5.

🔴 Hochrisiko-Anwendungen (durchsetzbar ab 2. Dez. 2027)

Zusätzlich zu den Anforderungen für begrenztes Risiko gilt Folgendes:

Zentrales Register und Klassifizierung:

• Führen Sie als Betreiber ein zentrales Verzeichnis aller Hochrisiko-KI-Systeme mit folgenden Angaben:
  • Name des Tools und Anbieter
  • Welche Beschäftigten Zugriff darauf haben und zu welchen Zwecken
  • Welche Entscheidungen das System beeinflusst (z. B. Einstellungen, Bonitäts- oder Kreditwürdigkeitsprüfungen von Kunden)
  • Aktueller Klassifizierungsstatus

Benachrichtigung der Beschäftigten:

• Informieren Sie betroffene Beschäftigte und Arbeitnehmervertreter (wie Betriebsräte) schriftlich, bevor Sie ein Hochrisiko-System einsetzen, das Personalauswahl, Leistungsbeurteilung oder Personalmanagement betrifft.
• Die Information sollte den Zweck des Systems, dessen Nutzung und die verarbeiteten Daten klar beschreiben.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 5, 6, 13 und 26.

3. 🔗 Lieferkettenintegrität und Dateninfrastruktur

Dieser Bereich umfasst Ihre Datenflüsse, bestehende Lieferantenvereinbarungen und den Schutz Ihrer Daten.

🟡 Anwendungen mit begrenztem Risiko

Enterprise-Konten mit Auftragsverarbeitungsverträgen (AVVs):

• Nutzen Sie für die Verarbeitung vertraulicher Daten stets Enterprise-Konten mit schriftlichen AVVs.

Bestätigung des Trainings-Opt-outs:

• Lassen Sie sich vom Anbieter schriftlich bestätigen, dass vertrauliche Unternehmensdaten nicht für das Training oder die Optimierung von KI-Modellen genutzt werden.

Überprüfung des Datenspeicherorts (Datenresidenz):

• Stellen Sie sicher, dass personenbezogene Daten innerhalb des EWR verbleiben oder für Datenübermittlungen in Drittländer Standardvertragsklauseln und Transfer Impact Assessments (TIAs) vorliegen.

Grundlegende Sicherheitsmaßnahmen:

• Stellen Sie sicher, dass der Betreiber Single Sign-On (SSO), also eine zentrale Einmalanmeldung für Mitarbeiter, oder verwaltete Authentifizierung für den Zugriff auf KI-Tools nutzt.
• Bestätigen Sie, dass Daten bei der Übertragung zum Anbieter verschlüsselt werden.
• Setzen Sie automatisierte Filter zum Schutz vor Datenabfluss (Data Loss Prevention, DLP) oder manuelle Prüfungen ein, um zu verhindern, dass Beschäftigte vertrauliche Daten in öffentliche KI-Tools einfügen.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 26; DSGVO Artikel 28, 32 und 44–49.

🔴 Hochrisiko-Anwendungen (durchsetzbar ab 2. Dez. 2027)

Zusätzlich zu den Anforderungen für begrenztes Risiko gilt Folgendes:

Erweiterte AVVs:

• Stellen Sie sicher, dass AVVs die speziellen Risiken von Hochrisiko-Systemen abdecken, darunter:
  • Fristen zur Datenspeicherung
  • Verfahren bei Datenschutzverletzungen
  • Haftung des Anbieters bei diskriminierenden Ergebnissen oder wesentlichen Fehlbeurteilungen einer Person

Technische Sicherheit für sensible Daten:

• Verarbeitet das System sensible Daten, verschlüsseln Sie diese im Ruhezustand und behalten Sie die Kontrolle über die Schlüssel.
• Richten Sie eine rollenbasierte Zugriffskontrolle (Role-Based Access Control, RBAC) ein, damit Beschäftigte nur auf diejenigen Daten und KI-Funktionen zugreifen können, die sie für ihre Aufgaben wirklich benötigen.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 6 und 26; DSGVO Artikel 9, 28, 32 und 44–49.

4. 👁️ Transparenz und Offenlegung

Dieser Bereich behandelt, wie Sie den Einsatz von KI gegenüber Kunden, Beschäftigten und von automatisierten Entscheidungen betroffenen Personen kommunizieren.

🟡 Anwendungen mit begrenztem Risiko

Kennzeichnungspflichten für KI-generierte Inhalte:

• Enthält ein Arbeitsergebnis täuschend echte synthetische Medien (z. B. KI-generierte Bilder, Audio- oder Videodateien) oder besteht es aus ungeprüften KI-Texten zu Themen von öffentlichem Interesse, kennzeichnen Sie diese klar durch sichtbare Hinweise bzw. Wasserzeichen (zudem müssen die Tools maschinenlesbare Metadaten einbetten).

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 50.

🔴 Hochrisiko-Anwendungen (durchsetzbar ab 2. Dez. 2027)

Zusätzlich zu den Anforderungen für begrenztes Risiko gilt Folgendes:

Informations- und Erklärungsrechte bei automatisierten Entscheidungen:

• Informieren Sie Personen, wenn automatisierte Systeme weitreichende Entscheidungen über sie treffen oder maßgeblich beeinflussen, und liefern Sie auf Anfrage verständliche Erklärungen zur Systemlogik, den berücksichtigten Daten und Schwellenwerten.

System- und Leistungstransparenz:

• Stellen Sie eine übersichtliche Dokumentation zu Systemgenauigkeit, Fähigkeiten, Grenzen und Leistungskennzahlen für behördliche Prüfungen bereit.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 13, 14, 26, 50 und 86; DSGVO Artikel 13–14 und 22.

5. 📈 Überwachung im laufenden Betrieb (Post-Market-Monitoring)

Dieser Bereich behandelt die Überwachung von Hochrisiko-Systemen nach deren Inbetriebnahme.

🔴 Hochrisiko-Anwendungen (durchsetzbar ab 2. Dez. 2027)

Erweiterte Audit-Protokollierung:

• Richten Sie eine unveränderliche, zeitgestempelte Protokollierung ein und bewahren Sie automatisch erzeugte Protokolle (Logs) für mindestens sechs Monate durch den Betreiber auf, um Folgendes zu erfassen:
  • Benutzeridentität und Rolle
  • Aufgerufenes System und genutzte Funktion
  • Eingabedaten (durch Maskierung oder Pseudonymisierung geschützt)
  • Systemergebnisse und Konfidenzwerte
  • Systemfehler oder Unregelmäßigkeiten
• Führen Sie Nachweise darüber, dass vor der Finalisierung von Entscheidungen eine menschliche Überprüfung stattfindet.

Leistungsüberwachung des Systems:

• Überwachen Sie Systemergebnisse laufend, um Leistungsabfälle, operative Risiken oder unerwartete Resultate frühzeitig zu erkennen.
• Eskalieren Sie auftretende Leistungsprobleme an den Anbieter und bereiten Sie Notfallpläne vor (z. B. manuelle Überprüfung, vorübergehende Aussetzung oder Austausch des Systems).

Notfall- und Eingriffsverfahren (Menschliche Aufsicht):

• Legen Sie dokumentierte Verfahren fest, die es Verantwortlichen ermöglichen, das System bei Fehlfunktionen jederzeit sicher abzuschalten, Ergebnisse manuell zu übersteuern (Override) oder Korrekturen vorzunehmen.

⚖️ Rechtsgrundlage: KI-Verordnung Artikel 12, 14 und 26.

Wie Regulumos Sie unterstützen kann

Die Umsetzung der Vorgaben für begrenzte und hohe Risiken kann komplex sein, besonders für Unternehmen ohne eigene Rechts- oder Compliance-Abteilung.

Regulumos unterstützt Sie hierbei durch eine maßgeschneiderte Infrastruktur, die speziell auf kleine und mittlere Dienstleistungsunternehmen zugeschnitten ist:

• Datenresidenz in der EU: Alle Daten verbleiben innerhalb der EU, wodurch Komplexität und Risiken der Datenübermittlung in Drittländer entfallen.
• Ausschluss von Modelltraining: Die Daten Ihres Unternehmens werden vertraglich und technisch garantiert niemals zum Training künftiger Modelle verwendet.
• Revisionssichere Architektur: Jede Interaktion wird protokolliert, sodass die Einhaltung gesetzlicher Vorgaben bei behördlichen Prüfungen mühelos nachgewiesen werden kann.
• Keine Schatten-KI: Durch die Bereitstellung eines konformen, dedizierten Arbeitsbereichs mit führenden Modellen unterstützt Regulumos Unternehmen dabei, den Einsatz ungeprüfter Verbraucher-Tools für vertrauliche Arbeiten zu vermeiden.

Nehmen Sie Kontakt mit uns auf, um ein unverbindliches Gespräch zu vereinbaren und zu erfahren, wie Regulumos Ihre Compliance-Roadmap unterstützen kann.