Der AI Act stuft KI-Systeme in 4 Risikoniveaus ein. Recruiting, Kredit, Gesundheit: Erfahren Sie, ob Ihre KI-Tools als hochriskant gelten.
Die Europäische Verordnung über künstliche Intelligenz (Verordnung 2024/1689) basiert auf einem grundlegenden Prinzip: Die Pflichten sind proportional zum Risikoniveau. Je stärker ein KI-System das Leben, die Gesundheit, die Grundrechte oder die Sicherheit von Personen beeinträchtigen kann, desto strenger sind die Anforderungen.
Dieser abgestufte Ansatz unterscheidet den AI Act von binäreren Regulierungen. Er bremst die Innovation bei risikoarmen Anwendungen nicht, reguliert aber die sensibelsten Einsatzgebiete konsequent.
Erwägungsgrund 26 — Règlement (UE) 2024/1689
KI-Systeme, die ein hohes Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen darstellen, sollten strengen Anforderungen unterliegen, bevor sie auf dem Unionsmarkt bereitgestellt werden.
Bestimmte KI-Anwendungen sind schlicht verboten (Artikel 5). Social Scoring, unterschwellige Manipulation, Ausnutzung von Schwachstellen von Personen und biometrische Echtzeit-Identifizierung in öffentlichen Räumen (mit begrenzten Ausnahmen) sind seit dem 1. Februar 2025 untersagt.
Dies ist die Kategorie, die die meisten Unternehmen betrifft. Hochrisiko-KI-Systeme sind in den Artikeln 6 und 7 definiert und in Anhang III der Verordnung detailliert aufgelistet. Die damit verbundenen Pflichten sind umfangreich: Konformitätsbewertung, technische Dokumentation, menschliche Aufsicht, Risikomanagement, Datengovernance.
Systeme wie Chatbots, Content-Generatoren (Deepfakes, Texte) oder Emotionserkennungssysteme, die nicht unter das Verbot fallen, unterliegen Transparenzpflichten. Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren oder dass Inhalte von einer KI generiert wurden.
Die große Mehrheit der KI-Systeme: Spam-Filter, Produktempfehlungen, Rechtschreibprüfungen. Der AI Act schreibt keine spezifischen Einschränkungen vor, wobei die Einhaltung von Artikel 4 zur KI-Kompetenz weiterhin für alle Betreiber gilt.
Anhang III der Verordnung listet die Bereiche auf, in denen ein KI-System als hochriskant gilt. Hier sind die konkreten Fälle, die für die meisten Unternehmen relevant sind.
Dies ist der Bereich, der die meisten Unternehmen überrascht. Anhang III, Punkt 4 erfasst KI-Systeme, die eingesetzt werden für:
Anhang III, Punkt 4 — Règlement (UE) 2024/1689
Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, insbesondere für die Einstellung und Auswahl von Personen, für die Entscheidungsfindung über die Bedingungen des Arbeitsverhältnisses, Beförderung und Kündigung sowie für die Aufgabenzuweisung, Überwachung oder Bewertung von Personen in arbeitsvertraglichen Beziehungen.
Konkret gelten als hochriskant:
Wenn Ihre Personalabteilung ein automatisiertes Lebenslauf-Sortiertool oder einen Recruiting-Chatbot nutzt, handelt es sich wahrscheinlich um ein Hochrisiko-System im Sinne des AI Act.
📄KI für HR: vollständiger Leitfaden zur Transformation der Personalarbeit→Anhang III, Punkt 5(b) erfasst KI-Systeme, die eingesetzt werden für:
Jede Bank oder Versicherung, die ein KI-Modell zur Entscheidung über Kreditvergabe oder -ablehnung oder zur Festsetzung einer Versicherungsprämie einsetzt, ist betroffen. In Deutschland ist das Schufa-Scoring ein besonders relevantes Beispiel: KI-gestützte Bonitätsbewertungen fallen direkt unter die Hochrisiko-Kategorie. Ebenso sind Kreditentscheidungssysteme der Deutschen Bank oder anderer BaFin-regulierter Institute betroffen. Betrugserkennung ist ausdrücklich vom Hochrisiko ausgenommen — aber Vorsicht: Scoring-Systeme, die über die reine Betrugserkennung hinausgehen, können darunter fallen.
Anhang III, Punkt 1 umfasst KI-Systeme, die Medizinprodukte oder Zubehör zu Medizinprodukten im Sinne der europäischen Medizinprodukteverordnungen sind. Dies umfasst:
Anhang III, Punkt 3 erfasst KI-Systeme, die eingesetzt werden für:
Anhang III, Punkte 6, 7 und 8 umfassen:
Anhang III, Punkt 2 umfasst Sicherheitskomponenten bei der Verwaltung und dem Betrieb kritischer digitaler Infrastruktur, des Straßenverkehrs und der Versorgung mit Wasser, Gas, Heizung und Strom.
Anhang III, Punkt 7 umfasst Systeme zur Bewertung des Risikos illegaler Migration, zur Prüfung von Visa- und Aufenthaltsanträgen sowie zur Identifizierung von Personen im Migrationskontext.
Wenn eines oder mehrere Ihrer KI-Systeme als hochriskant eingestuft werden, verlangt die Verordnung Folgendes:
Vor der Marktbereitstellung oder Inbetriebnahme muss das System einer Konformitätsbewertung unterzogen werden, die Folgendes abdeckt:
Unternehmen, die Hochrisiko-KI-Systeme nutzen (Betreiber), haben eigene Pflichten:
Der erste Schritt zur Konformität ist zu wissen, welche KI-Systeme Sie genau nutzen und in welche Kategorie sie fallen.
Listen Sie alle Tools mit KI-Komponente in Ihrer Organisation auf. Vergessen Sie nicht:
Bestimmen Sie für jedes identifizierte Tool:
Vergleichen Sie für jedes Hochrisiko-System Ihre aktuelle Situation mit den Anforderungen der Artikel 9 bis 15 und des Artikels 26. Identifizieren Sie die Lücken und priorisieren Sie die Korrekturmaßnahmen.
Erstellen Sie für jedes System eine Konformitätsakte mit Klassifizierung, technischer Dokumentation, durchgeführten Bewertungen und implementierten Kontrollmaßnahmen. Diese strukturierte Dokumentation wird Ihre Referenz im Falle eines Audits sein.
Für jedes Hochrisiko-System müssen die für die menschliche Aufsicht zuständigen Personen über die erforderlichen Kompetenzen verfügen (Artikel 14). Dies knüpft an die Pflicht aus Artikel 4 zur KI-Kompetenz an, jedoch mit höheren Anforderungen: Diese Personen müssen die spezifischen Fähigkeiten und Grenzen des von ihnen überwachten Systems verstehen.
KI-Modelle mit allgemeinem Verwendungszweck (wie GPT-4, Claude, Gemini) unterliegen spezifischen Bestimmungen (Artikel 51 bis 56). Wenn ein solches Modell in ein als hochriskant eingestuftes KI-System integriert wird, gelten die Hochrisiko-Pflichten für das Gesamtsystem — selbst wenn das zugrunde liegende Modell an sich ein universelles Werkzeug ist.
Das bedeutet: Die Verwendung von ChatGPT zur Beantwortung von Bewerberanfragen in einem Recruiting-Prozess kann ein „universelles” Tool in eine Komponente eines Hochrisiko-Systems verwandeln.
Ce que ça implique pour vous
Die Klassifizierung Ihrer KI-Systeme ist keine theoretische Übung — sie ist der Grundstein Ihrer AI-Act-Konformität. Wenn Sie KI im Recruiting, in der Leistungsbewertung, im Kreditscoring (z. B. Schufa-ähnliche Systeme) oder in der Diagnosehilfe einsetzen, betreiben Sie höchstwahrscheinlich Hochrisiko-Systeme. Beachten Sie dabei auch die Anforderungen der DSGVO, die bei der Verarbeitung personenbezogener Daten durch KI-Systeme parallel gelten. Jedes betroffene System erfordert eine Konformitätsbewertung, eine technische Dokumentation, eine wirksame menschliche Aufsicht und geschultes Personal zu deren Sicherstellung. Beginnen Sie mit dem Inventar. Heute.