Verbotene KI-Praktiken: Was Ihr Unternehmen nicht mehr tun darf

Die roten Linien der künstlichen Intelligenz

Noch bevor Hochrisiko-Systeme, Transparenzpflichten oder KI-Kompetenz behandelt werden, zieht die Europäische Verordnung über künstliche Intelligenz (Verordnung 2024/1689) absolute rote Linien. Artikel 5 listet die KI-Praktiken auf, die in der Europäischen Union schlicht verboten sind.

Diese Verbote gelten seit dem 1. Februar 2025. Es handelt sich nicht um zukünftige Fristen: Sie gelten jetzt.

Artikel 5, Absatz 1 — Règlement (UE) 2024/1689

Folgende Praktiken im Bereich der künstlichen Intelligenz sind verboten: […] das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das unterschwellige Techniken […] oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Wirkung, das Verhalten einer Person wesentlich zu beeinflussen […] in einer Weise, die dieser Person oder einer anderen Person einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.

Die sechs Kategorien verbotener Praktiken

1. Social Scoring

Der AI Act verbietet Systeme, die natürliche Personen auf der Grundlage ihres Sozialverhaltens oder persönlicher Merkmale bewerten oder klassifizieren, wenn diese Bewertung zu einer nachteiligen Behandlung in Kontexten führt, die mit der Datenerhebung in keinem Zusammenhang stehen, oder die unverhältnismäßig zum betreffenden Verhalten ist.

Achtung: Anders als oft angenommen richtet sich dieses Verbot nicht nur an Regierungen. Es gilt auch für private Akteure. Ein Unternehmen, das einen „Zuverlässigkeits-Score” seiner Kunden erstellt, indem es Zahlungsdaten, Online-Verhalten und Kundenservice-Interaktionen zusammenführt — und diesen Score nutzt, um Dienstleistungen zu verweigern — würde gegen die Verordnung verstoßen.

Konkrete Beispiele nun illegaler Praktiken:

• Ein Versicherer, der Social-Media-Daten aggregiert, um das „verhaltensbezogene Risikoprofil” eines Kunden zu bewerten
• Ein Vermieter, der einen Score aus Zahlungshistorie, Online-Aktivität und Standortdaten nutzt, um Mieter zu filtern
• Ein Arbeitgeber, der einen automatisierten „Engagement-Score” erstellt, der den Zugang zu Zusatzleistungen bestimmt
• Ein Unternehmen wie die Schufa, das Bonitätsdaten aus verschiedenen Kontexten aggregiert und den Score zur Verweigerung von Dienstleistungen jenseits der Kreditvergabe nutzt

2. Unterschwellige Manipulation und täuschende Techniken

Jedes KI-System, das darauf ausgelegt ist, das Verhalten einer Person ohne deren Wissen zu verändern, ist verboten. Dies umfasst unterschwellige Techniken (für das Bewusstsein nicht wahrnehmbare Reize) und absichtlich manipulative oder täuschende Techniken.

Beispiele:

• Ein System, das eine E-Commerce-Oberfläche anpasst, um von der KI identifizierte kognitive Verzerrungen auszunutzen (KI-gestützte Dark Patterns)
• Ein automatisiertes Verhandlungstool, das Mikro-Expressionen in Echtzeit analysiert, um den Gesprächspartner zu manipulieren
• Ein dynamisches Preisgestaltungssystem, das den erkannten emotionalen Zustand des Nutzers ausnutzt

3. Ausnutzung von Schwachstellen

KI-Systeme, die Schwachstellen aufgrund von Alter, Behinderung oder sozialer oder wirtschaftlicher Situation ausnutzen, um das Verhalten einer Person wesentlich zu beeinflussen, sind verboten.

Beispiele:

• Ein kommerzieller Chatbot, der gezielt ältere Menschen mit an ihre kognitiven Schwachstellen angepassten Überzeugungstechniken anspricht
• Ein gezieltes Werbesystem, das sich an überschuldete Personen richtet, um ihnen Verbraucherkredite anzubieten
• Ein Online-Spiel, das KI nutzt, um süchtig machende Verhaltensweisen bei Minderjährigen zu erkennen und auszunutzen

4. Biometrische Echtzeit-Identifizierung in öffentlichen Räumen

Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken ist verboten, mit drei streng eingegrenzten Ausnahmen:

• Die gezielte Suche nach Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung
• Die Verhinderung einer konkreten und unmittelbaren terroristischen Bedrohung
• Die Lokalisierung oder Identifizierung einer Person, die verdächtigt wird, bestimmte schwere Straftaten begangen zu haben

Selbst in diesen Fällen ist eine vorherige richterliche Genehmigung erforderlich, und die Nutzung unterliegt strengen Schutzmaßnahmen.

5. Emotionserkennung am Arbeitsplatz und in der Bildung

Artikel 5, Absatz 1, Buchstabe f — Règlement (UE) 2024/1689

[Verboten ist] das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, um Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen abzuleiten, es sei denn, die Verwendung des KI-Systems soll aus medizinischen Gründen oder aus Sicherheitsgründen eingeführt oder in Verkehr gebracht werden.

Dieses Verbot ist besonders relevant für Unternehmen. Es umfasst:

• Emotionsanalyse-Tools bei Videokonferenzen: Systeme, die die Gesichtsausdrücke der Teilnehmer während Besprechungen analysieren
• Emotionale Überwachungssysteme: Kameras oder Software, die Stress, Frustration oder mangelndes Engagement bei Mitarbeitenden erkennen
• Emotionsanalyse bei Schulungen: Tools, die den emotionalen Zustand der Lernenden messen, um Inhalte anzupassen

Die einzigen Ausnahmen: medizinische Anwendungen (z. B. Schmerzerkennung bei nicht kommunikationsfähigen Patienten) oder Sicherheitszwecke (z. B. Erkennung von Müdigkeit bei Berufskraftfahrern).

6. Aufbau von Gesichtsdatenbanken durch Scraping

Der AI Act verbietet die Erstellung oder Erweiterung von Gesichtserkennungsdatenbanken durch die ungezielte Sammlung von Bildern aus dem Internet oder von Videoüberwachungsaufnahmen. Dies ist eine direkte Reaktion auf die Praktiken von Unternehmen wie Clearview AI, das eine Datenbank mit mehreren Milliarden Gesichtern durch Abgreifen öffentlicher Fotos aufgebaut hatte.

📄KI-Risiken im Unternehmen: effektiv identifizieren und managen→

So prüfen Sie, ob Ihr Unternehmen gegen die Verordnung verstößt

Die meisten Unternehmen denken spontan, dass diese Verbote sie nicht betreffen. Aber bestimmte Praktiken, insbesondere im Personalwesen und Marketing, können gefährlich nahe daran sein.

Prüf-Checkliste

Stellen Sie sich diese Fragen:

• Scoring und Klassifizierung: Vergeben Sie automatisierte Scores an Personen (Kunden, Mitarbeitende, Bewerber), die Daten aus verschiedenen Kontexten kombinieren?
• Überzeugung und Personalisierung: Nutzen Ihre Empfehlungs- oder Marketingsysteme identifizierte Schwachstellen aus (Alter, finanzielle Situation, emotionaler Zustand)?
• Emotionale Überwachung: Verwenden Sie Tools, die Gesichtsausdrücke, Stimme oder Verhalten Ihrer Mitarbeitenden zu anderen als medizinischen oder sicherheitsrelevanten Zwecken analysieren?
• Biometrie: Nutzen Sie Gesichtserkennung in Ihren Räumlichkeiten? Wenn ja, unter welchen Bedingungen?
• Gesichtsdaten: Haben Ihre KI-Anbieter ihre Trainingsdatenbanken durch Scraping von Online-Bildern aufgebaut?

Wenn die Antwort auf eine dieser Fragen „ja” oder „möglicherweise” lautet, ist eine gründliche Analyse erforderlich.

Die Rolle der Schulung

Das Wissen der Mitarbeitenden über diese Verbote ist unverzichtbar. Die KI-Kompetenzpflicht (Artikel 4) schließt notwendigerweise das Verständnis dessen ein, was verboten ist. Ein Mitarbeiter, der nicht weiß, dass die Verwendung von Emotionserkennung im beruflichen Kontext illegal ist, kann einen nicht konformen Einsatz nicht melden.

Die Schulung der Teams zu diesen Verboten ist keine Option — sie ist eine Voraussetzung für jede verantwortungsvolle KI-Governance. Die BfDI und die zuständigen nationalen Behörden in Deutschland betonen, dass Unternehmen ihre Belegschaft befähigen müssen, nicht konforme KI-Nutzungen zu erkennen und zu melden.

📄AI Act Artikel 4: die KI-Schulungspflicht erklärt→

Die Sanktionen

Verbotene Praktiken unterliegen der höchsten Sanktionsstufe des AI Act: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes, wobei der höhere Betrag maßgeblich ist. Dies sind die höchsten Bußgelder, die jemals in einer europäischen Digitalregulierung vorgesehen wurden — höher als die der DSGVO. Bei Verstößen, die auch personenbezogene Daten betreffen, können DSGVO-Sanktionen parallel greifen.