Ein Pharmaunternehmen nutzt ChatGPT, um einen Compliance-Bericht zu erstellen. Das Ergebnis liest sich tadellos — inklusive Verweise auf EU-Verordnungen, Studienergebnisse und Fachbegriffe. Erst bei der juristischen Prüfung fällt auf: Zwei der zitierten Verordnungen existieren nicht. Eine Studie wurde einem realen Autor zugeschrieben, der sie nie verfasst hat. Die genannten Grenzwerte sind erfunden.
Das ist keine Fiktion. Solche Fälle treten in Unternehmen täglich auf — meist unbemerkt. Denn das Kernproblem von KI-Halluzinationen ist nicht, dass sie offensichtlich falsch sind. Es ist, dass sie so überzeugend klingen, dass niemand sie hinterfragt.
À retenir
- KI-Halluzinationen entstehen systembedingt — sie sind kein Softwarefehler, sondern eine Eigenschaft von Sprachmodellen
- Besonders riskant: Rechtsaussagen, Quellenangaben, Finanzdaten und aktuelle Informationen
- Systematische Erkennungsmethoden senken das Risiko erheblich — wenn sie in Prozesse eingebettet werden
- Der EU AI Act macht menschliche Aufsicht zur Pflicht — ungeprüfte KI-Outputs sind ein Compliance-Verstoß
- Prävention beginnt bei der Schulung: Mitarbeiter müssen KI-Outputs kritisch bewerten können
Was ist eine KI-Halluzination?
Eine KI-Halluzination liegt vor, wenn ein Sprachmodell Informationen generiert, die faktisch falsch, erfunden oder irreführend sind — aber sprachlich korrekt und plausibel klingen. Der Begriff ist absichtlich metaphorisch gewählt: Wie bei einer menschlichen Halluzination nimmt das System etwas wahr (bzw. erzeugt etwas), das nicht der Realität entspricht.
Wichtig ist die Abgrenzung: Eine KI-Halluzination ist kein Tippfehler und kein veralteter Datensatz. Es ist eine strukturelle Eigenschaft der Technologie. Große Sprachmodelle (LLMs) wie GPT-4, Claude oder Gemini berechnen statistisch wahrscheinliche Wortfolgen — sie verstehen nicht, was „wahr” oder „falsch” bedeutet.
3–27 %
der Antworten aktueller LLMs enthalten faktische Fehler — abhängig von Modell, Aufgabentyp und Komplexität
Source : Vectara Hallucination Index 2025
Warum halluzinieren KI-Systeme?
Das Grundproblem: Statistik statt Verständnis
Ein LLM ist im Kern ein Textvorhersagesystem. Es wurde auf Milliarden von Texten trainiert und hat gelernt, welche Wortfolgen in welchem Kontext wahrscheinlich sind. Wenn Sie eine Frage stellen, berechnet es die statistisch plausibelste Antwort — nicht die korrekte.
Das funktioniert erstaunlich gut bei allgemeinem Wissen, Textstrukturierung und kreativen Aufgaben. Aber es versagt systematisch bei:
- Spezifischen Fakten: Exakte Zahlen, Daten, Namen, Paragraphen
- Nischenthemen: Bereiche mit wenig Trainingsdaten
- Aktuelle Informationen: Alles nach dem Trainingsstichtag des Modells
- Logischen Schlüssen: Komplexe Kausalzusammenhänge
- Selbsteinschätzung: Das Modell „weiß” nicht, was es nicht weiß
Die häufigsten Auslöser
Lücken in den Trainingsdaten. Wenn das Modell zu einem Thema wenig gelernt hat, füllt es Lücken mit plausibel klingenden, aber erfundenen Informationen. Bei Nischenthemen — etwa branchenspezifischen Regularien oder regionalen Gesetzen — steigt die Halluzinationsrate deutlich.
Musterübergeneralisierung. Das Modell erkennt Muster wie „Laut einer Studie der Universität X zeigt sich, dass Y Prozent…” und reproduziert dieses Muster — mit erfundenen Werten. Die Struktur stimmt, der Inhalt nicht.
Widersprüchliche Trainingsdaten. Zu vielen Themen existieren unterschiedliche, teilweise widersprüchliche Quellen. Das Modell kann nicht zwischen korrekten und falschen Informationen in seinen Trainingsdaten unterscheiden.
Fehlende Verankerung (Grounding). Ohne Zugang zu einer verifizierten Datenbank generiert das Modell Antworten ausschließlich auf Basis gelernter Muster. Es hat keinen Mechanismus, um Aussagen gegen die Realität zu prüfen.
Reale Beispiele: Wenn KI-Halluzinationen Schaden anrichten
Der Anwalt und die erfundenen Urteile
Im Mai 2024 legte ein New Yorker Anwalt dem Gericht sechs Urteile vor, die ChatGPT generiert hatte — inklusive fiktiver Aktenzeichen, Richternamen und Urteilsbegründungen. Keines der Urteile existierte. Das Gericht verhängte eine Geldstrafe. Der Fall wurde international zum Symbol für die Risiken ungeprüfter KI-Outputs.
Erfundene wissenschaftliche Referenzen
Akademische Studien haben gezeigt, dass LLMs regelmäßig wissenschaftliche Quellen erfinden — mit realistischen Autorennamen, existierenden Fachzeitschriften, aber fiktiven Artikeln. In einem Test generierte GPT-4 zu 36 % nicht existierende Literaturverweise. Für Unternehmen, die KI für Research oder Berichterstattung nutzen, ist das ein erhebliches Risiko.
Falsche Rechtsauslegungen
Besonders in der DACH-Region mit ihrer komplexen Rechtslandschaft generieren LLMs regelmäßig falsche Paragraphen, nicht existierende Urteile und fehlerhafte Rechtsauslegungen. Wer KI für Compliance-Aufgaben einsetzt, muss jeden rechtlichen Output verifizieren.
Die gefährlichsten Halluzinationen sind subtil: Eine Zahl, die fast stimmt. Ein Gesetz, das existiert, aber anders formuliert ist. Ein Autor, der real ist, aber den zitierten Artikel nie geschrieben hat. Diese Fehler passieren systematische Prüfungen — genau deshalb brauchen Sie einen strukturierten Erkennungsprozess.
KI-Halluzinationen erkennen: Vier Methoden
1. Quellenverifikation
Vertrauen Sie keiner Quellenangabe, die ein LLM generiert hat. Prüfen Sie jede Studie, jede Zahl und jede Rechtsreferenz manuell. Kopieren Sie die exakte Angabe in eine Suchmaschine. Existiert die Quelle nicht, handelt es sich um eine Halluzination.
Praxistipp: Bitten Sie die KI, einen direkten Link zur Quelle zu liefern. Führt der Link ins Leere, ist die Quelle mit hoher Wahrscheinlichkeit erfunden.
2. Kreuzvalidierung mit mehreren Modellen
Stellen Sie dieselbe Frage an verschiedene Modelle (z. B. ChatGPT, Claude, Gemini). Weichen die Antworten bei Faktenaussagen voneinander ab, recherchieren Sie manuell. Übereinstimmung erhöht die Wahrscheinlichkeit der Korrektheit, garantiert sie aber nicht. Einen detaillierten Vergleich der Modelle finden Sie in unserem ChatGPT-Alternativen-Vergleich.
3. Plausibilitätsprüfung
Trainieren Sie Ihr Team, typische Warnsignale zu erkennen:
- Auffällig runde Zahlen („genau 78 %”)
- Überraschend präzise Angaben bei komplexen Themen
- Superlative und absolute Aussagen
- Aussagen, die perfekt die eigene These bestätigen
Diese kritische Kompetenz lässt sich gezielt aufbauen — etwa durch KI-Schulungen, die Verifikationstechniken systematisch vermitteln.
4. Experten-Review bei Hochrisiko-Outputs
Bei externen Dokumenten, rechtlichen Texten, Finanzberichten und Kundeninformationen gilt: Kein KI-Output verlässt das Unternehmen ohne Prüfung durch eine sachkundige Person. Dieses Vier-Augen-Prinzip sollte in Ihrer KI-Richtlinie verankert sein.
Prävention: Halluzinationen reduzieren, bevor sie entstehen
Beim Prompting
Gutes Prompt-Engineering reduziert die Halluzinationsrate erheblich. Die wichtigsten Techniken:
- Kontext liefern: Je mehr relevante Informationen im Prompt, desto weniger muss das Modell „erfinden”
- Faktenverzicht anweisen: „Verwende nur die Informationen, die ich dir gebe. Füge keine externen Fakten hinzu.”
- Unsicherheit einfordern: „Sage mir, wenn du dir bei einer Aussage nicht sicher bist.”
- Ausgabeformat steuern: „Markiere jede Faktenaussage mit [zu prüfen].”
Vertiefte Prompting-Strategien finden Sie in unserem Prompt-Engineering-Kurs.
Durch Retrieval Augmented Generation (RAG)
Die wirksamste technische Maßnahme gegen Halluzinationen ist RAG: Das KI-System greift auf eine kuratierte, verifizierte Wissensdatenbank zu, statt frei zu generieren. Statt statistisch wahrscheinliche Antworten zu erzeugen, sucht das System relevante Dokumente und formuliert Antworten auf deren Basis.
Durch Unternehmensrichtlinien
Technische Maßnahmen allein reichen nicht. Sie brauchen klare Prozesse:
- Klassifikation: Welche Aufgaben dürfen mit KI erledigt werden, welche nicht?
- Prüfpflichten: Wer verifiziert KI-Outputs vor der Weiterverwendung?
- Dokumentation: Wo und wie wurde KI eingesetzt?
- Eskalation: Was passiert, wenn eine Halluzination entdeckt wird?
Ein umfassender Rahmen für diese Fragen ist die KI-Governance Ihres Unternehmens.
89 %
der KI-bezogenen Fehler in Unternehmen entstehen durch fehlende Überprüfung — nicht durch die KI selbst
Source : Gartner Research 2025
Halluzinationen und der EU AI Act
Der EU AI Act macht menschliche Aufsicht bei KI-Systemen zur gesetzlichen Pflicht. Artikel 14 verlangt, dass KI-Outputs von Menschen überwacht und bei Bedarf korrigiert werden können. Wer KI-generierte Inhalte ungeprüft in Geschäftsprozesse einfließen lässt, riskiert einen Compliance-Verstoß.
Die Schulungspflicht nach Artikel 4 verlangt zudem, dass alle Mitarbeiter, die mit KI arbeiten, über ausreichende KI-Kompetenz verfügen. Dazu gehört zwingend die Fähigkeit, Halluzinationen zu erkennen. Unternehmen, die ihre Mitarbeiter nicht entsprechend schulen, setzen sich rechtlichen Risiken aus.
Halluzinationserkennung ist keine optionale Zusatzkompetenz — sie ist der Kern jeder ernsthaften KI-Schulung. Wer KI nutzt, ohne Outputs prüfen zu können, arbeitet mit einem Werkzeug, dessen Grenzen er nicht versteht.
Testen Sie Ihr Wissen: KI-Halluzinationen erkennen
Fazit: KI-Halluzinationen sind beherrschbar — aber nicht ignorierbar
KI-Halluzinationen werden nicht verschwinden. Sie sind eine Eigenschaft der Technologie, kein Bug. Aber mit dem richtigen Rahmen — Schulung, Prozesse, technische Maßnahmen — lässt sich das Risiko auf ein akzeptables Niveau senken.
Der entscheidende Faktor ist die Kompetenz Ihrer Mitarbeiter. Wer versteht, warum KI halluziniert, erkennt Fehler schneller und vermeidet sie systematisch. Investitionen in KI-Fortbildung zahlen sich direkt in reduzierten Fehlerquoten und besserer Compliance aus.
Brain integriert Halluzinationserkennung in alle Schulungsmodule: Ihre Mitarbeiter lernen nicht nur, KI effektiv zu nutzen, sondern auch, Outputs systematisch zu prüfen. Weil KI-Kompetenz ohne kritisches Denken ein Risiko ist — kein Vorteil.
Ähnliche Artikel
KI-Halluzinationen erkennen: 5 Prüfmethoden 2026
Erkennen Sie falsche KI-Fakten zuverlässig mit 5 bewährten Prüfmethoden. Mit konkreten Beispielen aus dem Arbeitsalltag.
KI-Detektor: 5 Tools im Vergleich 2026
GPTZero, Originality.ai oder Turnitin? Erfahren Sie, welche KI-Detektoren zuverlässig arbeiten und wie Sie KI-Texte sicher erkennen.
KI-Sicherheit: Risiken erkennen und absichern 2026
Schützen Sie Ihr Unternehmen vor Datenlecks, Prompt Injection und Supply-Chain-Angriffen. KI-Sicherheit inkl. AI-Act-Anforderungen.