Am 22. Mai 2024 machte der Fall eines New Yorker Anwalts weltweit Schlagzeilen: Er hatte vor Gericht sechs Urteile zitiert, die ChatGPT erfunden hatte — inklusive nicht existierender Aktenzeichen, Richternamen und Urteilsbegründungen. Das Gericht verhängte eine Geldstrafe. Der Anwalt erklärte, er habe nicht gewusst, dass ChatGPT Dinge „erfinden” könne.
Dieser Fall ist kein Einzelfall. Er ist exemplarisch für eines der größten Risiken im Umgang mit generativer KI: Halluzinationen. KI-Systeme generieren regelmäßig Informationen, die plausibel klingen, aber faktisch falsch sind — erfundene Studien, falsche Zahlen, nicht existierende Gesetze. Und je überzeugender die Sprache, desto schwerer die Erkennung.
Für Unternehmen ist das ein konkretes Geschäftsrisiko. Dieser Artikel erklärt, warum KI halluziniert, wie Sie Halluzinationen erkennen und welche fünf Prüfmethoden im Arbeitsalltag funktionieren.
À retenir
- KI-Halluzinationen sind kein Bug, sondern ein grundlegendes Merkmal von Sprachmodellen
- Besonders riskant: Zahlen, Quellenangaben, rechtliche Aussagen und aktuelle Informationen
- 5 Prüfmethoden reduzieren das Risiko drastisch — wenn sie systematisch angewendet werden
- Der AI Act verlangt menschliche Aufsicht — Halluzinationen ungeprüft zu übernehmen ist ein Compliance-Verstoß
Warum KI halluziniert
Um Halluzinationen zu erkennen, müssen Sie verstehen, warum sie entstehen. Große Sprachmodelle (LLMs) wie GPT-4, Claude oder Gemini funktionieren grundlegend anders als eine Datenbank oder eine Suchmaschine.
Ein LLM ist ein Textvorhersagesystem. Es berechnet für jedes Wort, welches Wort mit der höchsten Wahrscheinlichkeit als nächstes kommt — basierend auf Mustern in den Trainingsdaten. Es „weiß” nichts im menschlichen Sinn. Es hat kein Verständnis von Wahrheit oder Falschheit. Es erzeugt Text, der statistisch plausibel ist.
Das bedeutet: Wenn ein Muster in den Trainingsdaten häufig vorkommt (z. B. „Studie der Harvard Business School zeigt…”), kann das Modell dieses Muster reproduzieren — auch wenn die konkrete Studie nicht existiert. Das Ergebnis klingt überzeugend, ist aber erfunden.
3–27%
der Antworten aktueller LLMs enthalten faktische Fehler — je nach Aufgabentyp und Modell
Source : Vectara Hallucination Index 2025
Wann Halluzinationen besonders häufig auftreten:
- Bei spezifischen Fakten (Zahlen, Daten, Namen)
- Bei Nischenthemen mit wenig Trainingsdaten
- Bei der Generierung von Quellenangaben und Zitaten
- Bei aktuellen Informationen nach dem Trainingsstichtag
- Bei langen, komplexen Antworten
Halluzinationstypen im Unternehmenskontext
Erfundene Fakten und Zahlen
Das häufigste Problem. ChatGPT generiert Statistiken, die plausibel klingen: „Laut einer McKinsey-Studie von 2024 setzen 73 % der deutschen Unternehmen KI ein.” Die Zahl könnte stimmen — oder komplett erfunden sein. Ohne Überprüfung können Sie es nicht wissen.
Nicht existierende Quellen
LLMs erfinden regelmäßig Quellenangaben: Autoren, Zeitschriften, Studien, Gerichtsurteile. Sie kombinieren reale Elemente zu nicht existierenden Referenzen — z. B. einen echten Autor mit einem erfundenen Artikel.
Falsche rechtliche Aussagen
Besonders gefährlich in Deutschland mit seiner komplexen Rechtslandschaft. ChatGPT kann Paragraphen, Urteile und Rechtsauslegungen erfinden, die juristisch kohärent klingen, aber falsch sind. Die KI-Sicherheitsrisiken in der Rechtsanwendung sind erheblich.
Veraltete Informationen
LLMs haben einen Trainingsstichtag. Informationen über Gesetzesänderungen, Marktentwicklungen oder Unternehmensdaten können veraltet sein, ohne dass das Modell darauf hinweist. Der EU AI Act beispielsweise wird von älteren Modellversionen noch als Entwurf beschrieben.
Die gefährlichsten Halluzinationen sind die, die fast stimmen. Ein erfundenes Datum, eine leicht falsche Zahl, ein Gesetzesparagraph, der existiert, aber anders lautet — diese subtilen Fehler sind schwerer zu erkennen als offensichtlicher Unsinn.
5 Prüfmethoden für den Arbeitsalltag
Methode 1: Die Quellenprüfung
Regel: Vertrauen Sie keiner Quellenangabe von ChatGPT. Prüfen Sie jede genannte Studie, jeden Autor und jede Zahl manuell.
So geht’s: Kopieren Sie die genaue Quellenangabe in eine Suchmaschine. Prüfen Sie, ob die Studie tatsächlich existiert, ob der genannte Autor sie geschrieben hat und ob die zitierte Aussage korrekt ist.
Tipp: Bitten Sie ChatGPT, einen URL-Link zur Quelle zu nennen. Wenn der Link zu einer 404-Seite führt, ist die Quelle mit hoher Wahrscheinlichkeit erfunden.
Methode 2: Die Kreuzvalidierung
Regel: Überprüfen Sie kritische Aussagen mit mindestens einer unabhängigen Quelle.
So geht’s: Stellen Sie dieselbe Frage einem zweiten KI-Modell (z. B. Claude oder Gemini) und vergleichen Sie die Antworten. Weichen sie voneinander ab, recherchieren Sie manuell. Stimmen sie überein, ist die Wahrscheinlichkeit der Korrektheit höher — aber nicht garantiert.
Methode 3: Die Plausibilitätsprüfung
Regel: Aktivieren Sie Ihren gesunden Menschenverstand. Klingt eine Aussage zu gut, zu rund oder zu überraschend, prüfen Sie genauer.
Typische Warnsignale:
- Sehr runde Zahlen („genau 73 %”)
- Überraschend präzise Angaben bei komplexen Themen
- Superlative („die größte Studie aller Zeiten”)
- Aussagen, die genau Ihre Erwartung bestätigen
Methode 4: Die Rückfragetechnik
Regel: Fragen Sie ChatGPT nach, wie sicher es sich bei einer Aussage ist.
Prompt: „Wie sicher bist du dir bei der genannten Zahl von 73 %? Könnte diese Angabe eine Halluzination sein? Nenne mir alternative Quellen, die ich prüfen kann.”
Diese Methode ist nicht perfekt — ChatGPT kann auch bei der Selbsteinschätzung halluzinieren. Aber sie erzeugt oft nützliche Hinweise auf Unsicherheiten.
Methode 5: Das Experten-Review
Regel: Bei hohem Risiko — externe Kommunikation, rechtliche Dokumente, finanzielle Daten — muss ein Fachexperte den KI-Output prüfen.
Vier-Augen-Prinzip: Kein KI-generiertes Dokument mit Fakten, Zahlen oder rechtlichen Aussagen verlässt das Unternehmen ohne Prüfung durch eine sachkundige Person. Dieses Prinzip sollte in der KI-Richtlinie Ihres Unternehmens verankert sein.
89%
der KI-bezogenen Fehler in Unternehmen werden durch mangelnde Überprüfung verursacht — nicht durch die KI selbst
Source : Gartner Research 2025
So reduzieren Sie Halluzinationen schon beim Prompting
Nicht alle Halluzinationen lassen sich verhindern, aber die Häufigkeit lässt sich deutlich reduzieren:
- Kontext liefern: Je mehr relevante Informationen im Prompt, desto weniger muss das Modell „erfinden”
- Auf Fakten verzichten lassen: „Verwende nur Informationen, die ich dir gegeben habe. Füge keine externen Fakten hinzu.”
- Unsicherheit erlauben: „Sage mir, wenn du dir bei einer Aussage nicht sicher bist.”
- Ausgabeformat steuern: „Markiere jede Faktenaussage mit [zu prüfen].”
Mehr Prompting-Techniken finden Sie in unserem Artikel ChatGPT effektiv nutzen lernen.
Die effektivste Methode gegen Halluzinationen ist Retrieval Augmented Generation (RAG): Das KI-System greift auf eine kuratierte Wissensdatenbank zu, statt frei zu generieren. Fragen Sie Ihren KI-Anbieter, ob RAG verfügbar ist.
Testen Sie Ihr Wissen: KI-Halluzinationen erkennen
Halluzinationen als Compliance-Risiko
Der EU AI Act verlangt menschliche Aufsicht bei KI-Systemen. Wer KI-Outputs ungeprüft in Geschäftsprozesse einfließen lässt, verstößt potenziell gegen die Verordnung. Die KI-Schulung Ihrer Mitarbeiter muss daher auch Verifikationstechniken umfassen — nicht nur Prompting.
Brain integriert Halluzinationserkennung in seine Schulungsmodule: Mitarbeiter lernen nicht nur, KI effektiv zu nutzen, sondern auch, Outputs systematisch zu prüfen. Weil KI-Kompetenz ohne kritisches Denken gefährlich ist.
Ähnliche Artikel
KI-Halluzinationen vermeiden: Leitfaden für Unternehmen
Verstehen Sie, warum KI halluziniert, und verhindern Sie Fehler mit systematischen Methoden. Umfassender Leitfaden mit Praxisbeispielen.
KI-Detektor: 5 Tools im Vergleich 2026
GPTZero, Originality.ai oder Turnitin? Erfahren Sie, welche KI-Detektoren zuverlässig arbeiten und wie Sie KI-Texte sicher erkennen.
KI-Sicherheit: Risiken erkennen und absichern 2026
Schützen Sie Ihr Unternehmen vor Datenlecks, Prompt Injection und Supply-Chain-Angriffen. KI-Sicherheit inkl. AI-Act-Anforderungen.