Eine Rechtsanwältin reicht einen Schriftsatz mit zwei Gerichtsentscheidungen ein, die es nie gab. Ein Kundenservice-Chatbot sagt eine Rückerstattung zu, die es laut Vertragsbedingungen nicht gibt. Ein KI-gestütztes Reporting nennt eine Kennzahl, die in keiner Quelle steht. Alle drei Fälle haben denselben Ursprung: eine KI-Halluzination, eine sprachlich überzeugende, aber inhaltlich falsche Ausgabe, die niemand vor der Verwendung geprüft hat.
Kurzfassung
KI-Halluzinationen entstehen, weil Sprachmodelle Wahrscheinlichkeiten berechnen statt Fakten nachzuschlagen, und aktuelle Trainingsverfahren sichere Antworten sogar noch belohnen. Komplett verhindern lassen sie sich laut aktueller Forschung nicht. Mit eigenen Datenquellen als Grundlage (RAG), Zitierpflicht, einem klaren Freigabeschritt und laufendem Monitoring lässt sich das Risiko im Unternehmensalltag aber auf ein handhabbares Maß senken.
Warum KI-Systeme überhaupt halluzinieren
Ein Sprachmodell hat kein Konzept von Wahrheit. Es berechnet, welches Wort oder welcher Satzbaustein auf den bisherigen Text am wahrscheinlichsten folgt, trainiert auf riesigen Textmengen. Fehlt dem Modell die konkrete Information, zum Beispiel ein spezifisches Aktenzeichen oder eine exakte Zahl, füllt es die Lücke mit dem plausibelsten Muster, das es kennt. Für das Modell fühlt sich das nicht anders an als eine korrekte Antwort.
Eine gemeinsame Studie von OpenAI und der Georgia Tech aus dem September 2025 hat dafür erstmals eine mathematische Erklärung geliefert: Ein gewisses Fehlerniveau ist demnach unvermeidbar, unter anderem wegen Wissenslücken in den Trainingsdaten, Grenzen der Modellarchitektur und Aufgaben, die grundsätzlich nicht zuverlässig lösbar sind. Entscheidender ist aber ein zweiter Befund der Studie: Neun von zehn gängigen Bewertungsverfahren für Sprachmodelle bestrafen ein ehrliches “das weiß ich nicht” und belohnen eine falsche, aber selbstbewusst klingende Antwort. Modelle werden also, salopp gesagt, dafür trainiert, lieber zu raten als zuzugeben, dass sie es nicht wissen.
Für den Unternehmenseinsatz bedeutet das: Halluzinationen sind kein vorübergehender Software-Fehler, der mit dem nächsten Modell-Update verschwindet, sondern eine strukturelle Eigenschaft der Technologie. Die Frage ist nicht, ob ein System irgendwann halluziniert, sondern wie schnell das im eigenen Betrieb auffällt, bevor es Schaden anrichtet.
Wie groß das Problem in der Praxis wirklich ist
Wie häufig Halluzinationen tatsächlich auftreten, hat die European Broadcasting Union (EBU) gemeinsam mit der BBC und 22 weiteren öffentlich-rechtlichen Sendern im Oktober 2025 systematisch untersucht. Journalistinnen und Journalisten bewerteten mehr als 3.000 Antworten von vier verbreiteten KI-Assistenten (ChatGPT, Copilot, Gemini, Perplexity) auf Fragen zu aktuellen Nachrichten, über 18 Länder und 14 Sprachen hinweg.
Das Ergebnis: 45 Prozent aller Antworten enthielten mindestens ein signifikantes Problem. 31 Prozent hatten ernsthafte Quellenprobleme, etwa fehlende, irreführende oder falsche Zuordnungen. 20 Prozent enthielten inhaltliche Fehler, darunter erfundene Details oder veraltete Informationen. Die Studie bezieht sich auf Nachrichteninhalte, nicht auf Unternehmensdaten, zeigt aber die Größenordnung, um die es geht: Bei einer der breitesten und methodisch saubersten Untersuchungen zu diesem Thema war fast jede zweite Antwort in irgendeiner Form problematisch.
Ein realer Fall aus der deutschen Justiz
Das Kammergericht Berlin hat am 20. November 2025 (Az. 17 WF 144/25) eine Rechtsanwältin gerügt, weil sie in einem Schriftsatz zwei erfundene Gerichtsentscheidungen zitiert hatte, angeblich vom Bundesgerichtshof und vom OLG Brandenburg. Beide existierten nicht. Das Gericht stellte klar, dass Anwältinnen und Anwälte KI-gestützt erstellte Schriftsätze vor der Einreichung prüfen müssen, gerade bei zitierten Fundstellen. Es ist inzwischen nicht der einzige dokumentierte Fall dieser Art vor deutschen Gerichten.
Wo Halluzinationen im Unternehmensalltag am gefährlichsten sind
Nicht jede Halluzination hat dieselbe Tragweite. Entscheidend ist, wie direkt eine KI-Ausgabe in eine Handlung oder Entscheidung fließt, ohne dass vorher jemand gegenprüft.
Rechts- und Fachrecherche. Erfundene Gerichtsentscheidungen, Normen oder Literaturquellen, wie im Berliner Fall, sind der bekannteste Fall, aber bei weitem nicht der einzige. Dieselbe Dynamik betrifft jede Recherche, bei der ein KI-System nach einer konkreten Quelle gefragt wird und keine belastbare Antwort dazu hat.
Kundenkommunikation mit konkreten Zusagen. Ein Chatbot, der eine Lieferzeit, einen Preis oder eine Vertragsbedingung nennt, die so nicht existiert, erzeugt nicht nur einen peinlichen Moment, sondern potenziell eine Erwartung, die das Unternehmen erfüllen oder öffentlich zurücknehmen muss.
Vertrags- und Dokumentenauswertung. Wird eine KI gebeten, eine Klausel zusammenzufassen oder eine Zahl aus einem Dokument zu extrahieren, kann sie bei unklarem oder unvollständigem Kontext etwas hinzuerfinden, das im Original gar nicht steht. Wie sich Vertragsanalyse zwischen CLM-Tool und eigener KI-Lösung sauber aufbauen lässt, beschreibt der Beitrag KI-Vertragsanalyse für Unternehmen.
Reporting und Datenanalyse. Eine falsche Kennzahl in einem KI-generierten Bericht fällt oft erst auf, wenn eine Entscheidung schon darauf aufgebaut wurde, insbesondere wenn niemand die Zahl gegen die Ursprungsquelle prüft.
Gemeinsamer Nenner aller vier Fälle: Das Risiko steigt nicht mit der Nutzungshäufigkeit der KI, sondern mit der Distanz zwischen KI-Ausgabe und menschlicher Prüfung. Ein Vertriebsmitarbeiter, der eine KI-Zusammenfassung als Gesprächsvorbereitung liest und im Kundengespräch selbst nochmal nachfragt, trägt ein anderes Risiko als ein System, das automatisiert eine Antwort an einen Kunden verschickt, ohne dass jemand dazwischen sitzt.
Fünf Wege, das Risiko wirksam einzudämmen
1. Retrieval-Augmented Generation statt freies Wissen. Der wirksamste Einzelhebel ist, die KI nicht aus ihrem allgemeinen Training antworten zu lassen, sondern aus einer geprüften, aktuellen Wissensbasis der eigenen Dokumente. Ein RAG-Agent sucht vor jeder Antwort in den tatsächlichen Unternehmensunterlagen und stützt die Ausgabe darauf, statt sie zu erfinden. Wie das technisch funktioniert und wann es sich lohnt, beschreibt der Beitrag RAG für Unternehmen.
2. Zitier- und Quellenpflicht erzwingen. Ein System, das angewiesen ist, jede Tatsachenbehauptung mit einer konkreten Fundstelle aus der Wissensbasis zu belegen, halluziniert seltener unbemerkt, weil eine fehlende Quelle sofort auffällt. Fehlt die Quelle, ist das ein direktes Signal, die Ausgabe nicht zu verwenden.
3. Freigabeschritt für alles, was nach außen geht. Für Kundenkommunikation, Schriftsätze, Reporting und alles andere mit direkter Außenwirkung gehört ein Mensch als letzte Instanz in den Workflow, bevor etwas verschickt, eingereicht oder als Entscheidungsgrundlage verwendet wird. Das ist kein Misstrauensvotum gegen die Technologie, sondern die Konsequenz aus einer strukturell unvermeidbaren Fehlerquote.
4. Enge statt offene Aufgabenstellung. Ein Modell, das eine eng umrissene Frage mit klarer Datengrundlage beantwortet, halluziniert seltener als eines, das offen nach “allem Relevanten zu X” gefragt wird. Je präziser die Aufgabe, desto kleiner der Spielraum fürs Erfinden.
5. Stichprobenartiges Monitoring der tatsächlichen Fehlerquote. Wer nie systematisch prüft, wie oft ein produktives KI-System tatsächlich falschliegt, verlässt sich auf ein Bauchgefühl. Regelmäßige Stichproben, bei denen eine Fachperson KI-Ausgaben gegen die Originalquelle prüft, machen das Risiko messbar und zeigen, ob eine Änderung am Prompt oder an der Datengrundlage tatsächlich etwas verbessert. Sinnvoll ist, dafür eine feste Kennzahl festzulegen, etwa den Anteil geprüfter Ausgaben mit einem inhaltlichen Fehler pro Monat, statt Qualität nur anhand vereinzelter, zufällig aufgefallener Vorfälle zu beurteilen.
Keine dieser fünf Maßnahmen ist für sich allein ausreichend. Erst in Kombination, eine geprüfte Datengrundlage, erzwungene Quellenangaben, ein definierter Freigabeschritt, eng geschnittene Aufgaben und laufendes Monitoring, entsteht ein System, das die strukturell unvermeidbare Fehlerquote so weit nach unten drückt, dass sie im Alltag beherrschbar wird.
Praxis-Tipp: Die Prüfpflicht bleibt beim Menschen
Keine der fünf Maßnahmen macht die menschliche Endkontrolle überflüssig, sie senkt nur die Häufigkeit, mit der sie überhaupt nötig wird. Wer ein KI-System so kommuniziert, dass Mitarbeitende glauben, die Ausgabe sei automatisch geprüft, schafft genau die Sorglosigkeit, die im Berliner Fall zum Problem wurde.
Was EU AI Act und Datenschutzrecht dazu verlangen
Der EU AI Act verlangt von Unternehmen, die KI-Systeme einsetzen, ein ausreichendes Kompetenzniveau bei den Mitarbeitenden, die damit arbeiten, einschließlich eines Verständnisses der grundlegenden Risiken wie Halluzinationen. Was diese Schulungspflicht konkret bedeutet, beschreibt der Beitrag EU AI Act Schulungspflicht. Ergänzend dazu verlangt das Datenschutzrecht, dass personenbezogene Daten richtig und auf dem aktuellen Stand gehalten werden. Eine KI-Ausgabe, die falsche personenbezogene Informationen erfindet und ungeprüft weiterverarbeitet, kann diesen Grundsatz verletzen, unabhängig davon, ob ein Mensch oder eine Maschine die Information erzeugt hat.
Für berufsrechtlich gebundene Berufe, wie im eingangs beschriebenen Fall aus der Anwaltschaft, kommt die jeweilige berufsrechtliche Sorgfaltspflicht hinzu: Wer ein Arbeitsergebnis nach außen vertritt, bleibt dafür verantwortlich, unabhängig davon, welches Werkzeug es erstellt hat. Wie sich das für Wirtschaftsprüfer konkret darstellt, beschreibt der Beitrag KI für Wirtschaftsprüfer.
Was jetzt zu tun ist
Halluzinationen sind kein Argument gegen den KI-Einsatz, aber ein Argument gegen den unstrukturierten. Drei Schritte machen den Unterschied: die Wissensbasis, auf der ein System antwortet, auf geprüfte eigene Dokumente stützen statt auf freies Modellwissen, einen klaren Freigabeschritt vor jeder Außenwirkung definieren, und die tatsächliche Fehlerquote im Betrieb stichprobenartig messen statt anzunehmen.
Wer diese drei Punkte für die eigenen KI-Workflows klären will, bevor sie produktiv laufen, bekommt im KI-Prozess-Audit eine strukturierte Ersteinordnung: welche Prozesse eine geprüfte Wissensbasis brauchen, wo ein Freigabeschritt zwingend ist und welche eigene KI-Infrastruktur sich dafür eignet.
