Halluzination: wenn KI überzeugend Falsches erfindet
Definition
Eine Halluzination ist eine Antwort eines Sprachmodells, die flüssig und plausibel klingt, aber sachlich falsch oder frei erfunden ist. Das Modell rät die wahrscheinlichste Wortfolge, nicht die geprüfte Wahrheit. Ohne Anbindung an belastbare Quellen kann es Namen, Zahlen, Paragrafen oder Belege erzeugen, die es nie gab, und dabei völlig sicher wirken.
Warum der Begriff zählt
Wer KI im Unternehmen einsetzt, haftet für das Ergebnis, nicht das Modell. Eine erfundene Rechtsauskunft, eine falsche Preisangabe oder eine nicht existierende Produktvariante kann direkt in Verträge, Angebote oder Kundenkommunikation wandern. Als neutrale KI-Beratung ordnen wir dieses Risiko früh ein, damit ein Vorhaben nicht an einem schönen Demo scheitert, sondern im Alltag verlässlich bleibt. Der Begriff trennt Machbarkeit von Verantwortbarkeit.
Wann es relevant ist
- Ein Chatbot oder Assistent soll Auskünfte geben, auf die sich Kunden verlassen.
- Antworten fließen ungeprüft in Dokumente, Angebote oder Support-Tickets.
- Fachliche Genauigkeit ist Pflicht, etwa bei Recht, Technik oder Finanzen.
- Die Geschäftsführung will vor dem Rollout wissen, wie Fehler abgefangen werden.
Wann nicht
Bei reinen Kreativaufgaben wie Ideensammlung, Entwurfstexten oder Brainstorming ist eine gelegentliche Erfindung selten schädlich, weil ein Mensch ohnehin auswählt. Auch für interne Zusammenfassungen mit klarer Quelle daneben ist der Aufwand einer harten Absicherung oft zu hoch. Entscheidend ist, ob jemand die Ausgabe ungeprüft weiterverwendet.
Branchen, die das nutzen
- Steuer- und Rechtsberatung: eine falsch zitierte Norm ist ein Haftungsrisiko, deshalb braucht jede Aussage eine belegbare Quelle.
- Maschinen- und Anlagenbau: erfundene technische Werte in Angeboten oder Wartungshinweisen führen zu teuren Fehlern.
- Versicherungen: Bedingungen und Deckungssummen müssen exakt stimmen, Näherung genügt hier nicht.
- E-Commerce: falsche Produktangaben im Kundendialog erzeugen Retouren und Beschwerden.
Typische Anwendungsfälle
- Ein Support-Assistent, der ausschließlich aus geprüften Handbüchern antwortet.
- Eine Angebotshilfe, die Preise nur aus dem freigegebenen System zieht.
- Ein interner Wissensassistent, der jede Aussage mit Quelle und Fundstelle belegt.
- Ein Prüfschritt, der Antworten ohne Beleg automatisch zur menschlichen Kontrolle leitet.
- Eine Testreihe mit typischen Fangfragen, um die Fehlerquote vor dem Start zu messen.
Entscheidungshilfe
| Signal | Absicherung nötig | Alternative |
|---|---|---|
| Kunde verlässt sich auf die Antwort | Retrieval mit Quellenpflicht | freie Generation ist zu riskant |
| Nur interne Ideenfindung | leichte Prüfung genügt | Mensch wählt ohnehin aus |
| Recht, Finanzen, Technik im Spiel | harte Belegpflicht und Freigabe | ungeprüfter Rollout ist gefährlich |
| Kein Faktenbezug, reine Formulierung | Modell darf frei texten | Belegpflicht wäre Overkill |
Beispiel
Ein Anbieter will einen Kundenassistenten für Produktfragen starten. In der Potenzialanalyse zeigen Testfragen, dass das Modell bei fehlender Information Werte erfindet. Wir empfehlen, den Assistenten an einen geprüften Produktkatalog zu binden und jede Antwort mit Quelle auszuweisen. Fragen ohne Treffer gehen an einen Menschen. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Das Risiko lässt sich in der KI-Potenzialanalyse früh sichtbar machen, die saubere Umsetzung mit Quellenbindung gehört zur KI-Implementierung, rechtliche Pflichten klärt die EU-AI-Act-Beratung.
Verwandte Begriffe
Quellen
Diese Einordnung beschreibt gängige Praxis im Umgang mit Sprachmodellen. Aussagen zu Haftung und rechtlichen Pflichten sind allgemeine Orientierung und keine Rechtsberatung; sie müssen im Einzelfall gegen die aktuell geltenden Rechtstexte geprüft werden.