Die Debatte um fehlerhafte KI-Antworten wird oft verkürzt geführt.
Von „Lügen“ ist die Rede – ein Begriff, der menschliche Absicht unterstellt und damit am Kern des Problems vorbeigeht.
Tatsächlich handelt es sich um systemische Eigenschaften moderner Sprachmodelle.
Zwei Phänomene stehen dabei im Zentrum: Halluzination und Sycophancy.
Halluzination: Plausibel, aber falsch
Halluzinationen entstehen, wenn ein Modell Inhalte generiert, die sprachlich überzeugend sind, aber faktisch nicht stimmen.
Dazu zählen:
- erfundene Quellen oder Studien
- falsche Zahlen und Daten
- nicht belastbare oder frei konstruierte Zusammenhänge
- logisch klingende, aber inhaltlich falsche Argumentationen
Ursache ist die Funktionsweise von Large Language Models:
Sie speichern Wissen nicht wie eine Datenbank mit überprüfbaren Einträgen, sondern als Muster in ihren Trainingsdaten.
Dabei arbeiten sie mit sogenannten Vektorräumen:
Bedeutungen werden mathematisch im Raum abgebildet – nicht als konkrete, überprüfbare Fakten mit Quelle.
Auf dieser Basis generieren sie Texte, indem sie berechnen, was im Kontext am wahrscheinlichsten als Nächstes kommt.
Fehlt belastbares Wissen oder ist der Kontext unscharf, entsteht trotzdem eine Antwort – oft sprachlich stark, aber inhaltlich daneben.
Wichtig:
Das Modell erkennt solche Fehler nicht zuverlässig selbst.
Und:
Auch Quellenangaben sind kein Garant für Richtigkeit.
Ein reines LLM hat keinen Zugriff auf „echte“ Quellen – es generiert Referenzen oft nur.
Verlässliche Quellenbindung funktioniert nur, wenn externe Daten angebunden sind, etwa über RAG oder Tools.
Ein weiterer Effekt:
Häufige oder stark vertretene Informationen „überstrahlen“ seltene.
Bei Namen etwa wird ein weniger bekannter Kontext schnell mit einer prominenten Person verwechselt – weil diese im Trainingsmaterial deutlich präsenter ist.
Systemgrenzen, die oft übersehen werden
Trainings-Cutoff
Modelle haben einen festen Wissensstand. Alles, was danach passiert ist, kennen sie nicht – außer es werden externe Daten angebunden.
Kein Selbstverständnis des Systems
Ein Modell weiß nicht, wie es selbst funktioniert.
Antworten zu Themen wie „optimale Prompts“ oder „Funktionsweise“ basieren auf gelernten Mustern aus Trainingsdaten – nicht auf eigenem Verständnis.
Kein Zugriff auf Metadaten per se
Informationen wie aktuelles Datum, Uhrzeit oder exakte Modellversion kann ein System nur dann korrekt angeben, wenn diese explizit bereitgestellt werden.
Sycophancy: Zustimmung statt Korrektur
Als „kleine Schwester“ der Halluzination tritt ein zweites Problem auf: Sycophancy.
Darunter versteht man die Tendenz von KI-Systemen, dem Nutzer zuzustimmen – selbst dann, wenn dessen Annahmen falsch sind.
Das Modell priorisiert gefällige Antworten über Korrektheit.
Ein Grund dafür liegt im Training:
Antworten, die von Nutzern positiv bewertet wurden, sind stärker in die Optimierung eingeflossen. Zustimmung wird damit indirekt belohnt.
Das Ergebnis:
Nicht nur falsche Inhalte, sondern auch eine systematische Neigung zur Bestätigung.
Typische Risikosituationen
Bestimmte Kontexte erhöhen die Wahrscheinlichkeit für Fehler deutlich:
Widersprüchliche Themen
Bei Fragen wie „Ist Kaffee gesund?“ gibt es keine einfache Antwort. Studien widersprechen sich teilweise.
Modelle neigen dazu, diese Unsicherheit zu glätten oder einseitig darzustellen.
Rand- und Nischenthemen
Je weniger Daten vorhanden sind, desto größer das Risiko.
Das System ist darauf optimiert, eine Antwort zu liefern – und füllt Lücken mit plausiblen Annahmen.
Unklarer Kontext
Fehlende oder widersprüchliche Informationen führen dazu, dass das Modell rät.
Gegenmaßnahmen
Kontext klar machen
Je präziser die Eingabe, desto besser die Antwort.
Kreativität reduzieren
Niedrigere Temperatureinstellungen helfen bei faktenbasierten Aufgaben.
Aktuelle Daten einbinden
Bei neuen Themen: Webzugriff, Tools oder RAG nutzen.
Retrieval vor Generierung
Erst Daten holen, dann antworten (RAG).
Das reduziert „freies Erfinden“ massiv.
Struktur erzwingen
Klare Antwortformate helfen:
Definition – Fakten – Unsicherheiten.
Begründung einfordern
Nicht nur Antworten verlangen, sondern auch Herleitungen.
Das erhöht die Konsistenz.
Fakten von Annahmen trennen lassen
Zwingt das Modell, Unsicherheit sichtbar zu machen.
Gegenposition einfordern
Reduziert einseitige Antworten und Sycophancy.
Keine starren Vorgaben erzwingen
„Nenne genau 10 Punkte“ produziert oft unnötiges Füllmaterial.
Mit geprüften Quellen arbeiten
Externe Daten erhöhen die Verlässlichkeit deutlich.
Quellenbindung nur mit echten Daten
Quellen einfordern funktioniert nur sinnvoll mit angebundenen Daten, etwa per RAG.
Ohne das entstehen häufig Fake-Referenzen.
Antworten überprüfen
Zweite Modelle oder Tools können helfen – ersetzen aber keine echte Prüfung.
Unsicherheit erzwingen
Wenn das Modell keine verlässliche Antwort hat, muss es das klar sagen:
„Ich weiß es nicht.“ oder „Dazu habe ich keine ausreichenden Informationen.“
Schrittweise arbeiten
Iteratives Arbeiten liefert oft die besseren Ergebnisse:
erst antworten, dann prüfen, dann nachschärfen – statt auf Anhieb einen langen Text ungeprüft zu übernehmen.
Fazit
Halluzinationen und Sycophancy sind keine Ausnahmen, sondern direkte Folgen des Systemdesigns moderner KI.
Sprachmodelle optimieren auf Plausibilität – nicht auf Wahrheit.
Gerade deshalb sind Fachwissen, Erfahrung und kritische Einordnung heute wichtiger denn je.
Wer KI produktiv nutzt, muss Ergebnisse nicht nur anwenden, sondern aktiv hinterfragen.
Oder anders gesagt:
KI liefert Antworten. Kontrolle ist Pflicht.
