Ist euch schon einmal aufgefallen, dass Sprachmodelle wie ChatGPT auf bestimmte offene Fragen überraschend häufig dieselben Antworten liefern?

Man kann das sehr einfach selbst ausprobieren.

Startet jeweils einen neuen Chat und stellt Fragen wie:

„Nenne mir eine Zahl zwischen 1 und 10.“
Eine auffällig häufige Antwort ist: 7

„Nenne mir eine Zahl zwischen 1 und 30.“
Hier taucht häufig die 17 auf.

„Nenne mir eine Zahl zwischen 1 und 100.“
Eine wiederkehrende Antwort ist 73.

Noch interessanter wird es bei dieser Frage:

„Nenne mir ein Datum.“

In Tests erscheint erstaunlich häufig:

17. Oktober 2026

Auch bei anderen offenen Fragen lassen sich solche Muster beobachten.

Fragt man beispielsweise:

„Nenne mir eine Haarfarbe.“

erscheint häufig Dunkelbraun, teilweise gefolgt von Kupferrot.

Bei:

„Nenne mir eine Farbe.“

tauchen Antworten wie Smaragdgrün oder, je nach Region, Blau auffällig häufig auf.

Ähnliche Effekte findet man bei Namen, Städten, Berufen oder anderen scheinbar beliebigen Begriffen.

Warum?

Der entscheidende Punkt ist:

Ein Sprachmodell ist kein Zufallsgenerator.

ChatGPT und andere Large Language Models erzeugen Sprache auf Basis von Wahrscheinlichkeiten.

Sie wurden mit riesigen Mengen an Text trainiert und haben dabei gelernt, welche Wörter, Begriffe und Formulierungen in bestimmten Zusammenhängen besonders wahrscheinlich sind.

Wenn wir also fragen:

„Nenne mir irgendeine Zahl.“

dann zieht das Modell nicht einfach mathematisch zufällig eine Zahl aus einer Liste.

Es erzeugt eine Antwort, die aufgrund seiner gelernten Muster besonders wahrscheinlich erscheint.

Manche Antworten sind für das Modell wahrscheinlicher als andere

Bestimmte Zahlen, Namen, Farben oder Begriffe kommen in Trainingsdaten häufiger vor oder werden häufiger in ähnlichen Kontexten verwendet.

Dadurch können sie eine höhere Wahrscheinlichkeit erhalten.

Das wird häufig als eine Form von Bias oder Sampling Bias beschrieben.

Bei Zahlen ist dieser Effekt besonders interessant.

Menschen selbst wählen nämlich ebenfalls nicht vollkommen zufällig.

Wenn man Personen bittet, eine Zahl zwischen 1 und 10 zu nennen, wird beispielsweise die 7 auffällig häufig gewählt.

Sprachmodelle lernen aus menschlich erzeugten Daten – und übernehmen damit teilweise auch menschliche Muster.

Aber Trainingsdaten allein erklären nicht alles.

Das Modell wird nach dem Training weiter beeinflusst

Moderne Sprachmodelle werden nach dem eigentlichen Training zusätzlich optimiert.

Dabei spielen unter anderem Verfahren wie RLHF – Reinforcement Learning from Human Feedback eine Rolle.

Menschen bewerten Antworten danach, ob sie beispielsweise:

• hilfreich
• verständlich
• relevant
• sicher
• natürlich formuliert

sind.

Das Modell lernt dadurch, bestimmte Arten von Antworten anderen vorzuziehen.

Auch Fine-Tuning, Systemvorgaben, Sampling-Parameter und andere technische Faktoren beeinflussen, welche Antwort am Ende erzeugt wird.

Dadurch können sich bestimmte Antwortmuster weiter verstärken.

Vereinfacht könnte man sagen:

Sprachmodelle entwickeln gewisse „Lieblingsantworten“.

Und genau hier beginnt das eigentliche Problem

Bei einer Zahl zwischen 1 und 10 ist es ziemlich egal, ob ChatGPT besonders gerne 7 sagt.

Bei kreativen oder strategischen Aufgaben sieht das anders aus.

Stellen wir uns vor, Millionen Menschen verwenden dieselben KI-Systeme für:

• Brainstorming
• Marketing
• Produktentwicklung
• Strategie
• Texte
• Werbung
• Namensfindung
• Designideen
• Geschäftsmodelle

Wenn das Modell bestimmte Antworten strukturell bevorzugt, entstehen nicht automatisch Millionen völlig unterschiedlicher Ideen.

Stattdessen können sich Antworten immer stärker ähneln.

Generative Monoculture

Für diesen Effekt wird unter anderem der Begriff Generative Monoculture verwendet.

Gemeint ist damit, dass generative KI-Systeme dazu beitragen können, dass Inhalte, Ideen und Lösungen zunehmend ähnlicher werden.

Das ist eine interessante Konsequenz der zunehmenden Nutzung von KI.

Wir verwenden künstliche Intelligenz häufig gerade deshalb, weil wir uns neue Perspektiven und kreative Ideen erwarten.

Doch wenn Millionen Menschen dasselbe Modell mit ähnlichen Fragen verwenden, besteht die Gefahr, dass genau das Gegenteil passiert:

Alle bekommen Varianten derselben Ideen.

Das betrifft nicht nur Texte.

Es kann sich auch auf:

• Marketingkampagnen
• Präsentationen
• Produktnamen
• Unternehmensstrategien
• Bildideen
• Headlines
• Social-Media-Beiträge

auswirken.

KI kann Kreativität beschleunigen.

Aber sie kann gleichzeitig auch zu einer gewissen Vereinheitlichung führen.

Zehn KI-Ideen sind nicht automatisch zehn unterschiedliche Ideen

Ein typischer Prompt lautet:

„Gib mir zehn Ideen für eine Marketingkampagne.“

Das Modell liefert tatsächlich zehn Vorschläge.

Doch zehn Vorschläge bedeuten nicht zwangsläufig zehn wirklich unterschiedliche Denkansätze.

Oft bewegen sie sich innerhalb ähnlicher Muster.

Deshalb kann es sinnvoll sein, die KI bewusst aus ihren bevorzugten Antwortmustern herauszudrängen.

Zum Beispiel mit Prompts wie:

„Vermeide die fünf naheliegendsten Antworten.“

„Gib mir zehn Ideen, die sich maximal voneinander unterscheiden.“

„Welche Lösung würdest du normalerweise nicht vorschlagen?“

„Betrachte das Problem aus fünf völlig unterschiedlichen Perspektiven.“

„Nenne zuerst die offensichtlichen Antworten und entwickle anschließend Alternativen, die möglichst wenig damit gemeinsam haben.“

Damit zwingt man das Modell stärker dazu, weniger wahrscheinliche Bereiche seines Lösungsraums zu erkunden.

Auch regionale und sprachliche Unterschiede können eine Rolle spielen

Interessant ist außerdem, dass Antworten je nach Sprache oder Kontext unterschiedlich ausfallen können.

Ein Modell kann auf dieselbe Frage in deutscher Sprache andere typische Antworten erzeugen als auf Englisch oder in einem anderen sprachlichen Kontext.

Das liegt unter anderem daran, dass sich:

• Trainingsdaten
• kulturelle Zusammenhänge
• Worthäufigkeiten
• Formulierungen

zwischen Sprachen unterscheiden.

Auch deshalb sollte man KI-Antworten niemals automatisch als vollkommen neutrale Auswahl betrachten.

Besonders wichtig: KI ist kein sicherer Zufallsgenerator

Bei einer Frage wie:

„Nenne mir eine Zahl zwischen 1 und 100.“

ist dieses Verhalten hauptsächlich interessant.

In anderen Bereichen kann es jedoch sicherheitsrelevant werden.

Ein Beispiel:

„Generiere mir ein zufälliges Passwort.“

Das klingt zunächst praktisch.

Aber ein Sprachmodell sollte nicht mit einem kryptografisch sicheren Zufallsgenerator verwechselt werden.

Wenn ein System bestimmte Ausgaben bevorzugt, ist genau das Gegenteil dessen gegeben, was man bei sicheren Passwörtern oder kryptografischen Schlüsseln benötigt:

Unvorhersagbarkeit.

Für Passwörter, Sicherheitstokens oder kryptografische Schlüssel sollte man deshalb geeignete Passwortmanager oder kryptografisch sichere Zufallsverfahren verwenden.

Bias bedeutet nicht automatisch, dass die Antwort falsch ist

Wichtig ist dabei eine Unterscheidung.

Ein Bias bedeutet nicht automatisch, dass eine Antwort falsch ist.

Bias bedeutet zunächst nur:

Bestimmte Antworten sind wahrscheinlicher als andere.

Bei vielen normalen Fragen ist das sogar erwünscht.

Wenn wir ein Sprachmodell fragen:

„Welche Farbe hat Gras normalerweise?“

soll es natürlich nicht zufällig zwischen Grün, Rot und Violett auswählen.

Problematisch wird es dort, wo wir Vielfalt, Neutralität oder Zufälligkeit erwarten.

Die entscheidende Frage lautet deshalb nicht nur: Was antwortet die KI?

Wenn wir mit Sprachmodellen arbeiten, sollten wir uns angewöhnen, eine zweite Frage zu stellen:

Warum gerade diese Antwort?

Ist sie wirklich die beste Lösung?

Oder einfach die wahrscheinlichste?

Ist sie originell?

Oder nur eine besonders typische Antwort?

Welche Alternativen wurden gar nicht erst vorgeschlagen?

Gerade bei kreativen, strategischen und geschäftlichen Entscheidungen kann dieser Unterschied entscheidend sein.

Denn KI kann uns helfen, schneller zu denken.

Aber wir sollten aufpassen, dass sie nicht dazu führt, dass wir alle in dieselbe Richtung denken.

Mehr Prozessorpower – mehr Shader Cores – mehr TOPS – mehr TFLOPS = mehr Speed

Doch bei lokaler KI entsteht gerade ein völlig anderer Flaschenhals:

Wir haben schnelle GPUs – aber die Modelle passen nicht mehr hinein.
Wie in einem Lager, wenn das voll ist nützt auch der schnellste Stapler wenig.

Die aktuelle Highend Grafikkarte von NVIDIA – die RTX 5090 – besitzt beispielsweise 32 GB schnellen GDDR7-Speicher.

Fantastisch für Bildgenerierung, Diffusion, LoRA-Training und Modelle, die vollständig in diesen Speicher passen.

Aber was passiert bei einem großen Vision-Language-Modell, einem 70B-/100B+-LLM oder einer Pipeline aus mehreren Modellen?

Plötzlich werden nicht mehr die Tensor Cores zum Problem.
Bei großen lokalen Modellen wird die verfügbare GPU-Speicherkapazität zunehmend zu einem entscheidenden Flaschenhals.

Die Grafikkarte mit mehr Speicher aufrüsten – funktioniert nicht,
eine RTX 5090 mit 128GB – gibt es aktuell nicht – und wenn wäre sie vermutlich „fast unbezahlbar“.

Unified Memory könnte die Architektur von KI-Workstations verändern

Ein klassischer PC sieht vereinfacht so aus:

CPU → „günstiges“ System-RAM

und separat:

GPU → „teures“ VRAM

Dazwischen liegt der Bus.

Passt das Modell nicht in den VRAM, müssen Daten zwischen System-RAM und GPU-Speicher verschoben werden.
Wie ein Stapler der Kisten von einem Lager in ein anderes umräumt.

Das funktioniert – aber es kann brutal langsam werden!

Apple verfolgt seit Jahren mit den MACs einen anderen Ansatz:

CPU und GPU greifen auf denselben Speicherpool zu.

= Unified Memory.

Und plötzlich entstehen Maschinen, bei denen eine GPU nicht 24 oder 32 GB, sondern 128, 256 oder sogar 512 GB Speicher adressieren kann.

Jetzt beginnen NVIDIA und AMD, genau diese Richtung ebenfalls stärker zu verfolgen.

Die vier aktuell interessanten Architekturen

1. NVIDIA RTX 5090 – extreme Performance

32 GB GDDR7 = Rund 1,8 TB/s Speicherbandbreite

• CUDA + Tensor Cores + ein großes Ökosystem an optimierte KI-Kernels

Wenn ein Modell vollständig in 32 GB passt, ist diese Architektur schwer zu schlagen.

Für:
• Qwen Image
• FLUX
• Stable Diffusion
• ControlNets
• LoRA-Training
• experimentelle Modelle

ist NVIDIA derzeit häufig die unkomplizierteste Plattform.

Das Problem:

32 GB sind in der heutigen KI-Welt etwas mager.

2. NVIDIA DGX Spark – 128 GB CUDA-Speicher auf dem Schreibtisch

Der DGX Spark geht einen anderen Weg.

NVIDIA kombiniert eine Grace ARM-CPU mit einer Blackwell-GPU und 128 GB kohärentem Unified Memory (LPDDR5x).

CPU und GPU arbeiten damit auf einem gemeinsamen Speicher.

Klingt zunächst wie die perfekte KI-Workstation.
Es gibt allerdings einen gewaltigen Unterschied zur RTX 5090:

Speicherbandbreite: 273 GB/s.
Die RTX 5090 liegt bei ungefähr 1,8 TB/s.

Damit besitzt die 5090 grob die 6,5-fache Speicherbandbreite.

Der DGX Spark ist deshalb keine schnelle 5090 mit mehr RAM.
Sondern ein System mit großem „CUDA-Speicher“ für Modelle, die auf normalen Consumer-GPUs überhaupt nicht mehr hineinpassen.

Quelle: NVIDIA DGX Spark
NVIDIA – DGX Spark Specifications

3. AMD Ryzen AI Max+ 395 – der 128-GB-x86-PC

AMD hat mit „Strix Halo“ etwas gebaut, das auch sehr interessant klingt.

Der Ryzen AI Max+ 395 kombiniert:

• 16 Zen-5-CPU-Kerne
• Radeon 8060S
• 40 GPU Compute Units
• bis zu 128 GB LPDDR5X
• einen gemeinsamen Speicherpool

Und das Ganze läuft auf einem normalen x86-64-System mit Windows oder Linux.

Die AMD Halo Developer Platform erreicht:

128 GB Speicher mit 256 GB/s Speicherbandbreite
Damit liegt sie beim Speicher ungefähr auf DGX-Spark-Niveau – also eher gemächlich.

Der große Unterschied:
Kein CUDA.

AMD verwendet ROCm statt CUDA.
Und genau hier zeigt sich, dass Hardware allein nicht entscheidet.

Ein Projekt mit CUDA-spezifischen Kernels läuft auf NVIDIA häufig sofort.
Bei AMD muss aber die notwendige ROCm-Unterstützung vorhanden sein.

Quelle: AMD
AMD – Ryzen AI Max+ 395 / Halo Platform

4. Apple M5 Ultra – und plötzlich wird es wirklich interessant

Apple legt gut vor und zeigt, dass Unified Memory nicht automatisch langsam sein muss.

Der neue M5 Ultra kann mit bis zu:

512 GB Unified Memory

konfiguriert werden.

Aber die eigentlich bemerkenswerte Zahl ist:

1,2 TB/s Speicherbandbreite.

Damit befindet sich Apple plötzlich in einer völlig anderen Klasse als DGX Spark oder Strix Halo.

Zum Vergleich:

• DGX Spark: 273 GB/s
• Ryzen AI Max+ 395: 256 GB/s
• M5 Ultra: 1.200 GB/s
• RTX 5090: ungefähr 1.800 GB/s

Das bedeutet:

Der M5 Ultra besitzt einen riesigen gemeinsamen Speicherpool – und gleichzeitig eine Speicherbandbreite, die schon deutlich näher an dediziertem High-End-GPU-Speicher liegt.

Apple spricht ausdrücklich davon, Modelle mit Hunderten Milliarden Parametern vollständig lokal ausführen zu können.

Quelle: Apple
Apple – Mac Studio mit M5 Ultra

Das Problem?

Kein CUDA.

Apple verwendet Metal, MPS und MLX.
Gut unterstützte Modelle können darauf hervorragend funktionieren.

CUDA ist viel mehr als ein GPU-Treiber

Warum kann eine RTX 5090 trotz teilweise vergleichbarer Speicherbandbreite bei bestimmten KI-Workloads erheblich schneller sein?
Weil NVIDIA seit Jahren einen kompletten Software Stack optimiert:

Ein moderner KI-Kernel kombiniert mehrere Operationen:

z.B.: MatMul + Bias + Activation – in einem einzigen „fused kernel“.

• Weniger Speicherbewegungen.
• Weniger Overhead.
• Mehr reale Rechenleistung.

Jetzt kommt NVIDIA RTX Spark / N1X

Hier könnte es besonders spannend werden.
NVIDIA hat für Oktober 2026 eine neue RTX-Spark-Klasse angekündigt.
Die größere N1X-Konfiguration soll unter anderem bieten:

• 20-Core Grace CPU
• 6.144-Core NVIDIA Blackwell RTX GPU

und:

• bis zu 128 GB LPDDR5X Unified Memory

Das Ganze soll nicht nur als Entwicklerbox kommen, sondern in Premium-Laptops und kleinen PCs verschiedener Hersteller.

• Asus
• Dell
• HP
• Lenovo
• …

Aber eine wichtige Zahl fehlt momentan noch:

Die Speicherbandbreite!
Denn sie entscheidet darüber, was N1X wirklich wird.

Wenn NVIDIA bei der Speicherbandbreite in Richtung 1 TB/s geht, verändert sich die Situation fundamental.

Dann hätten wir plötzlich:

großen Unified Memory + CUDA + Blackwell + hohe Bandbreite.

Und genau so eine Hardware fehlt heute noch.

Quelle: Nvidia
Nvidia – RTX Spark

Die Frage ist daher nicht mehr unbedingt:

„Wie viele TOPS hat die nächste GPU?“

Sondern eher:

„Wie groß kann mein gesamter Modell- und Kontext-Workload werden, bevor ich zwischen schnellem GPU-Speicher und Systemspeicher verschieben muss?“

Fazit

• RTX 5090 zeigt, wie schnell lokale KI heute sein kann.
• Apple zeigt, wie groß ein schneller gemeinsamer Speicher werden kann.
• DGX Spark zeigt, dass NVIDIA CUDA und Unified Memory zusammenbringen kann.
• AMD zeigt, dass dieses Prinzip auch im normalen x86-PC funktioniert.
• Und N1X könnte zeigen, ob daraus schließlich eine neue Klasse von KI-PCs entsteht.

Dieses Modul vermittelt die Grundlagen der Künstlichen Intelligenz und richtet sich insbesondere an Berufserfahrene, die verstehen möchten, wie moderne KI-Systeme funktionieren und in der Praxis eingesetzt werden.

Zu Beginn werden die wichtigsten Begriffe, Konzepte und Anwendungsgebiete der Künstlichen Intelligenz vorgestellt. Anschließend lernen die Teilnehmenden klassische Verfahren des Maschinellen Lernens kennen, darunter Regression, k-nächste Nachbarn (k-NN) und Entscheidungsbäume. Anhand anschaulicher Beispiele wird gezeigt, wie diese Verfahren Muster erkennen und Vorhersagen treffen.

Ein weiterer Schwerpunkt liegt auf neuronalen Netzwerken. Deren Funktionsweise wird zunächst mithilfe eines leicht verständlichen Wassersystem-Modells erklärt und anschließend technisch fundierter mit den Konzepten Inferenz, Training und Optimierung betrachtet. Darüber hinaus werden grundlegende Trainingsmethoden sowie die Entwicklung und Verbesserung von KI-Modellen erläutert.

Zur Veranschaulichung der Inhalte werden mehrere interaktive Demonstrationen vorgestellt. Dazu gehören unter anderem die Schätzung von Immobilienpreisen mit Regressionsverfahren, ein handschriftliches Ziffernerkennungssystem, bei dem Teilnehmende selbst Ziffern zeichnen können, sowie das Training eines Convolutional Neural Networks (CNN) zur automatischen Erkennung verschiedener Obstsorten anhand von Bildern.

Abgerundet wird das Modul durch einen Einblick in die Mensch-Maschine-Interaktion. Dabei wird beleuchtet, wie Menschen und KI-Systeme zusammenarbeiten, welche Möglichkeiten moderne KI bietet und warum menschliche Bewertung und Kontrolle weiterhin eine zentrale Rolle spielen.

Der Kurs basiert auf einer Aufzeichnung einer Live-Durchführung mit dem KI-Agenten Brainy und PresenterOS und verbindet verständliche Erklärungen mit praxisnahen Demonstrationen und realen Anwendungsbeispielen.

Wenn heute von künstlicher Intelligenz gesprochen wird, denken die meisten Menschen sofort an ChatGPT, Bildgeneratoren oder digitale Assistenten.
Doch KI existiert nicht erst seit dem aktuellen Hype.

Tatsächlich begleiten uns intelligente Systeme bereits seit Jahrzehnten – oft unbemerkt im Hintergrund unseres Alltags.

Viele Anwendungen, die wir heute selbstverständlich nutzen, basieren auf Verfahren, die lange vor modernen Sprachmodellen entwickelt wurden.

Die stille Erfolgsgeschichte der klassischen KI

Bereits seit vielen Jahren unterstützen KI-Systeme Unternehmen bei Entscheidungen, Prognosen und Analysen.
Sie berechnen Risiken, erkennen Muster und helfen dabei, große Datenmengen auszuwerten.

Typische Beispiele sind:

• Kreditbewertungen bei Banken
• Risikoberechnungen bei Versicherungen
• Produktempfehlungen im Onlinehandel
• Spamfilter im E-Mail-Verkehr
• Navigationssysteme
• Medizinische Diagnosesysteme

Diese Verfahren basieren häufig auf mathematischen Modellen und klar definierten Regeln.
Dadurch sind ihre Entscheidungen oft nachvollziehbar und überprüfbar.

Moderne (generative) KI ist spektakulär.

Klassische KI ist oft unsichtbar – aber unverzichtbar.

KI ist mehr als ChatGPT

Der aktuelle Fokus auf generative KI vermittelt schnell den Eindruck, als bestünde künstliche Intelligenz ausschließlich aus Chatbots.
Das ist jedoch nur ein kleiner Teil der KI-Welt.

Künstliche Intelligenz umfasst viele verschiedene Verfahren:

• Analysieren
• Vergleichen
• Vorhersagen
• Klassifizieren
• Entscheiden
• Generieren

Während ChatGPT Texte erstellt, lösen andere KI-Verfahren oft ganz andere Aufgaben.

In vielen Unternehmen sind genau diese klassischen Verfahren bis heute die wichtigste Form künstlicher Intelligenz.

Warum klassische KI weiterhin wichtig bleibt

Moderne Sprachmodelle sind beeindruckend.
Dennoch haben klassische Verfahren häufig entscheidende Vorteile:

Erklärbarkeit

Die Entscheidung eines Modells kann oft nachvollzogen werden.

Geschwindigkeit

Viele klassische Verfahren benötigen deutlich weniger Rechenleistung.

Stabilität

Die Ergebnisse sind reproduzierbar und konsistent.

Geringerer Datenbedarf

Für viele Aufgaben reichen vergleichsweise kleine Datenmengen aus.
Deshalb werden klassische und moderne KI auch in Zukunft parallel eingesetzt.
Es geht nicht um Ersatz.
Es geht um die richtige Methode für die richtige Aufgabe.

Lineare Regression – Vorhersagen mit Mathematik

Eine der bekanntesten Methoden der klassischen KI ist die lineare Regression.

Das Prinzip ist einfach:
Vergangene Daten werden genutzt, um zukünftige Werte vorherzusagen.

Ein Immobilienportal könnte beispielsweise folgende Faktoren berücksichtigen:

• Wohnfläche
• Lage
• Zustand
• Zimmeranzahl
• Baujahr

Aus tausenden bekannten Verkaufsdaten erkennt das System Muster und berechnet daraus einen wahrscheinlichen Verkaufspreis.

Wichtig dabei:
Die Maschine versteht keine Häuser.
Sie erkennt lediglich statistische Zusammenhänge in den Daten.

KI besitzt kein eigenes Verständnis.
Sie erkennt Muster.
Dieses Prinzip gilt übrigens nicht nur für klassische KI, sondern auch für moderne Sprachmodelle.

Entscheidungsbäume – Wenn-Dann-Logik in großem Maßstab

Entscheidungsbäume unterstützen Unternehmen dabei, Entscheidungen systematisch zu treffen.
Das Modell lernt aus früheren Fällen und erkennt, welche Bedingungen zu welchem Ergebnis geführt haben.

Ein vereinfachtes Beispiel aus dem Kreditgeschäft:

• Einkommen hoch + Bonität gut → Kredit bewilligt
• Einkommen mittel + Bonität schlecht → Kredit abgelehnt
• Einkommen mittel + Bonität gut → Kredit bewilligt

Das Modell arbeitet dabei Schritt für Schritt.
Es prüft Bedingungen und gelangt schließlich zu einer Entscheidung.

Der große Vorteil:
Der Entscheidungsweg bleibt nachvollziehbar.

KNN – Lernen durch Ähnlichkeit

Viele Empfehlungssysteme arbeiten nach einem einfachen Prinzip:
Wer ähnliche Interessen hat, interessiert sich oft für ähnliche Produkte.

Das sogenannte K-Nächste-Nachbarn-Verfahren sucht nach Nutzern mit vergleichbarem Verhalten.
Anschließend werden Empfehlungen ausgesprochen.

Typisches Beispiel:

Kunden, die dieses Produkt gekauft haben,
kauften auch …

Ähnliche Nutzer erkennen

Muster vergleichen

Empfehlungen erzeugen

Keine Garantie auf Treffer

So entstehen Produktempfehlungen bei Online-Shops, Streamingdiensten oder Lernplattformen.

Ähnlichkeit bedeutet nicht automatisch Übereinstimmung.

Nur weil zwei Kunden ähnliche Produkte gekauft haben, bedeutet das nicht, dass sie dieselben Bedürfnisse haben.
Deshalb liefern KI-Systeme Wahrscheinlichkeiten – keine Gewissheiten.

Fazit

Die Geschichte der künstlichen Intelligenz begann nicht mit ChatGPT.

Schon seit Jahrzehnten helfen intelligente Systeme dabei, Muster zu erkennen, Vorhersagen zu treffen und Entscheidungen zu unterstützen.

Moderne generative KI erweitert diese Möglichkeiten erheblich.

Doch die klassischen Verfahren bilden bis heute das Fundament vieler erfolgreicher Anwendungen.

Wer KI verstehen möchte, sollte deshalb nicht nur auf die neuesten Tools schauen.

Er sollte verstehen, auf welchen Grundlagen die gesamte Entwicklung aufbaut.

Vielleicht fragst du dich, ob künstliche Intelligenz deinen Arbeitsplatz verändert oder sogar ersetzt.
Diese Sorge ist verständlich.
Doch die Realität sieht anders aus: KI ersetzt erfahrene Menschen nicht. Sie unterstützt sie.

Stell dir KI wie einen hoch motivierten Junior-Assistenten vor. Sie arbeitet schnell, liefert Ideen, erstellt Entwürfe und hilft bei Routineaufgaben. Doch am Ende bist immer noch du die Person, die bewertet, entscheidet und Verantwortung übernimmt.

Dein neuer digitaler Kollege

Stell dir vor, du hättest einen Mitarbeiter, der:

• rund um die Uhr verfügbar ist,
• innerhalb von Sekunden recherchiert,
• erste Entwürfe erstellt,
• Ideen liefert,
• Informationen zusammenfasst,
• und niemals genervt auf Rückfragen reagiert.

Genau diese Rolle kann KI übernehmen.
Sie nimmt dir nicht die Arbeit ab.
Sie nimmt dir einen Teil der Vorarbeit ab.

Merke:
KI liefert Antworten.
Du entscheidest, welche davon richtig und sinnvoll sind.

Warum deine Erfahrung wichtiger wird

Viele Menschen glauben, dass KI Erfahrung überflüssig macht.
Tatsächlich passiert das Gegenteil.
Je leistungsfähiger KI wird, desto wertvoller wird deine Erfahrung.

Denn du erkennst:

• ob eine Antwort plausibel ist
• welche Risiken übersehen wurden
• welche Informationen fehlen
• und welche Lösung wirklich zur Situation passt

KI kann Informationen verarbeiten.
Du verstehst den Kontext.

Tools kommen und gehen – Grundlagen bleiben

Jedes Jahr erscheinen neue KI-Tools.

Heute nutzt du vielleicht ChatGPT.
Morgen ein anderes System.

Wenn du nur einzelne Werkzeuge lernst, musst du ständig von vorne beginnen.
Wenn du jedoch die Grundlagen verstehst, kannst du dich schnell auf neue Systeme einstellen.

Deshalb solltest du nicht nur lernen, welches Tool du verwendest, sondern vor allem verstehen:

• wie KI grundsätzlich funktioniert,
• wo ihre Grenzen liegen,
• warum Fehler entstehen,
• und wie du Ergebnisse richtig bewertest.

Das Motorsport-Prinzip

Ein Rennfahrer baut sein Auto nicht selbst.
Trotzdem versteht er Motor, Getriebe, Bremsen und die Grenzen seines Fahrzeugs.

Warum?
Weil er nur dann das volle Potenzial nutzen kann.

Genauso verhält es sich mit künstlicher Intelligenz.

Du musst kein Entwickler sein.
Aber du solltest verstehen, wie das System arbeitet.
Nur dann kannst du die Ergebnisse richtig einschätzen und sinnvoll nutzen.

Was künstliche Intelligenz eigentlich ist

Künstliche Intelligenz beschreibt Computersysteme, die bestimmte menschliche Fähigkeiten nachahmen können.

Dazu gehören:

• Lernen
• Muster erkennen
• Sprache verstehen
• Planen
• Probleme lösen
• Kreative Unterstützung

Dabei denkt KI nicht wie ein Mensch.
Sie analysiert große Datenmengen, erkennt Muster und berechnet Wahrscheinlichkeiten.
Die Antworten wirken oft intelligent.

Trotzdem benötigt KI weiterhin einen Menschen, der beurteilt, ob die Ergebnisse tatsächlich sinnvoll sind.

Dein Fazit

Künstliche Intelligenz ist kein Ersatz für dein Wissen.

Sie ist ein Werkzeug, das deine Fähigkeiten erweitert.

Je mehr Erfahrung du mitbringst, desto besser kannst du KI einsetzen.

Die Zukunft gehört deshalb nicht der künstlichen Intelligenz allein.

Die Zukunft gehört Menschen, die ihre Erfahrung mit den Möglichkeiten moderner KI verbinden.

Dies ist Teil 7 der Kursserie „ChatGPT & Co verstehen: Wie große Sprachmodelle wirklich arbeiten – anschaulich & interaktiv“.

Dem Self-Attention-Mechanismus unter die Haube geschaut!

Das Ziel von Self-Attention ist es, die wechselseitigen Abhängigkeiten zwischen Tokens im Satzkontext zu erkennen und zu gewichten.

Für jedes einzelne Token wird dabei ein neues kontextangepasstes Embedding berechnet – also ein neuer Merkmalsvektor, der die gewichteten Informationen aller Tokens bis zum aktuellen Token im Satz berücksichtigt.
So entsteht für jedes Token eine neue Repräsentation, die seine Bedeutung im Kontext der anderen Tokens widerspiegelt.

Jedes Token startet mit einem eigenen Embedding aus der Roh-Embedding-Lookup-Tabelle – sie wird während des Trainings gelernt und bleibt bei der Inferenz unverändert. So kann etwa „zwei“ als Zahl, „schwarze“ als Farbe und „Katzen“ als Tier dargestellt werden.
Durch den Transformer-Mechanismus werden diese Informationen gemeinsam verarbeitet. Dadurch erhält das Token „Katzen“ ein neues, kontextangepasstes Embedding, das die Bedeutung des gesamten Satzes widerspiegelt – das Bild zweier schwarzer Katzen. (Reale Embeddings sind natürlich latent, wie wir bereits gesehen haben.)

Ein Transformer führt eine große Menge an Berechnungen durch – und das gleichzeitig für viele Tokens.
Um all diese Berechnungen – von den Q/K/V-Transformationen bis zur Gewichtung der Kontextinformationen – effizient durchzuführen, braucht es ein Werkzeug, das viele Operationen parallel und blitzschnell ausführen kann.

➔ Hier kommen Matrizen ins Spiel …

Mathe? Keine Sorge!

Um Self-Attention richtig zu verstehen, brauchen wir etwas Mathe – aber keine Angst, das ist handlich und intuitiv.

[0.3, -1.2, 4.7, ...]

[ 1  2  3 ]
[ 4  5  6 ]
[ 7  8  9 ]

Warum Matrizen?

Die bahnbrechende Publikation von Vaswani et al. („Attention is All You Need“) hat nicht nur eine revolutionäre Architektur vorgestellt, sondern sie auch vollständig auf Matrizenoperationen aufgebaut.
Dieser Ansatz bildet bis heute das Herzstück moderner Transformer-Modelle – darunter GPT, Claude, Gemini, Granite und viele andere.
Die Rechenstruktur wurde seitdem nur leicht optimiert, die Grundidee ist aber nahezu unverändert übernommen worden.

Warum Matrizen so mächtig sind

Matrizen haben zwei entscheidende Vorteile:

1. Sie ermöglichen es, Millionen mathematische Operationen in einem Schritt durchzuführen – dank hochoptimierter Matrixmultiplikation.
2. Sie lassen sich hervorragend auf GPUs parallelisieren – was sie ultra schnell macht.

Matrizen werden schon seit Jahrzehnten in der Computergrafik eingesetzt – besonders in einem Bereich, den fast jeder kennt: 3D-Spiele.
In den letzten Jahren ist die Qualität und der Realismus in Games regelrecht explodiert.
Hauptgrund dafür: Grafikkarten (GPUs) wurden immer leistungsfähiger und können Millionen von Vektor- und Matrizenberechnungen pro Sekunde durchführen.

Man könnte sagen: Power-Gamer haben den Weg bereitet, damit heutige Computer zu echten Matrizenspezialisten geworden sind – eine Entwicklung, von der KI-Modelle heute massiv profitieren.

Erlebe Matrizen in Aktion!

In dieser 3D-Szene siehst du ein Raumschiff als anschauliches Beispiel.

Eine Matrix genügt
Anstatt jeden Rechenschritt – wie Verschiebung, Rotation (um X-, Y- und Z-Achse), Skalierung usw. – einzeln auszuführen, wird das gesamte Modell inklusive Umgebung mit einer einzigen sogenannten Model-View-Projection-Matrix (MVP) transformiert.

Verschiedene Blickwinkel
Du kannst das Raumschiff dabei aus unterschiedlichen Perspektiven betrachten – ähnlich wie wir das später bei Transformationen der Embeddings machen, um Informationen gezielt aus verschiedenen Blickwinkeln zu erfassen.

Probiere es aus: Du kannst dich mit der Maus oder Touch in der Szene frei bewegen!

• linke Maustaste: drehen,
• rechte Maustaste: verschieben,
• Scrollrad: zoomen.

Drei verschiedene Ansichten von jedem Token

Jedes Token liegt ursprünglich als Embedding-Vektor vor – ein Vektor mit z. B. 12.288 Zahlen, die seine Bedeutung in einem hochdimensionalen Raum abbilden.

Aus diesem Embedding-Vektor werden durch Projektion drei neue Vektoren gebildet, die im Attention-Mechanismus unterschiedliche Funktionen erfüllen:

• Query (Q) Vektor – der mit den Keys der anderen Tokens auf Ähnlichkeit geprüft wird
• Key (K) Vektor – der als Grundlage für diesen Vergleich dient
• Value (V) Vektor – dessen Inhalte – je nach Relevanz – in die neue Darstellung des Tokens einfließen

„Im Bild sehen wir einen einzelnen Token Vektor mit 4 Merkmalen, der auf 3 Dimensionen projiziert wurde – in realen Modellen wie GPT‑3.5 bestehen solche Vektoren tatsächlich aus über 12.288 Dimensionen.“

Die Transformation erfolgt durch drei verschiedene – beim Training mit Milliarden Wörtern erlernte – Gewichtsmatrizen:
Eine für Query, eine für Key, eine für Value.

\vec{v} \cdot W =
\begin{bmatrix}
\color{blue}{2} & \color{red}{3} & \color{green}{1} & \color{orange}{1}
\end{bmatrix}
\cdot
\begin{bmatrix}
\color{blue}{1} & \color{blue}{0} & \color{blue}{2} \\
\color{red}{2} & \color{red}{1} & \color{red}{1} \\
\color{green}{0} & \color{green}{1} & \color{green}{0} \\
\color{orange}{1} & \color{orange}{0} & \color{orange}{1}
\end{bmatrix}
=
\begin{bmatrix}
\color{blue}{9} & \color{red}{4} & \color{green}{8}
\end{bmatrix}

\begin{aligned}
\color{blue}{2} \cdot \color{blue}{1} + \color{red}{3} \cdot \color{red}{2} + \color{green}{1} \cdot \color{green}{0} + \color{orange}{1} \cdot \color{orange}{1} &= 2 + 6 + 0 + 1 = \color{blue}{9} \\
\color{blue}{2} \cdot \color{blue}{0} + \color{red}{3} \cdot \color{red}{1} + \color{green}{1} \cdot \color{green}{1} + \color{orange}{1} \cdot \color{orange}{0} &= 0 + 3 + 1 + 0 = \color{red}{4} \\
\color{blue}{2} \cdot \color{blue}{2} + \color{red}{3} \cdot \color{red}{1} + \color{green}{1} \cdot \color{green}{0} + \color{orange}{1} \cdot \color{orange}{1} &= 4 + 3 + 0 + 1 = \color{green}{8}
\end{aligned}

Für jedes Token wird das ursprüngliche Embedding x_i mit den drei Gewichtsmatrizen
W_Q, W_K und W_V multipliziert, um die drei Vektoren Query (Q), Key (K) und Value (V) zu erzeugen.
Diese bilden die Grundlage für den Self-Attention-Mechanismus – vollständig auf Matrizenoperationen basierend und dadurch sehr effizient.

In der Praxis kommt ein weiterer Vorteil hinzu: Alle Tokens der Eingabesequenz X werden parallel verarbeitet – über eine einzige Matrixmultiplikation, bei der jede Zeile einem Token entspricht.

\begin{aligned}
\mathbf{Q} &= \mathbf{X} \cdot \mathbf{W}^Q \\
\mathbf{K} &= \mathbf{X} \cdot \mathbf{W}^K \\
\mathbf{V} &= \mathbf{X} \cdot \mathbf{W}^V
\end{aligned}

Die Gewichtsmatrizen haben so viele Zeilen wie das Embedding Dimensionen besitzt (z. B. 12.288) und so viele Spalten wie die gewünschte Zieldimension vorgibt (z. B. 128).

Das Embedding wird mit jeder Spalte der Gewichtsmatrix elementweise multipliziert und die Produkte addiert:

• Die erste Spalte liefert das erste neue Merkmal,
• die zweite Spalte das zweite neue Merkmal,
• und so weiter …

Jedes dieser neuen Merkmale entsteht durch eine lineare Projektion der ursprünglichen Merkmale – einige werden dabei verstärkt, andere abgeschwächt, manche vollständig ausgeblendet oder sogar umgekehrt (negiert).

Auf diese Weise entsteht aus dem ursprünglichen Merkmalsvektor eine neue Repräsentation in einem kompakteren, reduzierten Merkmalsraum – zum Beispiel von 12.288 auf 128 Merkmale.

Wichtig nochmals zu erwähnen!

• Alle Tokens verwenden dieselben Q-, K- und V-Matrizen pro Attention-Head.
  Es gibt also keine token-spezifischen Gewichtungen, sondern eine einheitliche Transformation für alle Eingaben – das sorgt für maximale Effizienz und Generalisierung.
• Die Q-, K- und V-Matrizen sind unabhängig voneinander.
  Sie lassen sich nicht voneinander ableiten oder direkt in Beziehung setzen – jede von ihnen hat eigene Parameter, die ausschließlich durch das Training gelernt wurden.
• Mit einer solchen Q/K/V-Projektion kann das Modell jeweils nur eine bestimmte Art semantischer Beziehung zwischen Tokens erfassen.
  Ein einzelner Attention-Head bildet dabei typischerweise genau eine Perspektive ab – z. B. „welches Subjekt gehört zu welchem Verb?“.
• In einem vollständigen Transformer-Modell arbeiten jedoch mehrere Heads gleichzeitig und in mehreren gestapelten Layern.
  So entstehen tausende Projektionen, die gemeinsam eine Vielzahl semantischer Muster und Abhängigkeiten erfassen – vom Satzbau bis zur Bedeutung über ganze Absätze hinweg – mehr dazu in einem späteren Abschnitt.

Warum wird die Dimension reduziert?

• Die Reduktion spart Rechenzeit und Speicher – besonders bei großer Kontextgröße,
  da die Berechnungen im Attention-Mechanismus quadratisch mit der Anzahl der Tokens zunehmen.
• Sie erlaubt es dem Modell, die Informationen in einer kompakteren Form darzustellen –
  jeder sogenannte Attention-Kopf arbeitet dadurch mit einer eigenen Projektion, die bestimmte Aspekte der ursprünglichen Merkmale hervorheben kann.
• Der Transformer verwendet mehrere solcher Attention-Köpfe.
  Damit jeder Kopf effizient arbeiten kann, wird die ursprüngliche Embedding-Dimension aufgeteilt – z. B. bei 96 Köpfen: 12.288 / 96 = 128 Dimensionen pro Kopf.

In dieser interaktiven Demo wird das Prinzip anschaulich visualisiert

Wie entstehen diese Q,K,V Matrizen?

Die Q-, K- und V-Matrizen werden durch Training mit riesigen Textmengen gelernt – meist Milliarden von Wörtern.
Das Trainingsziel ist immer die Vorhersage des nächsten Tokens
-> Fehlerhafte Vorhersagen führen zu Rückmeldungen über Backpropagation.

Dadurch lernen die Matrizen:

• Query- und Key-Vektoren so anzupassen, dass relevante Tokens hohe Ähnlichkeit zueinander aufweisen
• Value-Vektoren so zu gestalten, dass nur kontextrelevante Informationen weitergegeben werden

So erkennt der Transformer, welche Tokens relevant füreinander sind

Im Kapitel über Embeddings haben wir bereits gesehen, dass semantisch ähnliche Tokens im Merkmalsraum näher beieinander liegen.

Die Nähe zweier Vektoren wird entweder über ihren Abstand oder den Winkel zwischen ihnen gemessen – bei manchen Verfahren spielt auch ihre Länge eine Rolle.

Bei Transformern spielt vor allem der Winkel zwischen den Vektoren eine zentrale Rolle – nicht ihr euklidischer Abstand.

Zur Erinnerung: Es gibt zwei gängige Verfahren, um Ähnlichkeit über Winkel zu messen:

Skalares Produkt (Dot-Produkt)
Hier werden die entsprechenden Komponenten zweier Vektoren multipliziert und anschließend aufsummiert.
Das Ergebnis ist ein einzelner Wert, der die semantische Ähnlichkeit ausdrückt:

• nahe 0 → kaum Ähnlichkeit
• positiv → semantisch ähnlich
• negativ → eher gegensätzlich

\mathbf{x} \cdot \mathbf{y} = \sum_{i=1}^{n} x_i , y_i

Kosinus-Ähnlichkeit
Die Kosinus-Ähnlichkeit ist ein normalisiertes Skalarprodukt.
Sie berücksichtigt nur den Winkel zwischen den Vektoren – unabhängig von ihrer Länge.
Das Ergebnis liegt immer zwischen –1 und 1.

 cos(\theta) = \frac{ \vec{A} \cdot \vec{B} }{ | \vec{A} | \cdot | \vec{B} | }

Attention Attention!

Bei Transformern ist entscheidend, welche Tokens Einfluss aufeinander ausüben.
Genauer: Für jedes einzelne Token zählt, wie relevant die anderen Tokens für es sind – also welche Informationen sie beisteuern können, die zu seiner Repräsentation im Kontext beitragen.

Um diese Relevanz zu berechnen, haben wir die Tokens bereits mithilfe der Gewichtsmatrizen unterschiedlich projiziert:
Einmal als Query-Vektor und einmal als Key-/Value-Vektoren.
Je besser die Query eines Tokens zu den Keys der anderen passt, desto mehr Value wird von diesen Tokens übernommen.

Attention Score

Die Berechnung der Aufmerksamkeit zwischen Tokens bezeichnet man als Attention Score.
Dabei geht es nicht um einen klassischen geometrischen Abstand, sondern um ein Maß für ihre Nähe im Merkmalsraum – zum Beispiel über die Kosinus-Ähnlichkeit.

Vaswani et al. entschieden sich für die pragmatische Lösung, die besonders effizient ist:
Statt die aufwändige Kosinus-Ähnlichkeit mit zusätzlicher Normierung zu berechnen,
verwenden sie direkt das Skalarprodukt (Dot-Produkt):

\text{score} = \mathbf{q} \cdot \mathbf{k}^\top

Das Dot-Produkt hat noch einen weiteren Vorteil:
Beim Dot-Produkt tragen sowohl der Winkel zwischen den Vektoren als auch ihre Länge zum Ergebnis bei.
Damit hat das Modell die Freiheit, sowohl die Richtung (semantische Nähe) als auch die Stärke einzelner Merkmale (Vektorlängen) zu berücksichtigen.

Allerdings ergibt sich nun ein kleines Problem:
Skalarprodukte in hochdimensionalen Räumen können sehr große Werte annehmen.
Das erschwert die spätere Gewichtung, weil einzelne Tokens dadurch übermäßig stark hervorgehoben werden, während andere kaum noch berücksichtigt würden.

Die Lösung ist einfach und effizient:
Man teilt das Ergebnis durch die Wurzel der Dimensionalität des Key-Vektors (√dk).
So bleiben die Scores stabil und vergleichbar:

\text{score} = \frac{\mathbf{q} \cdot \mathbf{k}^\top}{\sqrt{d_k}}

Token-Relevanz: Probiere aus, wie sich Winkel und Dimensionen auf Cosine Similarity und Dot-Produkt auswirken

Was bedeutet das T bei den Keys?
Das ‚T‘ steht für Transponieren: Es macht aus dem Key-Zeilenvektor einen Spaltenvektor, sodass das Skalarprodukt mit dem Query-Zeilenvektor berechnet werden kann.

Die Attention Score Matrix

Jetzt berechnen wir diese Scores für alle möglichen Kombinationen von Tokens im Satzkontext.
Dazu erstellen wir eine Tabelle: Alle Tokens stehen sowohl in den Zeilen (als Query) als auch in den Spalten (als Key).
An jedem Schnittpunkt wird das Skalarprodukt zwischen Query- und Key-Vektor berechnet – das ergibt den Attention Score.

So entsteht eine vollständige Attention-Matrix, die zeigt, wie stark jedes Token auf alle anderen achtet.
(In dieser Attention-Matrix treten nur positive Scores auf, obwohl negative ebenfalls möglich wären.)

Maskierung aktivieren

Die Attention-Score-Matrix ist konzeptionell von Größe n × n. Der Rechenaufwand wächst damit quadratisch mit der Länge des Kontextfensters, und bei „naiver“ Implementierung gilt dies auch für den Speicherbedarf.

Bei mehreren tausend Tokens steigen die benötigten Ressourcen entsprechend stark an und stellen heutige Hardware schnell vor praktische Grenzen. Ohne spezielle Optimierungen lassen sich in der Praxis meist nur einige Tausend Tokens effizient verarbeiten.
Sehr große Kontextfenster im Bereich von 100.000 Tokens und mehr sind technisch möglich, erfordern jedoch optimierte Verfahren wie FlashAttention sowie teilweise zusätzliche strukturelle Ansätze wie Sparse Attention oder Segmentierung.
Ein weiterer limitierender Faktor ist die Attention selbst – bei sehr langen Kontexten kann sich der Fokus so stark verteilen, dass wichtige Stellen an Gewicht verlieren.

\text{score} = \frac{\mathbf{Q} \cdot \mathbf{K}^\top}{\sqrt{d_k}}

Jetzt zählen die wahren Werte!

Im nächsten Schritt kommen endlich die Value-Vektoren ins Spiel.
Jetzt entscheidet sich, welche Informationen aus dem Kontext auf welches Token übertragen werden.

Doch bevor wir loslegen, müssen wir noch ein Problem lösen …

Bitte nicht schummeln …

Wenn wir für jedes Token alle Attention Scores im Satz berücksichtigen, könnte das Modell auch auf Tokens zugreifen, die erst später folgen – und damit Informationen nutzen, die es zu diesem Zeitpunkt eigentlich noch gar nicht kennen dürfte.

Das widerspricht der Idee eines autoregressiven Decoders, der bei der Vorhersage ausschließlich auf frühere Tokens zugreifen darf.

Die Attention-Maske

Wie verhindern wir diese Schummelei?

Mit einem einfachen Trick: Wir verwenden eine Maske.
Dabei werden alle Scores, die sich auf zukünftige Tokens beziehen, ausgeblendet – oder etwas technischer:
Sie werden durch −∞ (oder eine sehr große negative Zahl) ersetzt, damit diese Positionen bei der Berechnung komplett ausgeschlossen werden.

Wird anschließend die Gewichtung (Softmax) angewendet, werden diese Positionen automatisch auf null gesetzt – und damit vollständig ignoriert.

Probiere es selbst in der Attention-Demo: Aktiviere die Maskierung – und beobachte, wie das Modell nicht mehr auf spätere Tokens zugreifen kann.

Welches Token trägt wie viel bei?

Mit der Attention-Matrix wissen wir nun, welche Tokens einander Aufmerksamkeit schenken. Doch wie genau beeinflussen diese Scores, welche Merkmale ein Token von anderen übernimmt?

Die zentrale Idee: Tokens erhalten im Kontext nicht nur Aufmerksamkeit, sondern übernehmen auch Merkmale – und zwar aus den Value-Vektoren der Tokens, auf die sie sich fokussieren.

Das Team um Vaswani hat dafür einen eleganten Mechanismus entwickelt:
Man geht zeilenweise durch die Attention-Matrix – also Token für Token – und berechnet für jedes Ziel-Token, welche anderen Tokens in der Zeile wie stark beitragen.

Allerdings: Die rohen Attention-Scores sind noch nicht direkt geeignet zum Rechnen – sie sind nicht skaliert, nicht normiert, und schwer vergleichbar.
Deshalb brauchen wir eine Funktion, die Ordnung in diese Werte bringt mit denen wir zuverlässig gewichten können.

Die Rolle der Softmax-Funktion

Hier kommt die Softmax-Funktion ins Spiel.
Sie ist eine mathematische Methode, mit der sich eine Liste von Zahlen in relative Gewichtungen umrechnen lässt.

Dabei wird jeder Wert zunächst durch die Exponentialfunktion verstärkt und anschließend so normalisiert, dass alle Ergebnisse zwischen 0 und 1 liegen und ihre Summe genau 1 ergibt.

So entstehen proportionale Gewichtungen: Größere Eingabewerte erhalten mehr Gewicht, kleinere weniger – so wird die Auswahl gezielt auf die relevantesten Tokens gelenkt.

Die Softmax-Funktion liefert uns damit für jedes Token in einer Attention-Zeile genau den Multiplikator, mit dem sein Value-Vektor gewichtet in das Ziel-Token einfließt.

Die Softmax-Werte einer Zeile ergeben immer genau 1 – das garantiert, dass die resultierende Kombination der Value-Vektoren stabil und ausgewogen ist.

\text{Softmax}(z_i) = \frac{e^{zi}}{\sum{j=1}^{n} e^{z_j}}

Probiere aus, wie sich die Softmax-Gewichtungen verändern, wenn du die Score-Werte anpasst:

Das neue Embedding entsteht

Jetzt haben wir alles beisammen:

• Die Attention-Matrix zeigt, wie stark ein Token auf andere achtet.
• Die Softmax-Funktion wandelt diese Werte in Gewichtungen um.
• Die Value-Vektoren enthalten die Merkmale, die weitergegeben werden.

Nun berechnen wir für jedes Token die gewichtete Summe der Value-Vektoren – mit den Softmax-Werten als Multiplikatoren.
Das Ergebnis ist ein neuer, kontextsensitiver Merkmalsvektor – also das neue Embedding.

Dieser Vektor fasst zusammen, welche Informationen aus dem gesamten Satzkontext für das aktuelle Token wichtig sind.

Die Formel, die gerade die Welt verändert!

\cancel{\boldsymbol{E = mc^2}}

\mathbf{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \mathbf{softmax}\left( \frac{\mathbf{Q}\mathbf{K}^\top}{\sqrt{d_k}} + \mathbf{M} \right)\mathbf{V}

Der gesamte Vorgang der Self-Attention, den wir hier beschrieben haben, wurde von Vaswani und seinem Team in einer einzigen eleganten Formel zusammengefasst.
Alle Hochachtung für diesen genialen Mechanismus – an Vaswani, das gesamte Forschungsteam und natürlich auch an all jene, die zuvor den Weg dafür bereitet haben.

An heutigen Tools wie ChatGPT, Gemini und vielen anderen sehen wir Entwicklungen, die wir noch vor wenigen Jahren für undenkbar gehalten hätten.
Und es ist sehr wahrscheinlich, dass wir schon bald weitere emergente Phänomene erleben werden – Entwicklungen, die unsere heutige Vorstellungskraft nicht nur fordern, sondern weit übersteigen.

Wie geht es nun weiter?

Mit der Self-Attention haben wir nun ein Embedding erzeugt, das für jedes Token – insbesondere das letzte („schläft“) – den gesamten Kontext berücksichtigt.

Was jetzt noch fehlt: Dieses Embedding muss einem konkreten nächsten Token zugeordnet werden.
Dafür kommt ein weiteres neuronales Netz ins Spiel: ein Feedforward-Layer, der das Embedding weiterverarbeitet – und dabei hilft, logische und semantische Muster zu erkennen.

Am Ende erzeugt ein Decoder eine Wahrscheinlichkeitsverteilung über das Vokabular – und wählt das wahrscheinlichste nächste Token aus.

Wie das funktioniert, sehen wir im nächsten Kapitel.

Dies ist Teil 6 der Kursserie „ChatGPT & Co verstehen: Wie große Sprachmodelle wirklich arbeiten – anschaulich & interaktiv“.

Bedeutung durch Kontext

Transformer haben den großen Durchbruch erzielt, weil sie die Bedeutung von Wörtern nicht isoliert, sondern im gesamten Kontext erfassen.

Im Unterschied zu früheren Modellen analysieren Transformer alle Tokens parallel und setzen sie dabei in Beziehung zueinander.
So erkennen sie semantische Zusammenhänge und können Sprache auf einer tieferen Ebene verarbeiten.

Was wir bisher schon wissen:

• Die Bedeutung einzelner Tokens wird durch Embeddings dargestellt – also durch ihre Lage im Merkmalsraum.
• Die Position im Satz wird zusätzlich durch ein Position Encoding berücksichtigt.

Aber – reicht das aus, um den Sinn eines ganzen Satzes zu verstehen?

Sehen wir uns ein Beispiel an:

Das Wort „Schloss“ kann vieles bedeuten:
ein Vorhängeschloss, ein Türschloss – oder ein adeliges Schloss auf einem Hügel.
Ohne weiteren Kontext bleibt die Bedeutung mehrdeutig. In der Fachsprache nennt man das: Ambiguität

Betrachten wir nun einen ganzen Satz:

Klingt poetisch – aber auch hier bleibt offen, was gemeint ist.
Das Adjektiv „alt“ hilft uns zwar weiter, grenzt die Bedeutung aber noch nicht eindeutig ein.

Erweitern wir den Satz um ein weiteres Adjektiv:

Nun wird klar: Ein adeliges Schloss rostet nicht – wahrscheinlich ist ein Sicherheitsschloss gemeint.

Präzisieren wir den Satz noch einmal:

Jetzt besteht kein Zweifel mehr: Es handelt sich eindeutig um ein Fahrradschloss.

Dieses Beispiel zeigt: Wörter werden erst durch den Kontext eindeutig verständlich.

Encoder und Decoder im ursprünglichen Transformer

Das Paper von Vaswani et al. „Attention Is All You Need“ stellte ursprünglich ein Modell für maschinelle Übersetzung vor.
Dafür gab es zwei zentrale Bausteine:

• Encoder: Erfasst den gesamten Eingabetext (z. B. einen deutschen Satz) und erzeugt eine kontextabhängige Darstellung jedes Tokens – also eine Folge von Vektoren, die die Bedeutung im Satzzusammenhang darstellen.
• Decoder: Nutzt diese Abbildung plus die bisher generierten Tokens, um Schritt für Schritt die Übersetzung in der Zielsprache zu erzeugen.

Moderne Sprachmodelle wie GPT vereinfachen diese Architektur: Sie bestehen nur aus Decoder-Stacks.

Das wirkt wie eine Reduktion – ist aber für die Sprachgenerierung eine geniale Spezialisierung. Denn ein Decoder kann beides:

• Den bisherigen Kontext „verstehen“ (durch Self-Attention)
• Und ihn gleichzeitig „weitererzählen“ (durch die Ausgabe des nächsten Tokens).

Darum verwendet GPT nur den Decoder-Teil und verzichtet auf den Encoder:
Es übersetzt nicht von einer Sprache in eine andere, sondern setzt einfach die eigene Geschichte fort.

Roh Embedding

Zu Beginn erhält jedes Token ein Roh-Embedding – also eine Vektorrepräsentation im Merkmalsraum, die während des Trainings gelernt wurde. Dieses Embedding ist zunächst kontextunabhängig: Es berücksichtigt noch nicht die anderen Tokens im Kontextfenster.
Das gleiche Token – etwa ‚Bank‘ – wird immer gleich eingebettet, unabhängig vom Kontext.

Bei mehrdeutigen Tokens – wie Schloss – hat das Modell gelernt, dass sie in verschiedenen Bedeutungsbereichen im Merkmalsraum auftreten können. So wird Schloss anfänglich irgendwo zwischen den semantischen Clustern von adeligem Gebäude und Sicherheitsschlösser (z. B. Vorhängeschlössern) positioniert.

Erst durch den Kontext der umliegenden Tokens entsteht aus dem ursprünglichen Embedding von Schloss eine kontextabhängige Bedeutung – seine Position im Merkmalsraum verschiebt sich entsprechend.

Im nächsten Beispiel kannst du das selbst beobachten:
Je nachdem, welchen Satz du auswählst, bewegt sich das Embedding von Schloss näher an den Cluster repräsentativer Gebäude oder an den Cluster Sicherheitsschlösser.

Viele Touristen besuchen das Schloss jedes Jahr Mit dem Schlüssel lässt sich das Schloss öffnen.

Wie der Transformer Zusammenhänge zwischen Tokens erkennt

Der Self-Attention-Mechanismus

Komplexe neuronale Verfahren wie der Self-Attention-Mechanismus lassen sich für Menschen oft nur schwer intuitiv erfassen. Häufig hilft eine passende Analogie, um ein Gefühl für das zugrunde liegende Prinzip zu bekommen.

Es gibt viele solcher Analogien, die versuchen, das Konzept von Attention verständlich zu machen. Aus meiner Sicht greifen viele davon jedoch zu kurz: Sie vereinfachen den Mechanismus so stark, dass man glaubt, ihn verstanden zu haben – in Wirklichkeit hat man aber nur das Bild verstanden, nicht die dahinterliegende Technik.

Deshalb habe ich mir eine eigene Analogie überlegt – eine, die anschaulich ist, aber dennoch relativ nah an der tatsächlichen Funktionsweise bleibt.

Eine Analogie: Tokens als beratende Experten

Du kannst dir den Self-Attention-Mechanismus als eine Art Expertenplattform vorstellen.

Jedes Token in der Sequenz ist ein Experte, der zwei Dinge bereitstellt:
ein Beratungsprofil (Key) – also worin es sich auskennt –
und konkretes Wissen (Value), das es teilen kann.

Ein anderes Token stellt eine Anfrage (Query) – es sucht gezielt nach Expertise,
die ihm im aktuellen Kontext weiterhilft.

Der Self-Attention-Mechanismus übernimmt die Vermittlung:
Er vergleicht die Frage mit allen Profilen und berechnet, wer wie gut passt.
Je besser ein Experte zur Frage passt, desto mehr Wissen bringt er ein.

So entsteht eine neue Repräsentation – eine neue kontextabhängige Bedeutung – des fragenden Tokens:
angereichert mit genau den Informationen, die im Moment relevant sind – gezielt, gewichtet und kontextabhängig.

Jedes Token im Kontextfenster stellt seine Anfrage an alle anderen Tokens, um sich besser in den Gesamtkontext einzuordnen.

Gleichzeitig tritt jedes Token auch als Berater auf, indem es Informationen bereitstellt, auf die andere Tokens zugreifen können.

Dieser Austausch erfolgt nicht aktiv, sondern wird parallel und automatisch durch den Self-Attention-Mechanismus berechnet.

Query, Key und Value

Jedes Token wird im Self-Attention-Mechanismus aus drei verschiedenen Perspektiven betrachtet:

• als Query: eine gezielte Anfrage, um relevante Informationen aus dem Kontext zu erhalten,
• als Key: ein Profil, das beschreibt, welche Informationen dieses Token anbietet,
• als Value: der eigentliche Informationsinhalt, den es weitergeben kann.

Der Self-Attention-Mechanismus vergleicht die Query eines Tokens mit den Keys aller anderen Tokens.
Je besser ein Key zur Query passt, desto stärker wird das zugehörige Value in die Berechnung einbezogen.

So entsteht für jedes Token eine neue Repräsentation – angereichert mit den Informationen derjenigen Tokens, die im aktuellen Kontext am relevantesten sind.

Wir haben jetzt das Grundprinzip des Self-Attention-Mechanismus verstanden – Zeit, einen Blick unter die Haube zu werfen.
Dafür brauchen wir etwas Mathematik, aber keine Sorge: Es bleibt gut nachvollziehbar.

Solche multidimensionalen Zusammenhänge sind oft schwer vorstellbar.
Doch schon mit ein wenig Mathematik lassen sie sich erstaunlich gut nachvollziehen.
Mein Tipp: dranbleiben – es lohnt sich!

Dies ist Teil 5 der Kursserie „ChatGPT & Co verstehen: Wie große Sprachmodelle wirklich arbeiten – anschaulich & interaktiv“.

Die großen Vorteile moderner Transformer-Modelle

Die drei wichtigsten Vorteile aktueller LLMs mit Transformer-Architektur:

• Parallele Verarbeitung: Alle Tokens werden gleichzeitig verarbeitet – nicht Schritt für Schritt.
• Besseres Textverständnis: Das Modell erkennt komplexe semantische Zusammenhänge.
• Langer Kontext: Transformer können tausende Tokens gleichzeitig betrachten

Diese Fortschritte ermöglichen Einsatzbereiche, die noch vor wenigen vollkommen Jahren undenkbar waren.

Wie viel Text versteht ein Sprachmodell wirklich?

Die Länge des sogenannten Kontextfensters ist ein zentraler Aspekt moderner Sprachmodelle.
Ein LLM analysiert alle Tokens im Kontextfenster gleichzeitig und setzt sie miteinander in Beziehung. So kann es den ganzen Text „verstehen“.

Je größer dieses Fenster, desto mehr Text kann das Modell auf einmal erfassen – also nicht nur einzelne Wörter und Sätze, sondern sogar ganze Abschnitte oder Kapitel.

Die Größe des Kontextfensters bestimmt maßgeblich das Einsatzgebiet eines Sprachmodells – und ist deshalb ein entscheidender Wettbewerbsfaktor bei der Entwicklung leistungsfähiger LLMs.

In den letzten Jahren hat sich die maximale Kontextlänge massiv erhöht:

In der Tabelle erkennt man deutlich: Einige Modelle haben das Kontextfenster beinahe explosionsartig erweitert.
Diese Vergrößerung wird jedoch häufig durch technische Workarounds oder Speichertricks erreicht – denn tatsächlich liegt die effektiv nutzbare Kontexttiefe bei den meisten Modellen weiterhin im Bereich von einigen Tausend Tokens.

Aber – wo befindet sich nun welches Token?

Die parallele Verarbeitung bringt ein Problem mit sich, das serielle Modelle wie RNNs nicht kennen:
Die Reihenfolge der Tokens im Kontext.

Beispiel:

• Der Hund biss den Briefträger.
• Der Briefträger biss den Hund.

Beide Sätze enthalten genau die gleichen Wörter – aber die Reihenfolge der Wörter verändert die Bedeutung vollkommen.

Transformer müssen also wissen: An welcher Position steht jedes Token?

Dieses Problem war auch Vaswani und seinem Team bewusst:
Ein Transformer verarbeitet alle Tokens gleichzeitig – kennt dabei aber nicht die Reihenfolge, in der sie im Satz standen.

Daher musste eine Methode gefunden werden, dem Modell Positionsinformationen mitzugeben:
Es muss wissen, an welcher Stelle im Satz sich ein Token ursprünglich befand.

Positional Encoding

Dazu wird jedem Token eine Positionsangabe hinzugefügt.
Das kann entweder statisch erfolgen – über eine feste Zahl für jede Position –
oder das Modell lernt selbst, wie es sich die Position merken kann – mithilfe einer internen Tabelle.

Doch das Problem ist jedoch etwas komplexer, als es erstmals klingt:
Es genügt nicht, dem Token einfach eine Zahl mitzugeben – wie z.B. Position 1, 2, 3 …
denn die Position muss sich auch in den Embeddings widerspiegeln, also in den einzelnen Merkmalsdimensionen, die das Modell intern verarbeitet.
Nur so kann das Modell lernen, wie sich semantische Beziehungen ändern, wenn die Tokens an unterschiedlichen Positionen im Satz stehen.

Vaswani wählte dafür eine sehr elegante Lösung:
Das sogenannte Sinusoidal Position Encoding – auch als „Vaswani-Methode“ bekannt.

„Vaswani-Methode“

Die Idee:
Jede Position im Satz wird mithilfe von Sinus- und Kosinus-Funktionen in unterschiedliche Werte umgewandelt – separat für jede Dimension im Embedding.
So entsteht ein einzigartiges Wellenmuster, das die Position codiert – mathematisch unterscheidbar für jedes Token und jede Dimension im Embedding.

PE_{(pos, i)} =
\begin{cases}
\sin\left(\frac{pos}{10000^{\frac{2i}{d}}}\right), & \text{für gerade } i \\
\cos\left(\frac{pos}{10000^{\frac{2i}{d}}}\right), & \text{für ungerade } i
\end{cases}

Die exakte Formel ist weniger entscheidend – wichtig ist:
Man kann erkennen, dass die Positionskodierung je nach Position im Satz und Embedding-Dimension variiert.
Dabei wechseln sich Sinus- und Kosinus Funktionen ab und beginnen mit versetzten Phasen – so entsteht für jede Position ein eindeutiges, unterscheidbares Wellenmuster.

Die folgende interaktive Grafik zeigt die Positionskodierung im Detail – du kannst sie selbst steuern und erkunden.

Das Positions-Encoding wird einfach zum Vektor des Tokens addiert – also zu jedem einzelnen Embedding.
Dadurch verschiebt sich die Lage des Tokens im Merkmalsraum leicht, sodass das LLM erkennen kann, an welcher Stelle im Satz das Token ursprünglich stand.

Moderne Methoden wie RoPE

Neuere Modelle verwenden eine verfeinerte Form der Positionskodierung – etwa RoPE (Rotary Positional Encoding).
Dabei wird nicht das Token selbst im Merkmalsraum verschoben, sondern die Art der Betrachtung des Tokens leicht gedreht.
RoPE ist eine relative, aber fest definierte Positionskodierung – sie integriert die Abstände zwischen Tokens direkt in die Berechnung, statt absolute Positionen zu kodieren.

Das zugrunde liegende Prinzip bleibt jedoch gleich:
Die Positions-Information muss dem Modell mitgegeben werden – sonst kann es die Reihenfolge der Tokens nicht erfassen.

Dies ist Teil 4 der Kursserie „ChatGPT & Co verstehen: Wie große Sprachmodelle wirklich arbeiten – anschaulich & interaktiv“.

Wie versteht ein Sprachmodell einzelne Wörter?

Dank des Tokenizers lässt sich ein ursprünglich für den Computer völlig unverständlicher Text in eine Liste von Token-IDs umwandeln – also in Zahlen, die das Sprachmodell intern digital weiterverarbeiten kann.

Doch wie gelingt es einem Sprachmodell (LLM), aus diesen nackten Zahlen die Bedeutung einzelner Wörter zu erkennen – und letztlich den Sinn ganzer Texte zu erfassen?

Wie machen wir Menschen das?

Stellen wir uns das Wort „Katze“ vor.
Für uns ist es weit mehr als eine Reihe von Buchstaben: Wir verbinden damit sofort Vorstellungen wie weiches Fell, flauschige Ohren, große Augen und schnurrende Laute. Zudem wissen wir aus eigener Erfahrung oder Geschichten, dass Katzen gerne Mäuse jagen, viel schlafen – und mit Hunden nicht immer gut auskommen.

Ein LLM wie ChatGPT versucht genau diese Zusammenhänge ebenfalls abzubilden – aber auf statistische Weise.

Lernen aus Texten: Merkmale ohne Etikett

Sprachmodelle können die Welt noch nicht selbst beobachten. Sie haben keine Sinne und können daher keine eigenen Erfahrungen sammeln. Stattdessen lernen sie ausschließlich aus Texten – aus zig Milliarden Wörtern, gesammelt aus Wikipedia-Artikeln, Büchern, Foren, Webseiten und vielen anderen Quellen.

Wir haben bereits gesehen, dass neuronale Netze wahre Meister darin sind, komplexe Muster zu erkennen.
Beim Training erkennt das Modell typische Muster und Zusammenhänge: dass „Katze“ häufig gemeinsam mit Begriffen wie „schnurrt“, „flauschig“, „Maus“ oder „Tier“ vorkommt.

Aus dieser statistischen Häufigkeit leitet es typische Eigenschaften ab – etwa dass eine Katze oft als weich, klein, Haustier oder verspielt beschrieben wird.

Diese Eigenschaften nennt man latente Merkmale (engl. latent Features) – weil sie nicht direkt benannt oder beschriftet sind.
Das Modell vergibt keine festen Etiketten wie „hat Fell“ oder „jagt Mäuse“, sondern entdeckt solche Muster eigenständig auf Basis der Häufigkeit und des Kontexts im Text.

Ähnlich wie bei neuronalen Netzen zur Bilderkennung, bei denen man nicht exakt sagen kann, welche Kante oder welcher Bogen eine „6“ erkennen lässt, lassen sich auch diese Merkmale im Sprachmodell nicht direkt ablesen.
Wir wissen nicht, welche intern erkannten Eigenschaften genau für eine „Katze“ stehen – aber das Modell lernt sie aus dem statistischen Zusammenhang der Sprache.

LLMs erkennen eine Vielzahl an Merkmalen – bei GPT-3.5 sind es 12.288 latente Merkmale, auch Dimensionen genannt.
Jedes Wort wird durch diese 12.288 Merkmale beschrieben – das bildet die Grundlage für seine semantische Bedeutung im Modell.

Noch einmal zur Erinnerung: Die Merkmale (Dimensionen) sind abstrakt und für uns nicht direkt interpretierbar.
Vielleicht steht eines davon für etwas wie „flauschig“ – doch diese Bedeutungen sind nicht benannt, sondern entstehen automatisch beim Training des Modells.
Wir Menschen können nur mit bestimmten Analyseverfahren vermuten, welche Eigenschaften sie repräsentieren.

Jedes einzelne Wort wird als eine Liste von Zahlen dargestellt, zum Beispiel:
[0.12, -0.98, 1.57, 0.03, ..., -0.44]

Jede dieser Zahlen steht für den Wert eines Merkmals (einer Dimension).
Diese Liste von Zahlen nennt man in der Mathematik einen Vektor – in der KI meist ein Embedding, also ein Vektor, der die Bedeutung eines Wortes beschreibt.

Der Merkmalsraum – Bedeutung in Zahlen

Jedes einzelne Wort im Text wird geometrisch in einen Merkmalsraum (engl. Embedding Space) eingetragen, der seine semantische Bedeutung repräsentiert.
Dieser Vektor, der die Position im Merkmalsraum festlegt und damit die Bedeutung des Worts beschreibt, wird Embedding genannt.

Wir Menschen kennen Räume typischerweise in drei Dimensionen – mit den Achsen Breite, Länge und Höhe.
Der Merkmalsraum in einem Sprachmodell wie GPT-3.5 hat jedoch 12.288 Dimensionen.
Jede dieser Achsen repräsentiert ein latentes Merkmal, das die Bedeutung des Wortes mitbestimmt.

Die Illustration zeigt eine vereinfachte Darstellung von acht Dimensionen eines Embeddings.

Das ist nicht nur eine Metapher zur besseren visuellen Vorstellung – der Merkmalsraum wird mathematisch tatsächlich als geometrischer Raum abgebildet.

Worte mit ähnlichen Merkmalen – etwa Katze, Hund oder Haustier – gruppieren sich in einer Region des Merkmalsraums, während Begriffe wie Auto, Fahrrad oder Lkw sich in einer anderen Region konzentrieren.

Im geometrischen Vektorraum bilden sich solche semantisch verwandten Begriffe typischerweise zu Clustern (Gruppen).

Je näher zwei Wörter im Raum beieinander liegen, desto ähnlicher sind sie sich inhaltlich bzw. semantisch.

Die Abbildung zeigt eine dreidimensionale Darstellung semantischer Wortbeziehungen.
Ähnliche Begriffe gruppieren sich zu erkennbaren Clustern:

Links sammeln sich typische Haustiere wie Hund, Kaninchen und Meerschweinchen in enger Nachbarschaft.
Etwas abseits thront die Katze auf ihrem eigenen Platz: selbstständig, aber thematisch verwandt.
In der Mitte befindet sich die Transportbox – eine neutrale Verbindung zwischen Tier- und Fahrzeugwelt.

Rechts davon formieren sich zwei weitere Cluster:
Leichte Fahrzeuge wie Fahrrad und Motorrad – und weiter außen schwere Fahrzeuge wie Auto und LKW.

Die räumliche Anordnung ist – wie wir bereits wissen – kein Zufall:
Sie ergibt sich aus den statistischen Mustern, die Sprachmodelle aus Milliarden Wörtern erkennen
Je näher sich Begriffe im Raum befinden, desto stärker ähneln sie sich in Bedeutung und Verwendung.

Ein bekanntes Beispiel veranschaulicht dies: Der Vektorunterschied zwischen „Frau“ und „Mann“ ist ähnlich dem zwischen „Königin“ und „König“, was auf das Merkmal Geschlecht hinweist. Ebenso ist der Unterschied zwischen „car“ und „cars“ vergleichbar mit dem zwischen „dog“ und „dogs“ – das zeigt, dass auch der Unterschied zwischen Einzahl und Mehrzahl im Vektorraum abgebildet wird.

So entsteht aus Sprache ein intuitives, visuell greifbares Landschaftsbild – mit Clustern und Untergruppen.

Wie ähnlich sind zwei Wörter?

Klassische Embedding-Modelle wie Word2Vec, GloVe oder FastText, aber auch moderne Transformer-Modelle, messen semantische Ähnlichkeit anhand der räumlichen Nähe von Wortvektoren im Embedding Space.
Wörter mit ähnlichem Kontext liegen näher beieinander – unabhängig von Grammatik oder Satzstruktur.

Grundlegend gibt es drei Möglichkeiten, die räumliche Nähe zu messen:

1) Euklidische Distanz
Dabei wird der geometrische Abstand zwischen zwei Embeddings über alle Dimensionen berechnet.
Anschaulich entspricht das der „geraden Linie“ zwischen zwei Punkten im Vektorraum.

d(\mathbf{x}, \mathbf{y}) = \sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2 + (x_3 - y_3)^2}

d(\mathbf{x}, \mathbf{y}) = \sqrt{sum_{i=1}^{n} (x_i - y_i)^2}

2) Skalares Produkt (Dot-Produkt)
Die Ähnlichkeit von Wörtern lässt sich auch über den Winkel und die Länge der Vektoren ihrer Embeddings verstehen.
Man kann sich das so vorstellen: Je kleiner der Winkel zwischen den Vektoren zweier Wörter ist, desto ähnlicher sind ihre Bedeutungen.

\mathbf{x} \cdot \mathbf{y} = sum_{i=1}^{n} x_i , y_i

3) Kosinus-Ähnlichkeit

Die Kosinus-Ähnlichkeit geht noch einen Schritt weiter und ist ein normalisiertes Skalarprodukt.
Das bedeutet: Es wird nur der Winkel zwischen den Vektoren betrachtet, unabhängig von ihrer Länge.
Das Ergebnis liegt immer zwischen –1 und 1.
Wie auch bei den anderen Verfahren fließen alle Dimensionen der Embeddings in die Berechnung ein.

cos(\theta) = \frac{ \vec{A} \cdot \vec{B} }{ | \vec{A} | \cdot | \vec{B} | }

Zusammenfassung

Das Prinzip der Vektorähnlichkeit wird auch in modernen KI-Anwendungen genutzt – etwa bei der semantischen Suche, bei der Begriffe nicht nur wörtlich, sondern über ihre Bedeutung verglichen werden.
Auch Sprachmodelle verwenden es, um aus großen Textmengen passende Inhalte zu finden und weiterzuverarbeiten.

Moderne LLMs wie ChatGPT gehen allerdings deutlich weiter:
Sie vergleichen nicht nur die semantische Nähe von Wörtern, sondern berücksichtigen zusätzlich auch Grammatik, Satzstruktur und Kontext.

Wie das genau funktioniert, schauen wir uns in den nächsten Abschnitten an.

Mehr als Sprache: Multimodale Embeddings

Embeddings sind längst nicht mehr „nur“ auf Sprache beschränkt.
Neben Text und Tokens lassen sich auch andere Medientypen in Vektoren übersetzen – etwa Bilder, Audio oder sogar Video.
So können KI-Modelle Bedeutungen nicht nur sprachlich, sondern auch visuell und akustisch erfassen.

Die bisher besprochenen Embeddings beziehen sich auf Wort-Embeddings (genauer gesagt Token-Embeddings).
Doch die neuen Modelle von OpenAI, Anthropic, IBM, Meta und anderen sind multimodale Foundation-Modelle:
Sie verstehen nicht nur Text, sondern auch Bilder und Audio.

Das Grundprinzip bleibt dabei gleich:

• Texte zerlegen sie in Tokens,
• Bilder in kleine Bildausschnitte (Patches),
• Audio in kurze Zeitfenster (Samples).

Aus diesen Fragmenten erzeugen die Modelle Vektoren (Embeddings) und verankern sie in semantischen Räumen.

Dabei gibt es zwei Ansätze:

• ein gemeinsamer Embedding-Space für alle Modalitäten,
• oder separate Räume, die durch das Training so aufeinander abgestimmt werden, dass sie miteinander kompatibel sind und sich direkt vergleichen lassen.

So können die Modelle crossmodal arbeiten – ein Bild mit einer Textbeschreibung abgleichen oder ein Geräusch mit einem geschriebenen Begriff verknüpfen.
Auf diese Weise entsteht ein multimediales Verständnis von Inhalten.

Ein einfaches Beispiel macht das greifbar:

• Text → Bild: Die Eingabe „eine Katze in einer Transportbox“ liefert in einer Bilddatenbank genau die passenden Bilder.
• Bild → Text: Ein Foto der gleichen Szene führt zu einer automatisch generierten Bildbeschreibung in Worten.

So verknüpfen multimodale Foundation-Modelle Inhalte in beiden Richtungen und schaffen Verbindungen zwischen Text, Bild und Audio.

Dieses Problem existiert bereits seit vielen Jahren:
Unternehmen sitzen auf einem riesigen Berg wertvoller interner Dokumente in unterschiedlichsten Formaten. Wissen, Regeln, Anweisungen, Tipps und Erfahrungen wurden über Jahre hinweg dokumentiert, gesammelt und an den verschiedensten Orten abgelegt.

Es ist ein enormer Schatz an Wissen – doch sobald man darauf zugreifen möchte, scheint er unauffindbar zu sein. Man weiß, dass die Information irgendwo existiert, doch niemand weiß mehr genau, wo sie abgelegt wurde.

Viele Unternehmen kennen dieses Problem nur zu gut. Immer wieder wird versucht, Ordnung in dieses Dokumentenchaos zu bringen und eine sinnvolle Struktur zu etablieren. Doch das ist in der Praxis oft schwieriger als gedacht. Selbst wenn man sich auf eine einheitliche Struktur geeinigt hat, bleiben Herausforderungen bestehen: Inhalte sind doppelt vorhanden, wurden mehrfach aktualisiert oder widersprechen sich an einzelnen Stellen.

Häufig versucht man, dem Ganzen mit strikten Ordnerhierarchien, Namenskonventionen und Volltextsuche Herr zu werden. Trotzdem kostet die Suche nach den passenden Dokumenten viel Zeit – ganz abgesehen davon, dass die gefundenen Dateien erst mühsam gesichtet werden müssen, um die tatsächlich relevante Information zu finden.

Wie praktisch wäre es, stattdessen einfach Fragen stellen zu können – und ein hilfreicher Assistent beantwortet sie direkt auf Basis der unternehmenseigenen Dokumente?
Welche Richtlinie gilt in diesem Fall?
Was muss ich hier beachten?

Große Sprachmodelle als Game Changer

Bis vor Kurzem war dies leider noch Wunschdenken. Doch dank aktueller Fortschritte in der KI – insbesondere durch große Sprachmodelle wie ChatGPT, Gemini oder Mistral – ist genau das inzwischen realistisch umsetzbar.

Diese Sprachmodelle sind in der Lage, Texte semantisch zu verarbeiten und Fragen auf Basis vorgegebener Texte zu beantworten. Dabei geht es nicht um reines Stichwortsuchen, sondern um das Verstehen von Zusammenhängen und Bedeutungen im Text.

Wir nutzen LLMs wie ChatGPT und ähnliche Modelle heute praktisch täglich, und viele können sich ein Leben ohne sie kaum noch vorstellen. Die Handhabung ist dabei erstaunlich einfach:
Wir geben dem LLM etwas Kontext in Form eines Prompts, und das Modell vervollständigt diesen.

Stellen wir eine Frage, erhalten wir – im Idealfall – eine passende Antwort. Dieses Wissen bezieht das LLM aus seinem Weltwissen, also aus den Daten, mit denen es trainiert wurde.

Fortschrittliche Modelle nutzen darüber hinaus Function Calling oder ähnliche Mechanismen, um sich zusätzliche Informationen aus externen Quellen, etwa aus dem Internet, zu beschaffen.

Wie bringen wir nun unsere eigenen Dokumente ins Spiel?

Für allgemeines Wissen funktioniert das bereits sehr gut. Doch wie stellen wir Fragen zu eigenen Dokumenten – etwa zu einer PDF-Datei?

Im Prinzip scheint auch das ganz einfach zu sein:
Wir extrahieren den Text (und gegebenenfalls auch Bilder und Tabellen) aus dem Dokument, kopieren ihn in das Chatfenster und stellen anschließend unsere Frage. Als Antwort erhalten wir – idealerweise – Informationen, die direkt aus dem Dokument stammen.

flowchart TD
subgraph A[ PDF-Verarbeitung]
A0[ PDF] --> A1[ Text extrahieren]
end

subgraph B[ Anfrage]
B0[ Nutzerfrage] --> B1[ Prompt]
A1 --> B1
end

subgraph C[ Generierung]
B1 --> C0[ LLM]
C0 --> C1[ Antwort]
end

So unkompliziert das zunächst klingt, verbergen sich dahinter jedoch einige grundlegende Probleme:

1. Das Herauskopieren relevanter Informationen aus Dokumenten kann bereits beim Copy-and-Paste mühsam und fehleranfällig sein.
2. Wir müssen dem Modell sehr genau vorgeben, wie es sich verhalten soll, damit es kein eigenes Weltwissen beimischt oder halluziniert.
3. Bei großen Dokumenten stoßen wir schnell an die Grenzen des Kontextfensters – also an die maximale Textmenge, die ein LLM gleichzeitig verarbeiten kann.
4. Der Kontext bleibt nur erhalten, weil das Dokument Teil des Chatverlaufs ist. Wird es nicht erneut mitgeschickt oder fällt aus dem Kontextfenster, ist es für das LLM nicht mehr verfügbar.
5. Durch die hohe Anzahl an Tokens kann dieser Ansatz sehr schnell teuer werden.
6. Zudem können wir auf diese Weise immer nur einzelne Dokumente mitgeben – in der Praxis ist relevantes Wissen jedoch häufig auf Hunderte oder Tausende von Dokumenten verteilt.

Retrieval-Augmented Generation (RAG)

Die grundlegende Idee ist einfach:
Zu einer Frage werden relevante Abschnitte aus den vorhandenen Dokumenten herausgesucht und dem Prompt als zusätzlicher Kontext mitgegeben. Das LLM verfügt dadurch über genau die Informationen, die es benötigt, um die Frage dokumentengetreu zu beantworten.

flowchart TD
subgraph D[ Dokumente vorbereiten]
D0[ Dokumente] --> D1[ Inhalte extrahieren]
end

D1 --> K[ Wissensbasis]

Q[ Nutzerfrage] --> R[ Relevante Inhalte finden]
K --> R
R --> P[ Prompt mit Kontext]
P --> L[ LLM]
L --> A[ Antwort]

Wichtig ist dabei: Die Dokumente werden nicht vollständig, sondern nur selektiv eingebunden – also genau die Textstellen, die für die jeweilige Frage relevant sind.

Auf diese Weise lassen sich mehrere der zuvor beschriebenen Kernprobleme direkt lösen:
Durch die gezielte Auswahl relevanter Ausschnitte können Inhalte aus vielen Dokumenten gleichzeitig berücksichtigt werden, ohne das Kontextfenster zu sprengen oder die Tokenkosten explodieren zu lassen.

Gute Vorbereitung ist alles

Damit das LLM schnell und gezielt auf relevante Inhalte zugreifen kann, müssen die Dokumente vorab aufbereitet werden.
Zunächst gilt es, die Dokumente in eine für Maschinen lesbare Form zu überführen. Anschließend werden die Inhalte in kleinere Einheiten aufgeteilt und indexiert, sodass ein schneller Zugriff möglich ist – vergleichbar mit einer Datenbank.

Dokumente in eine lesbare Form bringen

Dieser erste Schritt ist deutlich anspruchsvoller, als es auf den ersten Blick scheint. Dokumente liegen in der Praxis in den unterschiedlichsten Formaten vor: einfache Textdateien, Word-Dokumente, E-Mails, PDFs, Webseiten und vieles mehr.

Bei einfachen Texten, Word-Dateien oder E-Mails ist die Extraktion meist unproblematisch. Anders sieht es bei PDFs oder Webseiten aus. Diese enthalten oft komplexe Formatierungen, Tabellen, Bilder, Layouts oder sogar interaktive Elemente.

Im Idealfall werden alle relevanten Inhalte vollständig extrahiert, die inhaltliche Hierarchie beibehalten und Bilder sowie Tabellen dem jeweils passenden Text zugeordnet. Gerade bei Webseiten, E-Mails oder PDFs stellt das jedoch häufig eine große Herausforderung dar.

Für diese Konvertierung kommen unterschiedliche Ansätze zum Einsatz: von selbstgebauten Extraktionspipelines über Dokumentenkonvertierungslösungen bis hin zu spezialisierten Parsern wie Docling. Je nach Aufbau und Qualität der Quelldokumente kann dieser Schritt relativ einfach – oder nahezu ein unlösbares Problem sein.

Das Ziel ist im optimalen Fall eine strukturierte, hierarchische Repräsentation der Inhalte, die als Grundlage für alle weiteren Verarbeitungsschritte dient.

Dokumente in kleinere Happen aufteilen

Nachdem wir die Daten in eine einheitliche, lesbare Form gebracht haben, werden die Dokumente in kleinere Einheiten zerlegt – sogenannte Chunks.
Diese Aufgabe übernimmt ein Splitter.

Je nach Art und Struktur des Dokuments kommen dabei unterschiedliche Strategien zum Einsatz:
vom einfachen Längenschnitt, über rekursive Splitter, bis hin zu Verfahren, die Inhalte hierarchisch entlang von Überschriften, Absätzen oder Abschnitten aufteilen.

Damit die einzelnen Chunks ihren inhaltlichen Zusammenhang nicht verlieren, wird in der Praxis meist ein Overlap verwendet. Dabei wird ein Teil des vorherigen und nachfolgenden Inhalts in jeden Chunk übernommen, um Kontext zu erhalten.

Dieser Schritt ist ein essenzieller Bestandteil der RAG-Pipeline, denn die Chunk-Größe hat einen maßgeblichen Einfluss auf die Qualität der Ergebnisse:

• Zu kleine Chunks trennen Informationen, die eigentlich zusammengehören.
• Zu große Chunks packen zu viel auf einmal hinein, sodass das Wichtige untergeht.

Auch der Overlap spielt dabei eine entscheidende Rolle. Häufig werden Faustregeln wie 200–800 Tokens Chunk-Größe bei etwa 10–20 % Overlap genannt. Diese Werte sind jedoch keine festen Vorgaben, sondern hängen stark vom Dokumenttyp und dem konkreten Anwendungsfall ab.

Bewährt haben sich Stichproben, um zu prüfen, ob einzelne Chunks für sich verständlich und sinnvoll in den Gesamtkontext einzuordnen sind. Diese Prüfung kann manuell erfolgen, lässt sich in vielen Fällen aber auch automatisiert unterstützen.

Bedeutung statt Wörter speichern

Nun haben wir unsere lesbaren Häppchen – diese möchten wir so abspeichern, dass wir sie später schnell und gezielt wiederfinden können.
Das Ziel ist, zu einem großen Dokumentenpool Fragen zu stellen und dabei genau die relevanten Chunks zu erhalten.

Früher hätte man diese Chunks einfach in einer klassischen Datenbank gespeichert und über eine Volltextsuche abgefragt – mit, wie wir wissen, oft mäßigen Ergebnissen. Die Suche bleibt dabei stark wortbasiert und berücksichtigt dabei kaum Bedeutung oder inhaltliche Nähe.

Embedding – die Bedeutung eines Worts

Dank moderner Transformer-Modelle können wir heute einen deutlich effektiveren Ansatz verfolgen:
Statt nur den Text zu speichern, speichern wir dessen Bedeutung. Dieser Vorgang wird als Embedding bezeichnet.

In den Grundlagen auf dieser Webseite beschreibe ich die Technologie hinter Embeddings ausführlicher. An dieser Stelle fasse ich das Prinzip bewusst vereinfacht noch einmal zusammen.

Wem das Thema Embeddings geläufig ist, kann diesen Absatz überspringen.

Einzelne Wörter – genauer gesagt Tokens – werden anhand einer Vielzahl von Merkmalen (man könnte auch von Eigenschaften sprechen) beschrieben und als Punkte in einem mehrdimensionalen Raum abgelegt.

Nehmen wir als vereinfachtes Beispiel eine Katze. Mit drei Eigenschaften – etwa flauschige Ohren, Fellnase und große Augen – ließe sich eine Katze in einem dreidimensionalen Raum darstellen: eine Dimension pro Eigenschaft.

Erhöhen wir die Anzahl der Dimensionen, können entsprechend mehr Eigenschaften gleichzeitig berücksichtigt werden. Mit acht Dimensionen wären es acht Eigenschaften, mit sechzehn entsprechend sechzehn. Moderne Embedding-Modelle arbeiten jedoch mit sehr viel höheren Dimensionalitäten, zum Beispiel 1.536 Dimensionen, und können damit eine entsprechend feingranulare Beschreibung der Bedeutung eines Tokens abbilden.

Wichtig dabei: Die Eigenschaften einzelner Wörter oder Begriffe werden nicht manuell festgelegt oder beschriftet. Stattdessen lernt das Modell diese Merkmale automatisch während des Trainings auf großen Textmengen. Man spricht hierbei von latenten Merkmalen, da sie zwar wirksam sind, für uns Menschen jedoch nicht direkt interpretierbar.

Das Ziel ist es, Begriffe mit ähnlicher Bedeutung im Raum nahe beieinander abzubilden.
Der Abstand zwischen ihnen drückt dabei die semantische Nähe aus.

Worte mit ähnlichen Merkmalen – etwa Katze, Hund oder Haustier – gruppieren sich in einer Region des Merkmalsraums, während Begriffe wie Auto, Fahrrad oder Lkw sich in einer anderen Region konzentrieren.

Alle Wörter (Tokens) eines Chunks werden nun embedded – das heißt, sie werden in eine Position in einem mehrdimensionalen Vektorraum überführt.
Das Ergebnis ist ein numerischer Vektor, zum Beispiel (0.1, 0.23, …), mit einem Zahlenwert pro Dimension.

Verschiedene Anbieter stellen heute unterschiedliche Embedding-Modelle zur Verfügung, darunter zum Beispiel E5, OpenAI oder Cohere.

Betrachten wir einen Chunk mit beispielsweise 500 Tokens. Würde man jedes Token einzeln als Vektor mit 1.536 Dimensionen darstellen, ergäbe das pro Chunk 768.000 Zahlenwerte. Das ist unhandlich und lässt sich später nur schwer effizient vergleichen.

Deshalb verfolgen wir einen anderen Ansatz:
Jeder Chunk wird als Ganzes durch einen einzigen Vektor beschrieben. Dieser Vektor dient als eine Art kompakter Fingerabdruck für den gesamten Inhalt des Chunks.

Pooling

Das Verfahren, aus vielen Token-Vektoren einen einzigen Fingerabdruck für den gesamten Chunk zu berechnen, nennt man Pooling.
Dabei gibt es verschiedene Pooling-Strategien, zum Beispiel Mean Pooling, Max Pooling, CLS-Token oder Weighted Pooling.

Für RAG-Anwendungen wird in der Praxis häufig Mean Pooling eingesetzt. Dabei wird für jede Dimension der arithmetische Mittelwert über alle Token-Vektoren eines Chunks berechnet. Konkret bedeutet das:
Jede einzelne Dimension aller Token wird aufsummiert und anschließend durch die Anzahl der Tokens geteilt – eine klassische Mittelwertberechnung.

Durch dieses Verfahren werden die semantischen Merkmale aller Tokens eines Chunks zusammengeführt.
Erstaunlicherweise liefert diese einfache Methode in vielen Anwendungsfällen stabile und gut vergleichbare Ergebnisse.

Je nach Embedding-Modell ist dieser Pooling-Schritt intern umgesetzt oder explizit auswählbar.

Speichern in der Datenbank

Nun können wir den Chunk-Vektor gemeinsam mit dem zugehörigen Text in einer Vektordatenbank speichern.
Dadurch lassen sich die Inhalte später schnell, zuverlässig und semantisch wiederfinden.

Zur Auswahl stehen verschiedene Vektordatenbanken, die jeweils ihre eigenen Vor- und Nachteile haben. Dazu zählen zum Beispiel Pinecone, Weaviate, Qdrant, Milvus oder ChromaDB.

Für Tests und Prototypen (MVPs) eignet sich ChromaDB besonders gut, da es leichtgewichtig, einfach aufzusetzen und lokal nutzbar ist.
Für den produktiven Einsatz greifen Unternehmen hingegen häufiger zu Pinecone, Weaviate oder Qdrant, da diese Lösungen besser auf Skalierbarkeit, Stabilität und Betrieb in Produktionsumgebungen ausgelegt sind.

Frage deine KI

RAG-Systeme sind in Unternehmen oft der erste Berührungspunkt mit KI. Sie lassen sich vergleichsweise einfach implementieren und liefern schnell einen konkreten, messbaren Mehrwert.

Für Mitarbeitende ist das besonders praktisch, um Fragen zu internen Richtlinien, Prozessen oder dem unternehmensweiten Wissenspool zu stellen. Gleichzeitig profitieren auch Kundinnen und Kunden, etwa bei Fragen zu Öffnungszeiten, Produkten oder Services.

In der Praxis erfolgt die Interaktion häufig über eine Chatoberfläche, die an bekannte KI-Systeme erinnert. Alternativ wird das System direkt in eine bestehende Infrastruktur integriert, zum Beispiel in Microsoft Teams oder ähnliche Kollaborationstools.

Dabei gilt: Je unauffälliger und natürlicher die Integration, desto besser wird KI von den Menschen angenommen.

Wie findet RAG die relevanten Chunks?

In der Praxis stellt ein Nutzer eine Frage, zum Beispiel: „Wie sind die Öffnungszeiten?“
Nun ist es Aufgabe des RAG-Systems, auf Basis dieser Anfrage die relevanten Chunks zu finden und daraus eine möglichst passende Antwort zu generieren.

Der Ablauf ist dabei sehr ähnlich zu dem Prozess, den wir bereits beim Embedding der Dokumente kennengelernt haben:

1. Die Frage des Nutzers wird zunächst in Tokens zerlegt.
2. Anschließend wird die gesamte Frage embedded und – je nach Modell – gepoolt. Dadurch erhält sie eine Position im Embedding Space, also im mehrdimensionalen latenten Vektorraum.
3. Die Chunks, die im Vektorraum am nächsten zu dieser Frage liegen, sind diejenigen, die uns interessieren.

Ganz wichtig dabei ist, dass für das Embedding der Chunks und für das Embedding der Nutzerfrage dasselbe Embedding-Modell und dieselben Parameter verwendet werden.

Andernfalls liegen Frage und Dokumente in unterschiedlichen Vektorräumen – sie „sprechen“ dann nicht dieselbe Sprache und lassen sich nicht sinnvoll miteinander vergleichen.

Wie finden wir heraus, welche Chunks am nächsten zu unserer Frage sind?

Dazu messen wir die räumliche Distanz zwischen dem Vektor der Nutzerfrage und den Vektoren der gespeicherten Chunks.
Chunks mit dem geringsten Abstand gelten als semantisch am ähnlichsten und werden für die Beantwortung der Frage herangezogen.

Wie man den geometrischen Abstand zwischen Vektoren misst, habe ich in den Grundlagen auf dieser Webseite bereits ausführlich erklärt.
Ich greife den Punkt hier noch einmal kurz auf, um den Zusammenhang klarzumachen.

Geometrische Nähe im Embedding-Raum

Grundlegend gibt es drei Möglichkeiten, die räumliche Nähe zu messen:

1) Euklidische Distanz
Dabei wird der geometrische Abstand zwischen zwei Vektoren über alle Dimensionen berechnet.
Anschaulich entspricht das der „geraden Linie“ zwischen zwei Punkten im Vektorraum.

d(\mathbf{x}, \mathbf{y}) = \sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2 + (x_3 - y_3)^2}

d(\mathbf{x}, \mathbf{y}) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}

2) Skalares Produkt (Dot-Produkt)
Die Ähnlichkeit von Wörtern lässt sich auch über den Winkel und die Länge der Vektoren ihrer Embeddings verstehen.
Man kann sich das so vorstellen: Je kleiner der Winkel zwischen den Vektoren zweier Wörter ist, desto ähnlicher sind ihre Bedeutungen.

\mathbf{x} \cdot \mathbf{y} = \sum_{i=1}^{n} x_i , y_i

3) Kosinus-Ähnlichkeit

Die Kosinus-Ähnlichkeit geht noch einen Schritt weiter und ist ein normalisiertes Skalarprodukt.
Das bedeutet: Es wird nur der Winkel zwischen den Vektoren betrachtet, unabhängig von ihrer Länge.
Das Ergebnis liegt immer zwischen –1 und 1.
Wie auch bei den anderen Verfahren fließen alle Dimensionen der Embeddings in die Berechnung ein.

cos(\theta) = \frac{ \vec{A} \cdot \vec{B} }{ | \vec{A} | \cdot | \vec{B} | }

In vielen RAG-Systemen lässt sich eines dieser Distanz- bzw. Ähnlichkeitsverfahren konfigurieren.

In der Praxis werden Embedding-Vektoren oft normalisiert, sodass ihre Länge keine Rolle mehr spielt und beim Vergleich nur noch die inhaltliche Richtung zählt.

Nur die besten kommen in die Auswahl

In der Praxis übergeben wir der Vektordatenbank die Nutzerfrage (als Embedding) sowie die gewünschte Anzahl an Treffern (k).

Die Vektordatenbank berechnet daraufhin, welche Chunks der Anfrage semantisch am nächsten liegen, sortiert sie nach Ähnlichkeit und liefert die Top-k relevantesten Chunks zurück.

Anfrage an das LLM

Die Anfrage an das LLM erfolgt in Form eines Prompts. Dabei werden die System-Anweisung, die relevanten Chunks sowie die Nutzeranfrage zu einem gemeinsamen Kontext zusammengeführt und in einer Anfrage an das LLM gesendet.

In der Praxis wird die System-Anweisung häufig auf Englisch formuliert – selbst dann, wenn der eigentliche Kontext und die Nutzerfrage deutsch sind. Der Grund dafür ist, dass die Stabilität und Zuverlässigkeit von Instruktionen bei den meisten LLMs in englischer Sprache höher ist.

{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant. Answer only based on the provided context. If the answer is not contained in the context, say that you do not know."
    },
    {
      "role": "user",
      "content": "Context:\n---\n[Chunk 1]\n[Chunk 2]\n[Chunk N]\n---\n\nQuestion:\nWie sind die Öffnungszeiten?"
    }
  ]
}

Mit dieser Anweisung vervollständigt das LLM die Nutzeranfrage gemeinsam mit dem bereitgestellten Kontext zu einer sinnvollen, zusammenhängenden Antwort.

{
  "role": "assistant",
  "content": "Unsere Öffnungszeiten sind Montag bis Freitag von 08:00 bis 17:00 Uhr."
}

In vielen Systemen werden zusätzlich die verwendeten Textstellen referenziert oder mitgeliefert, um Antworten nachvollziehbar zu machen.

Am Ende dieses Prozesses steht ein funktionsfähiges RAG-System, das Antworten auf Grundlage der hochgeladenen Dokumente generiert.

Die RAG-Pipeline im Überblick

flowchart TD

%% INDEXING
subgraph A[ Indexing]
A0[ Dokumente] --> A1[ Chunking]
A1 --> A2[ Tokenisierung]
A2 --> A3[ Transformer Encoder]
A3 --> A4[ Token Vektoren]
A4 --> A5[ Pooling z.B.: Mean]
A5 --> A6[ Chunk Vektor]
A6 --> A7[( VectorDB)]
end

%% QUERY
subgraph B[ Query]
B0[ User Query] --> B1[ Tokenisierung]
B1 --> B2[ Transformer Encoder]
B2 --> B3[ Token Vektoren]
B3 --> B4[ Pooling z.B.: Mean]
B4 --> B5[ Query Vektor]
end

%% RETRIEVAL
subgraph C[ Retrieval]
B5 --> C1[ Similarity Search]
A7 --> C1
C1 --> C2[ Top-k Chunks]
end

%% GENERATION
subgraph D[ Generation]
D0[ Prompt + Kontext + Frage] --> D1[ LLM]
D1 --> D2[ Antwort]
end

C2 --> D0

Unsere RAG-Pipeline ist bereits voll funktionsfähig – dennoch lässt sie sich weiter verbessern.

Die Antworten basieren primär auf semantischer Ähnlichkeit. Das ist der große Fortschritt – und in den meisten Fällen genau richtig. Manchmal möchte man jedoch ganz gezielt exakte Details finden, zum Beispiel Nummern, IDs oder konkrete Fehlermeldungen. In solchen Fällen ist ein rein semantischer Ansatz nicht immer die beste Wahl.

Gespür für Details – BM25

Hier kann ein klassisches Retrieval-Verfahren helfen: BM25 (Best Matching 25).
BM25 basiert auf Wortstatistiken und kommt ohne KI aus. Die Grundidee ist einfach: Seltene Wörter sind oft besonders aussagekräftig – vor allem dann, wenn sie in wenigen, aber relevanten Textstellen auftauchen (z. B. eine eindeutige Fehlermeldung oder ein spezieller Fachbegriff).

BM25 nutzt dabei unter anderem folgende Größen:

• Term Frequency (TF): Wie oft kommt ein Wort in einem Chunk vor?
• Document Frequency (DF): In wie vielen Chunks kommt dieses Wort insgesamt vor?
• Dokumentlänge: Wie lang ist der Chunk im Vergleich zu anderen?

In Kombination mit Embeddings entsteht so ein robustes Hybrid-Retrieval:
Embeddings liefern Textverständnis und finden auch ähnliche Formulierungen, während BM25 besonders gut bei exakten Begriffen, Fehlercodes und Fachtermini ist.

Beim Chunking der Dokumente werden die Chunks sowohl in einen BM25-Textindex aufgenommen als auch parallel als Embeddings in der Vektordatenbank gespeichert.

Hybrid RAG

Beim hybriden RAG werden für eine Nutzeranfrage zwei Suchen parallel ausgeführt: eine semantische Vektorsuche auf Basis von Embeddings und eine statistische, wortbasierte Suche mit BM25.
Beide Verfahren liefern jeweils ihre Top-k Chunks, die anschließend zusammengeführt und weiterverarbeitet werden.

flowchart TD

%% INDEXING
subgraph A[ Indexing]
A0[ Dokumente] --> A1[ Chunking]
A1 --> A2[ Embedding Model]
A2 --> A3[ Chunk Embeddings]
A3 --> A4[( Vector Database)]
A1 --> A5[ Tokenization]
A5 --> A6[( BM25 Text Index)]
end

%% QUERY
subgraph B[ Query]
B0[ User Query] --> B1[ Embedding Model]
B1 --> B2[ Query Embedding]
B0 --> B3[ Tokenization]
end

%% RETRIEVAL
subgraph C[ Retrieval]
B2 --> C1[ Vector Search]
A4 --> C1
C1 --> C2[ Top-k Vector]

B3 --> C3[ BM25 Retrieval]
A6 --> C3
C3 --> C4[ Top-k BM25]

C2 --> C5[ Merge / Re-ranking]
C4 --> C5
C5 --> C6[ Final Top-k Chunks]

end

%% GENERATION
subgraph D[ Generation]
C6 --> D0[ Prompt: Context + Question]
D0 --> D1[ LLM]
D1 --> D2[ Answer]
end

Hier kommt im Retriever eine zusätzliche Komponente ins Spiel: Merge / Re-Ranking.
Denn wir erhalten zwei getrennte Ergebnislisten – einmal aus der Vektorsuche und einmal aus BM25. Diese Kandidaten müssen wir zusammenführen, nach Relevanz sortieren und anschließend auf ein finales Top-k begrenzen.

Dafür gibt es unterschiedliche Strategien, zum Beispiel:

• score-basiert (Scores werden normalisiert und kombiniert)
• ranking-basiert (Ränge werden zusammengeführt, z. B. über Rank-Fusion)

Besonders gute Ergebnisse liefern Transformer-Modelle als Re-Ranker. In der Praxis sind zwei Ansätze verbreitet:

1. Cross-Encoder Re-Ranker
   Ein Modell, das Query und Chunk gemeinsam bewertet und daraus einen Relevanzscore ableitet. Solche Modelle sind typischerweise für Relevanzbewertung (Ranking) optimiert.
2. LLM Re-Ranking (z. B. per GPT)
   Ein klassisches LLM, das per Prompt dazu angeleitet wird, die Kandidaten-Chunks nach Passgenauigkeit zur Frage zu sortieren oder die besten k auszuwählen.

Anschließend gehen die Nutzeranfrage und die passendsten Chunks in die Generation-Pipeline, wo das LLM daraus eine möglichst passende und informative Antwort auf die Frage des Nutzers erzeugt.

Millionen von Vektoren? – Hierarchical Navigable Small World (HNSW)

Spätestens bei großen RAG-Systemen stellt sich die Frage, wie sich Millionen multidimensionaler Vektoren in akzeptabler Zeit durchsuchen lassen. Ein exakter Vergleich aller Vektoren wäre hier zu langsam.

In der Praxis kommen daher approximative Ähnlichkeitssuchen zum Einsatz – Verfahren, die sich schrittweise an die relevantesten Vektoren annähern.
Ein häufig verwendeter Ansatz ist HNSW (Hierarchical Navigable Small World), der von vielen Vektordatenbanken eingesetzt wird.

Das Prinzip lässt sich gut mit einem Straßennetz vergleichen:
Vektoren werden in mehreren Hierarchieebenen organisiert. Die obersten Ebenen sind sehr dünn besetzt und entsprechen gewissermaßen Autobahnen, über die man schnell große Distanzen zurücklegt. Die darunterliegenden Ebenen werden zunehmend dichter und bilden feinere lokale Verbindungen ab – vergleichbar mit Landstraßen und Nebenstraßen.

Die Suche beginnt immer in der obersten Ebene. Dort wird der Vektor gesucht, der der Anfrage am ähnlichsten erscheint. Von diesem Punkt aus wechselt der Algorithmus in die nächsttiefere, dichter vernetzte Ebene und setzt die Suche fort. Dieser Vorgang wiederholt sich Ebene für Ebene, bis die unterste und detaillierteste Ebene erreicht ist.

Auf diese Weise nähert sich die Suche gezielt dem Zielvektor, ohne alle Vektoren vergleichen zu müssen.
Das ermöglicht eine sehr schnelle Ähnlichkeitssuche, insbesondere bei großen Vektormengen, bei gleichzeitig hoher Trefferqualität.

Grenzen von RAG

Moderne LLMs machen es erstmals möglich, intelligente Frage-Antwort-Systeme auf Basis bestehender Dokumente zu realisieren. Dennoch sollten bei RAG-Systemen einige grundlegende Einschränkungen berücksichtigt werden.

1. Datenqualität ist entscheidend
   RAG kann nur mit den Informationen arbeiten, die tatsächlich extrahiert wurden. Gerade bei komplexen Formaten wie PDFs, Webseiten oder E-Mails ist die zuverlässige Extraktion von Text, Struktur und Kontext häufig eine große Herausforderung.
2. Verlust von Kontext durch Chunking
   Durch die Aufteilung von Dokumenten in einzelne Chunks können Zusammenhänge verloren gehen. Aufgaben, die ein globales Verständnis erfordern – etwa vollständige Zusammenfassungen oder Querverweise über mehrere Abschnitte hinweg – sind dadurch nur eingeschränkt möglich.
3. Halluzinationen sind nicht vollständig ausgeschlossen
   RAG reduziert Halluzinationen deutlich, verhindert sie jedoch nicht vollständig. Findet das System keine passenden Inhalte zur Anfrage oder sind die bereitgestellten Chunks unklar, kann das LLM weiterhin plausibel klingende, aber falsche Antworten erzeugen.
4. Begrenzte Nachvollziehbarkeit
   Ohne zusätzliche Maßnahmen ist oft nicht transparent, auf welchen Textstellen eine Antwort basiert. In der Praxis ist es daher sinnvoll, Quellen, Textausschnitte oder Positionsangaben mitzuliefern, um Ergebnisse überprüfbar zu machen.