23 · Architektur

Embedding

Umwandlung von Text/Bild in Zahlenvektoren für die Maschine.

Text, Bilder oder Produkte werden in lange Zahlenreihen übersetzt, sodass Ähnliches nah beieinander liegt: „Rechnung“ und „Zahlung“ landen benachbart, obwohl kein Buchstabe übereinstimmt. Auf dieser Karte der Bedeutungen beruht semantische Suche, Duplikat-Erkennung, Empfehlung — und fast jedes RAG-System. Embeddings sind unspektakulär und tragen erstaunlich viel Infrastruktur.

Ein Beispiel

Ein Embedding verwandelt einen Satz in eine lange Zahlenreihe, die seine Bedeutung repräsentiert. Der praktische Effekt: „Wie kündige ich meinen Vertrag?“ und „Vertragsbeendigung Frist“ landen dicht beieinander, obwohl sie kein einziges Wort teilen. Eine Volltextsuche findet beim einen nicht das andere; eine Suche über Embeddings schon. Genau deshalb funktioniert die Suche in Handbüchern und Wissensdatenbanken plötzlich, wo sie jahrelang nicht funktionierte.

Genauer betrachtet

Ein Embedding ist ein Vektor mit einigen hundert bis einigen tausend Dimensionen, in dem Nähe inhaltliche Ähnlichkeit bedeutet. Suche wird dadurch zur Abstandsrechnung: „Kündigungsfrist“ und „Vertragsende“ liegen nah beieinander, obwohl sie kein Wort teilen.

Warum das zählt

Embeddings sind der unspektakulärste und zugleich verlässlichste Baustein moderner KI-Anwendungen — sie halluzinieren nicht, weil sie nichts erzeugen. Zwei Dinge werden trotzdem regelmäßig übersehen. Erstens: Ein Embedding ist keine Verschlüsselung. Aus den Zahlen lässt sich der ursprüngliche Text in erheblichem Umfang rekonstruieren; eine Vektordatenbank mit Personaldaten ist datenschutzrechtlich eine Datenbank mit Personaldaten. Zweitens: Wechselt man das Embedding-Modell, muss der gesamte Bestand neu berechnet werden. Alte und neue Vektoren sind nicht vergleichbar.

Häufig missverstanden

Ähnlichkeit ist nicht Richtigkeit. Ein Embedding findet den Text, der am ehesten passt, auch wenn dieser Text veraltet, widerlegt oder schlicht falsch ist.

Nachbarschaft

Verwandte Begriffe

Der Brief.