09 · Grundlagen & Modelle

Multimodale KI

verarbeitet mehrere Eingabearten zugleich (Text, Bild, Ton).

Ein Modell, das Text, Bild und Ton im selben Zusammenhang verarbeitet, kann Aufgaben übernehmen, die vorher mehrere Systeme brauchten: den Vertrag fotografieren und Fragen dazu stellen, ein Diagramm erklären lassen, ein Meeting zusammenfassen. Die Grenzen zwischen „Dokument“, „Bild“ und „Gespräch“ verlieren an Bedeutung — was zählt, ist der Inhalt.

Ein Beispiel

Eine Hausverwaltung bekommt Schadensmeldungen als Foto mit zwei Sätzen Text daneben. Ein reines Sprachmodell kann nur die zwei Sätze lesen — und die sagen meist „Wasserschaden Bad, bitte dringend“. Ein multimodales Modell sieht auf dem Foto, dass die Wand großflächig durchfeuchtet und der Putz bereits abgeplatzt ist, und stuft anders ein. Der Gewinn liegt nicht in der Technik, sondern darin, dass die eigentliche Information dort steckt, wo bisher niemand automatisiert hingesehen hat.

Genauer betrachtet

Die verschiedenen Eingabearten werden in denselben Vektorraum übersetzt, sodass ein Modell Bild und Text gemeinsam verarbeiten kann. Deshalb lässt sich ein Diagramm beschreiben oder eine Frage zu einem Foto beantworten, ohne dass dafür ein zweites System nötig wäre.

Warum das zählt

In vielen Betrieben liegt der größte ungenutzte Datenbestand nicht in der Datenbank, sondern in Fotos, Scans, PDFs und Sprachnachrichten. Multimodale Modelle machen diesen Bestand erstmals abfragbar, ohne ihn vorher zu digitalisieren und zu strukturieren. Das ist der praktisch interessanteste Effekt der letzten Jahre — und zugleich der, bei dem Datenschutz und Zweckbindung am schnellsten aus dem Blick geraten. Ein Foto vom Bad enthält mehr als den Wasserschaden.

Häufig missverstanden

Die Qualität ist zwischen den Modalitäten selten gleich. Ein Modell, das Text sicher beherrscht, kann bei Tabellenbildern, Handschrift oder technischen Zeichnungen deutlich abfallen.

Nachbarschaft

Verwandte Begriffe

Der Brief.