20 · Architektur

Attention

Mechanismus, der wichtige Bezüge im Text gewichtet.

Der Mechanismus im Kern des Transformers: Für jedes Wortstück berechnet das Modell, welche anderen Stellen im Text für dessen Bedeutung relevant sind — worauf sich „sie“ bezieht, welches Verb zum Subjekt gehört. Aus vielen solcher gewichteten Bezüge entsteht Kontextverständnis. „Attention is all you need“ hieß das Paper, und der Titel hat sich als Programm erwiesen.

Ein Beispiel

Im Satz „Der Anwalt riet der Mandantin, weil sie unsicher war“ muss ein Modell entscheiden, worauf sich „sie“ bezieht. Attention ist der Mechanismus, der das leistet: Bei der Verarbeitung von „sie“ bekommt „Mandantin“ ein hohes Gewicht und „Anwalt“ ein niedriges. Dieselbe Rechnung läuft für jedes Wort gegen jedes andere, in dutzenden parallelen Durchgängen, die jeweils auf andere Beziehungsarten spezialisiert sind.

Genauer betrachtet

Für jedes Token berechnet das Modell, wie stark es auf jedes andere schauen soll, und bildet daraus einen gewichteten Mittelwert. So kann sich ein Pronomen auf ein Substantiv fünfzig Wörter zuvor beziehen, ohne dass diese Verbindung fest verdrahtet wäre.

Warum das zählt

Attention-Gewichte lassen sich auslesen und einfärben, und genau das wird gern als Erklärbarkeit verkauft: „Sehen Sie, das Modell hat auf dieses Wort geachtet.“ Das ist keine Begründung. Die Gewichte zeigen, welche Wörter rechnerisch zusammenwirkten, nicht warum das Ergebnis so ausfiel — dieselbe Ausgabe lässt sich oft mit ganz anderen Gewichtsverteilungen erzeugen. Wenn eine Aufsicht oder ein Gericht eine Begründung verlangt, ist eine Attention-Heatmap keine. Nehmen Sie sie als Diagnosewerkzeug für Entwickler, nicht als Nachweis.

Häufig missverstanden

Die Gewichte lassen sich einfärben und sehen dann aus wie eine Begründung. Als Erklärung taugen sie nur bedingt: hohe Aufmerksamkeit heißt nicht, dass die Stelle für die Antwort ausschlaggebend war.

Nachbarschaft

Verwandte Begriffe

Der Brief.