75 · Rechenleistung & Kosten

Edge AI / On-Device

KI läuft lokal auf dem Gerät statt in der Cloud.

Das Modell läuft auf dem Gerät selbst — Telefon, Laptop, Maschine — statt in der Cloud: keine Übertragung sensibler Daten, keine Netzabhängigkeit, keine Latenz zur Ferne. Möglich machen es kleinere Modelle und Spezialchips. Die Arbeitsteilung der Zukunft ist hybrid: Alltägliches lokal, Schweres in der Cloud.

Ein Beispiel

Ein Prüfgerät in der Fertigung erkennt Oberflächenfehler direkt an der Linie, ohne Netzverbindung. Der Grund ist nicht Datenschutz, sondern Physik und Verfügbarkeit: Bei achtzig Teilen pro Minute reicht die Zeit für einen Serverabruf nicht, und ein Netzausfall dürfte die Linie nicht anhalten. Das Modell ist deutlich kleiner als ein Cloud-Modell und für genau diese eine Aufgabe trainiert — und ist ihr dadurch gewachsen.

Genauer betrachtet

Kleinere Modelle laufen auf Telefon, Laptop oder Maschine. Vorteile sind Antwortzeit ohne Netz, keine Übertragung sensibler Daten und keine Kosten pro Anfrage. Die Grenze setzen Speicher, Wärme und Akku.

Warum das zählt

Vier Gründe sprechen für Verarbeitung am Gerät, und sie sind unterschiedlich stark: Antwortzeit, Ausfallsicherheit, laufende Kosten und Datenschutz. In der Praxis ist meist einer davon der eigentliche, während in der Präsentation alle vier stehen. Es lohnt sich, den eigentlichen zu benennen, denn davon hängt ab, wie viel Qualitätsverlust vertretbar ist. Die Kosten verschwinden dabei nicht, sie verschieben sich: von der Anbieterrechnung in Hardware, Verteilung und Aktualisierung von potenziell tausenden Geräten.

Häufig missverstanden

Auf dem Gerät heißt nicht automatisch datenschutzfreundlich. Viele Anwendungen rechnen lokal vor und schicken den Rest doch in die Cloud. Entscheidend ist, was tatsächlich das Gerät verlässt.

Nachbarschaft

Verwandte Begriffe

Der Brief.