Wenn das Gutachten die Wortwahl belohnt
Eine Studie zeigt: Dieselben Inhalte fallen bei KI-Begutachtung unterschiedlich aus, je nachdem wie sie formuliert sind. Was das für Reviewer heißt, die solche Tools schon heute nutzen, steht in der Studie selbst nicht.
Ein Befund, der aufhorchen lässt
Ein Paper wird zweimal eingereicht. Der Inhalt ist identisch: gleiche Ergebnisse, gleiche Methodik, gleiche Schwächen. Nur die Formulierung unterscheidet sich. Das Urteil einer GlossarKünstliche Intelligenz (KI)Software, die Aufgaben löst, für die früher menschliche Intelligenz nötig war.Zum Eintrag ↗, die den Text begutachtet, fällt trotzdem anders aus.
Genau das hat eine Studie mit 4.200 kontrollierten Testfällen aus Einreichungen der Konferenz ICLR 2026 untersucht, wie der Fachdienst Cryptonomist berichtet. Kontrolliert heißt hier: Der inhaltliche Kern der Paper blieb gleich, verändert wurde nur die sprachliche Gestaltung. Das Ergebnis war ein unterschiedliches KI-Urteil bei gleichem Inhalt.
Dieser Befund trifft auf eine Praxis, in der Zeit ein knappes Gut ist. Begutachtung kostet Aufwand, und Werkzeuge, die diesen Aufwand verringern, wecken Interesse. Ob und in welchem Umfang Reviewerinnen und Reviewer solche Werkzeuge tatsächlich einsetzen, lässt sich aus der Studie selbst nicht ablesen. Sie beschreibt ein Verhalten von Modellen, nicht ein Verhalten von Menschen im Begutachtungsprozess. Diese Unterscheidung trägt den ganzen Artikel.
Was die Zahlen zeigen
Laut dem Bericht wurden 4.200 Testfälle aus Einreichungen zur Konferenz ICLR 2026 herangezogen. Der Inhalt der Paper blieb jeweils gleich, die Formulierung wurde verändert. Das Ergebnis: Das KI-Urteil fiel je nach Formulierung unterschiedlich aus, obwohl die fachliche Substanz identisch war.
Damit endet, was sich aus dem vorliegenden Bericht sicher referieren lässt. Welche Modelle getestet wurden, wie die Formulierungsvarianten genau konstruiert waren und wie groß der gemessene Effekt ausfiel. Dazu liefert der Sekundärbericht keine belastbaren Angaben. Die Originalstudie selbst liegt hier nicht vor. Wer wissen will, ob es sich um ein einzelnes Sprachmodell oder mehrere handelte, ob "Formulierung" etwa Tonfall, Fachjargon oder Satzlänge meint, findet darauf in der verfügbaren Quelle keine Antwort.
Das ist keine Randnotiz. Ein Befund wie dieser lässt sich erst einordnen, wenn klar ist, wie er zustande kam. Solange nur der Bericht über die Studie vorliegt, nicht die Studie selbst, bleibt die Zahl 4.200 eine Angabe, die man zitieren, aber nicht prüfen kann.
Die Lücke zwischen Testaufbau und Arbeitsplatz
Die 4.200 Testfälle prüfen etwas Bestimmtes: Wie ein Modell dasselbe Paper bewertet, wenn nur die Formulierung wechselt. Das ist ein sauberer Vergleich, weil alles andere gleich bleibt. Genau darin liegt aber auch die Grenze.
In diesem Testaufbau urteilt die KI allein. Kein Mensch liest das Ergebnis, wägt es ab, stellt es neben einen eigenen fachlichen Eindruck oder neben die Meinung von Ko-Gutachtern. Im echten Begutachtungsablauf ist das KI-Urteil, wenn es überhaupt vorkommt, nur ein Signal unter mehreren. Ob und wie stark ein Reviewer diesem Signal folgt, es korrigiert oder ignoriert, prüft die Studie nicht.
Damit klafft eine Lücke zwischen dem, was gemessen wurde, und dem, wonach die Praxisfrage eigentlich fragt. Gemessen wurde die Formulierungsempfindlichkeit eines isolierten Modells. Offen bleibt, was passiert, wenn dieses Modellurteil auf einen Menschen trifft, der eigene Kriterien, eigene Zeit und eigene Vorurteile mitbringt. Diese Differenz ist kein Nebenaspekt. Sie ist der Punkt, an dem jede seriöse Anschlussfrage ansetzen müsste.
Was wir über echte Reviewer nicht wissen
Die Studie misst ein Modellverhalten. Sie misst nicht, was Reviewerinnen und Reviewer tatsächlich tun. Diese beiden Dinge werden leicht verwechselt, sind aber verschiedene Fragen.
Wie viele Gutachterinnen und Gutachter bei ICLR oder anderen Konferenzen überhaupt KI-Werkzeuge zur Unterstützung nutzen, sagt der Bericht nicht. Ob es sich um eine Randerscheinung oder um eine verbreitete Praxis handelt, bleibt offen. Auch zu den Motiven. Zeitdruck, Unsicherheit im eigenen Fachurteil, schlicht Neugier. Findet sich in der Quelle nichts. Und selbst wenn Reviewer solche Werkzeuge einsetzen, ist unklar, in welchem Ausmaß das geschieht: als einziger Anhaltspunkt, als grobe Vorsortierung, als Gegenprobe zum eigenen Eindruck.
Ohne diese Angaben lässt sich nicht sagen, wie viele Begutachtungen von der beobachteten Formulierungsempfindlichkeit überhaupt betroffen sein könnten. Ein Effekt, der ein isoliertes Modell verzerrt, bleibt für die Praxis folgenlos, wenn kein Mensch dieses Modellurteil je zu Gesicht bekommt. Er kann aber auch erheblich sein, wenn KI-Bewertungen längst fester Bestandteil mancher Begutachtungsroutinen sind. Die Studie erlaubt keine Entscheidung zwischen diesen beiden Möglichkeiten. Genau das begrenzt ihre Reichweite: Sie beschreibt eine Eigenschaft von Sprachmodellen präzise, kann aber nichts darüber sagen, wie oft und wie stark diese Eigenschaft in echten Begutachtungsverfahren zum Tragen kommt.
Neue Verzerrung oder nur eine andere?
Die naheliegende Deutung lautet: KI-Begutachtung bringt eine eigene, neue Form der GlossarBias (Verzerrung)systematische Schieflage in Daten/Ausgaben.Zum Eintrag ↗ mit sich. Formulierung schlägt Inhalt. Das klingt nach einem Problem, das erst mit dem Einsatz von Sprachmodellen entstanden ist.
So einfach lässt sich das aus der Studie nicht ableiten. Auch menschliche Gutachterinnen und Gutachter gelten in der Forschung zur Begutachtungspraxis nicht als immun gegen Formulierung, Tonfall oder rhetorisches Geschick. Ob ein gut geschriebenes Paper bei einem Menschen milder beurteilt wird als ein inhaltlich gleichwertiges, aber schwerfällig formuliertes, ist eine alte Frage der Wissenschaftssoziologie. Die vorliegende Studie stellt dieser Frage aber keine eigenen Zahlen entgegen. Sie vergleicht nicht, wie stark ein Modell auf Formulierung reagiert im Verhältnis dazu, wie stark ein Mensch das tut.
Ohne diesen Vergleich bleibt offen, ob die beobachtete Formulierungsempfindlichkeit tatsächlich ein neues Muster ist oder ob sie ein altbekanntes Problem der Begutachtung lediglich in einer anderen Form wiederholt, möglicherweise sogar in geringerem oder stärkerem Ausmaß als bei Menschen. Die Quelle liefert für keine dieser Möglichkeiten einen Beleg. Was bleibt, ist eine offene Frage, keine Antwort: Verstärkt KI-gestützte Begutachtung eine Schwäche, die es ohnehin schon gibt, oder fügt sie eine zusätzliche hinzu? Die Studie selbst beantwortet das nicht, weil sie diesen Vergleich nicht angelegt hat.
Was bleibt, wenn man die Zahlen ernst nimmt
Eine Beobachtung steht fest: Bei 4.200 kontrollierten Testfällen aus ICLR-2026-Einreichungen hat allein die Formulierung das KI-Urteil verändert, obwohl der Inhalt gleich blieb. Das ist belastbar, soweit sich das aus einem Sekundärbericht sagen lässt, und es ist wenig genug, um daraus keine Dramatik zu ziehen, aber genug, um es nicht zu ignorieren.
Alles, was darüber hinausgeht, ist Vermutung, keine Beobachtung. Dass Reviewer in ihrem Alltag von diesem Effekt betroffen sind, klingt plausibel. Schließlich existieren KI-Werkzeuge, und Begutachtung ist aufwendig. Plausibel ist aber nicht dasselbe wie belegt. Die Studie sagt nichts darüber, wer solche Werkzeuge nutzt, wie oft und mit welchem Gewicht ein KI-Urteil neben dem eigenen fachlichen Eindruck steht. Ebenso offen bleibt, ob die gemessene Formulierungsempfindlichkeit ein Muster ist, das eigens durch KI entsteht, oder ob sie eine schon bekannte Schwäche der Begutachtung fortschreibt.
Eine Anschlussstudie müsste deshalb genau dort ansetzen, wo die vorliegende endet: nicht beim isolierten Modellurteil, sondern beim tatsächlichen Ablauf einer Begutachtung. Wie oft greifen Reviewer überhaupt auf KI-Einschätzungen zurück, wie gehen sie damit um, und verändert sich ihr eigenes Urteil dadurch messbar? Erst eine Untersuchung, die Menschen im echten Prozess beobachtet und nicht nur Modelle im Testlabor, könnte zeigen, ob aus einer nachgewiesenen Eigenschaft von Sprachmodellen auch ein Problem der Praxis wird.