KI-Forschung auf Basis alter Modelle ist nicht per se schlecht, verbirgt aber eine Falle

Der akademische Rhythmus prallt auf das Tempo der KI

Ethan Mollick, Professor an der Wharton School, äußert sich zu einem zunehmenden Problem der akademischen KI-Forschung. Viele veröffentlichte Arbeiten, die die Auswirkungen von KI untersuchen, evaluieren ältere Modelle (wie GPT-3.5), ganz einfach deshalb, weil zwischen der Datenerhebung und dem Peer-Review-Verfahren oft viele Monate vergehen. Laut Mollick ist dies nicht grundsätzlich schlecht, wenn es um Machbarkeitsnachweise geht. Wenn eine Studie zeigt, dass bereits eine ältere KI-Generation eine bestimmte Aufgabe bewältigen kann, ist das ein valides Ergebnis.

Gleichzeitig weist er jedoch auf die erheblichen Grenzen dieses Ansatzes hin. Akademiker müssen bei ihren Schlussfolgerungen extrem vorsichtig sein. Sobald ein älteres KI-Modell eine bestimmte Fähigkeit beweist, ist es sehr wahrscheinlich, dass neuere Versionen dieselbe Aufgabe noch effizienter und kostengünstiger erledigen werden.

Ungenaue Daten führen zu trügerischer Sicherheit

Während der technischen Community völlig klar ist, dass sich Modelle sprunghaft verbessern, ist dies für nicht-technische Leser oder Führungskräfte in Unternehmen möglicherweise nicht offensichtlich. Problematisch wird es, wenn eine Forschungsarbeit anhand eines alten Modells die „Unfähigkeit“ einer KI belegt, ein bestimmtes Problem zu lösen, ohne deutlich darauf hinzuweisen, dass eine neuere Version diese Einschränkung höchstwahrscheinlich bereits überwunden hat.

Diese Verzögerung kann zu gefährlichen Managemententscheidungen führen. Entscheidet sich ein Unternehmen aufgrund einer akademischen Studie, die die Unzuverlässigkeit von KI belegt, für einen Aufschub bei der KI-Adoption, stützt es seine Strategie möglicherweise auf Daten, die schon seit einem Jahr nicht mehr der Realität entsprechen. Eine sorgfältige Diskussion der Ergebnisse ist daher zwingend erforderlich und keine bloße methodische Pflichtübung.

Wo alte Daten ihren Nutzen verlieren

Diese Diskrepanz zwischen Entwicklungsgeschwindigkeit und Publikationstempo bedeutet, dass der traditionelle Peer-Review-Prozess in der angewandten KI-Forschung an seine Grenzen stößt. Forschung an älteren Modellen ist zwar nicht nutzlos für das Verständnis von Grundprinzipien, aber völlig ungeeignet, um technologische Leistungsgrenzen vorherzusagen.

Es entsteht eine Art Doppelmoral: Während die von älteren Modellen gezeigten Fähigkeiten als verlässliches Minimum für zukünftige Entwicklungen gelten können, sagen uns die Fehler alter Modelle absolut nichts über zukünftige Leistungsfähigkeiten aus.

Die Bewertungsmethode wird wichtiger als Einzelergebnisse

Der Beweis dafür, wie der akademische Betrieb dieses Problem löst, wird nicht in schnelleren Publikationsprozessen liegen, sondern in einer veränderten Evaluationsmethodik. Zukünftig werden Studien am wertvollsten sein, die abstrakte Konzepte untersuchen unabhängig davon, welches spezifische Sprachmodell (LLM) gerade im Hintergrund läuft.

Liliths Urteil

Die Fähigkeiten alter Modelle aufzuzeigen, ist in Ordnung. Deren Leistungsgrenzen als Maßstab zu nehmen und Laien weiszumachen, „KI könne dies oder jenes nicht“, grenzt an die Verbreitung von Desinformation im Gewand der Wissenschaft.