Google umgeht Inferenz-Engpass: Retrieve-for-Train macht komplexe Suchen billiger

Das Modell denkt voraus, nicht bei jeder Abfrage

Google Research hat das neue Framework Retrieve-for-Train vorgestellt, um die steigenden Kosten für komplexe KI-Suchen in den Griff zu bekommen. Anstatt dass ein Sprachmodell bei jeder Anfrage in Echtzeit aufwendig nachdenkt, Google nutzt Reinforcement Learning, um ein leichtgewichtiges Diffusionsmodell zu erstellen. Dieses kann eine kohärente Reihe von Expertenergebnissen wesentlich günstiger generieren, da die schwere Rechenarbeit bereits während des Trainings geleistet wurde.

Das Ende der Brachialgewalt in der Laufzeitebene

Die Ökonomie der KI-Suche stößt an ihre Grenzen. Modelle wie o1 von OpenAI zeigen, dass mehr Rechenzeit bei der Inferenz (das «Denkbudget») zu besseren Ergebnissen führt, aber in der Größenordnung einer globalen Suchmaschine ist das finanziell untragbar. Retrieve-for-Train umgeht dieses Problem, indem es die Rechenlast von der Laufzeitschicht zurück in die Trainingsphase verlagert. Für Produktteams bedeutet dies die Möglichkeit, auch Nutzern ohne Premium-Abonnement eine tiefergehende Analyse anzubieten.

Ein billiges Modell hat blinde Flecken

Die Verlagerung der Logik in ein Diffusionsmodell hat jedoch einen Haken. Ein leichtgewichtiges Modell, das über RL trainiert wurde, zeichnet sich bei Aufgaben aus, die es in seiner Trainingsdatenverteilung gesehen hat. Im Gegensatz zu einem vollwertigen LLM hat es jedoch Schwierigkeiten, sich an völlig unerwartete Abfragetypen (Out-of-Distribution-Aufgaben) anzubassen. Das Ergebnis ist ein schnelles System, das in Randfällen mit größerer Wahrscheinlichkeit selbstbewusst halluziniert als ein schweres Modell.

Einsatz auf lokaler Hardware

Die entscheidende Kennzahl wird sein, ob Google diese Technologie auf mobile Geräte bringen kann. Der wahre Beweis, dass das Framework funktioniert, wird kein weiterer Benchmark sein, sondern die Fähigkeit, ähnlich komplexe Suchen lokal auf Pixel-Telefonen auszuführen, ohne Rechenleistung in der Cloud zu verbrennen.

Liliths Urteil

Die Laufzeitkosten mit einem vorgefertigten Modell nahe null senken zu können, bedeutet, der Masse kostenlose Premium-Intelligenz zu bieten und die Konkurrenz auszuhungern.