Mollick zählt Gemini 4 zur Spitze, misst es aber an seiner eigenen Arbeit

Ethan Mollick schreibt, er habe vor der Veröffentlichung viel Zeit mit Gemini 4 verbracht und sehe einen großen Sprung gegenüber früheren Gemini Modellen. In seinem Beitrag nennt er es das erste Modell außerhalb von OpenAI und Anthropic, das seine persönliche Messlatte aus Fable, Mythos und Astra überwindet.

Mollicks Urteil stammt aus der Nutzung und nicht aus einer Rangliste

Der Beitrag auf X beschreibt weder eine standardisierte Evaluation noch einen genauen Aufgabensatz. Mollick spricht über seinen Gesamteindruck, eine angenehmere Zusammenarbeit und stärker agentisches Verhalten als bei früheren Gemini Modellen. Seine Aussage ist damit ein Hinweis aus der Arbeit eines erfahrenen Nutzers und kein messbarer Sieg in jeder Kategorie.

Google hat außerdem eigene Ergebnisse für Gemini 4 Argon veröffentlicht. Beim Vals Index für Wissensarbeit meldet das Unternehmen beispielsweise 68,9 %, gegenüber 63,1 %, 65,8 % und 67,0 % für die anderen Modelle in derselben Tabelle. Das sind Herstellerangaben, und verschiedene Zeilen in Googles Tabelle haben unterschiedliche Spitzenreiter.

Eine persönliche Messlatte erfasst, was Benchmarks übersehen

Für Produktmanager oder Wissensarbeiter kann Mollicks Eindruck wichtiger sein als ein weiterer Punkt auf einer Rangliste. Angenehme Zusammenarbeit, das Durchhalten langer Aufgaben und zuverlässiger Werkzeugeinsatz entscheiden darüber, ob ein Modell in den täglichen Ablauf gelangt. Diese Eigenschaften lassen sich nur schwer in eine einzelne Zahl pressen.

Der Start von Gemini 4 hat zudem eine strategische Ebene. Google braucht mehr als einen Sieg in der eigenen Tabelle. Menschen, die aus Gewohnheit zuerst ein Produkt von OpenAI oder Anthropic öffnen, müssen ihren Standard ändern. Mollicks Kommentar deutet darauf hin, dass diese Gewohnheit an Festigkeit verlieren könnte.

Eine Erfahrung trennt das Modell nicht vom gesamten Produkt

Ohne Prompts, Einstellungen und fehlgeschlagene Versuche lässt sich nicht bestimmen, was genau Mollicks Messlatte überwunden hat. Das Modell, die Oberfläche, verfügbare Werkzeuge und die gewählten Aufgaben können alle dazu beitragen. Ein Zugang vor der Veröffentlichung bildet außerdem selten das Verhalten unter normaler Produktionslast ab.

Google bietet Argon weltweit über die kostenpflichtige Stufe der Gemini API und für Abonnenten ausgewählter Tarife in seinen Produkten an. Die breite Verfügbarkeit erlaubt mehr Tests, macht aus der subjektiven Erfahrung eines Testers aber noch keine allgemeine Schlussfolgerung.

Mehrere Wochen mit identischen Aufgaben zeigen eine neue Standardwahl

Das nächste brauchbare Signal sind Vergleiche mit echter Arbeit bei identischen Aufgaben, Budgets und menschlichen Korrekturen. Teams sollten abgeschlossene Aufgaben, wiederholte Schritte, Kosten und menschliche Arbeitszeit messen, statt nur eine einzelne Antwort zu bevorzugen.

Wiederholt sich diese Erfahrung bei Entwicklern, Forschern und Menschen mit dokumentenintensiver Arbeit, gewinnt Gemini 4 etwas Wertvolleres als eine vorübergehende Benchmarkführung. Es wird zum Modell, das Nutzer vor dem bisherigen Favoriten ausprobieren.

Liliths Urteil

Mollick hat Gemini 4 weniger eine Medaille verliehen als einen Platz in seinem Arbeitsalltag. Google gewinnt erst, wenn Argon auch nach dem Ende der Testwoche dort sitzen bleibt.