Mollick stawia Gemini 4 w czołówce, lecz mierzy je własną pracą

Ethan Mollick napisał, że spędził sporo czasu z Gemini 4 jeszcze przed premierą i uważa je za duży skok względem wcześniejszych modeli Gemini. Według jego wpisu to pierwszy model spoza OpenAI i Anthropic, który przekroczył jego osobisty próg wyznaczony przez Fable, Mythos i Astrę.

Opinia Mollicka wynika z używania, a nie z tabeli wyników

Wpis na X nie opisuje standaryzowanego testu ani dokładnego zestawu zadań. Mollick mówi o ogólnym wrażeniu, przyjemniejszej współpracy i bardziej agentowym zachowaniu niż w poprzednich modelach Gemini. Jego teza opisuje więc doświadczenie jednego obytego użytkownika, a nie mierzalne zwycięstwo w każdym rodzaju pracy.

Google opublikował też własny zestaw wyników Gemini 4 Argon. W Vals Index dla knowledge work podaje na przykład 68,9%, podczas gdy pozostałe modele w tej samej tabeli uzyskały 63,1%, 65,8% i 67,0%. To wyniki raportowane przez producenta, a poszczególne benchmarki w tabeli Google wskazują różnych liderów.

Osobisty próg wychwytuje cechy niewidoczne w benchmarku

Dla product managera lub knowledge workera wrażenie Mollicka może mieć większe znaczenie niż kolejny punkt w rankingu. Wygoda współpracy, utrzymanie długiego zadania i poprawne używanie narzędzi decydują, czy model trafia do codziennego workflow. Tych cech nie da się łatwo zamknąć w jednym wyniku.

Premiera Gemini 4 ma też drugą warstwę. Google potrzebuje czegoś więcej niż wygranej we własnej tabeli. Musi przekonać ludzi, którzy odruchowo zaczynają od produktu OpenAI albo Anthropic, by zmienili domyślny wybór. Komentarz Mollicka sugeruje, że ten nawyk może zacząć pękać.

Jedno doświadczenie nie oddziela modelu od całego produktu

Bez promptów, ustawień i nieudanych prób nie da się wskazać, co dokładnie pozwoliło przekroczyć próg Mollicka. Znaczenie mogą mieć sam model, interfejs, dostępne narzędzia i rodzaj zadań. Dostęp przed premierą rzadko pokazuje też zachowanie usługi pod zwykłym obciążeniem produkcyjnym.

Google udostępnia Argon globalnie w płatnej warstwie Gemini API oraz abonentom wybranych planów w swoich produktach. Szerszy dostęp umożliwia niezależne testy, lecz nie zmienia subiektywnej opinii jednego testera w ogólną prawidłowość.

Kilka tygodni tych samych zadań pokaże zmianę domyślnego wyboru

Kolejnym wartościowym sygnałem będą porównania na realnych zadaniach przy takim samym poleceniu, budżecie i poziomie ludzkich poprawek. Zespoły powinny liczyć ukończone zadania, powtórzone kroki, koszt i czas człowieka zamiast oceniać tylko jedną odpowiedź.

Jeśli podobne doświadczenia powtórzą się u programistów, badaczy i osób pracujących z dokumentami, Gemini 4 zdobędzie coś cenniejszego niż chwilowe prowadzenie w benchmarku. Stanie się modelem otwieranym przed dotychczasowym faworytem.

Werdykt Lilith

Mollick nie tyle wręczył Gemini 4 medal, ile wpuścił je do swojej codziennej pracy. Google wygra dopiero wtedy, gdy Argon zostanie tam także po zakończeniu tygodnia testów.