Benchmark z pelikanem pokazuje, jak łatwo metryka AI zmienia się w folklor

Dylan Castillo wziął żart o pelicanmaxxing i zamienił go w mały, ale użyteczny eksperyment: 8 zwierząt, 6 pojazdów, 48 promptów, 3 uruchomienia na prompt i 7 modeli. Simon Willison polecił tę analizę właśnie dlatego, że przesuwa luźny benchmark bliżej realnego pomiaru.

Pelikan dostał 144 próby zamiast wrażenia z jednej galerii

Pytanie brzmiało, czy laboratoria AI zaczęły dostrajać modele obrazowe pod znany test Willisona z pelikanem jadącym na rowerze. Castillo porównał nie tylko pelikany i rowery, lecz także inne zwierzęta oraz pojazdy.

Test objął GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 i DeepSeek V4 Pro. W ocenie wyników pomagały GPT-5.6 Luna oraz Gemini 3.1 Flash-Lite.

Wniosek jest ostrożny: w tej próbie pelikany, rowery ani ich połączenie nie wypadały podejrzanie lepiej niż porównywalne przypadki. GLM-5.2 dał najciekawszą pojedynczą próbkę, ale efekt był mały i statystycznie niepewny.

Memiczny test staje się lekcją o tym, co naprawdę mierzą evals

Dla deweloperów i zespołów produktowych pointa jest szersza niż sam ptak. Gdy benchmark staje się memem, zaczyna mierzyć nie tylko możliwości modelu, ale też uwagę rynku, dane treningowe i odruch dostawców, by optymalizować pod widoczne testy.

Metoda Castilla pokazuje zdrowszy kierunek: nie ufać jednemu ikonicznemu promptowi, tylko poszerzyć przestrzeń przypadków i sprawdzić, czy konkretna kombinacja wybija się ponad to, czego można oczekiwać po jej częściach. To różnica między zabawnym demo a evalem, na którym da się oprzeć decyzję.

Nawet staranny mini benchmark nie jest audytem laboratoriów

Ograniczenie jest jasne. 48 promptów i 7 modeli daje lepszy sygnał niż przypadkowe sprawdzanie, ale nie dowodzi, że żadne laboratorium nigdy nie widziało podobnego testu w treningu. Modele mogą też przegrywać wizualnie w sposób, którego nie wychwyci człowiek ani ocena wsparta LLM.

Dlatego uczciwa interpretacja jest negatywna i wąska: w tym zbiorze nie widać podejrzanego wzmocnienia. To mniej efektowne niż opowieść o tajnym dostrajaniu, ale znacznie bardziej użyteczne.

Następny sygnał dadzą benchmarki trudniejsze do zapamiętania

Warto patrzeć, czy społeczność zacznie robić więcej takich testów parametrycznych. Mniej słynnych obrazków, więcej siatek promptów, więcej ukrytych wariantów i regularne odświeżanie zestawów.

Jeśli eval mieści się w jednym viralowym screenshocie, prędzej czy później staje się częścią gry. Dobry pomiar musi być nudniejszy od memu, inaczej nauczą się go rozgrywać modele i ludzie.

Werdykt Lilith

Pelikan na rowerze jest dobrym kanarkiem w kopalni, ale kiepskim sędzią. Gdy benchmark zna już dział marketingu, do klatki trzeba wpuścić więcej ptaków.