Dziewiętnaście modeli na telefon ma wyprzedzać GPT-4, lecz bez metryki ranking mówi tylko pół prawdy

Ethan Mollick napisał, że 19 modeli AI zdolnych do działania na nowoczesnym smartfonie jest lepszych od GPT-4. Zestawił to z okresem, gdy w jego ocenie GPT-4 przez cały rok pozostawał bezdyskusyjnie najlepszym modelem, a rynek zastanawiał się, czy OpenAI ma tajną przewagę.

Dawny szczyt stał się progiem dla urządzenia w kieszeni

Wpis pokazuje wyraźną zmianę w dystrybucji możliwości. Model, który wyznaczał granicę dla zdalnej usługi, stał się w porównaniu Mollicka poprzeczką przekraczaną przez większą grupę modeli działających bezpośrednio na urządzeniu konsumenckim.

Źródło nie podaje jednak nazwy benchmarku, listy 19 modeli ani technicznej definicji nowoczesnego smartfona. Nie wskazuje też konkretnej wersji GPT-4 użytej jako punkt odniesienia. Liczbę 19 można więc potwierdzić jako publiczne twierdzenie Mollicka, a nie jako niezależnie udokumentowany wynik powtarzalnego testu.

Lokalna inference zmienia koszty oraz drogę danych użytkownika

Sprawny model w telefonie zmniejsza zależność od sieci i zdalnego API. Dla zespołu produktowego może oznaczać niższy koszt krańcowy rutynowych zadań, szybszą odpowiedź oraz przetwarzanie poufnych danych bez wysyłania ich do dostawcy chmury. Taki efekt ma większe znaczenie niż symboliczne pokonanie starszego modelu w tabeli.

Słabnie również wyobrażenie jednego najlepszego modelu do wszystkiego. Model mobilny może obsługiwać klasyfikację, transkrypcję lub krótką pomoc, a aplikacja skieruje trudniejsze zadania do większego modelu. Przewaga zależy wtedy nie tylko od modelu, lecz także od routera, pamięci i decyzji, które dane pozostają na urządzeniu.

Słowo lepszy ukrywa jakość, szybkość, pamięć i energię

Benchmark może mierzyć wiedzę ogólną, matematykę, wykonywanie instrukcji albo inną wąską zdolność. Telefon może technicznie uruchomić model, lecz zapewniać czas odpowiedzi, zużycie energii i wymagania pamięciowe nieodpowiednie dla codziennej aplikacji. Bez tych danych liczba 19 nie dowodzi, że użytkownik otrzyma usługę ogólnie lepszą od GPT-4.

Historyczna dominacja GPT-4 jest ponadto oceną, a nie jedną ścisłą kategorią techniczną. Wpis dobrze obrazuje szybki spadek ceny możliwości. Nie wystarcza jeszcze jako rekomendacja zakupowa ani powtarzalny benchmark.

Aplikacje działające na baterii powiedzą więcej niż kolejna tabela

Przekonujący kolejny sygnał powinien wymieniać modele oraz podawać dokładność lub wyniki, zajętą pamięć, liczbę tokenów na sekundę i zużycie energii na zwykłym telefonie. Równie ważna jest jakość po kwantyzacji, ponieważ to wdrożony wariant decyduje o doświadczeniu użytkownika.

Rynek potwierdzi zmianę, gdy lokalne modele zaczną niezawodnie obsługiwać funkcje, za które aplikacje płacą dziś chmurowemu API. Do tego czasu liczba 19 jest przydatnym drogowskazem, na którym zabrakło odległości i informacji o stanie drogi.

Werdykt Lilith

Dziewiętnaście modeli w telefonie brzmi jak załamanie ceny możliwości. Bez nazwy benchmarku to drogowskaz, z którego ktoś odkręcił tabliczkę z odległością.