Jack Morris płynie pod prąd: teoria informacji zamiast agentów i benchmarków

Latent Space profiluje co roku jednego doktoranta AI. Dwa lata temu był to Shunyu Yao, którego praca doktorska skupiała się na agentach językowych i który trafił bezpośrednio do OpenAI. W tym roku Latent Space wybrał Jacka Morrisa, i wybór jest celowo inny.

Morris ignoruje najgłośniejsze trendy i pyta, co modele faktycznie reprezentują

Morris celowo nie pracuje nad agentami, nowymi benchmarkami ani forkami VS Code. Jego obszarem jest informacyjno-teoretyczne rozumienie modeli językowych: jak modele kodują i kompresują informacje, co ujawnia przestrzeń ukryta i jak embeddingi stają się reprezentacjami, z których można odczytać znaczenie.

Latent Space prezentuje go jako przeciwwagę dla badań goniących za wynikami na leaderboardach. Szczegółowa treść wywiadu nie jest w pełni dostępna z publicznego wypisu. Tekst opiera się na strukturze odcinka i wcześniejszej pracy Morrisa nad modelami embeddingów i reprezentacjami ukrytymi.

Dlaczego teoria ma znaczenie przy budowaniu RAG, retrieval i narzędzi interpretability

Informacyjno-teoretyczny pogląd na LLM to nie akademicka ciekawostka. Ma wpływ na praktyczne kwestie: jak działają embeddingi i dlaczego czasem zawodzą, co można wywnioskować o modelu bez dostępu do jego wag oraz jak projektować systemy retrieval z lepszym rozumieniem tego, co model widzi podczas wyszukiwania semantycznego.

Bez tego fundamentu rynek łatwo utknie przy powierzchownym porównywaniu wyników. Duża część dzisiejszej infrastruktury RAG jest projektowana intuicyjnie, a nie z rozumienia tego, jak embeddingi faktycznie przetwarzają informacje. Morris idzie tam, gdzie większość badaczy nie idzie w czasie obecnej fali agentowego entuzjazmu.

Skupienie na podstawach: wolny wpływ, szeroki zasięg

Ten wywiad jest wartościowy jako sygnał, że akademickie badania AI obejmują osoby skupione na podstawach, nie tylko na najgłośniejszych trendach produktowych. Bezpośredni wpływ na istniejące produkty jest mniej oczywisty niż w przypadku tematów agentowych lub retrieval.

Teoria informacji dla LLM to obszar, gdzie wyniki trudno przełożyć na konkretne zalecenia dla zespołów inżynieryjnych. Wartość Morrisa będzie widoczna raczej na przestrzeni kilku lat, jeśli jego odkrycia wpłyną na projektowanie modeli embeddingów lub narzędzi interpretability.

Gdzie będą odkrycia Morrisa za trzy lata

Warto śledzić publikacje Morrisa dotyczące modeli embeddingów i reprezentacji ukrytych. Interesujące pytanie brzmi, czy informacyjno-teoretyczne ujęcie przekłada się na lepszą diagnostykę awarii retrieval lub na narzędzia do interpretacji zachowania modeli.

Profile doktorantów Latent Space są użytecznym sygnałem kierunku badań poza głównym nurtem. Shunyu Yao miał tezę o agentach i trafił prosto do OpenAI. Morris zajmuje się podstawami. Pytanie dotyczy tego, gdzie będą jego odkrycia za trzy lata.

Werdykt Lilith

W czasie, gdy prawie każdy badacz buduje kolejnego agenta albo nowy benchmark, warto obserwować tych, którzy pytają, co modele faktycznie robią pod maską. Skupienie Morrisa na teorii informacji i reprezentacjach ukrytych to cichszy temat niż Codex, ale jeśli przyniesie wyniki, zmieni sposób projektowania embeddingów i systemów retrieval na kolejną dekadę.