Jack Morris jde proti proudu: informační teorie, ne agenti ani benchmarky

Latent Space každoročně profiluje jednoho PhD studenta z AI. Předloni to byl Shunyu Yao, který se v disertaci soustředil na language agents a přímo nastoupil na OpenAI. Letos si Latent Space vybral Jacka Morrise, a výběr je záměrně jiný.

Morris ignoruje nejhlasitější trendy a ptá se, co modely vlastně reprezentují

Morris záměrně nepracuje na agentech, nových benchmarcích ani na VS Code forkách. Jeho oblast je informačně-teoretické porozumění jazykovým modelům: jak modely kódují a komprimují informaci, co říká latentní prostor, jak se z embeddingů stávají reprezentace, ze kterých lze číst zpět.

Latent Space ho v rámci catchupu zmiňuje jako protipól k výzkumu, kde se sledují výsledky na leaderboardech. Konkrétní výsledky rozhovoru nejsou z veřejného excerptu plně dostupné. Obsah vychází ze struktury epizody a z Morrisovy dřívější práce na embedding modelech a latentních reprezentacích.

Proč teorie záleží při stavbě RAG, retrieval a interpretability nástrojů

Informačně-teoretický pohled na LLM není akademická kuriozita. Ovlivňuje praktické věci: jak fungují embeddingy a proč někdy selhávají, co lze odvodit o modelu bez přístupu k vahám, jak navrhovat retrieval systémy s lepším porozuměním tomu, co model „vidí” při sémantickém hledání.

Bez tohoto základu se trh snadno zasekne u povrchního srovnávání skóre. Velká část RAG infrastruktury je navržena intuitivně, ne z porozumění tomu, jak embeddingy skutečně pracují s informací. Morris jde tam, kde většina výzkumníků v době agentního nadšení nejde.

Základy místo trendů: dopad je pomalý, ale rozsáhlý

Tento rozhovor je cenný jako signál, že v akademickém AI výzkumu existují lidé zaměření na základy, ne jen na nejhlasitější produktové trendy. Přímý dopad na stávající produkty je ale méně přímočarý než u agentních nebo retrieval témat.

Informační teorie LLM je oblast, kde jsou výsledky těžko přeložitelné do konkrétních doporučení pro inženýrské týmy. Morrisova hodnota bude viditelná spíše v průběhu několika let, pokud jeho poznatky ovlivní jak se navrhují embedding modely nebo interpretability nástroje.

Kde budou Morrisovy poznatky za tři roky

Sleduj Morrisovy publikace v oblasti embedding modelů a latentních reprezentací. Zajímavé bude, jestli se informačně-teoretický pohled promítne do lepší diagnostiky selhání retrieval systémů nebo do nástrojů pro interpretaci modelového chování.

Latent Space PhD profily jsou dobré jako signál, kam míří výzkum mimo hlavní proud. Shunyu Yao byl agent thesis a šel přímo na OpenAI. Morris je o základech. Otázkou je, kde budou jeho poznatky za tři roky.

Lilithin verdikt

V době, kdy každý druhý výzkumník staví dalšího agenta nebo nový benchmark, stojí za to sledovat lidi, kteří se ptají, co modely vlastně dělají pod kapotou. Morrisovo zaměření na informační teorii a latentní reprezentace je nudnější téma než Codex, ale pokud vyjde, změní to, jak se navrhují embeddingy a retrieval systémy pro celé příští desetiletí.