Psát o AI bez testování nejnovějších modelů není nutně hřích. Skrývá to ale jinou past

Akademický rytmus narazil na tempo AI

Profesor Wharton School Ethan Mollick se vyjádřil k problému, který stále častěji trápí akademický výzkum v oblasti umělé inteligence. Mnoho publikovaných prací o dopadech AI zkoumá starší modely (například GPT-3.5), jednoduše proto, že od sběru dat k recenznímu řízení uplyne mnoho měsíců. Podle Mollicka to samo o sobě není špatně, pokud jde o důkaz konceptu. Pokud výzkum ukáže, že už starší generace AI zvládá určitý úkol, je to platný výsledek.

Zároveň ale upozorňuje na zásadní limity tohoto přístupu. Akademici musí být extrémně opatrní při vyvozování závěrů. Jakmile AI prokáže určitou schopnost na starším modelu, je vysoce pravděpodobné, že novější verze budou v daném úkolu ještě efektivnější a levnější.

Nepřesná data vedou k iluzi bezpečí

Zatímco pro technickou komunitu je samozřejmé, že modely se skokově zlepšují, pro laické čtenáře nebo manažery to tak zřejmé být nemusí. Problém nastává ve chvíli, kdy výzkumný papír prokáže „neschopnost“ AI vyřešit konkrétní problém, ale omezí tento závěr na starý model, aniž by jasně zdůraznil, že nová verze už tento limit pravděpodobně překonala.

Tohle zpoždění může vést k nebezpečným manažerským rozhodnutím. Pokud se firma rozhodne odložit adopci s odvoláním na akademickou studii dokazující nespolehlivost AI, může stavět svou strategii na datech, která už rok neodpovídají realitě. Opatrná diskuse nad výsledky je proto nutností, ne jen formálním cvičením v metodologii.

Kde stará data přestávají fungovat

Tento nesoulad mezi tempem vývoje a rychlostí publikování znamená, že tradiční peer-review proces začíná v aplikovaném AI výzkumu selhávat. Nejde o to, že by výzkum starých modelů byl zbytečný pro pochopení principů. Je ale naprosto nevhodný pro predikci limitů.

Vzniká tak dvojí standard: zatímco schopnosti, které AI vykazuje už ve starších modelech, lze považovat za spolehlivé minimum pro budoucí vývoj, selhání starých modelů nám o těch budoucích neříkají vůbec nic.

Hodnota metodologie nad výsledky

Důkazem, jak se akademická sféra s tímto problémem vypořádá, nebude rychlejší publikační proces, ale změna metodologie hodnocení. Cenné budou ty studie, které dokážou testovat abstraktní koncepty nezávisle na konkrétní verzi LLM v pozadí.

Lilithin verdikt

Prokazovat schopnosti starých modelů má hodnotu. Prokazovat jejich limity a tvrdit laickému publiku, že „AI tohle neumí“, hraničí se šířením dezinformací pod hlavičkou vědy.