OpenAI zveřejnila 722 matematických rukopisů, úzkým místem je teď kontrola

OpenAI zveřejnila na GitHubu katalog 722 matematických rukopisů uspořádaných do 372 rodin příbuzných výsledků. Firma uvádí, že naprostá většina vznikla stejným postupem s neveřejným interním modelem po zadání přibližně 4 000 otevřených problémů. Na jeden výsledek připadly v průměru tři hodiny výpočetního času odpovídajícího režimu ChatGPT Pro thinking.

Z experimentu se stal katalog o 722 rukopisech

Repozitář obsahuje PDF, zdrojové soubory, citační instrukce a podpůrné důkazní artefakty. Deset vybraných výsledků doprovázejí zkrácená shrnutí postupu modelu. OpenAI také zveřejnila katalog formalizací v Leanu, ale výslovně upozorňuje, že formalizované nejsou všechny rukopisy a že neformalizované výsledky mohou obsahovat chyby.

Rodina výsledků může zahrnovat hlavní tvrzení, alternativní důkazy i navazující důsledky. Proto 722 rukopisů neznamená 722 samostatně vyřešených problémů. Právě údaj o 372 rodinách je pro čtení rozsahu přesnější než samotný počet souborů.

Produkce důkazů předběhla kapacitu oboru je číst

Pro matematiky je praktickým problémem distribuce pozornosti. Jeden tým dokáže vygenerovat stovky textů, zatímco kontrola každého důkazu stále vyžaduje specialistu, čas a často i formální rekonstrukci. GitHub řeší distribuci a verzování, ne odbornou důvěru.

Pro výzkumné organizace se tím mění ekonomika práce. Hodnotu nebude vytvářet jen model, který navrhne důkaz, ale také systém, jenž umí výsledky třídit podle významu, dohledat předpoklady a směrovat sporné kroky ke správným lidem. Úhel tohoto vydání je proto méně o jednom matematickém triumfu a více o správě nadprodukce výzkumu.

Lean pokrývá část sbírky, zbytek čeká lidská kontrola

Formální artefakt může potvrdit, že konkrétní zápis projde daným kontrolním prostředím. Sám však neurčuje, zda je tvrzení nové, významné nebo správně zasazené do literatury. OpenAI navíc popisuje výjimky z jednotného postupu a jeden text editovaný člověkem kvůli čitelnosti. Katalog tedy není homogenní benchmark s jedinou metodou vzniku.

Největší riziko spočívá v tom, že objem vytvoří dojem konsenzu dřív, než proběhne nezávislá kontrola. U 372 rodin výsledků bude důležitá veřejná historie oprav a schopnost matematiků reprodukovat klíčové kroky bez důvěry v neveřejný model.

Poměr potvrzených a opravených výsledků určí skutečný význam

Sledovat je potřeba, kolik rodin získá nezávislé ověření, kolik rukopisů projde opravou a kde se objeví zásadní protiargumenty. Stejně podstatné bude, zda OpenAI doplní další formalizace a zda se kontrola rozšíří mimo poradní skupiny spojené s vydáním.

Rozhodující metrikou nebude další stovka PDF. Bude jí čas od zveřejnění k ověření a podíl výsledků, které přežijí práci odborníků v příslušném oboru.

Lilithin verdikt

OpenAI zaplnila přednáškový sál 722 rukopisy najednou. Skutečnou váhu získají teprve ty, které po měsících cizích poznámek pořád drží důkaz pohromadě.