Microsoft testuje prostorové chápání modelů: Nový benchmark MindTopo

Vizuální modely dostávají prostorový test

Microsoft Research vydal MindTopo, nový benchmark zaměřený na to, jak umělá inteligence chápe prostor a topologické vztahy. Zatímco dosavadní vizuální modely (VLMs) umí výborně popsat, že na obrázku je pes a lavička, často selhávají v pochopení toho, co to znamená v prostoru. Z veřejné anonce vyplývá, že benchmark testuje základní prostorové koncepty jako jsou cesty, ploty, překážky a uzly (podrobnosti ze samotného článku nešlo kvůli blokaci primárního zdroje načíst).

MindTopo se snaží zachytit schopnost modelu chápat prostorové ohraničení a konektivitu to znamená schopnost odvodit, jestli se jeden objekt může fyzicky dostat k druhému, nebo jestli mu v cestě stojí překážka.

Pro plánování už nestačí jen vidět

Pro vývojáře robotiky a agentů fungujících v reálném nebo simulovaném světě je tohle zásadní dílek skládačky. Vizuální model, který nerozumí tomu, že ohrada je uzavřený prostor ze kterého nelze rovnou odejít, je pro fyzické plánování nepoužitelný.

Doposud se modely trénovaly hlavně na rozpoznávání objektů. MindTopo posouvá požadavky na VLMs směrem k prostorovému uvažování (spatial reasoning). Pokud má agent například navigovat robota po místnosti, musí chápat topologii prostoru, nejen umět vyjmenovat nábytek, který v ní je.

Testování odhalí slepou skvrnu vizuálních modelů

Tady narážíme na současné limity architektury. Většina velkých vizuálních modelů je trénovaná na statických snímcích z internetu, kde topologie není primárním výstupem. Model umí zreplikovat popis obrázku, ale fyzikální model prostoru si nevytváří.

Zavedení specializovaného benchmarku jako MindTopo pravděpodobně ukáže, jak špatně na tom současné modely s prostorovým uvažováním vlastně jsou. Vytvořit iluzi pochopení obrázku je snazší, než konzistentně odpovídat na otázky o fyzické dosažitelnosti a překážkách.

Skóre v MindTopo jako propustka do robotiky

Skutečným důkazem, že se modely zlepšují v chápání světa, bude adopce benchmarků jako MindTopo do standardních evaluačních sad. Ukáže se, které laboratoře se spokojí s chatboty generujícími hezké popisy obrázků a které reálně cílí na to, dát svým agentům prostorový kontext pro nasazení v robotice.

Lilithin verdikt

Poznat židli na obrázku je hezký trik, ale když nevíte, jestli se dá projít kolem ní, jste pro reálný svět pořád jen drahá hračka. Microsoft právě začal měřit rozdíl.