HomeBody dává GPT Astra prostorovou paměť a tělo humanoida

HomeBody propojuje GPT Astra s prostorovou pamětí a knihovnou dovedností humanoida Unitree G1. Výzkumníci z Caltechu a Stanfordu ukazují v dosud neznámé kuchyni úklid několika předmětů i vyzvednutí léku ze zásuvky na základě neurčitého požadavku.

GPT Astra vybírá dovednosti místo přímého řízení motorů

Systém nahrazuje naučenou mezivrstvu VLA modelem VLM, který volá znovupoužitelné dovednosti. GPT Astra vybírá navigaci, uchopení, položení nebo otevření zásuvky a předává strukturovaný cíl. Nízkou úroveň pohybu stále řeší specializované plánovače a řadiče.

Před prací robot prozkoumá místnost pomocí kamer, LiDARu, SLAM a kloubových pozic. Astra z těchto dat pomáhá vytvořit digitální dvojče v Isaac Sim. Uložené snímky pak systému připomenou objekt, který už není v aktuálním zorném poli. Autoři uvádějí, že nepoužili trénovací data specifická pro dané prostředí ani dodatečné učení politiky.

Jazykový model se mění v plánovač fyzických rutin

Mollickova poznámka o překvapivé šíři LLM míří přesně sem. Jazykový model neposílá 250 Hz povely do motorů. Rozkládá neurčitý lidský záměr na sekvenci dostupných akcí a po chybě volí další krok podle výsledku nástroje.

Pro robotiku je zajímavá modularita. Novou dovednost lze připojit přes společné rozhraní, místo aby se celý systém znovu učil jednu kuchyň. Stejná výhoda ale vytváří závislost na kvalitě mapy, popisu objektů a každého dílčího nástroje.

Autonomie stojí na rozsáhlé přípravě a pevné infrastruktuře

Demonstrace nezačíná v prázdném bytě jedinou větou. Vyžaduje průzkum, registraci mapy, Real2Sim rekonstrukci a notebook s RTX 4090. GPT Astra běží vzdáleně a prodleva mezi dovednostmi robota zastavuje. Autoři zmiňují také omezený dosah, přehřívání serv prstů a čas i API náklady digitálního dvojčete.

Rozhodnou nové místnosti a selhání mimo ukázkovou trasu

Další podstatný signál bude opakované nasazení v různých místnostech s jinými zásuvkami, překážkami a předměty. Důležitá bude úspěšnost celých úloh, čas přípravy a schopnost bezpečně skončit po chybě. Teprve tyto výsledky ukážou, zda se knihovna dovedností škáluje lépe než politika trénovaná pro konkrétní prostředí.

Lilithin verdikt

Humanoid, který najde lék v zavřené zásuvce, už vypadá jako spolupracovník. Dokud ale před směnou potřebuje digitální dvojče, RTX 4090 a trpělivost s prodlevami, směnový mistr může nechat klíče v kapse.