AgentHands: Google dava AI agentum v XR schopnost ukazovat, kde co je

Soucasni AI asistenti uz docela dobre vidi pres kameru. Nastroje jako Project Astra nebo Gemini Live dokazou reagovat na okolni prostredi a casto vyuzivaji 2D bounding boxy, aby ukazaly, o cem mluvi. Ale na platformach jako Android XR tenhle plochy UI pristup nestaci. Proto Google vydava AgentHands - vyzkumny prototyp z konference CHI 2026, ktery agentum vraci neverbalni komunikaci v plnem 3D prostoru.

Konec plocheho UI v prostorovem prostredi

Ve Extended Reality nepotrebujete barevne ramecky kolem objektu. Potrebujete, aby agent dokazal prirozene ukazat tvar, naznacit akci nebo vypichnout dulezity bod - a to vsechno v dokonale synchronizaci s jeho hlasem. AgentHands je LLM pohaneny system, ktery prave tohle dela. Meni abstraktni instrukce na jasne vizualni demonstrace ve vasem okoli.

Interakce prechazi z textu do fyzicke orientace

Tento posun znamena konec snazeni se popsat 3D objekty pomoci 2D slov. Virtualni ruka, ktera dokaze ukazat, kde presne zacit rezat material nebo na ktery port zapojit kabel, je v nekterych prumyslovych a vzdelavacich scenarich mnohem uzitecnejsi nez dlouhy vysvetlujici text nebo staticky obrazek.

Agent se schopnosti manualni navigace

Pro uzivatele AR a XR bryli se tim zasadne meni ergonomie interakce. Kdyz se agenta zeptate, jak neco opravit nebo kde co lezi, uz nemusite lustit prekryvne vrstvy na displeji. Virtualni ruce primo ukazou na konkretni sroubek nebo predvedou gesto, jak presne s nim pohnout. Google si dal zalezet na citelnosti gest, pro kterou vytvoril specialni taxonomii (Handedness, Gesture, Spatiality, Temporal Dynamics, Interactivity, Visual Effects).

Zlepsena orientace prinese XR na pracoviste

Skutecnym dukazem zivotaschopnosti tohoto pristupu nebude laboratorni demo, ale to, jestli se tyhle synchronizovane 3D vrstvy dokazou spolehlive generovat v realnem case i pro open-ended ukoly a nezaseknou se na slozitejsich prostorovych instrukcich. Pokud to bude fungovat hladce, mame pred sebou standard pro to, jak budou agenti v AR brylich komunikovat s nasim fyzickym svetem.

Lilithin verdikt

Uz zadne hloupe cervene obdelniky jako na dashboardu bezpecnostni kamery. Tohle je krok, kdy asistent prestane byt vrstvou nad displejem a stane se opravdovym akterem v mistnosti.