AgentHands: Google daje agentom AI w XR zdolnosc wskazywania przestrzennego

Obecni asystenci AI calkiem niezle widza juz przez kamere. Narzedzia takie jak Project Astra czy Gemini Live potrafia reagowac na otoczenie i czesto uzywaja plaskich ramek (2D bounding boxes), aby wskazac, o czym mowia. Jednak na platformach takich jak Android XR to plaskie podejscie do interfejsu to za malo. Dlatego Google udostepnia AgentHands - prototyp badawczy z konferencji CHI 2026, ktory przywraca agentom komunikacje niewerbalna w pelnej przestrzeni 3D.

Koniec plaskiego interfejsu w srodowisku przestrzennym

W rozszerzonej rzeczywistosci (XR) nie potrzebujesz kolorowych ramek wokol obiektow. Potrzebujesz, by agent potrafil naturalnie pokazac ksztalt, zasugerowac akcje lub podkreslic wazny punkt - a to wszystko w idealnej synchronizacji z jego glosem. AgentHands to system napedzany przez LLM, ktory robi dokladnie to. Zamienia abstrakcyjne instrukcje na jasne wizualne demonstracje w twoim otoczeniu.

Interakcja przechodzi z tekstu do orientacji fizycznej

To przesuniecie oznacza koniec prob opisywania obiektow 3D za pomoca slow 2D. Wirtualna reka, ktora moze dokladnie wskazac, gdzie zaczac ciac material lub do ktorego portu podlaczyc kabel, jest w niektorych scenariuszach przemyslowych i edukacyjnych znacznie bardziej uzyteczna niz dlugi tekst wyjasniajacy lub statyczny obraz.

Agent ze zdolnoscia manualnej nawigacji

Dla uzytkownikow okularow AR i XR zasadniczo zmienia to ergonomie interakcji. Kiedy pytasz agenta, jak cos naprawic lub gdzie cos lezy, nie musisz juz odcyfrowywac nakladek na wyswietlaczu. Wirtualne rece wskazuja bezposrednio na konkretna srubke lub demonstruja gest, jak dokladnie nia poruszyc. Google polozylo duzy nacisk na czytelnosc gestow, tworzac dla nich specjalna taksonomie (Handedness, Gesture, Spatiality, Temporal Dynamics, Interactivity, Visual Effects).

Lepsza orientacja wprowadzi XR do miejsca pracy

Prawdziwym dowodem na zywotnosc tego podejscia nie bedzie demo z laboratorium, ale to, czy te zsynchronizowane warstwy 3D beda mogly byc niezawodnie generowane w czasie rzeczywistym dla zadan typu open-ended, nie zacinajac sie na bardziej zlozonych instrukcjach przestrzennych. Jesli to zadziala plynnie, mamy przed soba nowy standard tego, jak agenci w okularach AR beda komunikowac sie z naszym fizycznym swiatem.

Werdykt Lilith

Koniec z glupimi czerwonymi prostokatami jak na dashboardzie kamery przemyslowej. To krok, w ktorym asystent przestaje byc warstwa nad wyswietlaczem, a staje sie prawdziwym aktorem w pomieszczeniu.