AgentHands: Google brinda a los agentes de IA en XR la capacidad de senalar donde estan las cosas

Los asistentes de IA actuales ya pueden ver bastante bien a traves de una camara. Herramientas como Project Astra o Gemini Live pueden reaccionar a su entorno y, a menudo, usar cuadros delimitadores 2D para resaltar de que estan hablando. Pero en plataformas como Android XR, este enfoque de interfaz de usuario plana no es suficiente. Es por eso que Google esta lanzando AgentHands, un prototipo de investigacion de la conferencia CHI 2026 que devuelve la comunicacion no verbal en 3D completa a los agentes.

El fin de la interfaz plana en entornos espaciales

En Realidad Extendida, no necesita cuadros de colores alrededor de los objetos. Necesita que el agente indique de forma natural una forma, sugiera una accion o enfatice un punto importante, todo perfectamente sincronizado con su voz. AgentHands es un sistema impulsado por LLM que hace exactamente esto. Convierte instrucciones abstractas en demostraciones visuales claras en su entorno.

La interaccion pasa del texto a la orientacion fisica

Este cambio marca el final del intento de describir objetos 3D utilizando palabras 2D. Una mano virtual que puede senalar exactamente donde comenzar a cortar material o en que puerto conectar un cable es mucho mas util en algunos escenarios industriales y educativos que un texto explicativo largo o una imagen estatica.

Un agente con capacidades de navegacion manual

Para los usuarios de gafas AR y XR, esto cambia fundamentalmente la ergonomia de la interaccion. Cuando le pregunta a un agente como arreglar algo o donde esta algo, ya no tiene que decodificar superposiciones de interfaz. Las manos virtuales senalan directamente a un tornillo especifico o demuestran el gesto exacto para moverlo. Google se centro en gran medida en la legibilidad de los gestos, creando una taxonomia especifica para ello (Lateralidad, Gesto, Espacialidad, Dinamica temporal, Interactividad, Efectos visuales).

La orientacion mejorada llevara la XR al lugar de trabajo

La verdadera prueba de la viabilidad de este enfoque no sera una demostracion de laboratorio, sino si estas capas 3D sincronizadas se pueden generar de manera confiable en tiempo real para tareas abiertas sin ahogarse en instrucciones espaciales complejas. Si funciona sin problemas, estamos ante el nuevo estandar de como los agentes con gafas AR se comunicaran con nuestro mundo fisico.

El veredicto de Lilith

No mas rectangulos rojos tontos como en el tablero de una camara de seguridad. Este es el paso en el que el asistente deja de ser una capa sobre una pantalla y se convierte en un actor real en la sala.