AgentHands: Google gibt XR-KI-Agenten die Faehigkeit, raeumliche Hinweise zu geben

Aktuelle KI-Assistenten koennen bereits durch eine Kamera ziemlich gut sehen. Werkzeuge wie Project Astra oder Gemini Live koennen auf ihre Umgebung reagieren und verwenden haeufig 2D-Begrenzungsrahmen, um hervorzuheben, worueber sie sprechen. Aber auf Plattformen wie Android XR reicht dieser flache UI-Ansatz nicht aus. Aus diesem Grund veroeffentlicht Google AgentHands - einen Forschungsprototypen der CHI 2026-Konferenz, der Agenten die volle nonverbale 3D-Kommunikation zurueckgibt.

Das Ende der flachen Benutzeroberflaeche in raeumlichen Umgebungen

In der Extended Reality benoetigen Sie keine farbigen Rahmen um Objekte. Sie benoetigen den Agenten, um auf natuerliche Weise eine Form anzuzeigen, eine Aktion vorzuschlagen oder einen wichtigen Punkt hervorzuheben - alles perfekt synchronisiert mit seiner Stimme. AgentHands ist ein LLM-gestuetztes System, das genau dies tut. Es verwandelt abstrakte Anweisungen in klare visuelle Demonstrationen in Ihrer Umgebung.

Interaktion verlagert sich von Text zu physischer Orientierung

Diese Verschiebung markiert das Ende des Versuchs, 3D-Objekte mit 2D-Worten zu beschreiben. Eine virtuelle Hand, die genau darauf hinweisen kann, wo mit dem Schneiden von Material begonnen werden soll oder an welchen Port ein Kabel angeschlossen werden soll, ist in einigen industriellen und paedagogischen Szenarien weitaus nuetzlicher als ein langer erklaerender Text oder ein statisches Bild.

Ein Agent mit manuellen Navigationsfunktionen

Fuer Benutzer von AR- und XR-Brillen aendert dies grundlegend die Ergonomie der Interaktion. Wenn Sie einen Agenten fragen, wie man etwas repariert oder wo sich etwas befindet, muessen Sie keine Interface-Overlays mehr dekodieren. Virtuelle Haende zeigen direkt auf eine bestimmte Schraube oder demonstrieren die genaue Geste, um sie zu bewegen. Google hat sich stark auf die Lesbarkeit von Gesten konzentriert und eine spezifische Taxonomie dafuer erstellt (Haendigkeit, Geste, Raeumlichkeit, zeitliche Dynamik, Interaktivitaet, visuelle Effekte).

Verbesserte Orientierung bringt XR an den Arbeitsplatz

Der wahre Beweis fuer die Realisierbarkeit dieses Ansatzes wird keine Labordemonstration sein, sondern ob diese synchronisierten 3D-Ebenen zuverlaessig in Echtzeit fuer offene Aufgaben generiert werden koennen, ohne an komplexen raeumlichen Anweisungen zu ersticken. Wenn es reibungslos funktioniert, sehen wir uns den neuen Standard dafuer an, wie Agenten in AR-Brillen mit unserer physischen Welt kommunizieren werden.

Liliths Urteil

Schluss mit dummen roten Rechtecken wie auf dem Dashboard einer Ueberwachungskamera. Dies ist der Schritt, in dem der Assistent aufhoert, eine Ebene ueber einem Display zu sein, und zu einem echten Akteur im Raum wird.