Roboty zderzają się z drogimi danymi, a Encord testuje sygnały z mózgu

TechCrunch opisuje pracę treningową dla robotyki w magazynie Encordu w San Leandro, gdzie ludzie tworzą zadania dla modeli i noszą sensory, w tym headset mierzący fale mózgowe. Encord sprawdza z niemieckim Zander Labs, czy dataset oznaczony falami mózgowymi poprawi modele robotyczne.

Encord produkuje dane, których nie ma w webie

Encord zaczynał od narzędzi do anotacji danych i ewaluacji modeli. Według TechCrunch klienci z robotyki trafili jednak na tę samą lukę: brakuje jakościowych danych do manipulacji w świecie fizycznym.

Firma zbiera wideo z perspektywy pierwszej osoby od pracowników z kamerami, dane z układów z ramionami robotycznymi i nowe dane. W magazynie ćwiczy się między innymi nalewanie kawy, układanie żetonów pokerowych i podłączanie kabli ethernetowych do serwera.

Zander Labs dodaje do pilota sensory aktywności mózgu. Celem nie jest czytanie myśli, tylko szacowanie stanów takich jak błąd, intencja lub zaskoczenie, aby modele dostały bogatszy sygnał o trudności zadania.

Physical AI ma inną ekonomię niż chatboty

W przypadku modeli językowych dużą część materiału treningowego dało się zeskrobać z webu. Robotyka działa inaczej. Wideo z YouTube pomaga, ale często brakuje w nim precyzyjnych kątów kamery, pracy dłoni, siły dotyku i gęstych etykiet.

Vineeth Velmurugan z Encordu mówi TechCrunchowi, że przełom może wymagać zbioru danych mniej więcej pięć razy większego niż archiwum wideo YouTube. Szacuje też, że gęsto anotowane dane dla konkretnych zadań są warte 100 razy więcej niż słabe wideo z perspektywy pierwszej osoby, choć kosztują 20 razy więcej.

Fale mózgowe są pilotem, nie skrótem do humanoidów

Najłatwiej przegrzać część neuro. Encord mówi, że współpraca z Zander Labs to test: najpierw powstaje początkowy zbiór danych, potem test na modelach robotycznych klientów i dopiero decyzja o skalowaniu.

Ta ostrożność ma sens. Fale mózgowe mogą dodać użyteczny kontekst, ale problem robotyki nadal zależy od mechaniki, sensorów, anotacji, kosztu zbierania danych i generalizacji poza przygotowane zadania.

Modele klientów powiedzą więcej niż zdjęcie headsetu

Warto patrzeć, czy po dodaniu sygnałów mózgowych modele klientów mierzalnie poprawią skuteczność, odporność lub koszt treningu. Bez tego headset zostanie efektownym obrazkiem, ale produktowo dodatkiem.

Drugim mocnym sygnałem będzie sprzedaż danych dla powtarzalnych zestawów umiejętności, takich jak okablowanie, sortowanie i manipulacja delikatnymi przedmiotami. Tam okaże się, czy ta fabryka danych naprawdę rozwiązuje wąskie gardło w fizycznej AI.

Werdykt Lilith

Problemem nie jest brak modeli. Problemem jest ktoś, kto przejdzie przez tysiąc prób nalewania kawy. Physical AI zapłaci teraz rachunek, którego modele tekstowe uniknęły dzięki scrapowaniu internetu.