NVIDIA otworzyła cztery symulatory świata. Wejście wymaga modelu 16B i potężnego sprzętu

NVIDIA rozszerzyła Cosmos 3 o cztery checkpointy open-weight do interaktywnej symulacji robotów i pojazdów autonomicznych. Każdy bazuje na Cosmos3-Nano z 16 miliardami parametrów trenowalnych i jest dostępny na licencji OpenMDW 1.1 do zastosowań komercyjnych oraz niekomercyjnych zgodnie z jej warunkami.

Cztery checkpointy dzielą symulację między drogę, sensory i ramiona robota

Transfer-Auto generuje do 11 zsynchronizowanych widoków kamer i może łączyć je z LiDAR. Sim-Auto tworzy kolejne krótkie fragmenty obrazu oraz LiDAR w odpowiedzi na zmiany sterowania. Sim-Transfer zamienia głębię, segmentację, krawędzie lub rozmyty obraz z symulatora na wideo RGB. Sim-Bimanual przewiduje następną obserwację na podstawie ruchów robota dwuramiennego albo kamery.

Modele nie tworzą kompletnego symulatora. Zamknięta pętla jazdy wymaga runtime i renderera, który po każdej akcji aktualizuje warunki przestrzenne. W Sim-Transfer fizykę i stan rzeczywisty nadal oblicza klasyczny symulator, a model generuje obraz.

Otwarte wagi dają zespołom wspólną bazę dla własnych danych

Praktyczna wartość tkwi w recepturach post-training. Producent robota lub pojazdu może dostosować model do własnego układu kamer, LiDAR i środowiska zamiast budować generator od zera. Krótsze fragmenty pozwalają też częściej uwzględniać nowe działania w następnej obserwacji.

Dla programistów jest to przede wszystkim infrastruktura do danych syntetycznych i testowania policy. Może poszerzyć zakres pogody, oświetlenia i sytuacji drogowych, których zebranie w świecie fizycznym jest kosztowne albo niebezpieczne.

Open-weight nie oznacza taniego ani wiernego świata

Wymagania obejmują Linux, GPU NVIDIA, Docker i NVIDIA Container Toolkit. Konfigurację vLLM-Omni testowano na jednym GB200, a NVIDIA zaznacza, że nie jest to minimalna specyfikacja pamięci. To ścieżka reprodukcji, nie obietnica taniego wdrożenia.

NVIDIA wymienia także niespójność w czasie, deformacje obiektów i niewiarygodną dynamikę w długich lub złożonych fizycznie wynikach. Krótki test potwierdza działanie pipeline. Nie dowodzi, że symulacja bezpiecznie zastąpi próby w świecie rzeczywistym.

Wartość pokaże dopiero przejście policy z symulacji do maszyny

Trzeba obserwować wyniki na odłożonych epizodach, stabilność długich rolloutów i zachowanie poza domeną treningową. W autonomicznej jeździe geometria musi pozostać spójna między kamerami i LiDAR.

Najważniejsze będą testy sim-to-real. Jeśli policy trenowana z Cosmosem lepiej poradzi sobie na fizycznej maszynie przy mniejszej ilości realnych danych, checkpointy okażą się użyteczne. Do tego czasu piękne wideo pozostaje kosztowną scenografią.

Werdykt Lilith

NVIDIA dostarczyła scenografię i instrukcję jej przebudowy. Teraz robot musi przejść przez prawdziwe laboratorium bez uderzenia w ścianę, o której model zapomniał.