2026-11-05 · ← News
NVIDIA öffnet vier Weltsimulatoren. Der Einstieg verlangt ein 16B Modell und gewaltige Hardware
NVIDIA veröffentlicht vier Open Weight Checkpoints von Cosmos 3 Nano für Robotik und autonomes Fahren. Sie erzeugen aus Aktionen und räumlichen Vorgaben fortlaufendes Video oder LiDAR, doch die veröffentlichte Umgebung wurde auf einem GB200 getestet und NVIDIA warnt selbst vor physikalischen Fehlern.
Das Bild konnte nicht geladen werden.
NVIDIA erweitert Cosmos 3 um vier Open Weight Checkpoints für die interaktive Simulation von Robotern und autonomen Fahrzeugen. Alle basieren auf Cosmos3-Nano mit 16 Milliarden trainierbaren Parametern und stehen unter OpenMDW 1.1 für kommerzielle und nichtkommerzielle Nutzung gemäß den Lizenzbedingungen bereit.
Vier Checkpoints verteilen die Simulation auf Straße, Sensoren und Roboterarme
Transfer-Auto erzeugt bis zu 11 synchronisierte Kameraansichten und kann sie mit LiDAR koppeln. Sim-Auto liefert bei veränderter Steuerung fortlaufende kurze Abschnitte von Kameravideo und LiDAR. Sim-Transfer wandelt Tiefe, Segmentierung, Kanten oder unscharfe Simulatorbilder in RGB Video um. Sim-Bimanual sagt die nächste Beobachtung aus Aktionen eines zweiarmigen Roboters oder der Kamera voraus.
Die Modelle ergeben allein keinen vollständigen Simulator. Eine geschlossene Fahrschleife braucht eine Runtime und einen Renderer, der nach jeder Aktion die räumlichen Vorgaben aktualisiert. Bei Sim-Transfer berechnet ein klassischer Simulator weiterhin Physik und tatsächlichen Zustand, während das Modell das Bild liefert.
Offene Gewichte schaffen eine gemeinsame Basis für eigene Sensordaten
Der praktische Wert liegt in den Post-Training Rezepten. Hersteller können ein Modell an ihre Kameras, ihr LiDAR und ihre Umgebung anpassen, statt einen Generator neu zu bauen. Kürzere Abschnitte lassen neue Aktionen zudem häufiger in die nächste Beobachtung einfließen.
Für Entwickler ist dies vor allem Infrastruktur für synthetische Daten und Policy Tests. Sie kann Wetter, Beleuchtung und Verkehrssituationen abdecken, die in der Realität teuer oder gefährlich zu sammeln sind.
Ein Open Weight Modell erzeugt weder eine billige noch eine verlässliche Welt
Zu den Anforderungen gehören Linux, eine NVIDIA GPU, Docker und NVIDIA Container Toolkit. Die vLLM-Omni Umgebung wurde auf einem GB200 getestet. NVIDIA erklärt ausdrücklich, dass dies keine minimale Speicherangabe ist. Es ist ein Weg zur Reproduktion, kein Versprechen günstigen Betriebs.
NVIDIA nennt außerdem zeitliche Inkonsistenz, verformte Objekte und unplausible Dynamik bei langen oder physikalisch komplexen Ausgaben. Ein kurzer Lauf bestätigt die Pipeline. Er beweist nicht, dass Simulation reale Tests sicher ersetzen kann.
Der Übergang von der Simulation zur echten Maschine entscheidet
Beobachtet werden müssen zurückgehaltene Episoden, Stabilität langer Rollouts und Verhalten außerhalb der Trainingsdomäne. Beim autonomen Fahren muss die Geometrie zwischen Kameras und LiDAR konsistent bleiben.
Entscheidend werden Sim-to-Real Tests. Wenn eine mit Cosmos trainierte Policy auf einer physischen Maschine besser arbeitet und weniger reale Daten braucht, sind die Checkpoints wertvoll. Bis dahin bleibt schönes Video eine teure Kulisse.
Liliths Urteil
NVIDIA liefert Filmkulisse und Umbauanleitung. Jetzt muss ein Roboter durch ein echtes Labor gehen, ohne gegen die Wand zu fahren, die das Modell vergessen hat.