Offenes Modell für autonomes Fahren senkt Hürden, erhöht Transparenz und macht Sicherheit messbar.
NVIDIA zeigt, wie offene KI Sicherheit auf die Straße bringt: Mit einem offenen Modell für autonomes Fahren verbindet DRIVE Alpamayo‑R1 nachvollziehbares Reasoning mit präziser Pfadplanung. Offene Datensätze, Werkzeuge und Benchmarks beschleunigen Tests, Simulation und Entwicklung – von der Forschung bis zur Anwendung im Fahrzeug und in der Robotik.
Warum ein offenes Modell für autonomes Fahren die Sicherheit hebt
NVIDIA setzt bei NeurIPS auf Transparenz und Zusammenarbeit. Ein offenes Modell für autonomes Fahren senkt Hürden, weil Teams nachvollziehbare Ergebnisse reproduzieren, anpassen und vergleichen können. Die neue Bewertung von Artificial Analysis bescheinigt den offenen NVIDIA‑Technologien der Nemotron‑Familie hohe Offenheit bei Lizenzen, Datenklarheit und technischen Details. So entsteht Vertrauen – eine Grundlage für sichere Systeme.
DRIVE Alpamayo‑R1: Reasoning trifft Pfadplanung
NVIDIA DRIVE Alpamayo‑R1 (AR1) ist ein offenes Modell für autonomes Fahren der nächsten Generation. Es kombiniert Chain‑of‑Thought‑Reasoning mit Pfadplanung, um komplexe Verkehrssituationen besser zu meistern und den Weg zu Level‑4‑Autonomie zu ebnen.
Kontextverständnis im Stadtverkehr
AR1 zerlegt Situationen in Schritte, bewertet mögliche Trajektorien und wählt mit Kontextdaten die beste Route. Das System erzeugt Reasoning‑Spuren, also Erklärungen zu seinen Entscheidungen. Beispiel: In einer Straße mit vielen Fußgängern und einem Radweg berücksichtigt AR1 potenzielle Querungen, hält Abstand zum Radweg oder stoppt rechtzeitig – ähnlich wie ein aufmerksamer Mensch.
Offen, anpassbar, messbar
AR1 baut auf NVIDIA Cosmos Reason auf. Forschende können das Modell für nicht‑kommerzielle Zwecke anpassen, testen und für Experimente nutzen. Das offene Modell für autonomes Fahren lässt sich mit dem AlpaSim Framework evaluieren. Ein Teil der Trainings‑ und Evaluationsdaten steht in den NVIDIA Physical AI Open Datasets bereit. Nach dem Pretraining steigert Reinforcement Learning die Reasoning‑Leistung deutlich – das zeigte die Post‑Training‑Phase von AR1. Bereitstellung erfolgt über GitHub und Hugging Face.
Cosmos beschleunigt Physical AI
Die Cosmos Cookbook liefert Schritt‑für‑Schritt‑Rezepte für Datenerstellung, synthetische Daten, Post‑Training und Bewertung. So können Teams schneller vom Prototyp zur robusten Anwendung kommen – auch rund um das offene Modell für autonomes Fahren.
Neue Werkzeuge und Beispiele
LidarGen: erstes Weltmodell, das Lidar‑Daten für AV‑Simulation generiert.
Omniverse NuRec Fixer: beseitigt Artefakte in neurale rekonstruierten Szenen nahezu in Echtzeit via Cosmos Predict.
Cosmos Policy: macht aus großen vortrainierten Videomodellen belastbare Roboter‑Policies.
ProtoMotions3: GPU‑beschleunigtes Framework auf NVIDIA Newton und Isaac Lab für digitale Menschen und humanoide Roboter; Szenen kommen aus Cosmos‑WFMs.
Vom Labor zur Praxis
Policies lassen sich in NVIDIA Isaac Lab und Isaac Sim trainieren. Die erzeugten Daten können wiederum die NVIDIA GR00T N Modelle für Robotik nachtrainieren. Partner wie Voxel51 steuern Rezepte bei; 1X, Figure AI, Foretellix, Gatik, Oxa, PlusAI und X‑Humanoid nutzen World Foundation Models. ETH Zürich zeigt dazu eine NeurIPS‑Arbeit zu realistischen, stimmigen 3D‑Szenen.
Digital AI: Nemotron und NeMo für Sprache und Sicherheit
NVIDIA ergänzt das Toolset für Sprache, Sicherheit und Reinforcement Learning:
MultiTalker Parakeet: Streaming‑ASR, versteht mehrere Sprecher auch bei Überlappung.
Sortformer: Echtzeit‑Diarization, trennt Sprecher präzise im Audiostrom.
Nemotron Content Safety Reasoning: durchsetzbares, regelbasiertes Reasoning für Sicherheit über Domänen.
Nemotron Content Safety Audio Dataset: synthetisches Audio‑Sicherheitsset für multimodale Schutzmaßnahmen.
NeMo Gym: Open‑Source‑Bibliothek für RL‑Umgebungen bei LLM‑Training, inkl. RLVR‑Umgebungen.
NeMo Data Designer Library (Apache 2.0): End‑to‑End‑Toolkit für hochwertige synthetische Datensätze und Domänenanpassung.
Unternehmen wie CrowdStrike, Palantir und ServiceNow bauen damit spezialisierte, sichere agentische KI.
Forschung bei NeurIPS: Highlights
Audio Flamingo 3: offenes großes Audio‑Sprachmodell für Sprache, Geräusch, Musik; bis 10‑Minuten‑Segmente; SOTA auf über 20 Benchmarks.
Minitron‑SSM: neue Pruning‑Methode für Hybridmodelle; Nemotron‑H 8B auf 4B komprimiert, mit 2× schnellerer Inferenz bei starker Genauigkeit.
Jet‑Nemotron: kosteneffiziente Post‑NAS‑Pipeline; Hybrid‑Modelle mit hoher Genauigkeit und höherem Durchsatz als Full‑Attention‑Baselines.
Nemotron‑Flash: latenzoptimierte kleine Sprachmodelle, ausgerichtet auf reale Antwortzeiten statt nur Parameterzahl.
ProRL: längeres RL‑Training erweitert Reasoning‑Grenzen und lässt Modelle Basisversionen konstant übertreffen.
Transparente Modelle, nachvollziehbare Entscheidungen und offene Werkzeuge bringen Forschung und Praxis zusammen. Mit AR1, Cosmos und Nemotron wächst ein Ökosystem, das Sicherheit messbar macht und Innovation teilt. So wird ein offenes Modell für autonomes Fahren zum Hebel, um komplexe Verkehrssituationen verlässlich zu meistern.
(Source: https://blogs.nvidia.com/blog/neurips-open-source-digital-physical-ai/)
For more news: Click Here
FAQ
Q: Was ist ein offenes Modell für autonomes Fahren wie Alpamayo‑R1?
A: Ein offenes Modell für autonomes Fahren wie NVIDIA DRIVE Alpamayo‑R1 ist ein öffentlich zugängliches reasoning Vision‑Language‑Action‑Modell, das Chain‑of‑Thought‑Reasoning mit Pfadplanung verbindet, um komplexe Verkehrsszenarien zu bewältigen. Forschende können das Modell anpassen, testen und für nicht‑kommerzielle Experimente nutzen.
Q: Wie trägt Alpamayo‑R1 zur Sicherheit im Straßenverkehr bei?
A: AR1 zerlegt Situationen in Schritte, bewertet mögliche Trajektorien und nutzt Kontextdaten, um die beste Route zu wählen, wodurch das Verhalten in Fußgänger‑ oder Radwegsituationen vorausschauender wird. Das System erzeugt Reasoning‑Spuren, die Entscheidungen erklärbar und nachvollziehbar machen.
Q: Warum fördert Offenheit das Vertrauen in autonome Systeme?
A: Ein offenes Modell für autonomes Fahren senkt Hürden für Reproduzierbarkeit und Anpassung, weil Teams Ergebnisse vergleichen und weiterentwickeln können. Die Artificial Analysis Open Index bewertet die Nemotron‑Familie als besonders offen hinsichtlich Lizenzen, Datenklarheit und technischen Details, was Vertrauen stärkt.
Q: Wo finden Forschende Alpamayo‑R1 und zugehörige Daten?
A: NVIDIA stellt Alpamayo‑R1 über GitHub und Hugging Face bereit, und ein Teil der Trainings‑ und Evaluationsdaten ist in den NVIDIA Physical AI Open Datasets verfügbar. Zur Evaluation gibt es zusätzlich das offene AlpaSim‑Framework.
Q: Wie lässt sich das Modell anpassen und verbessern?
A: AR1 baut auf NVIDIA Cosmos Reason auf und lässt sich mit Anleitungen aus dem Cosmos Cookbook mittels Post‑Training für spezifische Forschungszwecke anpassen. Beim Post‑Training zeigte Reinforcement Learning eine signifikante Verbesserung der Reasoning‑Fähigkeiten gegenüber dem reinen Pretraining.
Q: Welche Cosmos‑Werkzeuge unterstützen Physical AI und Simulation?
A: Zu den vorgestellten Werkzeugen gehören LidarGen zur Generierung von Lidar‑Daten, Omniverse NuRec Fixer zum Beheben von Artefakten, Cosmos Policy zum Erstellen robuster Roboter‑Policies und ProtoMotions3 für humanoide Simulationen. Policies lassen sich in NVIDIA Isaac Lab und Isaac Sim trainieren und die erzeugten Daten für das Nachtraining von Robotikmodellen nutzen.
Q: Welche digitalen KI‑Tools ergänzt NVIDIA für Sprache und Sicherheit?
A: NVIDIA ergänzt sein Toolkit unter anderem mit MultiTalker Parakeet für Streaming‑ASR, Sortformer für Echtzeit‑Diarization sowie Nemotron Content Safety Reasoning und einem zugehörigen Audio‑Dataset für multimodale Schutzmaßnahmen. Zudem sind NeMo Gym für RL‑Umgebungen und die NeMo Data Designer Library als Open‑Source‑Toolkit für synthetische Datensätze verfügbar.
Q: Wie unterstützt das NVIDIA‑Ökosystem den Übergang von Forschung zur Praxis?
A: Partner wie Voxel51 und Unternehmen wie 1X, Figure AI, Foretellix, Gatik, Oxa, PlusAI und X‑Humanoid nutzen Cosmos‑WFMs und tragen Rezepte und Anwendungen bei, wodurch Prototypen schneller in reale Systeme überführt werden. Zusammen mit Projekten wie Alpamayo‑R1, Cosmos und Nemotron entsteht ein offenes Ökosystem, das Forschung und Praxis verbindet und die Messbarkeit von Sicherheit fördert.