Wir freuen uns sehr, mitteilen zu können, dass unseres Paper„Foundation Models in Autonomous Driving: A Survey on Scenario Generation and Scenario Analysis“ im IEEE Open Journal of Intelligent Transportation Systems zur Veröffentlichung angenommen wurde!
Diese Arbeit ist eine gemeinsame Leistung mehrerer Institutionen und Industriepartner, darunter die Technische Universität München (TUM), Stanford University, NVIDIA, das Austrian Institute of Technology (AIT), Audi AG, die Technische Universität Darmstadt, fortiss GmbH und die Universität der Bundeswehr München.
🚗🔬 In dieser Arbeit geben wir einen umfassenden Überblick darüber, wie Foundation Models (FMs) – darunter Large Language Models (LLMs), Vision–Language Models (VLMs), Multimodal LLMs (MLLMs), Diffusionsmodelle (DMs) und World Models (WMs) – die Szenariogenerierung und Szenarioanalyse im autonomen Fahren grundlegend verändern.
Insgesamt analysieren wir systematisch 348 wissenschaftliche Arbeiten, darunter:
- 93 Arbeiten zur Szenariogenerierung
- 56 Arbeiten zur Szenarioanalyse
- 58 Datensätze
- 21 Simulatoren
- 25 Benchmark-Challenges
Wichtige Highlights der Arbeit:
- Erste systematische Survey-Arbeit, die sich ausschließlich mit FM-basierter Szenariogenerierung und Szenarioanalyse beschäftigt
- Einheitliche Taxonomie über Modelltypen, Eingaben, Aufgaben und Evaluationsmetriken hinweg
- Umfassende Übersicht über öffentliche Datensätze, Simulationsplattformen und Benchmark-Herausforderungen
- Identifikation zentraler Herausforderungen und vielversprechender zukünftiger Forschungsrichtungen
📄 IEEE (Early Access): https://ieeexplore.ieee.org/document/11370877
💻 GitHub Repository: https://github.com/TUM-AVS/FM-AD-Survey
🎥 Einführungsvideo: https://www.youtube.com/watch?v=ktz9GDtwidg