Wie autonome Fahrzeuge das Fahren lernen? Die Schattenschule der Simulation

Autonome Fahrzeuge lernen das Fahren nicht auf echten Straßen, sondern großteils in Simulationen: In einer virtuellen Welt mit Milliarden von Kilometern probiert eine künstliche Intelligenz millionenfach aus und macht Fehler - kombiniert mit echten Straßendaten lernt sie, im alltäglichen Verkehr Entscheidungen zu treffen. Doch zu wissen, dass ein Fahrer, der in der Simulation glänzt, auf dem Asphalt nicht dieselbe Leistung zeigen wird, ist mindestens genauso wichtig wie das Lernen selbst. Dies ist die ganze Geschichte dieses spannenden Spannungsverhältnisses.

Wie lernen autonome Fahrzeuge das Fahren in der Simulation?

Menschen lernen das Autofahren auf der Straße; künstliche Intelligenz lernt es meistens im Inneren eines Computers. Autonome Fahrsysteme funktionieren nicht regelbasiert, sondern mit probabilistischen Modellen, die aus Daten lernen. Das heißt, kein Ingenieur schreibt Code nach dem Motto "verhalte dich an einer Kreuzung so und so"; das System betrachtet Millionen von Beispielen und lernt das Verhalten selbst. Ein wichtiger Teil dieser Beispiele stammt aus Simulationen.

Der Prozess läuft ungefähr so ab:

1. Echte Daten werden gesammelt: Testfahrzeuge zeichnen beim Fahren auf den Straßen Kamera-, Radar- und Lidar-Daten auf; diese Daten, die etwa 4 Terabyte pro Stunde erzeugen, erreichen in weniger als einer Woche ein Volumen von Petabytes.
2. Die Daten werden in eine virtuelle Welt umgewandelt: Neuronale Rekonstruktionstechniken wandeln echte, mult SENSORIELLE Fahraufzeichnungen in hochauflösende 3D-Umgebungen um. Generative Weltmodelle fügen Variationen bei Wetter, Licht und seltenen Szenarien hinzu.
3. Die künstliche Intelligenz wird durch Versuch und Irrtum trainiert: Mithilfe von bestärkendem Lernen probiert das System Verhaltensweisen wie Spurwechsel, Überholen und Vorfahrt gewähren im virtuellen Verkehr immer wieder aus; Verhaltensweisen mit guten Ergebnissen werden belohnt.
4. Sicherheitstests werden durchgeführt: Bevor die Richtlinien auf echten Straßen eingesetzt werden, durchlaufen sie gestufte Tests wie Software-in-the-Loop (SIL), Hardware-in-the-Loop (HIL) und mit echten Fahrzeugen (VIL).

Was lernt die künstliche Intelligenz nun eigentlich? Bei der Objekterkennung sind Convolutional Neural Networks (CNN), bei der Vorhersage der Bewegung anderer Fahrzeuge und Fußgänger 3-5 Sekunden im Voraus Transformer und bei Kreuzungsinteraktionen Graph Neural Networks im Vorteil. Einige Systeme verwenden End-to-End-Architekturen, die Lenkung und Bremsen direkt aus den rohen Sensordaten lernen - diese gelten jedoch aufgrund von Zertifizierungsproblemen noch als experimentell.

Das Problem der 11 Milliarden Meilen: Warum ist Simulation zwingend notwendig?

Die Mathematik der Sache ist gnadenlos. Um eine Fehlerquote auf menschlichem Niveau zu erreichen, müssen autonome Fahrzeuge etwa 11 Milliarden Meilen es berechnet, was er tun muss. Dies mit physischen Tests abzuschließen würde Hunderte von Jahren dauern - das kann also niemand abwarten. Aus diesem Grund bleibt der Branche nichts anderes übrig, als zur Simulation zu greifen: Der Großteil des Sicherheitsnachweises kann nur in der virtuellen Welt erbracht werden. Wenn man noch hinzufügt, dass der Markt für Fahrtrainings-Simulatoren allein im Jahr 2026 bereits einen Wert von 2,2 Milliarden US-Dollar hat und bis 2033 ein Anstieg auf 3,0 Milliarden US-Dollar erwartet wird, dann ist das kein Trend, sondern die grundlegende Infrastruktur der Industrie.

Die Superkräfte der virtuellen Welt

Der größte Vorteil der Simulation besteht darin, Dinge, die in der realen Welt unmöglich sind, immer wieder testen zu können. Ein plötzlich auf die Fahrbahn tretender Fußgänger, ein plötzlich bremsendes Fahrzeug, abgedunkelte Scheinwerfer in der Nacht, dichter Nebel, Sonnenblenden... All dies kann in der virtuellen Umgebung sicher und unter identischen Bedingungen wiederholbar getestet werden. Sogar Sensorausfälle können simuliert werden: Ein Szenario mit einer ausgefallenen Frontkamera auf einer echten Straße aufzubauen ist sowohl gefährlich als auch teuer; in der virtuellen Welt kostet es nur ein paar Klicks.

Die Arbeit von McCity zeigt hier einen cleveren Schachzug: Die simulierte mit schlechten Fahrern erstellte virtuelle Testumgebung durchbricht den "Fluch der Seltenheit", um die Fähigkeit zur schnellen Entscheidungsfindung zu verbessern. Ein Szenario, dem man in Wirklichkeit einmal im Jahr begegnen würde, kann man in der virtuellen Welt tausendmal am Tag erleben. Hinzu kommt, dass in einigen Anwendungsbereichen die Sicherheitsvalidierung nur durch Simulation erfolgen kann - das heißt, selbst der offizielle Zertifizierungsprozess ist inzwischen von der virtuellen Welt abhängig.

Tesla und Waymo: Zwei verschiedene Schulen, dieselbe Lektion?

Die beiden Vorreiter der Branche lehren das Fahren auf zwei unterschiedliche Arten. Fassen wir den Unterschied in einer Tabelle zusammen:

Teslas Strategie ist mutig: Lidar und Karteninfrastruktur werden deaktiviert und alles einer einzigen Architektur anvertraut, die ausschließlich aus Kameradaten lernt. Der Vorteil davon ist die Skalierung - jedes Tesla auf der Straße ist ein Lehrer. Waymo arbeitet dagegen mit reichhaltigeren Sensordaten und betont, dass selbst für das Unternehmen - unabhängig davon, wie viel Simulation oder Testfahrten es gibt - dies allein nicht ausreicht. Interessant ist Folgendes: Die Auffassung, dass die beiden Ansätze ähnlicher sind als gedacht, ist ebenfalls stark vertreten. Denn auch Waymo lernt durch datengetriebenes Training, wie sich jedes Objekt am besten darstellen lässt. Der Unterschied liegt im Reichtum der Daten, die in die Wahrnehmung einfließen.

Waymos Schritt zum Weltmodell

Im Februar 2026 kündigte Waymo ein neues Weltmodell für die Simulation des autonomen Fahrens an. Das Unternehmen hat etwa 200 Millionen vollautonome Meilen und Milliarden virtueller Meilen werden inzwischen als Rohstoff genutzt, um realistischere virtuelle Welten zu erzeugen. Auch die Chronologie ist beeindruckend: 2016 gab es 2,5 Milliarden simulierte Meilen, 2018 wurde die Marke von 6 Milliarden überschritten, 2020 wurden 15 Milliarden übertroffen und heute liegen wir bei über 20 Milliarden. Selbst eine einzelne blinkende gelbe Ampel kann sich in Tausende Stunden virtueller Erfahrung verwandeln.

Die Sim-to-Real-Lücke: Warum strauchelt ein in der Simulation glänzender Fahrer auf der Straße?

Hier liegt das Herzstück des Artikels. Warum führt ein Verhalten, das in der Simulation perfekt funktioniert, in der realen Welt nicht unbedingt zum gleichen Ergebnis? Der Name für diesen Unterschied ist sim-to-real gap - die Simulations-Realitäts-Lücke. Die Ursachen lassen sich in vier Kategorien zusammenfassen:

• Unterschied im visuellen Bereich: Virtuelle Grafiken können echtes Licht, Texturen und den Schimmer des Asphalts in der Sommersonne nicht originalgetreu nachbilden.
• Näherungsfehler der Physik: Die Physik-Engine des Simulators berechnet die komplexe Dynamik der realen Welt nur näherungsweise.
• Unstimmigkeit bei Sensorrauschen: Echte Lidar- und Radardaten enthalten schmutziges, verzögertes und schwer vorhersagbares Rauschen.
• Fehlende Szenarien mit langem Schweif: Nicht alle Kuriositäten der realen Welt lassen sich in die virtuelle Bibliothek einarbeiten.

Aktuelle Forschungen aus der Robotik untersuchen genau das: unmodellierte Effekte, Sensorverzögerungen und falsche Parameter können Laborsterne im Feld scheitern lassen. Als Lösungen haben sich zwei Techniken herausgestellt: domain randomization (in der virtuellen Welt werden Licht, Farbe und Physik zufällig verändert, damit das System gegenüber jeder Variante, der es begegnet, robust wird) und system identification (die Kalibrierung der Simulatorparameter mit in der realen Welt gemessenen Daten). Im Straßenverkehr gab es dafür bittere Beispiele: Cruise erhielt im August 2023 in Kalifornien eine Robotaxi-Genehmigung gegen Gebühr, verursachte in kurzer Zeit zwei schwere Unfälle und seine Flotte wurde halbiert. Ein in der Simulation sicher erscheinendes System fiel in der realen Welt sofort durch die Prüfung.

Datenungleichgewicht und die Selbstüberschätzung der künstlichen Intelligenz

Das zweite große Risiko ist weniger sichtbar: das Ungleichgewicht der Trainingsdaten. Dieses Problem, das zu den Hindernissen des autonomen Fahrens gezählt wird, beruht auf einer einfachen Logik - in Datenpoolen wenig repräsentierte Situationen bedeuten im System wenig gelernte Situationen. Die Forschung des Georgia Tech zeigte, dass dies zu Vorurteilen führen kann: Es wurde vorgebracht, dass autonome Fahrzeuge aufgrund algorithmischer Verzerrungen bestimmte Gruppen gefährden könnten, etwa Fußgänger mit dunkler Hautfarbe. Das ist kein technisches Detail, sondern ein ethischer Alarm.

Das dritte Risiko betrifft den Charakter der künstlichen Intelligenz: KI-Systeme können falschen Antworten hohe Konfidenz-Scores zuweisen. Sie können nicht wie ein Mensch sagen "Ich bin mir nicht sicher"; ihr Selbstbewusstsein erbt sogar menschliche kognitive Verzerrungen über Trainingsdaten, Modellannahmen und Feedback-Schleifen. Bei der Kantfallenerkennung führen falsch Positive zu unnötigen Eingriffen und falsch Negative dazu, dass kritische Ereignisse übersehen werden. Zudem sind automatisch generierte synthetische Labels für sicherheitskritische Trainings nicht immer ausreichend zuverlässig. Laut einem Experten dauert es noch 10 Jahre bis zu verlässlichen autonomen Fahrzeugen - und bei einem Fahrzeug, das einen Kantfall falsch bewältigt, ist die Fehlertoleranz praktisch null.

Was kostet es, der Simulation zu viel zu vertrauen?

An diesem Punkt stehen zwei Lager gegenüber. Die Befürworter haben recht: Wegen der Grenze von 11 Milliarden Meilen ist ein Sicherheitsnachweis ohne Simulation praktisch unmöglich. Die Skeptiker haben auch recht: Enthält simulationsbasiertes Testen wirklich alle Szenarien der realen Welt? Diese Frage schwebt seit Jahren in der Luft. Sogar Waymos eigene Einschätzung deutet an, dass das Simulationsvolumen allein nicht ausreicht. Und Steve Wozniak, eine bekannte Größe des Fachgebiets, argumentiert, dass in ungewöhnlichen Situationen das Steuer auch in die Hände des dümmsten Menschen übergehen sollte - ein sarkastischer, aber nachdenklich stimmender Punkt.

Eine weitere Kritik ist, dass die aktuellen Fahrsimulationsmethoden gezielte Kantfallszenarien nicht skalierbar erzeugen können. Das heißt, "den markanten gefährlichen Moment" zu finden ist noch immer teilweise Menschenarbeit. Auf OpenReview veröffentlichte Studien suchen nach Lösungen für dieses Skalierungsproblem, doch man kann kaum sagen, dass es bereits gelöst ist.

Können autonome Fahrzeuge komplett in der Simulation lernen und auf die Straße gehen?

Die kurze Antwort: allein nein. Die Simulation ist ein unschätzbares Trainingsgelände; aber kein System geht auf die Straße, ohne mit realen Straßendaten gespeist und schrittweisen Tests in der realen Welt unterzogen worden zu sein. Selbst das kompetenteste heutige System ist nicht vollautonom - Teslas FSD wartet mit dem Zusatz "Supervised", also "unter Aufsicht", im Namen auf die Wachsamkeit des Fahrers. Die Simulation ist die Nebenschule; das Diplom wird auf der echten Straße vergeben. Die beste KI-Fahrerin wird die sein, die das virtuelle Training mit realer Strafenerfahrung verbindet - und den Unterschied zwischen den zwei Welten niemals vergisst.

Quellen

• Simulation und Validierung autonomer Fahrzeuge
• 6 Gründe für den Einsatz von Simulationssoftware für autonome Fahrzeuge
• Maschinelles Lernen in autonomen Fahrzeugen: Vollständig erklärt
• Das Waymo World Model
• Technologie autonomer Fahrzeuge für eine zuverlässige Fahrt
• Was ist die Sim-to-Real-Lücke?
• Simulierte schreckliche Fahrer senken Zeit und Kosten des AV-Testens
• Tesla vs. Waymo - Wer ist näher an Level-5-Autonomie?
• Waymos und Teslas autonomes Fahren sind ähnlicher, als Sie denken
• Randfälle beim autonomen Fahren: Erkennung und Handhabung
• Studie zeigt möglicherweise tödliche Folgen algorithmischer Verzerrung
• Full Self-Driving (Supervised)