Wie verändert End-to-End-Modelle das autonome Fahren?

Was kommt Ihnen in den Sinn, wenn Sie daran denken, dass ein Auto sich selbst fährt? Wahrscheinlich Dutzende von Sensoren am Straßenrand, riesige Karten und Ingenieure, die jede Situation vorab als Regel geschrieben haben, oder? Tesla hat mit FSD Version 12 dieses Bild umgedreht: Es gibt nun keine Tausende von handgeschriebenen Regeln mehr; Rohes Kamerabild geht hinein, Lenk-, Brems- und Gasbefehle kommen heraus. Was bedeutet es also wirklich, einem neuronalen Netz zu sagen "lerne fahren"? Wie verändert dieser Übergang die Welt des autonomen Fahrens - und wo hakt es?
Die klassische modulare Architektur: Die Fabrikstraße im Fahrerassistenten
Bevor wir über End-to-End sprechen, müssen wir das alte System verstehen, denn die meisten heutigen Systeme auf den Straßen arbeiten noch mit dieser Logik. Die modulare Architektur strukturiert die Software für autonomes Fahren wie eine Fabrikstraße: Jede Stufe erledigt ihre eigene Aufgabe und gibt das Ergebnis an die nächste weiter. Von Cruise, einem der ersten siegreichen Fahrzeuge der DARPA Grand Challenge, über Mobileye bis hin zum Open-Source-Projekt Autoware hat dieser Ansatz eine lange Tradition.
- Wahrnehmung (Perception): LiDAR-, Kamera- und Radardaten werden verarbeitet und Objekte erkannt; Algorithmen wie YOLO und VoxelNet arbeiten in dieser Schicht.
- Vorhersage (Prediction): Fußgänger und andere Fahrzeuge werden mit ihren kurz- und langfristigen Trajektorien modelliert.
- Planung (Planning): Die Route wird mit klassischen Algorithmen wie A* oder Dijkstra berechnet, lokale Manöver mit Methoden wie RRT.
- Steuerung (Control): In der Regel kommt ein Model Predictive Controller (MPC) zum Einsatz, der das Fahrzeug physisch lenkt.
Der größte Vorteil dieser Struktur ist die Transparenz: Sie können jedes Modul einzeln testen und herausfinden, welche Stufe was falsch gemacht hat. Doch die größte Schwäche liegt genau hier verborgen - die Fehlerausbreitung. Wenn das Wahrnehmungsmodul einen Fußgänger falsch klassifiziert, wird dieser Fehler bis zum Ende der Kette weitergereicht, und das Planungsmodul trifft seine Entscheidung bereits auf verfälschten Daten. Außerdem erfordert das separate Training jedes Moduls erhebliche Fachkompetenz und Rechenleistung; Die stufenweise Verarbeitung ist an sich schon eine Quelle von Ineffizienz.
Das Wichtigste in Kürze
- Tesla FSD ist mit Version 12 (Anfang 2024 für Kunden freigegeben) vollständig zu einer End-to-End-Architektur mit neuronalen Netzen übergegangen; Heute sind Sie bei Version 14.
- In der modularen Architektur sind Wahrnehmung, Vorhersage, Planung und Steuerung separate Module; Bei End-to-End verschmelzen alle in einem einzigen neuronalen Netz.
- Der offizielle Name von FSD ist weiterhin FSD (Supervised): Kein vollautonomes Auto, sondern ein Assistenzsystem, das einen ständig aufmerksamen Fahrer erfordert.
- Das größte Problem von End-to-End ist die Erklärbarkeit: Die formale Verifikation neuronaler Netze ist nach wie vor ein ungelöstes ingenieurwissenschaftliches Problem.
Der End-to-End-Ansatz: Statt Tausender Regeln: Millionen von Beispielen

Die Idee beim End-to-End-Fahren ist erstaunlich einfach: Sie geben die rohen Sensordaten - Kamera, LiDAR, Radar, GPS - in ein einziges riesiges neuronales Netz und erhalten vom Netz direkt Fahrkommandos oder einen Fahrplan. Wahrnehmung, Vorhersage und Planung hören auf, separate Software zu sein, und verschmelzen innerhalb eines einzigen Programms. Tesla trat diese Straße mit FSD v12 an und Anfang 2024 entstand die erste End-to-End-Version, die Fahrer am Steuer erlebten. Heute hat sich das System bis v14 weiterentwickelt.
Ich erkläre den Unterschied mit einer Analogie: Ein modulares System ist wie ein Student, der die Verkehrsregeln auswendig gelernt hat; für jede Situation hat er eine passende Regel parat. Ein End-to-End-System hingegen ist wie ein erfahrener Fahrer, der stundenlang neben einem saß und beobachtet wurde; er kann vielleicht nicht im Detail erklären, was er warum tut, aber er spürt die richtige Bewegung. Das neuronale Netz lernt nicht nur, was Objekte sind, sondern auch, wie menschliche Fahrer darauf reagieren.
Wie wird das Netz aber trainiert?
Es gibt zwei Hauptwege. Der erste ist Imitationslernen (Behavior Cloning): das Netz lernt, das Verhalten menschlicher Fahrer über Millionen von Kilometern zu kopieren. Eine schöne Methode, aber sie hat zwei Schwächen - Kovarianzverschiebung und kausale Verwechslung; das heißt, das Netz kann falsch lernen, was wirklich wichtig ist. Der zweite ist bestärkendes Lernen: in der Simulation wird das Netz durch Trial-and-Error mit Belohnungen trainiert. NVIDIA verfügt auf diesem Gebiet über eine Geschichte, die vom DAVE-2 von 2016 bis heute zum DRIVE Thor reicht, der Chip-Leistung bis zu 1.000 TOPS bietet; Wayve und Comma.ai sind weitere Namen, die derselben Philosophie folgen.
Modular oder End-to-End? Ein konkreter Vergleich
Wenn wir die beiden Ansätze nebeneinanderlegen, wird das Bild klar. Die von Forschern genannten Vorteile der End-to-End-Architektur sind: die Verringerung der Fehlerfortpflanzung, Recheneffizienz, die vergleichsweise einfache Trainierbarkeit und interessanterweise die Angriffsresistenz - da von außen nicht bekannt ist, welcher konkrete Input das Fahrverhalten des Systems auslöst, wird auch böswillige Manipulation erschwert.
| Merkmal | Modulare Architektur | End-to-End-Architektur |
|---|---|---|
| Struktur | Wahrnehmung → Vorhersage → Planung → Steuerung als getrennte Module | Ein einzelnes neuronales Netz von den rohen Sensordaten bis zur Steuerung |
| Entwicklungsmethode | Handgeschriebene Regeln + separat trainierte Module | Lernen aus Daten (Imitations-/bestärkendes Lernen) |
| Transparenz | Hoch; jedes Modul kann separat getestet werden | Niedrig; der Entscheidungsmechanismus ist eine Blackbox |
| Fehlerfortpflanzung | Vorhanden; ein Wahrnehmungsfehler wird entlang der Kette weitergetragen | Verringert |
| Datenbedarf | Fachexpertise pro Modul | Sehr große Datensätze zwingend erforderlich |
Der Trumpf der Gegenseite ist jedoch die Transparenz. Ein modulares System können Sie Stück für Stück überprüfen; was im Kopf des neuronalen Netzes vorgeht, können Sie hingegen nur teilweise sehen. Die Forschungswelt entwickelt auf diese Kritik zwar Teilantworten mit Aufmerksamkeitskarten und interpretierbaren Ausgaben, aber sobald Sicherheitszertifizierungen ins Spiel kommen, vertieft sich die Frage - darauf kommen wir gleich noch zurück.
Tesla und Waymo: Dieselbe Zielsetzung, entgegengesetzte Philosophien
Die Spaltung auf der Sensorseite ist das sichtbarste Gesicht der Architekturdebatte. Teslas Ansatz ist Kamera + neuronales Netz ohne LiDAR - sie vertreten die Auffassung, dass dieser Weg für ein System, das sich global zurechtfinden kann, notwendig ist. Waymo macht genau das Gegenteil: eine Multi-Sensor-Architektur, die im neuesten Fahrzeug die Sensoren mit 13 Kameras und 4 LiDAR-Einheiten übereinander stapelt. Waymo-Co-CEO Dmitri Dolgov ist die Person, die offen gesagt hat, dass der reine Kamera-Ansatz 2026 auf der Strecke blieb, also steckengeblieben ist, bevor er die volle Autonomie erreichte. Das Lager von Tesla behauptet dagegen, dass mit FSD Milliarden von Meilen an Belegen produziert wurden.
Wenn man hinter die Kulissen schaut, sieht das Bild tatsächlich etwas grauer aus: Es wird angegeben, dass viele Akteure, darunter Tesla und Waymo, tatsächlich hybride Architekturen verwenden, also eine Kombination aus deterministischer Routenplanung und netzwerkbasierter Wahrnehmung; Momenta und Aurora werden ebenfalls in dieser Liste genannt. Auf die Frage "Ist alles in einem Netz oder alles in separaten Modulen?" lautet die Antwort in der Praxis vor Ort meistens "eine Mischung aus beidem". Beim Sensorvergleich ist LiDAR bei schlechten Lichtverhältnissen und nachts überlegen; reine Kamera-Systeme sind dagegen energieeffizient und erfordern keine vorherige Kartierung.
Das Problem der Black Box: Erklärbarkeit und Verifizierbarkeit
Hier liegt der technisch entscheidendste Punkt. Die Sicherheitsstandards der Automobilwelt - ASIL, ASPICE, AUTOSAR, MISRA - verlangen, dass das, was das System tut, anforderungsbasiert definiert und nachgewiesen wird. In einem End-to-End-neuronalen Netz ist es ohnehin schwierig, eine Anforderung zu definieren, die man so schreiben kann: "Das Auto trifft in dieser Situation diese Entscheidung"; die formale Verifikation neuronaler Netze ist zudem ein bislang ungelöstes ingenieurwissenschaftliches Problem. Das heißt, egal wie gut das Netz fährt: Wenn die Ingenieure jede Sicherheitsanforderung beweisen müssen, steht ihnen möglicherweise nicht genügend Werkzeug zur Verfügung.
Die konkrete Folge davon sehen wir auf der Seite der Verantwortlichkeit. Mercedes-Benz gab an, die rechtliche Verantwortung für DRIVE PILOT zu übernehmen, das weltweit erste zertifizierte Level-3-System ist, und erhielt von der deutschen Behörde die Zulassung für Geschwindigkeiten bis 95 km/h auf Autobahnen - nach den SAE-J3016-Stufen geht die Verantwortung bei Level 3 vom Fahrer auf den Hersteller über. Der Grund liegt teilweise in der Architektur: Ein modulares System mit klar definierten Grenzen ist etwas, bei dem man unterschreiben kann: "Unter diesen Bedingungen fährt das System." Dasselbe Signet unter ein Black-Box-Netz zu setzen ist weitaus schwieriger. Der neue Forschungstrend sind große Sprachmodelle und visuelle Sprachmodelle, die den neuronalen Netzen eine Szenenverständnis- und eine Denkschicht hinzufügen - als Versuch einer Antwort auf das Erklärbarkeitsproblem.
Versprechen und Realität: Wie ist die Lage heute?
Bis hierher war alles spannend; jetzt folgt die kalte Dusche. Schauen wir uns den offiziellen Namen von Tesla FSD an: FSD (Supervised). Das System, das den Namen "vollautonomes Fahren" trägt, ist laut offizieller Definition ein fortschrittliches Fahrerassistenzsystem, das für die Verwendung mit einem vollständig aufmerksamen Fahrer konzipiert ist, und macht Tesla nicht zu einem vollautonomen Fahrzeug. Der Fahrer muss jederzeit bereit sein einzugreifen - in der SAE-Klassifizierung ist dies weiterhin Level 2. Mit FSD v13 kann das System auch in einem geparkten Fahrzeug aktiviert werden, und das Rückwärtsfahren ist enthalten; die Fähigkeiten wachsen, aber die Klassifizierung ändert sich nicht.
Auf der anderen Seite betreibt Waymo mit einem Robotaxi-Dienst, der auf 14 US-Städte skaliert ist, tatsächlich Level-4-Betrieb. SAEs aktuelle Überarbeitung benennt Level 0-2 in "Fahrerassistenzsysteme" und Level 3-5 in "automatische Systeme" um und betont dabei, dass volle Automatisierung, also Level 5, nach wie vor in weiter Ferne liegt. Branchenweit spiegelt sich der Übergang von der Hype-Welle zur realen Welt und zur Auslieferung wider: Level 2+ Systeme sind weit verbreitet, Robotaxis sind auf bestimmte Städte beschränkt und Level 5 ist für alle nach wie vor ein Ziel.
Zusammengefasst: Wie viel hat der Übergang vom Regeln-Schreiben zum Lernen verändert?
Die direkte Antwort lautet: Die End-to-End-Architektur verlagerte die Entscheidungsfindung im autonomen Fahren von handgeschriebenen Regeln zu einem einzigen, aus Daten lernenden neuronalen Netz; das brachte ein natürlicheres Fahrverhalten und eine geringere Fehlerausbreitung mit sich, schuf aber auf der Seite der Erklärbarkeit, Verifizierbarkeit und Zertifizierung neue und bislang ungelöste Herausforderungen. Tesla ist der aggressivste Akteur bei dieser Wette, und das System nach FSD v12 wurde tatsächlich zu etwas anderem - aber die uneingeschränkte Autonomie ohne Aufsicht ist nach wie vor nicht ausgeliefert. Der modulare Ansatz ist auch nicht von der Bühne verschwunden; Level 3-4 Systeme, die Waymos Sensorstapel nutzen und die Verantwortung übernehmen, erhalten mit dieser Philosophie ihre Zertifizierung. Wahrscheinlich wird die künftige Gewinner-Architektur eine hybride Struktur sein, die das Beste aus beiden Welten vereint - und dieses Rennen läuft gerade jetzt.
Quellen
- Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey - arXiv
- Autonomous driving: Modular pipeline Vs. End-to-end and LLMs
- Navigating Autonomous Driving: Comparing Modular, End-to-End, and Hybrid
- End-to-end learning vs modular trade-offs
- Integrating Modular Pipelines with End-to-End Learning
- End-to-end system architectures in autonomous driving