端到端模型如何改变自动驾驶?

当你想到一辆自动驾驶的汽车时,脑海中会浮现什么? 很可能是铺在路面上的数十个传感器、庞大的地图,以及把每种情况都提前写成规则的工程师,对吧? 而Tesla通过FSD第12版彻底颠覆了这一模式: 如今不再有数千条手工编写的规则; 输入的是原始摄像头画面,输出的则是转向-刹车-油门指令. 那么,告诉一个神经网络“学会开车”究竟意味着什么? 这一转变将如何改变自动驾驶世界——又在哪里遇到了瓶颈?
经典模块化架构: 驾驶辅助系统内部的流水线
在谈论端到端之前,必须先了解旧模式,因为如今道路上的大多数系统仍以这种逻辑运行. 模块化架构将自动驾驶软件搭建得如同一条流水线: 每个阶段完成自己的任务,并将结果传递给下一阶段. 从DARPA Grand Challenge的早期获奖车辆,到Cruise、Mobileye和开源的Autoware,这一方法有着深厚的历史积淀.
- 感知 (Perception): 处理LiDAR、摄像头和雷达数据并检测物体; YOLO和VoxelNet等算法在这一层工作.
- 预测 (Prediction): 行人和其他车辆会以其短期和长期轨迹进行建模.
- 规划 (Planning): 路线通过A*或Dijkstra等经典算法计算,局部机动则通过RRT等方法计算.
- 控制 (Control): 通常由模型预测控制器 (MPC) 介入,从物理层面引导车辆.
这种结构最大的优点是透明性: 你可以单独测试每个模块,找出哪个阶段在哪个环节出了错. 但最大的缺陷恰恰也藏在这里—— 误差传播. 如果感知模块错误分类了一个行人,这个错误会一路传递到链条末端,规划模块只能基于已经失真的数据做决策. 此外,每个模块都需要单独训练,这需要深厚的领域专业知识和强大的计算能力; 分阶段处理本身就是效率低下的一个根源.
重点回顾
- Tesla FSD在第12版(于2024年初向客户开放)时完全转向了端到端神经网络架构; 如今已进入第14版.
- 在模块化架构中,感知、预测、规划和控制是独立的模块; 而在端到端方案中,它们全部融合在单一神经网络中.
- FSD的官方名称仍然是FSD (Supervised): 它不是完全自动驾驶汽车,而是一个需要驾驶员持续保持注意力的辅助系统.
- 端到端最大的问题在于可解释性: 神经网络的形式化验证仍然是一个未解决的工程难题.
端到端方法: 以数百万个示例取代数千条规则

端到端驾驶的想法惊人地简单: 你将原始传感器数据——摄像头、LiDAR、雷达、GPS——输入一个庞大的神经网络,直接从网络获得驾驶指令或驾驶计划. 感知、预测和规划不再是独立的软件,而是融汇于同一个程序之中. Tesla带着FSD v12踏上了这条路,2024年初推出了首个让驾驶员在方向盘后亲身体验的端到端版本. 如今该系统已演进至v14.
让我用一个类比来说明区别: 模块化系统像一个背熟了交通规则的学生; 对每种情况都备有现成的规则. 而端到端系统则像一位坐在你身边、你观摩了数千小时的经验丰富的司机; 它或许无法逐一解释自己为何这么做,但它能凭直觉做出正确的操作. 神经网络不仅学习物体的是什么, 还学习人类驾驶员对它们如何做出反应.
那么网络是如何训练的?
主要有两条路径. 第一种是模仿学习 (行为克隆): 网络学习复制人类驾驶员数百万公里的驾驶行为. 这个方法不错,但有两个缺陷——协变量偏移和因果混淆; 也就是说,网络可能会错误地学到什么才是真正重要的东西. 第二种是强化学习: 通过在仿真环境中反复试错并给予奖励来训练网络. NVIDIA在这一领域拥有悠久的历史,从2016年的DAVE-2到如今可提供高达1.000 TOPS芯片算力的DRIVE Thor; Wayve和Comma.ai也是秉持相同理念的其他玩家.
模块化还是端到端? 具体对比
把两种方法放在一起看,格局就清晰了. 端到端架构被研究者们列出的优势如下: 错误传播的减少、计算效率、训练的相对便利性,以及有趣的是抗攻击性 - 由于外部无法得知是哪个特定输入触发了系统的驾驶行为,恶意操纵也变得更加困难.
| 特性 | 模块化架构 | 端到端架构 |
|---|---|---|
| 结构 | 感知 → 预测 → 规划 → 控制,各自独立模块 | 从原始传感器数据到控制的单一神经网络 |
| 开发方式 | 手工编写的规则 + 单独训练的模块 | 从数据中学习(模仿/强化学习) |
| 透明度 | 高; 每个模块可单独测试 | 低; 决策机制是黑箱 |
| 误差传播 | 存在; 感知误差会沿整个链条传递 | 有所减少 |
| 数据需求 | 每个模块需要领域专业知识 | 必须拥有超大规模数据集 |
而对方手中的重炮则是透明度. 你可以逐个部件审查模块化系统; 但对神经网络内部究竟在想什么,你只能部分窥见. 尽管研究界正通过注意力图和可解释的输出对这一批评给出部分回应,但一旦涉及安全认证,问题就变得更加深刻——我们稍后会谈到这一点.
Tesla与Waymo: 相同目标,相反哲学
传感器方面的分歧是这场架构辩论中最显眼的层面. Tesla的路线是摄像头 + 神经网络,不使用LiDAR——他们认为这是构建能在全球范围内导航的系统的必由之路. Waymo则恰恰相反: 其最新车辆采用了13个摄像头和4个LiDAR单元层层堆叠的多传感器架构. Waymo联合CEO Dmitri Dolgov,是公开直言纯摄像头方案在2026年未能达到完全自动驾驶、即陷入停滞的人. 特斯拉阵营则辩称FSD已产生了数十亿英里的证据.
其实从幕后看,情况要更灰一些: 据称包括特斯拉和Waymo在内的许多玩家实际上都在使用混合架构,即确定性路线规划与基于神经网络的感知相结合; Momenta和Aurora也在这个名单上. 也就是说,"一切都在一个网络里,还是一切都在独立模块中"这个问题的答案,在实际应用中往往都是"两者的混合". 在传感器对比方面,LiDAR在低光和夜间条件下表现优异; 而单摄像头系统则能耗低, 且无需预先建图.
黑箱问题: 可解释性与可验证性
从技术角度讲,最关键的部分在这里. 汽车行业的安全标准 - ASIL、ASPICE、AUTOSAR、MISRA - 要求在需求层面定义并证明系统的行为. 在一个端到端的神经网络中,要写出一个"汽车在此情况下将做出此决策"这样的需求定义本身就很难; 而神经网络的形式化验证至今仍是一个未解决的工程难题. 也就是说,无论网络驾驶得多好,当工程师需要证明每一项安全需求时,他们手中可能并没有足够的工具.
我们在责任方面看到了这一问题的具体体现. 梅赛德斯-奔驰宣布为全球首个获得认证的L3系统DRIVE PILOT承担法律责任,并获得了德国监管机构的批准,可在高速公路上以最高95 km/h的速度运行 - 按照SAE J3016分级,在L3级别下责任从驾驶员转移到制造商. 其原因部分在于架构: 一个模块化且边界清晰定义的系统,可以声明"在此条件下由系统驾驶"并据此签字背书. 对一个黑箱网络做出同样的背书则要困难得多. 新的研究趋势则是为神经网络添加场景理解与推理层的大语言模型和视觉语言模型 - 这是作为对可解释性问题的一种回应尝试.
承诺与现实: 如今的现状如何?
到目前为止一切都很令人兴奋; 现在来一盆冷水. 让我们看看特斯拉FSD的正式名称: FSD (Supervised). 也就是说,这个名为"完全自动驾驶"的系统,按其正式定义,是一款专为一个完全专注的驾驶员使用而设计的高级驾驶辅助系统,并不会让特斯拉变成一辆完全自动驾驶的车辆. 驾驶员必须随时准备干预 - 在SAE分级中,这仍然属于L2级别. 在FSD v13中,系统可以在停放的车辆上启动,并包含了倒车操作; 能力在增长,但分类没有改变.
另一边,Waymo通过扩展到14个美国城市的机器人出租车服务,实际上正在执行L4级运营. SAE的最新修订版将Level 0-2重新命名为"驾驶员辅助系统",将Level 3-5重新命名为"自动系统",同时强调完全自动化即Level 5仍然遥不可及. 整个行业正反映出从炒作浪潮过渡到现实世界部署的阶段: Level 2+系统已经普及,robotaxi仅限于特定城市,而Level 5对所有人来说仍然是一个目标.
简而言之: 从编写规则到学习的转变改变了多少?
直接的答案是: 端到端架构将自动驾驶中做决策的软件从手工编写的规则转变为从数据中学习的单一神经网络;这带来了更自然的驾驶行为和递减的误差扩散,但在可解释性、可验证性和认证方面带来了新的、尚未解决的挑战. Tesla是对这一赌注下得最激进的参与者,FSD v12之后的系统确实有所不同——但无需监督的完全自动驾驶尚未交付. 模块化方法也并未退出舞台; 采用Waymo传感器堆栈、承担责任Insurance的Level 3-4系统正以这种理念获得认证. 未来的赢家架构很可能是融合两个世界之最的混合结构——而这场竞赛此刻正在进行中.
参考资料
- Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey - arXiv
- Autonomous driving: Modular pipeline Vs. End-to-end and LLMs
- Navigating Autonomous Driving: Comparing Modular, End-to-End, and Hybrid
- End-to-end learning vs modular trade-offs
- Integrating Modular Pipelines with End-to-End Learning
- End-to-end system architectures in autonomous driving