End-to-End 모델은 자율 주행을 어떻게 바꾸고 있을까?

자동차가 스스로 운전한다고 생각하면 무엇이 떠오르시나요? 아마 도로 위에 설치된 수십 개의 센서, 방대한 지도, 그리고 모든 상황을 미리 규칙으로 작성해 둔 엔지니어들이 떠오르실 겁니다, 그렇죠? 바로 테슬라가 FSD 버전 12로 이 그림을 뒤집었습니다: 이제 수천 개의 손으로 작성된 규칙은 사라지고, 카메라의 원시 영상이 들어가고, 조향-브레이크-가속 명령이 나옵니다. 그렇다면 신경망에게 "운전을 배워라"라고 말하는 것은 실제로 무엇을 의미할까요? 이 전환은 자율주행의 세계를 어떻게 바꾸고 있으며, 어디에서 막히고 있을까요?
고전적인 모듈형 아키텍처: 운전자 보조 시스템 안의 공장 라인
엔드투엔드 방식을 이야기하기 전에 기존 구조를 이해하는 것이 필수적인데, 오늘날 도로 위 시스템 대부분은 아직도 이 방식으로 작동하기 때문입니다. 모듈형 아키텍처는 자율주행 소프트웨어를 공장 라인처럼 구성합니다: 각 단계는 자신의 작업을 수행하고 그 결과를 다음 단계로 넘깁니다. DARPA Grand Challenge의 초기 수상 차량부터 Cruise, Mobileye, 오픈소스인 Autoware까지, 이 접근 방식은 오랜 역사를 가지고 있습니다.
- 인지 (Perception): LiDAR, 카메라, 레이더 데이터를 처리하여 객체를 감지합니다; YOLO와 VoxelNet 같은 알고리즘이 이 계층에서 작동합니다.
- 예측 (Prediction): 보행자와 다른 차량은 단기 및 장기 궤적으로 모델링됩니다.
- 계획 (Planning): 경로는 A*나 Dijkstra 같은 고전 알고리즘으로, 국소 조작은 RRT 같은 방법으로 계산됩니다.
- 제어 (Control): 보통 Model Predictive Controller (MPC)가 개입하여 차량을 물리적으로 조종합니다.
이 구조의 가장 큰 장점은 투명성입니다: 각 모듈을 개별적으로 테스트하고, 어느 단계가 무엇을 잘못했는지 찾아낼 수 있습니다. 하지만 가장 큰 약점도 바로 여기에 숨어 있습니다 - 오류 전파입니다. 인지 모듈이 보행자를 잘못 분류하면 그 오류가 사슬 끝까지 전달되고, 계획 모듈은 이미 손상된 데이터로 결정을 내립니다. 게다가 각 모듈을 별도로 훈련시키려면 상당한 도메인 전문성과 계산 능력이 필요합니다; 단계적 처리는 그 자체로 비효율의 원인이 됩니다.
핵심 요약
- 테슬라 FSD는 버전 12 부터 (2024년 초에 고객에게 공개) 완전히 엔드투엔드 신경망 아키텍처로 전환했습니다; 오늘날 여러분은 v14 버전을 사용하고 있습니다.
- 모듈형 아키텍처에서 인지, 예측, 계획, 제어는 별개의 모듈입니다; 엔드투엔드에서는 이 모든 것이 하나의 신경망으로 통합됩니다.
- FSD의 공식 명칭은 여전히 FSD (Supervised)입니다: 완전 자율주행 자동차가 아니라, 항상 주의를 기울이는 운전자를 필요로 하는 보조 시스템입니다.
- 엔드투엔드 방식의 가장 큰 문제는 설명 가능성입니다: 신경망의 형식적 검증은 아직도 해결되지 않은 공학적 문제입니다.
엔드투엔드 접근 방식: 수천 개의 규칙 대신 수백만 개의 사례

엔드투엔드 주행에서 아이디어는 놀라울 정도로 단순합니다: 센서의 원시 데이터 - 카메라, LiDAR, 레이더, GPS - 를 하나의 거대한 신경망에 입력하면, 네트워크에서 직접 주행 명령이나 주행 계획을 받는 것입니다. 인지, 예측, 계획이 별도의 소프트웨어가 아니라 하나의 프로그램 안에서 융합됩니다. Tesla는 FSD v12로 이 길에 들어섰고, 2024년 초 드라이버들이 핸들에서 경험한 최초의 엔드투엔드(end-to-end) 버전이 탄생했습니다. 오늘날 이 시스템은 v14까지 진화했습니다.
그 차이를 비유로 설명해 드리겠습니다: 모듈형 시스템은 교통 법규를 암기한 학생과 같습니다; 어떤 상황에도 대비한 규칙을 가지고 있습니다. 엔드투엔드 시스템은 옆에 앉아 수천 시간을 함께 지켜본 노련한 운전자와 같습니다; 무엇을 왜 했는지 하나하나 설명하지는 못할지 몰라도 올바른 판단을 직관적으로 알아차립니다. 신경망은 객체가 무엇인지 뿐만 아니라, 인간 운전자들이 그것에 어떻게 반응했는지도 학습합니다.
그렇다면 신경망은 어떻게 학습될까요?
두 가지 주요 방법이 있습니다. 첫 번째는 모방 학습 (behavior cloning)입니다: 신경망이 인간 운전자들의 수백만 킬로미터에 달하는 주행 행동을 복제하는 법을 배웁니다. 좋은 방법이지만 두 가지 약점이 있습니다 - 공분산 편이와 인과적 혼동입니다; 즉, 신경망이 무엇이 실제로 중요한지를 잘못 학습할 수 있습니다. 두 번째는 강화 학습입니다: 시뮬레이션 속에서 시행착오를 거치며 보상을 통해 신경망을 훈련시키는 방식입니다. NVIDIA는 이 분야에서 2016년의 DAVE-2부터 오늘날 1,000 TOPS의 칩 성능을 제공하는 DRIVE Thor에 이르는 역사를 갖고 있습니다; Wayve와 Comma.ai도 같은 철학을 따르는 다른 기업들입니다.
모듈형인가, 엔드투엔드인가? 구체적인 비교
두 접근 방식을 나란히 놓고 보면 그림이 명확해집니다. 엔드투엔드 아키텍처가 연구자들에 의해 열거된 장점은 다음과 같습니다: 오류 전파의 감소, 연산 효율성, 훈련의 상대적 용이성, 그리고 흥미롭게도 공격에 대한 내성입니다 - 시스템의 주행 행동을 어떤 특정 입력이 촉발했는지 외부에서 알 수 없기 때문에 악의적인 조작도 어려워집니다.
| 특성 | 모듈형 아키텍처 | 엔드투엔드 아키텍처 |
|---|---|---|
| 구조 | 인식 → 예측 → 계획 → 제어가 각각 별도의 모듈 | 원시 센서 데이터에서 제어까지 단일 신경망 |
| 개발 방법 | 수작업으로 작성된 규칙 + 별도로 훈련된 모듈 | 데이터로부터의 학습 (모방/강화 학습) |
| 투명성 | 높음; 각 모듈을 개별적으로 테스트 가능 | 낮음; 의사결정 메커니즘이 블랙박스 |
| 오류 전파 | 있음; 인식 오류가 파이프라인 전체로 전달됨 | 감소됨 |
| 데이터 요구량 | 모듈별 도메인 전문성 필요 | 매우 방대한 데이터세트 필수 |
반대 진영의 강력한 무기는 투명성입니다. 모듈형 시스템은 부분별로 감사할 수 있습니다; 신경망의 머릿속에서 무엇이 돌아가는지는 부분적으로만 볼 수 있습니다. 연계계는 안내 지도(어텐션 맵)와 해석 가능한 출력으로 이 비판에 부분적인 답을 내놓고 있지만, 안전 인증 문제가 개입하면 이야기는 더 깊어집니다 - 이에 대해서는 곧 다루겠습니다.
Tesla와 Waymo: 같은 목표, 정반대의 철학
센서 측면의 분열은 아키텍처 논쟁의 가장 눈에 띄는 양상입니다. Tesla의 접근 방식은 카메라 + 신경망, LiDAR 없음 - 글로벌 규모를 탐색할 수 있는 시스템에는 이 길이 필요하다고 주장합니다. Waymo는 정반대입니다: 최신 차량에 13개의 카메라와 4개의 LiDAR 유닛으로 센서를 겹겹이 쌓은 다중 센서 아키텍처를 채택했습니다. Waymo 공동 CEO Dmitri Dolgov는 2026년 카메라 단일 방식이 완전 자율주행에 도달하기 전에 정체되었다는 것, 즉 막혀버렸다는 점을 공개적으로 말한 인물입니다. Tesla 진영은 FSD를 통해 수십억 마일의 증거가 생산되었다고 주장합니다.
사실 무대 뒤에서 보면 상황은 조금 더 회색빛입니다: Tesla와 Waymo를 포함한 많은 플레이어가 실제로는 하이브리드 아키텍처를 사용하고 있다고, 즉 결정론적 경로 계획과 신경망 기반 인식이 결합되어 있다고 표명됩니다; Momenta와 Aurora도 이 목록에 이름을 올리고 있습니다. 즉 "모든 것이 하나의 네트워크에 있는가, 모든 것이 별도의 모듈에 있는가"라는 질문에 대한 답은 현장의 실무에서 대부분 "둘의 혼합"입니다. 센서 비교에서는 LiDAR가 낮은 조명과 야간 조건에서 우수합니다; 카메라 단일 시스템은 에너지 효율적이며 사전 매핑이 필요하지 않습니다.
블랙박스 문제: 설명 가능성과 검증 가능성
기술적으로 이 일의 가장 핵심적인 부분이 바로 여기입니다. 자동차 산업의 안전 표준들 - ASIL, ASPICE, AUTOSAR, MISRA - 은 시스템이 무엇을 하는지 요구사항 기반으로 정의하고 증명할 것을 요구합니다. End-to-end 신경망에서 "차량이 이 상황에서 이런 결정을 내릴 것"이라는 요구사항을 정의하는 것 자체가 이미 어렵습니다; 신경망의 형식적 검증은 여전히 풀리지 않은 엔지니어링 문제입니다. 즉 네트워크가 아무리 잘 주행하더라도, 엔지니어들이 모든 안전 요구사항을 입증해야 할 때 충분한 수단이 없을 수 있습니다.
이에 대한 구체적인 결과는 책임 측면에서 볼 수 있습니다. Mercedes-Benz는 세계 최초의 인증받은 레벨 3 시스템인 DRIVE PILOT에 대해 법적 책임을 부담한다고 발표했고, 독일 당국으로부터 고속도로에서 시속 95 km까지의 승인을 받았습니다 - SAE J3016 등급에 따르면 레벨 3에서는 책임이 운전자에서 제조사로 넘어갑니다. 그 이유는 부분적으로 아키텍처 때문입니다: 모듈화되고 경계가 명확히 정의된 시스템이라면 "이 조건에서는 시스템이 주행한다"라고 명시하고 서명할 수 있는 대상입니다. 블랙박스인 네트워크에 동일한 서명을 하는 것은 훨씬 어렵습니다. 새로운 연구 트렌드는 신경망에 장면 이해와 추론 계층을 추가하는 대규모 언어 모델과 비주얼 언어 모델 - 설명 가능성 문제에 대한 하나의 해답 시도입니다.
기대와 현실: 오늘날의 상황은 어떠한가?
지금까지의 모든 내용은 흥미로웠습니다; 이제 차가운 샤워를 맞을 차례입니다. Tesla FSD의 공식 명칭을 살펴봅시다: FSD (Supervised). 즉 "완전 자율주행"이라는 이름을 가진 시스템은, 공식 정의상 주의 깊은 운전자와 함께 사용하도록 설계된 첨단 운전자 보조 시스템이며 Tesla를 완전 자율주행 차량으로 바꾸지 않습니다. 운전자는 언제든 개입할 준비가 되어 있어야 합니다 - SAE 분류에서 이것은 여전히 레벨 2 영역입니다. FSD v13에서는 주차 중인 차량에서 시스템을 활성화할 수 있고 후진 주차도 포함됩니다; 능력은 커지고 있지만 분류는 바뀌지 않습니다.
한편 Waymo는 미국 14개 도시로 확장된 로보택시 서비스로 레벨 4 운행을 실제로 수행하고 있습니다. SAE의 최신 개정판은 레벨 0-2를 "운전자 지원 시스템", 레벨 3-5를 "자동 시스템"으로 명명하면서 완전 자동화, 즉 레벨 5가 여전히 멀었다는 점을 강조합니다. 업계 전반적으로 과대 광고의 물결에서 실제 세계로의 배급 전환기를 반영합니다: 레벨 2+ 시스템은 보편화되었고, 로보택시는 특정 도시로 제한되며, 레벨 5는 여전히 모두를 위한 목표입니다.
요약하면: 규칙 작성에서 학습으로의 전환은 무엇을 바꾸었을까?
직접적인 답은 이렇습니다: end-to-end 아키텍처는 자율 주행에서 의사 결정을 내리는 소프트웨어를 손으로 작성한 규칙에서 데이터로부터 학습하는 단일 신경망으로 옮겼습니다. 이는 더 자연스러운 주행 행동과 감소하는 오류 확산을 가져왔지만, 설명 가능성, 검증 가능성, 인증 측면에서 새로운 아직 해결되지 않은 과제를 만들었습니다. Tesla는 이 베팅에 가장 공격적으로 뛰어든 주체이며, FSD v12 이후 시스템은 실제로 다른 무엇이 되었습니다 - 하지만 감독 없는 완전 자율 주행은 여전히 실현되지 않았습니다. 모듈형 접근 방식도 무대에서 내려온 것이 아닙니다; Waymo의 센서 스택을 사용하고 책임을 지는 레벨 3-4 시스템이 이 철학으로 인증을 받고 있습니다. 아마도 미래의 승자 아키텍처는 두 세계의 장점을 결합한 하이브리드 구조가 될 것입니다 - 그리고 그 경쟁은 바로 지금 진행되고 있습니다.
참고 자료
- Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey - arXiv
- Autonomous driving: Modular pipeline Vs. End-to-end and LLMs
- Navigating Autonomous Driving: Comparing Modular, End-to-End, and Hybrid
- End-to-end learning vs modular trade-offs
- Integrating Modular Pipelines with End-to-End Learning
- End-to-end system architectures in autonomous driving