트램 딜레마: 자율 주행차는 어떻게 결정을 내릴까?

자동차 앞에 갑자기 자전거가 나타났다고 해 봅시다. 운전대를 잡고 있었다면 반사적으로 뭔가 행동했을 텐데 - 무엇을 했는지 본인도 기억하지 못했을 수도 있습니다. 하지만 운전대에 아무도 없다면? 바로 그 순간, 천분의 일초 안에 소프트웨어가 결정을 내려야 합니다. 누구와 충돌할까요? 반대 차선으로 피해야 할까요? 바로 이것이 언론이 10년 넘게 우리에게 던져 온 질문입니다 - 그리고 솔직히 말하면, 질문 자체가 조금 잘못 던져지고 있습니다. 이 글에서는 자율주행차가 실제로 어떻게 결정을 내리는지 진지하게 이야기하겠습니다. 철학 강의가 아니라, 엔지니어링 작업대에서 나온 이야기입니다.
트롤리 문제란 무엇이고 왜 그렇게 유명해졌을까?
먼저 고전적인 내용을 간단히 요약하면: 1967년 Philippa Foot가 제기하고 Judith Jarvis Thomson이 1976년과 1985년에 발전시킨 사고 실험에서, 통제를 잃은 트롤리가 선로 위의 다섯 명을 향해 달려갑니다. 당신은 레버를 당길 수 있습니다: 트롤리는 다른 선로로 방향을 바꾸지만, 그곳에 한 명이 서 있습니다. 한 사람을 죽이고 다섯 명을 구할 것인가요? 두 번째 버전은 더 불편합니다: 이번에는 당신이 소중히 여기는 사람을 다리에서 선로로 밀어 떨어뜨려 트롤리를 멈추게 합니다. 대부분의 철학자들은 첫 번째 시나리오에서 레버를 당기는 행위를 정당하다고 여기지만, 일반 대중의 다수는 다리에서 사람을 밀어 떨어뜨리는 아이디어를 수년이 지난 후에도 받아들이지 못합니다.
자율주행차가 등장하자 이 사고 실험은 갑자기 실제 삶으로 옮겨진 것처럼 보였습니다: 자동차는 자전거와 충돌해야 할까요, 아니면 반대 차선으로 피해야 할까요? 듣기에 아주 훌륭한 논쟁 주제처럼 들립니다. 그런데 여기에 문제가 있습니다 - 그리고 이것이 이 글의 핵심 생각입니다: 실제 자율주행 소프트웨어는 트롤리 문제를 풀려고 하며 작성되지 않습니다. 그렇다면 어떻게 작성될까요? 곧 그 부분에 도달하겠지만, 먼저 추측 측면을 완전히 정리해 봅시다.
자율주행차는 정말 "누구를 구할지" 결정하고 있을까?

짧은 답은: 아니요 - 하지만 이 답을 제대로 얻으려면 소프트웨어가 어떻게 생각하는지 살펴봐야 합니다. 자율주행차는 당신의 뇌처럼 단일 순간에 하나의 결정을 내리지 않습니다. 엔지니어링 문헌의 모델은 POMDP, 즉 부분 관측 마르코프 결정 과정입니다. 겁먹지 마세요, 이름만큼 복잡하지 않습니다: 차량은 불완전한 정보 - 센서 범위, 시야 가림, 처리 지연 - 속에서 끊임없이 흘러가는 확률 덩어리 안에서 연이은 작은 결정들을 내립니다. 흑백으로 나뉜 "누구를 선택할까"라는 순간은 이 구조 안에 앉히기조차 어렵습니다.
그리고 이것도 있습니다: 인공지능 시스템은 하나의 시나리오를 학습하기 위해 그 시나리오의 수천 가지 예시가 필요하며, 각 예시에서 "정답"이 무엇인지 미리 정의되어 있어야 합니다. 철학자들이 2천 년 동안 단 하나의 윤리적 딜레마에도 합의하지 못하는 동안, 이 정답을 데이터로 소프트웨어에 제공할 사람은 누구일까요? 게다가 학습 비용은 터무니없는 수준입니다: 자율 항공기가 단순한 항법을 학습하기 위해 11,500번 충돌했다는 기록이 있습니다. 실제 사람을 치면서 자동차를 훈련시키는 선택지는 당연히 존재하지 않습니다.
핵심 요약
- 자율주행차는 희생자를 선정하는 윤리적 딜레마가 아니라 리스크를 최소화하는 중립적 정책으로 프로그래밍됩니다
- 독일 윤리위원회는 2017년 6월 자율주행을 위한 20개의 윤리 규칙을 발표했습니다; 나이, 자격 등에 따른 구별은 금지되었습니다
- 실제 사고 데이터에서는 인간 운전자에게도 발생했다고 기록된 트램 유형의 사례는 발견되지 않았습니다
- ISO 26262 는 고장으로 인한 안전을, ISO 21448 (SOTIF)은 설계 한계에서 비롯된 위험을 다룹니다
독일의 20개 윤리 규칙: 희생자 선정 금지의 근본 원칙
규제 측면에서 가장 구체적인 조치는 독일에서 나왔습니다. 교통부 산하 윤리위원회가 2017년 6월 자율주행 및 커넥티드 주행을 위한 20개의 윤리 규칙 을 발표했습니다. 기본 원칙은 명확합니다: 자율주행 시스템은 우선적으로 모든 도로 사용자의 안전에 기여해야 하며 인간의 보호가 무엇보다 최우선되어야 한다는 것입니다.
가장 흥미로운 부분은 다음과 같습니다: 위원회는 시스템이 사람의 생명인지 여부를 판단해야 하지만, 나이, 성별, 신체 상태 또는 기타 특성에 따라 구별하여 윤리적 딜레마를 해결하려 시도해서는 안 된다고 규정하고 있습니다. 즉 "젊은이인가 노인인가, 의사인가 실업자인가" 와 같은 계산은 단일 회사의 선택에 맡겨질 수 없으며 - 이는 보편적 규칙의 대상입니다. 이것이 바로 트램 논쟁에 규제 수준에서 가해진 가장 명확한 타격입니다: 국가는 "누구를 선택할 것인가"라는 질문이 아니라 "누구도 선택하지 않을 것"이라는 대답을 내놓고 있습니다.
또한 독일은 레벨 4 자율주행차를 위한 최초의 국가 법적 틀을 마련한 자율주행법으로 선구적인 역할을 했습니다. EU 측에서는 커넥티드 및 자율주행차를 위한 도로 안전, 프라이버시, 공정성, 설명 가능성 및 책임에 관한 제안을 담은 윤리 보고서가 작성되었습니다. 그리고 2026년은 움직이는 해입니다: 미국은 9월에 국가 자동화 전략을 발표했고, UN 프레임워크 아래 산재된 자율주행차 규제를 통합하는 글로벌 표준으로 나아가고 있으며, Euro NCAP는 오토바이와 교차로 시나리오를 포괄하는 더 엄격한 충돌 회피 프로토콜을 도입하고 있습니다. 윤리 및 안전 규칙이 이제 빠르게 문서화되고 있습니다.
ISO 26262인가, SOTIF인가? 안전 표준이 의사결정 트리에 미치는 영향
이제 약간의 엔지니어링 냄새를 맡아봅시다. 지루하지 않으리라 약속합니다. 자동차 세계에서 기능 안전의 고전은 ISO 26262입니다: 이 표준은 구성 요소가 고장 났을 때 어떤 일이 일어나는지를 다룹니다. 그런데 아무 부품도 고장 나지 않았는데도 시스템이 여전히 위험하게 작동한다면 어떨까요? 즉 센서는 정상이고 소프트웨어도 충돌하지 않았는데 - 단지 설계의 한계에서, 예측하지 못한 교통 상황에 갇힌 경우라면요?
바로 이 공백을 ISO 21448, 즉 SOTIF가 채웁니다. 2022년에 발표된 이 표준은 구성 요소 고장이 아니라 설계 한계와 예측 가능한 오사용으로 인한 위험을 줄이는 것을 목표로 합니다. 그중 가장 중요한 개념 중 하나는 운영 설계 영역 (ODD)입니다: 시스템이 어떤 속도, 날씨, 도로 및 지리적 조건에서 작동할지를 명확하게 정의하는 것입니다. 시나리오는 시뮬레이션으로 테스트되어 위험을 사전에 차단합니다. 학계에서는 2026년 ISO 26262, SOTIF, UL 4600을 하나의 틀로 통합한 통합 안전 보증 프레임워크가 제안되고 있습니다. 요컨대 "사고 순간에 누구를 구할 것인가"라는 질문 대신 산업 전체가 "이 사고의 순간 자체에 도달하지 말자" 고 말하는 표준 체계를 구축하고 있습니다.
스탠퍼드 학파의 Chris Gerdes가 이 문제에 대해 취하는 접근법도 같은 방향을 바라봅니다: 제조업체는 차량에 "누구를 더 가치 있게 여기는지"를 가르치지 않고, 차량에 안전 행동을 가르칩니다. 교통 법률과 법원 해석이 만든 사회적 계약의 틀 안에서 차량은 도로 위 모든 사람에 대한 주의 의무를 집니다. 누군가 빨간불을 통과해 위험을 만들면, 차량의 임무는 그 사람을 하나의 "계산"에 포함시키는 것이 아니라 물리적 한계까지 모든 사람과의 충돌을 막으려 노력하는 것입니다. Gerdes에 따르면 한 목숨을 위해 다섯 목숨을 구하기 위해 희생하는 차량은 제조업체를 중대한 법적 책임 앞에 내세우며, 애초에 그 순간의 효용 계산을 실시간으로 하는 것은 사실상 불가능합니다.
사고 순간에 무슨 일이 일어나고 있는가? RSS와 다층 방어 논리
그렇다면 아무도 희생자를 선택하지 않는다면, 그 타이어 자국의 순간에 소프트웨어는 실제로 무엇을 하고 있을까요? 답은 두 부분으로 이루어져 있습니다. 첫째는 RSS, 즉 책임 감지 안전(Responsibility-Sensitive Safety) 접근법입니다: 모두가 이 규칙을 따르면 충돌이 수학적으로 불가능해지는 거리 마진을 정의합니다. 일종의 정중하고 지속적인 방어 운전 - 모두를 위한 안전 여유 공간을 남기는 것입니다.
둘째는 불가피한 충돌 시나리오에 처음부터 들어가지 않으려는 것입니다. Volvo의 자율 솔루션 부서가 요약하듯: 설계 목표는 그 순간이 아예 발생하지 않는 것이며, 실제 세계 사고 데이터에서 인간 운전자에게도 일어났다는 것이 입증된 트램형 사건은 존재하지 않습니다. 지나치게 결함이 있거나 악의적인 제3자를 제외하면, 시스템은 모든 조건에서 피해를 줄이기 위해 할 수 있는 모든 것을 하고 있습니다. 또한 이 문제의 경제적 측면도 있습니다: 보호 계층의 수는 사실상 하나의 사회적 선택입니다. 무한한 다층 보호 시스템은 비용 때문에 존재할 수 없습니다. "충분히 안전하다"라는 선을 우리는 사회적으로 긋습니다 - 아무도 이 부분을 우리에게 말해주지 않지만 결정은 매일 테이블에서 내려집니다.
승객인가, 보행자인가? Mercedes 예외와 여론 데이터
물론 이 주제가 논란 없는 것은 아닙니다. Mercedes는 개인 승용차에서 레벨 3 자동화를 제공한 첫 브랜드가 되었습니다 - DRIVE PILOT 시스템은 손과 눈이 자유로운 주행을 가능하게 하지만 오직 엄격하게 정의된 조건에서만 가능합니다. 회사 임원들은 이전에 회피 불가능한 상황에서는 승객의 안전이 우선시될 것이라고 명시적으로 밝힌 바 있습니다; 이 발언은 법적, 윤리적 문헌에서 가장 많이 인용되는 예외이며, 독일 윤리 위원회의 차별 금지 정신에 반하는 것으로도 읽힙니다.
여론 측면도 엇갈리고 있습니다. MIT의 Moral Machine 플랫폼은 기계의 도덕적 결정에 대해 사람들이 어떻게 생각하는지 측정하기 위해 200만 명 이상의 참여로 데이터를 수집했습니다. 연구에 따르면 보행자와 운전자는 자기 희생이나 보호에 대한 의지에서 서로 다른 선호를 보이며, 승객이 보행자를 구하기 위해 희생될 수 있는지에 대한 여론 역시 측정 가능한 문제로 나타났습니다.
그리고 더 큰 그림도 있습니다: 인적 오류는 교통사고 사망의 약 94%에서 작용하며, 자율주행차가 이러한 오류를 없애면 교통사고 사망이 최대 90%까지 줄어들 수 있다는 추정이 나오고 있습니다. 하지만 여기서 브레이크를 밟아야 합니다 - 보험 연구소들의 분석은 인적 오류가 사라지는 것만으로 대부분의 사고가 자동으로 없어지지는 않으며, 자율주행차 역시 같은 유형의 오류를 피하는 데 어려움을 겪을 수 있다고 지적합니다. 즉, 약속과 현실 사이에는 아직도 거리가 있습니다.
트롤리 문제는 완전히 무의미한가? 옹호와 비판
공정하게 말하자면 트롤리 문제를 옹호하는 목소리도 있습니다. 윤리학자 Patrick Lin의 견해는 이 실험이 직관 펌프로서 유용하게 작동한다는 것입니다: 숫자가 도덕적으로 중요한지, 죽이는 것과 죽음을 허용하는 것 사이의 차이를 생각하게 하고, 프로그래머를 결과에 대해 책임지게 하는 문을 열어줍니다. 이 논거를 진지하게 받아들일 필요가 있습니다.
하지만 무게 중심은 반대편에 있습니다. IEEE 관계자들의 평가는 트롤리 패러다임이 인식 제고에는 유용하지만 프레임 자체를 잘못된 곳에 세웠다고 말합니다. 철학 문헌에서 2021년에 제안된 "위험 윤리" 접근법은 자율주행의 진짜 윤리적 난제가 트롤리 시나리오가 아니라, 가치 및 목적 함수의 투명성, 확률적 불확실성, 예측 불가능한 시스템 행동에 있다고 주장합니다. 2024년의 한 연구는 무인 차량에게 트롤리 문제의 해결을 요구하는 것을 도덕적 강요로 비판합니다. 엔지니어링 계열에서는 실용적인 반론이 지배적입니다: 트롤리 시나리오의 전제 조건 - 갑자기 나타나는 사람, 동시에 발생하는 브레이크 고장, 완벽한 인식 -은 실제 교통 상황에서는 현실적으로 동시에 발생하지 않습니다.
짧은 답: 자율주행차는 어떻게 결정하는가?
약속했듯이, 간결하고 인용 가능한 답은 다음과 같습니다: 자율주행차는 누구의 생명이 더 가치 있는지 계산하는 윤리 방정식이 아니라, 모든 사람에게 동등하게 적용되는 위험을 최소화하는 중립적 안전 정책으로 결정합니다. 표준과 법률은 이러한 결정을 트롤리 유형의 선택이 아니라 사고 자체의 미발생으로 이끕니다. 진짜 논쟁은 철학적 딜레마가 아니라, 가치 함수의 투명성, 보호 계층의 비용, 그리고 "충분히 안전하다"는 기준선을 누가 그리는가에 있습니다.
제 생각에는, 트롤리 문제는 이 산업에 가장 큰 공헌을 마침내 다 하면서 이루어질 것입니다: 기계의 의사결정 메커니즘을 물어보는 법을 우리에게 가르쳤다는 점에서요. 하지만 다음에 누군가 "자동차는 누구를 죽일지 어떻게 선택하는가" 라고 물으면, 이제 답을 알고 있다 - 그 질문은 소프트웨어가 실제로 하는 일과는 거리가 멀다. 우리가 정말로 물어야 할 질문은 이것이다: 얼마나 많은 안전이 충분한가, 그리고 그 결정은 누가 내리는가? 이 논쟁은 마차 궤도보다 훨씬 더 현실적인 토대 위에서 진행되고 있다.