Проблема трамвая: как автономные автомобили принимают решения?

Представь, что перед машиной внезапно появился велосипедист. Будь руль в твоих руках, ты рефлекторно что-то сделал бы - и, возможно, даже не вспомнил бы, что именно. Но что, если за рулём никого нет? В этот момент, за доли секунды, программное обеспечение обязано принять решение. В кого врезаться? Уклониться на встречную полосу? Вот этот вопрос СМИ задают нам уже десять лет - и, честно говоря, сам вопрос поставлен не совсем верно. В этой статье мы действительно поговорим о том, как беспилотные автомобили принимают решения; не с урока философии, а с инженерного стола.
Что такое проблема вагонетки и почему она стала настолько известной?
Сначала краткая классическая сводка: В мысленном эксперименте, предложенном Филиппой Фут в 1967 году и развитом Джудит Джарвис Томсон в 1976 и 1985 годах, неуправляемая вагонетка катится по рельсам в сторону пяти человек. Ты можешь потянуть за рычаг: вагонетка уходит на другой путь, но там стоит один человек. Пожертвовать одним, чтобы спасти пятерых? Вторая версия ещё более удручающая: на этот раз ты останавливаешь вагонетку, столкнув дорогого тебе человека с моста на рельсы. Большинство философов считает оправданным перевод стрелки в первом сценарии, тогда как подавляющее большинство людей даже спустя годы не может смириться с идеей столкнуть человека с моста.
Когда на сцену вышли беспилотные автомобили, казалось, что этот эксперимент разом перенесся в реальную жизнь: машине врезаться в велосипедиста или уклоняться на встречную полосу? Звучит как отличная тема для дискуссии. Но здесь есть проблема - и вот главная мысль этой статьи: реальное программное обеспечение беспилотного вождения не пишется путём попыток решить проблему вагонетки. А как тогда оно создаётся? Мы дойдём и до этого, но сначала полностью разберёмся со спекулятивной стороной.
Действительно ли беспилотный автомобиль решает, «кого спасти»?

Короткий ответ: нет - но чтобы заслужить этот ответ, нужно посмотреть, как «думает» программное обеспечение. Беспилотный автомобиль не принимает одно решение в один момент, как твой мозг. Модель из инженерной литературы - POMDP, то есть частично наблюдаемый марковский процесс принятия решений. Не бойся, это не так сложно, как звучит: автомобиль, обладая неполной информацией - радиус действия сенсоров, зоны перекрытия обзора, задержки обработки - принимает серию мелких решений внутри непрерывно unfolding клубка вероятностей. Чёрно-белый момент «кого я выбираю» вообще не вписывается в эту структуру.
Есть и ещё одно: системам искусственного интеллекта для обучения на сценарий нужны тысячи его примеров, и в каждом примере должно быть заранее определено, в чём состоит «правильный ответ». Пока философы две тысячи лет не могут договориться по одному этическому дилемме, кто предоставит этому правильному ответу данные для программного обеспечения? Пока философы две тысячи лет не могут прийти к согласию по одной этической дилемме, кто передаст этот правильный ответ программному обеспечению в качестве данных? Более того, стоимость обучения достигает абсурдных размеров: в записях значится, что автономный самолет разбился 11 500 раз только для того, чтобы научиться простому навигационному маневру. Конечно же, варианта обучать автомобили, сталкивая их с реальными людьми, не существует.
Основные моменты
- Беспилотные автомобили программируются не с помощью этических уравнений, выбирающих жертв, а с помощью нейтральных политик, минимизирующих риск
- Этическая комиссия Германии в июне 2017 года опубликовала 20 этических правил для автоматизированного вождения; различия по возрасту, квалификации и т.п. были запрещены
- В реальных данных о ДТП не было найдено ни одного инцидента трамвайного типа, который документально подтверждён даже у водителей-людей
- ISO 26262 охватывает безопасность при отказах, а ISO 21448 (SOTIF) - опасности, возникающие из-за границ проектирования
20 этических правил Германии: Мать запрета на выбор жертв
Самый конкретный шаг на regulatory-уровне пришёл из Германии. Этическая комиссия при Министерстве транспорта в июне 2017 года опубликовала 20 этических правил для автоматизированного и подключённого вождения. Основной принцип ясен: системы автоматизированного вождения должны прежде всего служить безопасности всех участников движения, а защита человека должна стоять превыше всего.
Самая интересная часть вот в чём: комиссия требует, чтобы системы определяли, является ли перед ними человек, но не пытались решать этические уравнения, делая различия по возрасту, полу, физическому состоянию или другим качествам. То есть расчёты в духе «молодой или пожилой, врач или безработный» не могут быть оставлены на усмотрение одной компании - это предмет универсальных правил. По сути, это самый чёткий удар, нанесённый на регуляторном уровне по трамвайной дискуссии: государство кладёт на стол ответ «ты не будешь никого выбирать», а не вопрос «кого ты выберешь». Германия также стала первопроходцем с Законом об автономном вождении, установившим первую национальную правовую базу для беспилотных автомобилей уровня 4. На стороне ЕС был подготовлен этический доклад, содержащий предложения по безопасности дорожного движения, конфиденциальности, справедливости, объяснимости и ответственности для подключённых и автоматизированных автомобилей.
Германия также стала первопроходцем с Законом об автономном вождении, установившим первую национальную правовую базу для автономных транспортных средств уровня 4. США в сентябре представили национальную стратегию автоматизации, в рамках ООН идёт движение к глобальному стандарту, который завершит фрагментарное регулирование беспилотных автомобилей, а Euro NCAP вводит более строгие протоколы предотвращения столкновений, охватывающие сценарии с мотоциклами и перекрёстками. А 2026 год будет насыщенным: В США в сентябре представили национальную стратегию автоматизации, в рамках ООН идёт работа над глобальным стандартом, который завершит фрагментированное регулирование автономных автомобилей, а Euro NCAP вводит более строгие протоколы избежания столкновений, охватывающие сценарии с мотоциклами и перекрёстками. Правила этики и безопасности сейчас стремительно обретают бумажную форму.
ISO 26262 или SOTIF? Влияние стандартов безопасности на деревья принятия решений
этот стандарт занимается тем, что происходит при отказе компонента. Классикой функциональной безопасности в автомобильном мире является ISO 26262: То есть датчики исправны, программное обеспечение не рухнуло - просто на границах дизайна система застряла в непредвиденной дорожной ситуации? А что, если ни одна деталь не вышла из строя, но система всё равно повела себя опасно? Этот стандарт, опубликованный в 2022 году, ставит целью снизить опасности, связанные не с отказом компонентов, а с ограничениями проектирования и предсказуемым неправильным использованием.
Именно этот пробел заполняет ISO 21448, то есть SOTIF. Этот стандарт, опубликованный в 2022 году, ставит целью снижение опасностей, вызванных не отказом компонентов, а ограничениями проектирования и предсказуемым неправильным использованием. Одно из важнейших понятий в нём - Область эксплуатационного проектирования (ODD): чёткое определение того, при каких скоростях, погодных, дорожных и географических условиях система будет работать. Сценарий тестируется на симуляциях, и опасности заранее предотвращаются. В академической среде в 2026 году предлагаются интегрированные структуры обеспечения безопасности, объединяющие ISO 26262, SOTIF и UL 4600 под одной крышей. Короче говоря, вместо вопроса "кого спасти в момент аварии" вся отрасль строит гору стандартов, исходящих из принципа "давайте вообще не доводить до этого момента".
Подход Криса Гердеса из Стэнфордской школы смотрит в том же направлении: производители не учат автомобиль, "кого он считает более ценным", а обучают автомобиль безопасному поведению. В рамках социального договора, формируемого правилами дорожного движения и судебными толкованиями, автомобиль несёт обязанность заботы о каждом на дороге. Если кто-то проезжает на красный свет и создаёт опасность, задача автомобиля - не "учесть" этого человека; а стараться предотвратить столкновение с каждым до предела своих физических возможностей. По мнению Гердеса, автомобиль, жертвующий одной жизнью ради спасения пяти, подвергает производителя серьёзной юридической ответственности - к тому же такой мгновенный расчёт выгоды на практике попросту невозможен выполнить в реальном времени.
Что происходит в момент аварии? RSS и логика многослойной защиты
Итак, если никто не выбирает жертву, что же на самом деле делает программное обеспечение в то самое мгновение следа шин? Ответ состоит из двух частей. Первая - RSS, то есть подход "Ответственная безопасность": определяются дистанционные запасы, при которых столкновение математически невозможно, если все соблюдают эти правила. Своего рода вежливое и постоянное защитное вождение - оставлять полосу безопасности для всех.
Второе - изначально не пытаться попадать в сценарий неизбежного столкновения. Как обобщает подразделение автономных решений Volvo: цель проектирования - чтобы тот момент вообще не наступил; в данных о реальных авариях не зафиксировано ни одного происшествия трамвайного типа, случавшегося даже с водителями-людьми. За исключением крайне ошибающихся или злонамеренных третьих лиц, система при любых условиях делает всё возможное для уменьшения ущерба. Есть и экономическая сторона медали: количество слоёв защиты - на самом деле общественный выбор. Система защиты с бесконечным числом слоёв не может существовать из-за стоимости. Черта "достаточно безопасно" - это черта, которую мы проводим как общество - никто не рассказывает нам об этой части, но решение принимается за столами каждый день.
Пассажир или пешеход? Исключение Mercedes и данные общественного мнения
Конечно, тема не обходится без споров. Mercedes стала первым брендом, предложившим автоматизацию Уровня 3 в личном автомобиле - система DRIVE PILOT даёт возможность езды со свободными руками и глазами, но только в строго определённых условиях. Руководители компании ранее прямо заявляли, что в неустранимых ситуациях приоритет будет отдан безопасности пассажира; это заявление читается как самое цитируемое исключение как в юридической, так и в этической литературе, а также противоречит духу запрета на различение Немецкой этической комиссии.
Общественное мнение тоже неоднозначно. Платформа Moral Machine от MIT собрала данные с участием более 2 миллионов человек, чтобы измерить, как люди смотрят на моральные решения машин. Исследования показывают, что пешеходы и водители демонстрируют разные предпочтения с точки зрения готовности пожертвовать собой или защищать себя, и что общественное мнение о том, можно ли пожертвовать пассажирами ради спасения пешеходов, также является измеримым вопросом.
Есть и общая картина: человеческая ошибка играет роль примерно в 94% смертельных случаев в авариях, и делаются прогнозы, что благодаря устранению этих ошибок автономными транспортными средствами смертность на дорогах может снизиться до 90%. Но здесь нужно притормозить - анализ страховых институтов утверждает, что одно лишь устранение человеческой ошибки автоматически не устранит большинство аварий, и автономные транспортные средства тоже могут испытывать трудности с избеганием тех же типов ошибок. То есть между обещанием и реальностью всё ещё есть дистанция.
Полностью ли бессмысленна проблема трамвая? Защита и критика
Справедливости ради, у проблемы трамвая есть и защитники. Мнение этика Патрика Лина состоит в том, что эксперимент работает как интуитивный насос: он заставляет задуматься, имеют ли цифры моральное значение, о разнице между убийством и разрешением смерти, и приоткрывает дверь к привлечению программистов к ответственности за последствия. Этот аргумент следует принимать всерьёз.
Но вес в этой области на другой стороне. Оценки кругов IEEE говорят, что трамвайная парадигма полезна для повышения осведомлённости, но рамка построена не в том месте. Подход "этики риска", предложенный в философской литературе в 2021 году, утверждает, что реальные этические проблемы автономного вождения лежат не в трамвайных сценариях; а в прозрачности функций ценности и целей, в вероятностной неопределённости и в непредсказуемом поведении систем. Исследование 2024 года, в свою очередь, критикует требование к беспилотным автомобилям решать проблему трамвая как моральное навязывание. В инженерных кругах преобладает прагматичное возражение: предпосылки трамвайного сценария - внезапное появление человека, одновременный отказ тормозов, безупречное восприятие - на практике не совпадают в реальном дорожном потоке.
Краткий ответ: Как автономные автомобили принимают решения?
Как я и обещал, простой и цитируемый ответ: Автономные автомобили принимают решения не с помощью этических уравнений, вычисляющих, чья жизнь ценнее, а с помощью нейтральных политик безопасности, минимизирующих риск, применяемый ко всем одинаково. Стандарты и законы направляют эти решения не к выборам трамвайного типа, а к тому, чтобы авария вообще не произошла. Настоящая дискуссия не в философских дилеммах; а в прозрачности функций ценности, в стоимости защитных слоёв и в том, кем проводится черта "достаточно безопасно". тем, кем проводится черта "достаточно безопасно".
Если спросите меня, проблему трамвая окажет этой отрасли свою величайшую услугу именно завершаясь: она научила нас спрашивать о механизмах принятия решений машинами. Но если в следующий раз кто-то спросит: «как автомобиль выбирает, кого убить», теперь вы знаете ответ - этот вопрос очень далёк от того, что программное обеспечение делает на самом деле. Вопрос, который нам действительно стоит задать, такой: сколько безопасности достаточно и кто принимает это решение? Эта дискуссия разворачивается на куда более реальной почве, чем вагонные рельсы.
Источники
- Designing Ethical Self-Driving Cars | Stanford HAI
- The folly of trolleys: Ethical challenges and autonomous vehicles
- The misguided dilemma of the trolley problem
- The "Trolley Problem" Doesn't Work for Self-Driving Cars
- Ethics Commission Automated and Connected Driving
- Ethical Considerations of the Trolley Problem in Autonomous Driving
- Moral Machine | MIT
- Self Driving Car Engineer Debunks The Trolley Problem