مشکل تراموا: خودروهای خودران چگونه تصمیم میگیرند؟

فرض کن ناگهان یک دوچرخهسوار جلوی ماشین ظاهر شود. اگر فرمان دست تو بود، غریزی کاری میکردی - شاید خودت هم یادت نمیآمد چه کردی. اما اگر هیچکس پشت فرمان نباشد؟ در آن لحظه، در هزارم ثانیه، نرمافزار باید تصمیمی بگیرد. به که زده شود؟ به خط روبهرو فرار کند؟ این همان سوالی است که رسانهها ده سال است از ما میپرسند - و راستش را بخواهید، خود سوال تا حدی غلط مطرح میشود. در این مقاله واقعاً دربارهی نحوهی تصمیمگیری خودروهای خودران صحبت خواهیم کرد؛ نه از کلاس فلسفه، بلکه از میز مهندسی.
مسئلهی تراموا چیست و چرا اینقدر مشهور شد؟
اول یک خلاصهی سریع کلاسیک: در آزمایش فکری که فیلیپا فوت در 1967 مطرح کرد و جودیت جارویس تامسون در 1976 و 1985 توسعه داد، تراموایی از کنترل خارج شده و به سمت پنج نفر روی ریل حرکت میکند. تو میتوانی یک اهرم را بکشی: تراموا به خط دیگری میپیچد، اما آنجا یک نفر ایستاده است. با کشتن یک نفر، پنج نفر را نجات میدهی؟ نسخهی دوم حتی آزاردهندهتر است: این بار فرد مورد علاقهات را از روی پل به ریلها هل میدهی تا تراموا متوقف شود. در حالی که بیشتر فیلسوفان چرخاندن سوزن در سناریوی اول را قابل دفاع میدانند، اکثر مردم حتی سالها بعد هم ایدهی هل دادن مرد روی پل را هضم نمیکنند.
وقتی خودروهای خودران وارد صحنه شدند، به نظر رسید این آزمایش یکباره به دنیای واقعی منتقل شده است: ماشین به دوچرخهسوار بزند یا به خط روبهرو فرار کند؟ به گوشها موضوع بحث فوقالعادهای میرسد. اما اینجا یک مشکل وجود دارد - و ایدهی اصلی این مقاله این است: نرمافزارهای واقعی رانندگی خودران با تلاش برای حل مسئلهی تراموا نوشته نمیشوند. پس با انجام چه کاری نوشته میشوند؟ به آنجا خواهیم رسید، اما اول بیایید بخش گمانهزنی را کاملاً تمام کنیم.
آیا خودروی خودران واقعاً تصمیم میگیرد که "چه کسی را نجات دهد"؟

پاسخ کوتاه: نه - اما برای آنکه این پاسخ را درست درک کنیم، باید ببینیم نرمافزار چگونه فکر میکند. یک خودروی خودران مثل مغز تو، در یک لحظه فقط یک تصمیم نمیگیرد. مدل در ادبیات مهندسی POMDP است، یعنی فرآیند تصمیم مارکوف با مشاهدهی جزئی. نگران نباش، به اندازهی اسمش پیچیده نیست: خودرو با اطلاعات ناقص - برد حسگرها، انسداد دید، تأخیر پردازش - درون تودهای پیوسته از احتمالات، زنجیرهای از تصمیمهای کوچک میگیرد. لحظهی سیاه-سفیدِ "که را انتخاب میکنم" حتی در ساختار این مدل جایی ندارد.
یک نکتهی دیگر هم هست: سیستمهای هوش مصنوعی برای یادگیری یک سناریو به هزاران نمونه از آن سناریو نیاز دارند و در هر نمونه باید از قبل مشخص شده باشد که «پاسخ درست» چیست. وقتی فیلسوفان دو هزار سال است روی یک معضل اخلاقی واحد به توافق نمیرسند، این پاسخ درست را چه کسی بهعنوان داده به نرمافزار خواهد داد؟ بهعلاوه هزینهی آموزش در ابعاد مضحکی است: در سوابق ثبت شده که برای یادگیری صرفاً ناوبری ساده، یک هواپیمای خودران 11,500 بار دچار سانحه شده است. البته گزینهای به نام آموزش خودروها با تصادف کردن در انسانهای واقعی وجود ندارد.
نکات برجسته
- خودروهای خودران نه با معادلات اخلاقی قربانی selection، بلکه با سیاستهای بیطرف کاهشدهنده ریسک برنامهنویسی میشوند
- کمیسیون اخلاقی آلمان در ژوئن 2017 بیست قانون اخلاقی برای رانندگی خودکار منتشر کرد؛ تفکیک بر اساس سن، صلاحیت و امثال آن ممنوع شد
- در دادههای واقعی تصادفات، هیچ رویداد تیپ تراموای که حتی برای رانندگان انسانی رخ داده باشد مستند نشده است
- ISO 26262 ایمنی ناشی از خرابی را پوشش میدهد و ISO 21448 (SOTIF) خطرات ناشی از محدودیتهای طراحی را در بر میگیرد
بیست قانون اخلاقی آلمان: مادر ممنوعیت انتخاب قربانی
ملموسترین گام در حوزه مقررات از آلمان آمد. کمیسیون اخلاقی وابسته به وزارت حمل و نقل، در ژوئن 2017 برای رانندگی خودکار و متصل بیست قانون اخلاقی منتشر کرد. اصل پایه روشن است: سیستمهای رانندگی خودکار باید نخست به ایمنی همه کاربران جاده خدمت کنند و حفاظت از انسان بر همه چیز مقدم باشد.
اما بخش واقعاً جالب این است: کمیسیون شرط میکند سیستمها باید تشخیص دهند که آیا جان انسانی در میان است یا نه، اما نباید با تفکیک بر اساس سن، جنسیت، وضعیت جسمی یا سایر ویژگیها به حل معادلات اخلاقی بپردازند. یعنی محاسباتی از جنس "جوان است یا پیر، دکتر است یا بیکار" نمیتواند به سلیقه یک شرکت واگذار شود - اینها موضوع قوانین جهانی هستند. این در واقع واضحترین ضربه به بحث تراموا در سطح مقررات است: دولت به جای پرسش "چه کسی را انتخاب میکنی"، پاسخ "هیچکس را انتخاب نخواهی کرد" را روی میز میگذارد. آلمان همچنین با قانون رانندگی خودران که نخستین چارچوب حقوقی ملی برای خودروهای خودران سطح 4 را ایجاد کرد، پیشگام بود.
در سمت اتحادیه اروپا نیز یک گزارش اخلاقی حاوی پیشنهادهایی برای ایمنی جاده، حریم خصوصی، عدالت، قابلیت توضیحپذیری و مسئولیتپذیری برای خودروهای متصل و خودکار تهیه شد. در سمت اتحادیه اروپا، گزارشی اخلاقی حاوی پیشنهادهایی درباره ایمنی جاده، حریم خصوصی، عدالت، قابلیت توضیحپذیری و مسئولیتپذیری برای خودروهای متصل و خودکار آماده شد. و سال 2026 سالی پویا خواهد بود: آمریکا در سپتامبر استراتژی ملی اتوماسیون خود را اعلام کرد، در چارچوب سازمان ملل به سمت یک استاندارد جهانی برای تکمیل مقررات پراکنده خودروهای خودران حرکت میشود و Euro NCAP پروتکلهای سختگیرانهتری برای اجتناب از تصادف شامل سناریوهای موتورسیکلت و تقاطع ارائه میدهد. ISO 26262 یا SOTIF؟
ISO 26262 یا SOTIF؟ تاثیر استانداردهای ایمنی بر درختهای تصمیم
حالا کمی بوی مهندسی بگیریم، قول میدهم خستهکننده نباشد. در دنیای خودرو، کلاسیک ایمنی کارکردی ISO 26262 است: اما اگر هیچ قطعهای خراب نشده باشد و سیستم با این حال رفتار خطرناکی داشته باشد چه؟ اگر هیچ قطعهای خراب نشده باشد اما سیستم همچنان رفتار خطرناکی داشته باشد چه؟ یعنی حسگرها سالم هستند، نرمافزار هم از کار نیفتاده - فقط در مرزهای طراحی، در یک موقعیت ترافیکی پیشبینینشده گیر کرده؟
دقیقاً همین خلأ را ISO 21448 یعنی SOTIF پر میکند. این استاندارد که در سال 2022 منتشر شد، هدفش کاهش خطرات ناشی از محدودیت طراحی و استفاده نادرست قابلپیشبینی است، نه خرابی قطعات. یکی از مهمترین مفاهیم در آن حوزه طراحی عملیاتی (ODD) است: تعریف صریح اینکه سیستم در چه سرعت، هوا، جاده و شرایط جغرافیایی کار خواهد کرد. سناریو با شبیهسازیها آزموده میشود و خطرات از پیش دفع میشوند. اما در دنیای دانشگاهی، در سال 2026 چارچوبهای تضمین ایمنی یکپارچهای پیشنهاد میشود که ISO 26262، SOTIF و UL 4600 را زیر یک سقف گرد هم میآورند. خلاصه اینکه به جای پرسش "در لحظه تصادف چه کسی را نجات دهیم" تمام صنعت در حال ساختن انبوهی از استانداردهاست که میگویند "هرگز به آن لحظه تصادف نرسیم". را میسازد.
رویکرد Chris Gerdes از مکتب استنفورد در این باره نیز به همان سو نگاه میکند: تولیدکنندگان به خودرو نمیآموزند که "چه کسی را باارزشتر میداند"، بلکه به خودرو رفتار ایمن میآموزند. در چارچوب قرارداد اجتماعی که قوانین ترافیک و تفسیرهای دادگاه شکل دادهاند، خودرو نسبت به هر کس در جاده تکلیف مراقبت دارد. اگر کسی با رد شدن از چراغ قرمز خطر ایجاد کند، وظیفه خودرو این نیست که آن فرد را "حساب" کند؛ بلکه تلاش میکند تا حد امکانات فیزیکی خود از برخورد با همه جلوگیری کند. به گفته Gerdes، خودرویی که یک جان را برای نجات پنج جان فدا میکند، تولیدکنندهاش را با مسئولیت حقوقی جدی مواجه میکند - ضمن آنکه انجام محاسبه منفعت لحظهای در همان لحظه از نظر عملی غیرممکن است.
در لحظه تصادف چه میگذرد؟ منطق RSS و حفاظت لایهای
خب وقتی هیچکس قربانی را انتخاب نمیکند، آن نرمافزار در لحظه رد لاستیک واقعاً چه کاری انجام میدهد؟ پاسخ دو بخش دارد. نخست RSS یعنی رویکرد ایمنی مسئولیتمحور: حاشیههای فاصلهای تعریف میشود که اگر همه این قوانین را رعایت کنند، برخورد از نظر ریاضی غیرممکن باشد. نوعی رانندگی مؤدبانه و دائماً دفاعی - باقی گذاشتن حصار امنیتی برای همه.
دوم، تلاش برای وارد نشدن از همان ابتدا به سناریوی برخورد اجتنابناپذیر. به تعبیر واحد راهکارهای خودران ولوو: هدف طراحی این است که آن لحظه اصلاً رخ ندهد؛ در دادههای تصادفات دنیای واقعی، هیچ رویداد تیپ ترامواری اثباتشدهای وجود ندارد که حتی برای رانندگان انسانی هم پیش آمده باشد. به استثنای اشخاص ثالث بیش از حد معیوب یا بدخواه، سیستم در هر شرایطی نهایت تلاش خود را برای کاهش آسیب میکند. روی دیگر سکه نیز جنبه اقتصادی دارد: تعداد لایههای حفاظتی در واقع یک انتخاب اجتماعی است. سیستم حفاظتی با لایههای بیشمار به دلیل هزینه نمیتواند وجود داشته باشد. خط "به اندازه کافی ایمن" را ما به عنوان یک جامعه ترسیم میکنیم - هیچکس این بخش را به ما نمیگوید، اما تصمیم هر روز بر سر میزها گرفته میشود.
سرنشین یا عابر پیاده؟ استثنای مرسدس و دادههای افکار عمومی
البته موضوع کاملاً بیمناقشه هم نیست. مرسدس اولین برندی بود که اتوماسیون سطح 3 را در خودروی شخصی عرضه کرد - سیستم DRIVE PILOT رانندگی با آزادی دست و چشم را ممکن میکند اما فقط در شرایطی بهدقت تعریفشده. مدیران شرکت پیشتر بهصراحت اعلام کرده بودند که در موارد غیرقابل اجتناب، ایمنی سرنشین در اولویت قرار خواهد گرفت؛ این اظهارات هم در ادبیات حقوقی و هم اخلاقی پراستنادترین استثناست و حتی در تضاد با روحیه ممنوعیت تمایز کمیسیون اخلاق آلمان نیز خوانده میشود.
جنبه افکار عمومی نیز آمیخته است. پلتفرم ماشین اخلاقی MIT با مشارکت بیش از 2 میلیون نفر داده گردآوری کرده تا ببینید مردم به تصمیمات اخلاقی ماشینها چگونه نگاه میکنند. پژوهشها نشان میدهد عابران پیاده و رانندگان در willingness برای فدا کردن یا حفظ خود ترجیحات متفاوتی دارند و این باور عمومی که آیا میتوان سرنشینان را برای نجات عابران پیاده فدا کرد نیز مسئلهای قابل اندازهگیری است.
اما یک تصویر بزرگتر هم وجود دارد: خطای انسانی در حدود 94 درصد از مرگهای ناشی از تصادفات نقش دارد و پیشبینی میشود با حذف این خطاها توسط خودروهای خودران، تلفات ترافیکی تا 90 درصد کاهش یابد. اما اینجا باید ترمز گرفت - تحلیل مؤسسات بیمه نشان میدهد حذف خطای انسانی بهتنهایی بهطور خودکار بیشتر تصادفات را از بین نمیبرد و خودروهای خودران نیز ممکن است در پرهیز از همین انواع خطا دچار مشکل شوند. یعنی هنوز فاصلهای میان وعده و واقعیت وجود دارد.
آیا مسئله ترامو کاملاً بیمعناست؟ دفاع و نقد
انصافاً باید گفت که مسئله ترامو مدافعانی هم دارد. دیدگاه اخلاقدان پاتریک لین این است که این آزمایش بهعنوان یک پمپ شهود کار میکند: میاندیشاند که آیا اعداد از منظر اخلاقی اهمیت دارند، تفاوت میان کشتن و اجازه دادن به مرگ را مطرح میکند و دری را بهسوی پاسخگو بودن برنامهنویسان در برابر نتایج میگشاید. باید این استدلال را جدی گرفت.
اما وزن این حوزه در سوی مقابل قرار دارد. ارزیابی محافل IEEE میگوید پارادایم ترامو در ایجاد آگاهی مفید است اما این چارچوب در جای اشتباهی قرار داده شده است. رویکرد «اخلاق ریسک» که در سال 2021 در ادبیات فلسفی پیشنهاد شد استدلال میکند که چالشهای اخلاقی واقعی خودران نه در سناریوهای ترامو، بلکه در شفافیت توابع ارزش و هدف، در عدم قطعیت احتمالاتی و در رفتارهای غیرقابل پیشبینی سیستم نهفته است. مطالعهای در سال 2024 نیز خواستن حل مسئله ترامو از خودروهای بدون راننده را تحمیل اخلاقی میداند و نقد میکند. در محافل مهندسی نیز اعتراض عملگرایانه حاکم است: پیششرطهای سناریوی ترامو - ظهور ناگهانی یک انسان، خرابی همزمان ترمز، ادراک بینقص - در جریان واقعی ترافیک در عمل با هم جمع نمیشوند.
پاسخ کوتاه: خودروهای خودران چگونه تصمیم میگیرند؟
همانطور که قول داده بودم، پاسخ ساده و قابل استناد: خودروهای خودران نه با معادلات اخلاقیای که محاسبه میکنند جانِ چه کسی ارزشمندتر است، بلکه با سیاستهای ایمنی بیطرفی تصمیم میگیرند که ریسک را برای همه بهطور یکسان به حداقل میرسانند. استانداردها و قوانین این تصمیمات را نه بهسوی انتخابهایی از نوع ترامو، بلکه بهسوی رخ ندادن اصلاً تصادف هدایت میکنند. بحث واقعی نه در معضلات فلسفی، بلکه در شفافیت توابع ارزش، در هزینه لایههای حفاظتی و در اینکه خط «بهقدر کافی ایمن» توسط چه کسی ترسیم میشود، نهفته است.
اگر از من بپرسید، مسئله ترامو بزرگترین خدمتش را به این صنعت دقیقاً هنگام پایان دادن به کار خود خواهد کرد: به ما آموخت که از سازوکار تصمیمگیری ماشینها بپرسیم. اما اگر دفعه بعد کسی بپرسد «خودرو چگونه انتخاب میکند چه کسی را بکشد» ، دیگر جواب را میدانید - آن پرسش بسیار دورتر از کاری است که نرمافزار واقعا انجام میدهد. پرسشی که واقعا باید بپرسیم این است: چه میزان ایمنی کافی است و چه کسی این تصمیم را میگیرد؟ این بحث روی زمینی بسیار واقعیتر از ریلهای تراموا پیش میرود.
منابع
- طراحی خودروهای خودران اخلاقی | Stanford HAI
- حماقت ترامواها: چالشهای اخلاقی و خودروهای خودران
- دوراهی گمراهکننده مسئله تراموا
- «مسئله تراموا» برای خودروهای خودران جواب نمیدهد
- کمیسیون اخلاق رانندگی خودران و متصل
- ملاحظات اخلاقی مسئله تراموا در رانندگی خودران
- ماشین اخلاقی | MIT
- مهندس خودروهای خودران مسئله تراموا را رد میکند