Problem tramwaju: jak pojazdy autonomiczne podejmują decyzje?

Wyobraź sobie, że nagle przed twoim samochodem wyjeżdża rowerzysta. Gdybyś ty siedział za kierownicą, odruchowo zrobiłbyś coś - może nawet nie pamiętałbyś później, co. Ale co, gdy za kierownicą nikogo nie ma? Wtedy, w ułamku sekundy, oprogramowanie musi podjąć decyzję. W kogo ma uderzyć? Czy ma zjechać na sąsiedni pas? Właśnie to pytanie media zadają nam od dekady - i szczerze mówiąc, samo pytanie jest postawione trochę błędnie. W tym artykule naprawdę porozmawiamy o tym, jak pojazdy autonomiczne podejmują decyzje; nie na lekcji filozofii, lecz przy stole inżynierskim.
Czym jest problem wagonika i dlaczego stał się tak sławny?
Najpierw krótkie klasyczne podsumowanie: W eksperymencie myślowym, który Philippa Foot zaproponowała w 1967 roku, a Judith Jarvis Thomson rozwinęła w 1976 i 1985 roku, wymykający się spod kontroli tramwaj jedzie po torach w stronę pięciu osób. Ty możesz pociągnąć za dźwignię: tramwaj skręca na inny tor, ale tam stoi jedna osoba. Czy ratujesz pięć osób, zabijając jedną? Druga wersja jest jeszcze bardziej niepokojąca: tym razem zatrzymujesz tramwaj, zepchnięciem z mostu na tory osoby, na której ci zależy. Większość filozofów uważa przestawienie zwrotnicy w pierwszym scenariuszu za obronywalne, podczas gdy ogromna większość społeczeństwa nawet po latach nie może strawić myśli o zepchnięciu mężczyzny z mostu.
Gdy pojazdy autonomiczne pojawiły się na scenie, wydawało się, że ten eksperyment nagle przeniósł się do prawdziwego życia: czy samochód ma uderzyć w rowerzystę, czy zjechać na sąsiedni pas? Brzmi jak świetny temat do dyskusji. Ale jest tu pewien problem - i główna myśl tego artykułu brzmi tak: prawdziwe oprogramowanie autonomicznej jazdy nie powstaje poprzez próby rozwiązania problemu wagonika. Więc jak ono powstaje? Do tego dojdziemy, ale najpierw dokładnie zakończmy ten spekulacyjny wątek.
Czy pojazd autonomiczny naprawdę podejmuje decyzję "kogo uratować"?

Krótka odpowiedź: nie - ale żeby zasłużyć na tę odpowiedź, musimy przyjrzeć się, jak oprogramowanie myśli. Pojazd autonomiczny nie podejmuje, tak jak twój mózg, jednej decyzji w jednym momencie. Modelem w literaturze inżynieryjnej jest POMDP, czyli częściowo obserwowalny proces decyzyjny Markowa. Nie bój się, nie jest tak skomplikowany, jak brzmi jego nazwa: pojazd, dysponując niepełnymi informacjami - zasięgiem czujników, martwymi polami widzenia, opóźnieniami przetwarzania - podejmuje kolejne małe decyzje w nieustannie płynącej gęstwie prawdopodobieństw. Czarno-biały moment "wybieram kogo" nawet nie mieści się w tej strukturze.
Jest jeszcze jedno: systemy sztucznej inteligencji potrzebują tysięcy przykładów danego scenariusza, żeby go się nauczyć, a w każdym przykładzie musi być z góry zdefiniowane, jaki jest "poprawna odpowiedź". Podczas gdy filozofowie od dwóch tysięcy lat nie potrafią dojść do porozumienia w jednej dilemie moralnej, kto ma przekazać oprogramowaniu tę poprawną odpowiedź jako dane? Co więcej, koszty treningu mają absurdalne rozmiary: w zapisach figuruje, że samolot autonomiczny rozbijał się 11 500 razy, żeby nauczyć się tylko prostej nawigacji. Oczywiście nie ma opcji treningu samochodów poprzez truchcanie ich w prawdziwych ludzi.
Najważniejsze informacje
- Pojazdy autonomiczne nie są programowane z etycznymi równaniami wybierającymi ofiary, lecz z neutralnymi politykami minimalizującymi ryzyko
- Niemiecka Komisja Etyki opublikowała w czerwcu 2017 20 zasad etycznych dla jazdy zautomatyzowanej; zakazano rozróżnień takich jak wiek czy cechy osobiste
- W rzeczywistych danych o wypadkach nie znaleziono zdarzenia typu tramwajowego, którego następstwo nawet ludzkich kierowców byłoby udokumentowane
- ISO 26262 obejmuje bezpieczeństwo w razie awarii, a ISO 21448 (SOTIF) zagrożenia wynikające z ograniczeń projektu
20 Zasad Etycznych Niemiec: Matka zakazu wybierania ofiar
Najbardziej konkretny krok po stronie regulacji przyszedł z Niemiec. Komisja Etyki podległa Ministerstwu Transportu opublikowała w czerwcu 2017 20 zasad etycznych dla jazdy zautomatyzowanej i połączonej. Zasada podstawowa jest jasna: systemy jazdy zautomatyzowanej powinny przede wszystkim służyć bezpieczeństwu wszystkich użytkowników dróg, a ochrona człowieka musi być stawiana ponad wszystko.
Najbardziej interesująca jest jednak ta część: komisja wymaga, aby systemy musiały wykrywać, czy przed nimi stoi ludzkie życie, ale zakazuje im rozwiązywania etycznych równań poprzez rozróżnianie ze względu na wiek, płeć, stan fizyczny czy inne cechy. Czyli obliczenia w stylu "młody czy stary, lekarz czy bezrobotny" nie mogą być pozostawione preferencjom jednej firmy - to domena uniwersalnych zasad. To w istocie najmocniejsze cios zadany debacie o tramwaju na poziomie regulacji: państwo stawia na stole nie pytanie "kogo wybierasz", lecz odpowiedź "nie będziesz nikogo wybierał". stawia odpowiedź.
Niemcy były też pionierem dzięki Ustawie o Jazdzie Autonomicznej, pierwszemu krajowemu ramowi prawnemu dla pojazdów autonomicznych poziomu 4. Po stronie UE przygotowano natomiast raport etyczny zawierający zalecenia dotyczące bezpieczeństwa ruchu drogowego, prywatności, sprawiedliwości, wyjaśnialności i odpowiedzialności dla pojazdów połączonych i zautomatyzowanych. A rok 2026 będzie dynamiczny: USA we wrześniu ogłosiły narodową strategię automatyzacji, w ramach ONZ zmierza się ku globalnemu standardowi, który zakończy fragmentaryczną regulację pojazdów autonomicznych, a Euro NCAP wprowadza surowsze protokoły unikania kolizji obejmujące scenariusze motocyklowe i skrzyżowania. Zasady etyki i bezpieczeństwa są teraz szybko przenoszone na papier.
ISO 26262 czy SOTIF? Wpływ standardów bezpieczeństwa na drzewa decyzyjne
Teraz poczujemy trochę inżynierii, obiecuję, że nie będzie nudno. Klasyką bezpieczeństwa funkcjonalnego w świecie motoryzacji jest ISO 26262: ten standard zajmuje się tym, co się stanie, gdy komponent ulegnie awarii. A co, gdy żaden element nie zawiedł, a system mimo to zachował się niebezpiecznie? Czyli czujniki są sprawne, oprogramowanie nie zawiesiło się - po prostu utknąło na granicy projektu w nieprzewidzianej sytuacji drogowej?
Właśnie tę lukę wypełnia ISO 21448, czyli SOTIF. Ten standard, opublikowany w 2022 roku, ma na celu redukcję zagrożeń wynikających nie z awarii komponentu, lecz z ograniczeń projektu i przewidywalnego niewłaściwego użycia. Jednym z najważniejszych pojęć w nim jest Obszar Projektowania Operacyjnego (ODD): jawne zdefiniowanie, przy jakich warunkach prędkości, pogody, drogi i geograficznych system będzie działał. Scenariusze są testowane symulacjami, a zagrożenia wyłapuje się z wyprzedzeniem. W świecie akademickim w 2026 roku proponuje się zintegrowane ramy zapewnienia bezpieczeństwa łączące ISO 26262, SOTIF i UL 4600 pod jednym parasolem. Krótko mówiąc, zamiast pytania "kogo uratować w chwili wypadku" cała branża buduje stos standardów głoszących, że "nie powinniśmy w ogóle dopuścić do tej chwili wypadku".
Podejście Chrisa Gerdesa ze szkoły Stanford patrzy w tym samym kierunku: producenci nie uczą pojazdu, "kogo uważa za cenniejszego", lecz uczą pojazd zachowań bezpiecznych. W ramach umowy społecznej tworzonej przez przepisy ruchu drogowego i interpretacje sądów pojazd zobowiązany jest do staranności wobec wszystkich znajdujących się na drodze. Jeśli ktoś przejedzie na czerwonym świetle i stworzy zagrożenie, zadaniem pojazdu nie jest "rozliczenie" tej osoby, lecz próba zapobieżenia kolizji ze wszystkimi do granic fizycznych możliwości. Według Gerdesa pojazd, który poświęci jedno życie, by uratować pięć, naraża swojego producenta na poważną odpowiedzialność prawną - a ponadto przeprowadzenie w czasie rzeczywistym takiej rachuby chwilowych korzyści jest z praktycznego punktu widzenia już i tak niemożliwe.
Co dzieje się w chwili wypadku? RSS i logika warstwowej ochrony
Skoro nikt nie wybiera ofiary, to co tak naprawdę robi oprogramowanie w ułamek sekundy zapisany śladem opon? Odpowiedź ma dwie części. Pierwsza to RSS, czyli podejście Safety Responsibile - bezpieczeństwa wrażliwego na odpowiedzialność: definiuje się marże odległości, przy których kolizja jest matematycznie niemożliwa, o ile wszyscy przestrzegają tych reguł. To rodzaj uprzejmej i nieustannej jazdy defensywnej - zostawianie pasa bezpieczeństwa dla wszystkich.
Druga to próba niedopuszczania od samego początku do scenariusza nieuniknionej kolizji. Jak podsumowuje jednostka rozwiązań autonomicznych Volvo: celem projektowym jest, aby ta chwila nigdy nie nastąpiła; w danych o wypadkach ze świata rzeczywistego nie udowodniono zdarzenia typu tramwajowego, któremu ulegliby nawet ludzcy kierowcy. Z wyjątkiem skrajnie wadliwych lub źle usposobionych osób trzecich, system we wszystkich warunkach robi wszystko, co w jego mocy, aby zmniejszyć szkodę. Jest też ekonomiczna strona medalu: liczba warstw ochrony to w istocie wybór społeczny. System ochrony o nieskończonej liczbie warstw nie może istnieć z powodu kosztów. Granica "wystarczająco bezpieczne" to linia, którą sami wyznaczamy jako społeczeństwo - nikt nam o tej części nie mówi, ale decyzje podejmowane są codziennie przy stołach.
Pasażer czy pieszy? Wyjątek Mercedesa i dane opinii publicznej
Oczywiście temat nie jest też pozbawiony kontrowersji. Mercedes stał się pierwszą marką oferującą automatyzację poziomu 3 w samochodzie osobowym - system DRIVE PILOT umożliwia jazdę z wolnymi rękami i oczami, ale wyłącznie w ściśle zdefiniowanych warunkach. Kierownictwo firmy wcześniej otwarcie oświadczyło, że w sytuacjach, których nie da się zapobiec, priorytetem będzie bezpieczeństwo pasażera; to oświadczenie jest najczęściej przywoływanym wyjątkiem zarówno w literaturze prawniczej, jak i etycznej, a odczytuje się je również jako sprzeczne z duchem zakazu rozróżniania Niemieckiej Komisji Etycznej.
Strona opinii publicznej również jest podzielona. Platforma Moral Machine MIT mierzyła, jak ludzie patrzą na moralne decyzje maszyn, zbierając dane przy udziale ponad 2 milionów osób. Badania pokazują, że piesi i kierowcy wykazują różne preferencje pod względem gotowości do poświęcenia lub ochrony samych siebie, a przekonanie opinii publicznej o tym, czy pasażerowie mogą zostać poświęceni, aby uratować pieszych, jest kwestią mierzalną.
Jest jeszcze szerszy obraz: błąd ludzki odgrywa rolę w około 94% śmiertelnych wypadków, a przewiduje się, że dzięki eliminacji tych błędów przez pojazdy autonomiczne liczba ofiar śmiertelnych na drogach może spaść nawet o 90%. Ale tu trzeba mocno nacisnąć hamulec - analizy instytutów ubezpieczeniowych sugerują, że samo usunięcie błędu ludzkiego nie wyeliminuje automatycznie większości wypadków, a pojazdy autonomiczne też mogą mieć trudności z unikaniem tych samych typów błędów. Innymi słowy, między obietnicą a rzeczywistością wciąż istnieje dystans.
Czy Problem Wagonika Jest Zupełnie Bezsensowny? Obrona i Krytyka
Bądźmy uczciwi - istnieją również obrońcy problemu wagonika. Zdaniem etyka Patricka Lina eksperyment sprawdza się jako pompa intuicji: skłania do zastanowienia się, czy liczby mają znaczenie moralne i jaka jest różnica między zabiciem a pozwoleniem na śmierć, oraz uchyla drzwi do pociągania programistów do odpowiedzialności za skutki. Ten argument należy traktować poważnie.
Ale ciężar przesuwa się na stronę przeciwną. Oceny środowisk IEEE wskazują, że paradygmat wagonika jest użyteczny w budowaniu świadomości, ale ramy stawia w niewłaściwym miejscu. Podejście "etyki ryzyka" zaproponowane w literaturze filozoficznej w 2021 roku broni tezy, że prawdziwe wyzwania etyczne autonomicznej jazdy nie tkwią w scenariuszach wagonika; lecz w przejrzystości funkcji wartości i celu, w niepewności probabilistycznej i w nieprzewidywalnych zachowaniach systemu. Z kolei badanie z 2024 roku krytykuje żądanie, by pojazdy bez kierowcy rozwiązywały problem wagonika, jako moralny narzut. W środowiskach inżynierskich dominuje zaś pragmatyczny sprzeciw: przesłanki scenariusza wagonika - nagłe pojawienie się człowieka, jednoczesna awaria hamulców, doskonała percepcja - w praktyce nie występują razem w rzeczywistym ruchu drogowym.
Krótka odpowiedź: Jak Pojazdy Autonomiczne Podejmują Decyzje?
Tak jak obiecałem, prosta i zacytowalna odpowiedź: Pojazdy autonomiczne podejmują decyzje nie za pomocą równań etycznych obliczających, czyje życie jest bardziej wartościowe, lecz za pomocą neutralnych polityk bezpieczeństwa minimalizujących ryzyko stosowane wobec wszystkich w równym stopniu. Standardy i prawa kierują te decyzje nie w stronę wyborów typu wagonik, lecz w stronę sytuacji, w których wypadek w ogóle nie następuje. Prawdziwa debata nie dotyczy dylematów filozoficznych; lecz przejrzystości funkcji wartości, kosztu warstw ochronnych i tego, kto wyznacza granicę "wystarczająco bezpiecznego". oraz kto wyznacza tę granicę.
Moim zdaniem problem wagonika wyświadczy tej branży największą przysługę właśnie wtedy, gdy skończy swoją pracę: nauczył nas zadawać pytania o mechanizmy decyzyjne maszyn. Ale gdy następnym razem ktoś zapyta "jak samochód wybiera, kogo zabić", już znasz odpowiedź - to pytanie jest daleko od tego, co oprogramowanie naprawdę robi. Prawdziwe pytanie, które powinniśmy zadać, brzmi: ile bezpieczeństwa wystarcza i kto podejmuje tę decyzję? Ta debata toczy się na znacznie bardziej realnym gruncie niż tory wagonów.
Źródła
- Designing Ethical Self-Driving Cars | Stanford HAI
- The folly of trolleys: Ethical challenges and autonomous vehicles
- The misguided dilemma of the trolley problem
- The "Trolley Problem" Doesn't Work for Self-Driving Cars
- Ethics Commission Automated and Connected Driving
- Ethical Considerations of the Trolley Problem in Autonomous Driving
- Moral Machine | MIT
- Self Driving Car Engineer Debunks The Trolley Problem