Wellicht ben je bekend met het trolleyprobleem, een dilemma dat bedacht is door Philippa Foot in 1967. Al decennialang is dit gedachte-experiment een schoolvoorbeeld van ethiek. De exacte formulering van het experiment varieert, al komen ze allemaal op hetzelfde neer: persoon X kan iets doen waarmee hij veel mensen kan helpen, maar dit leidt er wel toe dat persoon Y onterecht benadeeld wordt.
Wanneer zou het voor persoon X moreel juist zijn om ervoor te kiezen om persoon Y te benadelen en daarmee de ‘greater good’ te dienen? Deze vraag staat centraal voor Foot:
“Stel dat een rechter geconfronteerd wordt met een menigte die eist dat er een schuldige wordt aangewezen voor een bepaalde misdaad en dreigt dat ze anders op een bloedige wijze wraak zal nemen op een bepaalde groep in de samenleving. Omdat de echte dader niet bekend is, kan de rechter dus enkel dit bloedvergieten voorkomen door een onschuldig persoon erin te luizen en hem te executeren. Naast dit voorbeeld is er ook een ander waarin een piloot, wiens vliegtuig op punt staat neer te storten, zich moet verplaatsen van een dichtbevolkt gebied naar een dunbevolkt gebied.
Om een parallel te maken die er heel dicht bij aansluit kan men indenken dat hij de chauffeur van een op hol geslagen tram is, die hij enkel kan afbuigen naar een nabij gelegen spoor; vijf mensen werken op het ene spoor en een man op het ander; elk persoon waarmee de tram in contact komt, is onherroepelijk dood. In het geval van de rellen heeft de menigte vijf gegijzelden, zodat ook hier de uitwisseling bestaat tussen het leven van een mens tegenover dat van vijf.”
De juiste keuze lijkt in dit geval het opofferen van het ene leven, zodat de grotere groep gered wordt. Echter maakt de actieve rol die persoon X inneemt in het maken van deze keuze het dilemma zo zwaar – zo zwaar, dat sommige mensen weigeren een keuze te maken. Zo wordt men immers persoonlijk verantwoordelijk voor de dood van die ene persoon, terwijl het bij ‘geen actie’ anders ‘niemands fout’ zou zijn geweest.
Al zijn er ook mensen die beargumenteren dat de waarde van het ene leven niet met het andere vergeleken kan worden (ze zijn ‘onverzoenbaar’) en ingrijpen daarom immoreel is. Dit staat lijnrecht tegenover andere meningen, die ervan uitgaan dat enkel de aanwezigheid in zo’n situatie een persoon de morele plicht geeft om in te grijpen, en dat geen actie ondernemen juist immoreel is.
Varianten op dit originele dilemma voegen extra elementen toe die de keuze gecompliceerder maken. Zo is er een variant waarbij de op hol geslagen tram gestopt kan worden door een dikke man die naast je op het perron staat ervoor te duwen; ook is er een variant zonder tram, in een kwestie die menig professional nog meer hersenbrekers bezorgd:
“Een briljante transplantatiechirurg heeft vijf patiënten en elk heeft een ander orgaan nodig en zal sterven als hij het niet krijgt. Helaas zijn er geen organen beschikbaar om deze vijf transplantaties te verrichten. Een gezonde jonge wandelaar die toevallig in de stad van de arts verblijft, komt langs voor een routine-onderzoek. Tijdens dit onderzoek ontdekt de arts dat zijn organen compatibel zijn met al zijn vijf stervende patiënten. Stel verder dat als de jonge man verdwijnt, niemand het zou ontdekken. Moet de arts de ene persoon doden om vijf anderen te redden?”
Deze keuzes zijn voor ons, als mens, moeilijk te maken. Soms lijkt het ‘juiste’ antwoord voor de hand te liggen – het redden van 5 levens als er 1 leven opgeofferd moet worden – maar twijfelen we door de omstandigheden of we echt de juiste keuze maken.
Nu komen we steeds dichter bij het punt dat we een object met kunstmatige intelligentie – computers of auto’s – een dergelijke keuze moeten laten maken. Denk hierbij aan een zelfrijdende auto, die bij onverwachte gebeurtenissen in een fractie van een seconde zal moeten kiezen. Rijd je de plotseling overstekende voetganger aan of ontwijk je hem maar raak je daarbij een tegemoetkomende auto met 3 inzittenden?
Voor een computer spelen gevoelens geen rol. Hoe kunnen wij het dan leren wat de juiste keuze binnen ieder ethisch dilemma is? Hoe geven we duidelijke criteria op basis waarvan de auto een besluit kan maken?
Stel je voor, je rijdt in een zelfrijdende auto. Je gaat de hoek om en ziet dat een botsing met 10 mensen op straat onvermijdelijk is – tenzij je snel uitwijkt, maar daarbij raak je in alle gevallen een betonnen muur. Als je de muur raakt, red je de 10 mensen, al zal je de impact zelf niet overleven.
Dit nieuwe ethische dilemma, gemodelleerd op het bovengenoemde trolleyprobleem, is het onderwerp van een nieuw onderzoek van de Toulouse School of Economics. Dergelijke ongelukken zijn, volgens de auteur, onvermijdelijk met de opkomst van zelfrijdende auto’s. De manier waarop deze auto’s nu geprogrammeerd worden, kan dus een enorm verschil maken in onze toekomst.
Respondenten kregen in dit onderzoek een simulatie voorgelegd, waarbij er steeds variaties waren in onder meer het aantal slachtoffers, hun leeftijd, geslacht, beroep (dokter tegenover dakloze), mens of dier, gezondheid (overgewicht of atletisch), de verkeersomstandigheden (zijn er rode stoplichten of verkeersovertredingen in het spel?), en de rol van de beoordelaar: zit deze zelf in de auto of niet?
De uitkomsten waren niet heel verrassend. Zo waren mensen over het algemeen bereid om de inzittende(n) op te offeren, maar alleen als zij niet zelf in de auto zaten. Ook keurden de meeste mensen het goed dat de auto uitwijkt als het nodig is, desnoods naar de andere rijbaan.
Dit wijst erop dat de meerderheid het begrijpt als een auto geprogrammeerd wordt om het aantal slachtoffers te beperken, zelfs als dat betekent dat de inzittenden van de auto om het leven komen: op een schaal van -50 (bescherm de inzittenden) tot +50 (beperk het aantal slachtoffers), was de gemiddelde score +24.
Een auto kan simpel aangeleerd worden om volgens het ‘greater good’ principe te handelen. Maar is dat wat wenselijk is? Moeten er andere factoren, zoals leeftijd, geslacht, en ‘waarde van het leven’ meegewogen worden in een minder zwart-witte beoordeling – waarbij een auto meer ‘geweten’ krijgt?
Nog zo’n dilemma. Moet dit protocol vaststaan voor alle auto’s, ongeacht de fabrikant? Of mag iedere auto-producent zelf kiezen? Zijn dit instellingen die ‘vaststaan’, of kan de individuele bestuurder het ‘overriden’ en zelf andere keuzes instellen?
Met de opkomst van autonome voertuigen worden dergelijke vragen prangender dan ooit. Er moeten keuzes gemaakt worden die niet alleen bepalend gaan zijn in het geval van ongelukken, maar ook voor de toekomst van dergelijke voertuigen.
De vraag is namelijk wat het met mensen doet als zij weten dat hun zelfrijdende auto bepaalt wie er overlijdt in het geval van een ongeluk. Zelfrijdende auto’s zijn weliswaar vele malen veiliger dan menselijke bestuurders, maar de wetenschap dat deze auto’s geprogrammeerd zijn om soms hun bestuurders op te offeren voor de ‘greater good’ kan men weerhouden van de aankoop.
Het ligt in de menselijke aard om er toch voor te kiezen om zelf de auto te blijven besturen, ook als dit potentieel een stuk gevaarlijker is. Deze kennis maakt het extra interessant om in de komende jaren te blijven bekijken welke keuzes gemaakt worden.
Ps: Wil je zelf ervaren hoe het is om dergelijke keuzes te maken? Dat kan hier in de Moral Machine.
