Bör autonoma fordon programmeras att välja vem de döda när de kraschar? Och vem som får tillgång till den kod som bestämmer dessa beslut?
Googles prototyp som själv kör bil på Google campus i Mountain View, Kalifornien.
Foto: Tony Avelar/AP
Onsdag 23 December 2015 12.00 GMT
Senast ändrad onsdagen den 23 December 2015 12.02 GMT
Vagnen Problem är en etisk hjärngymnastiken som har varit underhållande filosofer eftersom det ställdes av Philippa Foot 1967:
Ett skenande tåg kommer slakt fem oskyldiga bundna till sitt spår om du drar i en spak för att växla till ett sidospår som en man, även oskyldiga och omedvetet, är stående. Dra i spaken, kommer du att spara fem, men att döda ett: vad är det etiska agerande?
Problemet har kört många varianter över tiden, inklusive de som du har att välja mellan en vagn dödade fem oskyldiga eller personligen att knuffa en man som är fet nog för att stoppa tåget (men inte för att överleva effekterna) i dess väg; en variant där fet man är skurk som är lika oskyldiga till banan i första hand, och så vidare.
Nu är det konstaterat ett nytt liv i debatten om autonoma fordon. Den nya varianten går så här: din själv kör bil inser att det antingen kan vidarekoppla sig på ett sätt som kommer att döda dig och rädda, säger en busload av barn, eller det kan plöja på och rädda dig, men barnen dör alla. Vad ska det vara programmerad att göra?
Jag kan inte räkna antalet gånger jag har hört den här frågan ställdes i chin-smeka, framsynt futurism, och det är inte att aldrig rasande mig. Illa nog att denna formulering är ett grunt problem utge sig för att vara djup, men än värre är det sätt på vilket denna formulering döljer ett djupare, mer betydande.
Här är ett annat sätt att tänka på detta problem: om du ville designa en bil som avsiktligt mördade sin förare under vissa omständigheter, hur skulle du se till att föraren aldrig ändrat sin planering så att de kunde vara förvissade om att deras egendom skulle aldrig avsiktligt mord dem?
Det är ett självklart svar, som är den iPhone-modell. Design bilen så att den accepterar endast programvara som är undertecknat av Ministeriet för Transport (eller tillverkaren), och göra det till ett brott att lära människor hur de ska åsidosätta lås. Detta är den nuvarande lagstadgade landskap för iphone, spelkonsoler och många andra enheter som är larded med digitala lås, ofta känd under handelsnamnet “DRM”. Lagar som den AMERIKANSKA Digital Millennium Copyright Act (1998) och direktiv som EUCD (2001) förbjuda att ta bort digitala lås att begränsa tillgången till
upphovsrättsskyddade verk, och även straffa människor som lämnar ut någon information som kan hjälpa att ta bort lås, såsom sårbarheter i enheten.
Det är ett starkt argument för detta. Programmering i autonoma fordon kommer att vara ansvarig för en hög hastighet, rörliga föremål som finns på de allmänna vägarna, mitt mjuka och sköra människor. Meka med din bil hjärnor? Varför inte göra amatör hjärnkirurgi på dig själv först?
Men detta självklara svaret har ett uppenbart problem: det fungerar inte. Varje låst enhet kan vara lätt jailbreakad, för gott, väl förstådd av tekniska skäl. Den primära effekten av digitala lås regler är inte att hålla folk från att konfigurera sina enheter – det är bara att se till att de har att göra det utan hjälp av ett företag eller en produkt. Minns åren innan den BRITTISKA regleringsmyndigheten Ofcom förtydligas lagligheten av att låsa upp mobiltelefoner under 2002, det var inte svårt att låsa upp telefonen. Du kan ladda ner program från nätet för att göra det, eller be någon som drev en illegal jailbreaking verksamhet. Men nu när det är klart rättsliga, du kan ha din telefon upplåst på pressbyrå eller även kemtvätt.
Om självstyrande bilar kan bara vara säker om vi är säkra på att ingen kan ändra dem utan tillverkarens godkännande, kommer de aldrig att vara säkra.
Men även om vi kunde låsa bilar konfigurationer, vi borde inte. Ett digitalt lås skapar en zon i en dator programmerare som även dess ägare inte kan komma in. För att det ska fungera, låset är associerade filer måste vara osynlig till ägaren. När de frågar operativsystemet för en lista över filer i lås katalog, det måste ligga och utelämna dessa filer (eftersom annars användaren kan ta bort eller ersätta dem). När de frågar operativsystemet till en lista över alla program som körs, lock programmet har utelämnas (eftersom annars användaren kan säga upp det).
Alla datorer har brister. Även program som har använts i flera år, vars källkod har setts av tusentals programmerare, kommer att få små buggar som lurar i det. Säkerhet är en process, inte en produkt. Specifikt, det är en process för att identifiera fel och korrigera dem innan din motståndare identifierar dem och utnyttjar dem. Eftersom du inte kan vara säker på att detta kommer att hända, det är också den process för att upptäcka när din motståndare har hittat en sårbarhet innan du och utnyttjade det, böka motståndaren ur ditt system och reparera de skador som de gjorde.
När Sony-BMG hemlighet smittat hundratusentals datorer med ett digitalt lås utformad för att förhindra för CD-rippning, att det är tvungen att dölja sitt lås från anti-virus program, som på ett korrekt sätt identifierat det som ett program som har installerats utan ägarens vetskap och som sprang mot ägarens önskemål. Man gjorde detta genom att ändra dess offer’ operativsystem för att göra dem blinda för varje fil som började med en speciell, hemlig sträng av bokstäver: “$sys$.” Så snart det upptäcktes, andra malware författare tog nytta av det: när deras program landade på datorer som Sony hade äventyras, programmet kan gömma sig under Sony ‘ s kappa, avskärmad från anti-virus program.
En bil är en hög hastighet, tungt föremål med kraften att döda sina användare och människor runt omkring det. En kompromiss i den programvara som gjort det möjligt för en angripare att ta över bromsarna, accelerator och styrning (såsom förra sommarens attack mot Chrysler, Jeep, vilket utlöste en 1,4 m fordon minns) är ett mardrömsscenario. Det enda som är värre skulle vara en sådan attack mot en bil som är konstruerad för att ingen användare-override – utformad, i själva verket, att behandla alla försök från fordonets att omdirigera sin programmering som en själviska försök att undvika att Vagnen Problemet är kallt ekvationer.
Oavsett vilka problem vi kommer att ha med självstyrande bilar, de kommer att försämras genom att utforma dem att behandla sina passagerare som motståndare.
Det har djupgående konsekvenser bortom den hypotetiska enfald i Vagnen Problem. Världen av utrustning är redan omfattas av ett lapptäcke av “laglig avlyssning” regler som ålägger dem att ha någon form av back dörren för att tillåta polisen att övervaka dem. Dessa har varit källan till allvarliga problem i datasäkerhet, som 2011 attack av den Kinesiska regeringen på Gmail-konton misstänkta oppositionella aktivister avrättades genom att utnyttja laglig avlyssning, så var NSA: s avlyssning av den grekiska regeringen under 2004 års Olympiska budprocessen.
Trots dessa problem, brottsbekämpning vill ha mer tillbaka dörrar. Den nya crypto wars, som kämpade i STORBRITANNIEN genom Theresa May “Snooper: s Stadga”, skulle tvinga företagen att försvaga säkerheten i sina produkter för att göra det möjligt att surveil sina användare.
Det är troligt att vi kommer att få samtal för en laglig avlyssning kapacitet i självstyrande bilar: en befogenhet för polisen att skicka en signal till din bil för att tvinga det att stanna. Detta kommer att få alla problem i Vagnen Problem och mer: en inbyggd förmåga att köra bil på ett sådant sätt att dess passagerare objekt är en gåva till någon bedragare, mördare eller våldtäktsman som framgångsrikt kan uppträda som en brottsbekämpande myndighet till bilen – för att inte nämna användningen av en sådan anläggning att polisen regeringar vi betraktar som olagliga, säger Bashar al-Assad ‘ s hemliga polisen, eller den självutnämnda poliser i Isis-kontrollerade områden.
Det är den besvärliga Vagn Problem, och det blir thornier: den stora attraktionen av autonoma fordon för stadsplanerare är möjligheten att de kommer att minska antalet bilar på vägen, genom att ändra normen från privata ägandet till en typ av förarlösa Uber. Uber kan även ses som en torr och-kör för autonoma, ständigt cirklande, punkt-till-punkt flotta bilar där människan står i för robotar att komma – bara som globaliseringen och konkurrensen banade väg för utländska exploaterande arbetsmarknad arrangemang som i sin tur ledde till en ökad automatisering och eliminering av arbetare från många industriella processer.
Om Uber är ett moraliskt tvetydiga förslag nu att det är i verksamhet i form av att utnyttja sin arbetskraft, att oklarhet inte kommer att försvinna när arbetarna går. Din relation till bilen du rida i, men inte äger, gör alla de problem som nämns ännu hårdare. Du har inte rätt att ändra (eller till och följa, eller intyga) programvaran i en Autonom-uber. Det kommer att vara utformade för att låta tredje part (flottan ägare) åsidosätter den. Det kan ha en åsidosättning av användaren (Röret tåg har passageraren-som drivs nödbromsar), möjligen på uppdrag av försäkringsbolaget, men du kan lika lätt att se hur en försäkringsgivare som skulle förbjuda en sådan sak helt och hållet.
Glöm vagnar: öde självstyrande bilar kommer att slå på arbetskraft relationer, övervakning kapacitet, och fördelningen av inkomst rikedom.