Bør autonome kjøretøy være programmert til å velge hvem de dreper når de krasjer? Og hvem som får tilgang til koden som avgjør disse beslutningene?
Googles prototype selvkjørende bil på Google campus i Mountain View, California.
Foto: Tony Avelar/AP
Onsdag 23. desember 2015 12.00 GMT
Sist endret onsdag 23. desember 2015 12.02 GMT
Vogn Problemet er en etisk brainteaser som er blitt underholdende filosofer siden det ble stilt av Philippa Foot i 1967:
Et løpsk tog vil slakting fem uskyldige knyttet til sitt spor med mindre du trekke en spak for å bytte den til et sidespor på som en mann, også uskyldig, og uforvarende, er stående. Dra i spaken, sparer du fem, men drepe den ene: hva er de etiske løpet av handlingen?
Problemet har gjennomført mange varianter over tid, inkludert de hvor du har å velge mellom en vogn å drepe fem uskyldige eller personlig dytte en mann som er fett nok til å stoppe toget (men ikke til å overleve sammenstøtet) til sin vei; en variant som feit mann er skurken som bandt innocents til sporet i første omgang, og så videre.
Nå er det funnet et friskt liv i debatten om autonome kjøretøy. Den nye varianten går som dette: selv-kjører bil innser at det kan enten viderekoble seg selv på en måte som vil drepe deg og spare, sier en busload av barn, eller det kan pløye på og redde deg, men ungene alle dø. Hva skal det være programmert til å gjøre?
Jeg kan ikke telle antall ganger jeg har hørt dette spørsmålet som chin-stryke, langt ser futurisme, og det aldri unnlater å infuriate meg. Ille nok at denne formuleringen er et lite problem maskert som dyp, men enda verre er måten denne formuleringen masker en dypere, mer betydelig.
Her er en annen måte å tenke om dette problemet: hvis du ønsket å designe en bil som med hensikt drept sin sjåfør under visse omstendigheter, hvordan vil du sørge for at sjåføren aldri endret sin programmering, slik at de kunne være trygge på at deres eiendom ville aldri forsettlig drap på dem?
Det er et klart svar, som er det iPhone-modell. Design bilen slik at den godtar bare programvare som er blitt signert av Departementet for Transport (eller produsenten), og gjøre det til en forbrytelse å lære folk hvordan å overstyre lås. Dette er den gjeldende lovfestede landskap for iphone, spillkonsoller og andre enheter som er larded med digitale låser, ofte kjent av handel-navn “DRM”. Lover som den AMERIKANSKE Digital Millennium Copyright Act (1998) og direktiver som EUCD (2001) forbyr å fjerne digitale låser som begrenser tilgang til
opphavsrettslig beskyttet verk, og også straffe folk som avsløre noen opplysninger som kan hjelpe i å fjerne den låser, for eksempel sårbarheter i enheten.
Det er et sterkt argument for dette. Programmering i autonome kjøretøy vil være ansvarlig for en high-speed, flytte objektet som bor offentlige veier, blant myke og skjøre mennesker. Tinker med bilens hjerne? Hvorfor ikke utføre amatør hjernen kirurgi på deg selv først?
Men denne åpenbare svaret er et åpenbart problem: det fungerer ikke. Hver låst enhet kan være lett jailbroken, for godt, godt forstått av tekniske grunner. Den primære effekten av digitale låser regler er ikke til å holde folk fra å rekonfigurere sin enheter – det er bare å sørge for at de har til å gjøre dette uten hjelp av en bedrift eller et produkt. Husker år før NORGE telekom-regulator Ofcom avklart lovligheten av å låse opp mobiltelefoner i 2002; det var ikke vanskelig å låse opp telefonen. Du kan laste ned programvare fra nettet for å gjøre det, eller spørre noen som drives en ulovlig jailbreaking virksomhet. Men nå som det er klart legal, kan du ha telefonen ulåst i antikvitetsbutikk eller selv dry cleaner er.
Hvis selvkjørende biler kan bare være sikker hvis vi er sikker på at ingen kan konfigurere dem uten produsenten godkjenning, så vil de aldri være trygg.
Men selv om vi kunne låse biler’ konfigurasjoner, bør vi ikke. En digital lås skaper en sone i en datamaskin programmerer som selv eier kan ikke gå inn. For at det skal fungere, låsen er forbundet filer må være usynlig for eieren. Når de spør operativsystemet for en liste av filer i lock ‘ s katalog, må det ligge og utelate disse filene (fordi ellers brukeren kan slette eller erstatte dem). Når de ber om operativsystemet til en liste over alle programmer som kjører, låse programmet har til å være utelatt (fordi ellers vil brukeren kunne si det).
Alle datamaskiner som har feil. Selv programvare som har blitt brukt i mange år, hvis kildekoden har blitt sett av tusenvis av programmerere, vil ha subtile feil på lur i det. Sikkerhet er en prosess, ikke et produkt. Spesielt, det er prosessen med å identifisere feil og sy dem før motstanderen identifiserer dem og utnytter dem. Siden du ikke kan være trygg på at dette vil skje, er det også prosessen med å oppdage når din motstander har funnet et sikkerhetsproblem før du og utnyttet det, rooting motstanderen ut av systemet og reparere de skader som de gjorde.
Når Sony BMG skjulte infisert hundretusener av datamaskiner med en digital lås utformet for å hindre at CD-ripping, det måtte skjule sin lås fra anti-virus programvare, som riktig identifisert det som et program som hadde blitt installert uten at eieren vet om og som gikk mot eierens ønsker. Det gjorde dette ved å endre sine ofre’ operativsystemer for å gjøre dem blinde for hvilken som helst fil som startet med en spesiell, hemmelige strengen av bokstaver: “$sys$.” Så snart dette ble oppdaget, andre malware forfattere tok nytte av det: når sine programmer landet på datamaskiner som Sony hadde kompromittert, programmet kan gjemme seg under Sonys kappe, skjermet fra anti-virus programmer.
En bil er en høy hastighet, tung gjenstand, med makt til å drepe sine brukere og menneskene rundt den. Et kompromiss i den programvare som gjorde det mulig for en angriper å ta over bremsene, gasspedalen og kontroll (slik som i fjor sommer ‘ s utnytte mot Chrysler er Jeeper, som utløste en 1.4 m kjøretøy recall) er et mareritt-scenario. Det eneste som er verre ville være slik en kunne utnytte mot en bil som er designet til å ha ingen bruker-overstyre – laget, faktisk, til å behandle ethvert forsøk fra kjøretøyets bruker for å omdirigere sine programmering som et egoistisk forsøk på å unngå Vogn Problemet er kaldt ligninger.
Uansett hvilke problemer vi har med selvkjørende biler, de vil bli forverret ved å designe dem til å behandle deres passasjerer som motstandere.
Det har vidtrekkende konsekvenser utover den hypotetiske dumhet av Vogn Problem. Verden av nettverk utstyr er allerede underlagt et lappeteppe av “lawful interception” regler som krever dem til å ha noen form av bakdøren for å tillate politiet å overvåke dem. Disse har vært kilde til grav problemer i datasikkerhet, for eksempel 2011 angrep av den Kinesiske regjeringen på Gmail-kontoer av mistanke om dissident aktivister ble utført ved å utnytte lawful interception, så var nsas telefonavlytting av den greske regjeringen i løpet av 2004 Ol anbudsprosessen.
Til tross for disse problemene, politi ønsker mer tilbake dører. Den nye crypto kriger, blir utkjempet i NORGE gjennom Theresa May er “Snooper’ s Charter”, vil tvinge selskapene til å svekke sikkerheten av sine produkter for å gjøre det mulig å surveil sine brukere.
Det er sannsynlig at vi vil få samtaler for en lovlig avskjæring evne i selvkjørende biler: makt for politiet å sende et signal til bilen for å tvinge den til å trekke over. Dette vil ha alle problemene i Vogn Problemet og enda mer: en innebygd evne til å kjøre bil på en måte som sine passasjerer objektet er en gave til alle kjeltring, morder eller rapist som kan lykkes med å utgi deg for å være en rettshåndhevelse offiser til bilen – for ikke å nevne bruk av en slik innretning av politiet på regjeringer som vi ser på som illegitim – si, Bashar al-Assad hemmelige politi, eller den selvutnevnte politiet i Isis-kontrollerte områder.
Det er det vanskelige Vogn Problem, og det blir thornier: den store attraksjonen av autonome kjøretøy for byens planleggere er mulighet for at de vil redusere antall biler på veien, ved å endre normen fra privat eierskap til en slags driverfri Uber. Uber kan også sees som en dry-run for selvstendige, stadig kretset rundt, punkt-til-punkt-flåte biler i som mennesker står i for roboter til å komme, akkurat som globalism og konkurranse banet vei for utnyttende utenlands arbeidskraft ordninger som i sin tur førte til større automatisering og eliminering av arbeidstakere fra mange industrielle prosesser.
Hvis Uber er en moralsk tvetydig forslag nå som det er i virksomheten for å utnytte sin arbeidskraft, som tvetydighet vil ikke forsvinne når arbeiderne gå. Ditt forhold til den bilen du kjører i, men ikke eier, gjør alle de problemer som er nevnt enda vanskeligere. Du vil ikke ha rett til å endre (eller til og med følge, eller sertifisere) programvaren i en Autonom-uber. Det vil bli utformet for å la tredjeparter (flåten eier) overstyre det. Det kan ha en bruker kan overstyre (T tog har passasjer-opererte nødbremsen), muligens mandat av assurandøren, men du kan like gjerne se hvordan et forsikringsselskap ville forby slike ting helt.
Glem traller: skjebnen til selvkjørende biler vil slå på arbeidskraft relasjoner, overvåking evner, og fordelingen av kapital rikdom.