Kunstig Intelligens

Den Dødelige Hensynsløshed af den selvkørende Bil-Industrien

Foto: Tempe Police Department Brian MerchantThursday 12:52pmFiled til: AutomatonFiled til: Automat

Automat
autonome køretøjer

2843

Autonome køretøjer var meningen at gøre kørslen mere sikker, og de kan alligevel—nogle af de mere optimistiske forskning viser, selvkørende biler kan redde tusinder af menneskeliv om året i USA alene. Men så langt, en hensynsløshed har defineret kultur af de største virksomheder, der forfølger den teknologi—Uber, Google, og endog Tesla—og har ført direkte til unødvendige nedbrud, skade, selv døden.

Lad os være klar over det, fordi det forekommer mig, at disse virksomheder har fået lidt af en pass for at foretage en vanskelig, potentielt ‘revolutionerende’ teknologi, og fordi skylden kan vises tåget i bil går ned, eller i disse tilfælde kan være rettet mod de mennesker, der skulle se på vejen. Disse virksomheders handlinger (eller nogle gange, mangel på handling) har ført til tab af liv og lemmer. I den proces, de har formørket udsigterne for området generelt, undergrave borgernes tillid til selvkørende biler, og at forsinke udrulningen af, hvad mange håber vil være en life-saving teknologi.

Litani af fejl af de mest synlige virksomheder forfølger selvkørende teknologier, der understreger, at sikkerheden for autonome systemer er kun så god som de mennesker og organisationer med at bygge dem.

Ifølge en e-mail for nylig fået af Oplysninger, Uber er selvkørende bil division kan ikke kun være hensynsløs, men egentlige købs-eller uagtsom. Selskabets direktion efter sigende ignoreret detaljeret opkald fra sin egen sikkerhed team og fortsat usikker praksis, og en fodgænger, der døde. Før det var der et væld af ulykker og nærved-ulykke havde gået upåagtet hen.
Mindst én større executive i Googles autonome bil division efter sigende er fritaget sig selv fra test program-protokollen, der er direkte forårsaget en alvorlig ulykke, skadet sin passager, og aldrig informeret politiet om, at det var forårsaget af en selvkørende bil. Waymo, der nu er et datterselskab af Google, har været involveret, af min optælling, i 21 rapporterede nedbrud i år, i henhold til Californien DMV optegnelser, om det var skyld i.
På to separate lejligheder, Autopilot, Tesla ‘ s semi-autonome kørsel systemet, var ansat, da de drivere lidt fatalt biluheld. I oktober, en Florida Tesla ejer sagsøgt selskabet, efter at hans bil var i en alvorlig ulykke, mens du er på Autopilot, hævder selskabet “har vildledt forbrugerne … til at tro, at autopilot system, det giver med Tesla køretøjer på ekstra omkostninger kan transportere passagerer på vej hastigheder med minimale input og tilsyn fra disse passagerer.” (Tesla, selvfølgelig, tilbageviser denne karakterisering.) Disse sager er muddier fordi Tesla udtrykkeligt advarer om, ikke at lade systemet køre bilen helt og garantier installeret for at afværge denne type af dårlig driver adfærd. Men Tesla fortsætter med at annoncere, at det har “Fuld selvkørende Hardware på Alle Biler” på sin hjemmeside og sine egne ingeniører fortalte tilsynsmyndighederne, at de ventede nogle drivere ville stole fuldt ud på systemet. Endnu offentligt, Tesla fortsætter med at benægte, at deres system kan give sig udslag i drivere nogen farlige afhængighed af sin semi-autonome system.

Ikke underligt, offentlige det offentlige er på vagt over for selvkørende biler.

“I det øjeblik, test i USA er temmelig letsindigt,” siger Dr. Jack Stilgoe, lektor i videnskab og teknologi institut ved University College London, og principal investigator i den kommende Førerløse Futures projekt. “Det overlades til virksomhederne at beslutte, hvilke risici der er acceptable.” Ofte, disse virksomheder har tydeligvis besluttet, at de meget høje risici, der er acceptable.

Den nyeste og mest iøjnefaldende eksempel på, hvordan hensynsløs selskaber i autonomt køretøj, kan der være plads indebærer, at den nu berygtede dødsulykke i Tempe, Arizona, hvor en af Uber biler ramte og dræbte en 49-årig fodgænger. De Oplysninger, der indhentes en e-mail efter sigende sendt af Robbie Miller, en tidligere leder i test-aktiviteter koncernen, at syv Uber-ledere, herunder lederen af virksomhedens selvstyrende køretøjsenhed, advarsel om, at den software, drift af taxier er defekt, og at backup-chauffører der ikke var tilstrækkeligt uddannet.

“Bilerne er rutinemæssigt i ulykker, der medfører skader,” Miller skrev. “Dette er normalt et resultat af dårlig opførsel af operatøren eller AV-teknologi. En bil blev beskadiget næsten hver anden dag i februar. Vi bør ikke være at ramme ting hver 15.000 km. Gentagne overtrædelser, for dårlig kørsel sjældent resulterer i opsigelse. Flere af de chauffører, der tilsyneladende ikke har været ordentligt undersøgt eller uddannet.”

Der er nødder. Hundredvis af selvkørende biler var på vej på det tidspunkt, i San Francisco, Pittsburgh, Santa Fe, og andre steder. AV-teknologi var beviseligt forkert, backup chauffører var ikke opholder sig advare, og på trods af gentagne hændelser—nogle klart farligt—intet blev rettet. Fem dage efter den dato, Miller ‘ s e-mail, en Volvo hjælp Uber er selvkørende software slog Linda Herzberg, mens hun var langsomt ved at krydse gaden med sin cykel og dræbte hende. Føreren var tilsyneladende streaming Stemme på Hulu på tidspunktet for ulykken.

Denne tragedie var ikke en freak fejl i nogle banebrydende teknologi-det er helt forudsigeligt biprodukt af virksomhedernes embedsmisbrug.

Hvis Uber er den værste skuespiller i dette tilfælde, det er ikke kun dårligt—og det var der bygger på en kultur, der er etableret år før, hvor en skal være den første til teknologi end bekymringer om sikkerheden.

Anthony Levandowski, den tidligere leder af Googles selvkørende bil projekt, var utroligt fræk, skødesløse, og egregiously hensynsløs. Det er nok fair at sige, at vi ikke engang ved, hvor mange går ned, den selvkørende biler han overså, var involveret i. Her er et centralt eksempel, som rapporteret af Charles Duhigg i the New Yorker:

“En dag i 2011, en Google-executive ved navn Isaac Taylor lært, at mens han var på barselsorlov, Levandowski havde ændret biler” software, så han kunne tage dem på ellers forbudte ruter. En Google-executive minder om vidne Taylor og Levandowski at råbe ad hinanden. Levandowski fortalte Taylor, at den eneste måde at vise ham, hvorfor hans tilgang var nødvendig, var at tage en tur sammen. De mænd, som begge stadig er rasende, sprang ind i en, der selv kører Prius og ledes ud.

“Bilen gik ind på en motorvej, hvor den kørte forbi en on-rampe. Ifølge folk med kendskab til begivenhederne den dag, Prius ved et uheld boxed i et andet køretøj, en Camry. En menneskelig chauffør let kunne have håndteret situationen ved at sætte farten ned og lade Camry flette ind i trafikken, men Google ‘ s software var ikke forberedt til dette scenarie. De biler, der fortsat hurtigere ned af motorvejen side om side. Camry ‘ s driver rykkede sin bil på den højre skulder. Så, tilsyneladende forsøger at undgå en håndbøjle, han drejede til venstre, Camry pinwheeled på tværs af motorvejen og ind i midten. Levandowski, som fungerede som sikkerhed driver, svingede svært at undgå at kollidere med den Camry, der forårsager Taylor til hans skade i ryggen, så hårdt, at han til sidst krævede flere operationer.

“Prius genvandt kontrollen og drejede om et hjørne på motorvejen, forlader Camry bag. Levandowski og Taylor vidste ikke, hvor slemt beskadiget Camry var. De havde ikke gå tilbage for at se på den anden driver eller for at se, om nogen andre havde været såret. Hverken de eller andre Google-kontaktpersoner lavet undersøgelser med myndighederne. Politiet var ikke informeret om, at en selvkørende algoritme, der havde bidraget til ulykken.”

Levandowski forkærlighed for at sætte AV-test, før sikkerheden—der er nu ganske godt dokumenteret—og det faktum, at politiet ikke blev informeret er de vigtigste dele her. Google har i lang tid syntes at være ærlig om sin autonomt køretøj program; så meget, at Kablet rapporterede, at en Google-bil, der er forårsaget sin “uheld” i 2016, fem år efter Levandowski hændelse.

Dette, kombineret med den Uber åbenbaringer, bør få os til at tænke dybere over, hvilket niveau af tillid og åbenhed, som vi bør efterspørgsel fra virksomheder, der gør autonomt køretøj test på vores fælles veje.

I December 2016, men Google opdele sin autonome bil opdeling i Waymo, hvor der ikke på samme måde alvorlig ulykke begivenheder har været rapporteret. “Anthony Levandowki lader hånt om sikkerheden ikke afspejler de formål og værdier, vi har i Waymo, hvor hundredvis af ingeniører på vores team arbejder hver dag for at bringe denne teknologi sikkert til vores road”, en talsmand fortalte mig i en e-mail. “Vores virksomhed blev grundlagt for at forbedre trafiksikkerheden, og så holder vi os til en høj sikkerhedsstandard.” Ifølge Californiens autonomt køretøj, nedbrud log, Waymo har været involveret i de 21 mindre uheld i år, og var kun skyld i en. Det er en temmelig god track record, under forudsætning af alle ulykker var korrekt gengivet, og Waymo ‘ s vægt på sikkerheden ser ud til at vise vejen frem for branchen, hvis det håber at genvinde offentlighedens tillid.

For sin del, Uber tog sin autonome køretøjer fra vejene og siger, at det har revideret sin selvkørende bil test procedurer. Men da jeg spurgte en Uber talsmand, hvordan det har ændret virksomhedernes politikker, siden ulykken, hun sendte mig nøjagtig de samme standard svar, som blev sendt til de Oplysninger (og min kollega Jennings Brun): “Lige nu er hele holdet er fokuseret på tryg og forsvarlig vis at vende tilbage til vejen i self-driving mode. Vi har tillid til det arbejde, som teamet gør for at få os til det. Vores team fortsat forpligtet til at gennemføre vigtige forbedringer af sikkerheden, og vi har til hensigt at genoptage on-the-road self-driving test kun, når disse forbedringer er blevet gennemført, og vi har fået tilladelse fra Pennsylvania Department of Transportation.”

Uber nægtet at besvare spørgsmål om, om ændringer, som var blevet lavet til virksomhedens kultur, om nogen i det selskab, der havde været ansvarlig for, eller noget, virkelig, uden at erklæring og offentligt indsendt materiale. Uber ikke bestridt, at den var ansvarlig for nedbrud.

I den første uge af December 2018, politi med held stoppet en Tesla Model S, hvis føreren var faldet i søvn ved rattet, mens det var i tønder ned af vejen ved 70 km / h. Han havde Autopilot aktiveret, og havde rejste 17 miles, før der bliver trukket over. I oktober retssag mod Tesla, der er nævnt tidligere, Shawn Hudson, Florida mand, hvis Tesla styrtede ned, mens du er på Autopilot, hævdede, at han var blevet vildledt til at tro, at bilen kan fungere selvstændigt. Han sagde, at han købte Tesla dels på grund af sin Autopilot-funktion, som han troede ville give ham lov til at slappe af på sin lange vej, og så rutinemæssigt skrev e-mails og tjekkede sin telefon mens de er på vej—også når nedbruddet fandt sted.

Tesla er i en unik position. Som tidligere bemærket, har det længe sendt sine biler med, hvad det beskriver som “fuldstændig selvkørende hardware”, mens der også udsteder bulletiner ikke til at stole helt på Autopilot, den semi-autonome kørsel system, der koster en ekstra $5.000. Det er løbende at opgradere sin software, kantning chauffører, der allerede er på vej tættere på selvkørende virkeligheden.

“Tesla,” Stilgoe fortæller mig, “at vende det blinde øje til deres chaufførernes egne eksperimenter med Autopilot. Folk bruger Autopilot uansvarligt, og Tesla er udsigt til det, fordi de er indsamling af data. Og Tesla er også vildledende mennesker ved at sige, at de sælger selvkørende biler. De bruger udtrykket ” fuld selvkørende hardware.’”

Ja, Elon Musk selv var i det væsentlige reklame Tesla s, der selv kører potentiale i en ikke-hænder smule derring-do på intet mindre end 60 Minutter udseende. Tesla understreger, at der under købsprocessen, salgsteamet viser den korrekte brug af Autopilot, disabusing købere af den opfattelse, at det fungerer noget, der ligner en selvkørende bil. Det har tilføjet funktioner at slå Autopiloten fra, hvis brugerne gå hænder-gratis for længe. Stadig, marketing og magt forslag—for ikke at nævne den mangeårige nørd drømmer om ridning i selvkørende biler—er potente kræfter, og de går ned og hændelser i Autopilot, som er ved at blive misbrugt som en selvkørende system er ikke desto mindre fortsætter.

Til åbenlyst at markedsføre sit produkt på denne måde er en bevidst beslutning, og det er sandsynligt, hjælper med at indgyde tro i Tesla bilister, at de kan bruge den funktion til på den måde, markedsføring sprog synes at beskrive. Problemet er, “hvad der sker, når føreren er over-afhængig af systemet,” som Thatcham Forskning, der har undersøgt, hvor godt softwaren virkelig er i et segment for BBC, forklaret. (Spoiler alert: Der er en række scenarier, hvor Tesla kører på Autopilot styrtede ind i objekter i front af dem.) Men det skal ikke stoppe mennesker inde i dem fra at blive lullet ind i en falsk følelse af sikkerhed.

Heri ligger det andet spørgsmål med hensyn til Tesla ‘ s ansvar over for sine chauffører—sin egen ingeniører vidste, at dette var en tydelig sikkerhed bekymring. (Dette er også grunden til, at jeg synes det er lidt unfair at lægge hele skylden på “sikkerhed driver”, som skulle være at se vejen i den fatale Uber crash, for én ting, Uber tilsyneladende skære sikkerhed drivere ned fra to til én—Miller kaldet til at genindsætte to chauffører,—og for det andet, det er menneskets natur at blive lullet ind i en følelse af sikkerhed, som beviser, der akkumuleres, at vi er sikre efter timers non-begivenheder, og efter, er formentlig, at vi får meget, meget kedeligt.) I virkeligheden, en af Waymo ‘ s seneste nedbrud opstod efter lone sikkerhed føreren faldt i søvn ved rattet, og ved et uheld slået systemet fra.

I rapporten, der er udgivet efter den første dødsulykke, National Highway Traffic Safety Administration—der ryddet Tesla af forseelser—ikke desto mindre fandt, at:

“[O]ver løbet af forskning og udvikling af Autopilot, Tesla overvejet muligheden for, at chauffører kunne misbruge systemet i en række forskellige måder, herunder dem, der er angivet ovenfor – dvs, gennem mode forvirring, distraheret kørsel, og brug af systemet uden foretrukne miljøer og betingelser. Inkluderet i de typer af føreren distraheres, at Tesla ingeniører i betragtning, er, at en chauffør kan undlader at betale opmærksomhed, falder i søvn, eller bliver incapactitated [sic], mens du bruger Autopilot. Potentialet for føreren misbrug blev evalueret som en del af Tesla ‘ s design-proces og løsninger blev testet, godkendt og indarbejdet i den brede udgave af produktet. Det ser ud til, at Tesla ‘ s evaluering af driver misbrug og dens deraf følgende handlinger rettet urimelig risiko for sikkerhed, som kan fremlægges af et sådant misbrug.”

Med andre ord, at Tesla ‘ s hold ved, at nogle bilister vil bruge Autopilot, som en egentlig self-driving mode eller anden måde ender med at stole fuldt ud på systemet. Og mens NHTSA fandt, at Tesla ‘ s ingeniører havde tegnede sig for de elementer, systemet har været i brug i to fatale nedbrud og mange flere ulykker. (I mellemtiden, the National Transportation Safety Board fandt, at nogle af skylden faktisk ligge med Tesla, for ikke at gøre nok til at afholde drivere fra at misbruge Autopilot).

Efter timer af telefonopkald med Tesla talsmænd, hvor virksomheden nægtede at tale med på pladen, om spændingen mellem at fremme sine køretøjer med sprog som “fuld selvkørende hardware på alle biler” og derefter insistere på, drivere, der køber Tesla ikke behandle dem som selvkørende biler (og løbet som en af de talsmænd, der venligt fortalte mig, at det lyder som om jeg er nødt til at tænke om min historie lidt mere), tilbød kun den erklæring, der blev udsendt efter Florida retssag i tilbage i oktober. Det udsagn er som følger: “Tesla har altid været klart, at Autopiloten ikke gøre bilen uigennemtrængelig for alle ulykker, og Tesla går til store længder til at give klare instrukser om, hvad Autopilot er og ikke er, herunder ved at tilbyde driverens instruktioner, når ejere test drive og tage levering af deres bil, før drivers gør, Autopilot, og hver eneste gang, de bruger Autopilot, samt gennem instruktionsbogen og Release Notes for software-opdateringer”.

Se, kørsel er allerede en rodet, farlig forretning. Højtfungerende selvkørende biler kan være en gave i form af menneskers sundhed gevinster, og til at teste dem i trafikken er altid vil være et ømtåleligt spørgsmål, både logistisk og etisk. I Tesla ‘ s tilfælde, har vi ingen mulighed for at vide, om nogle af de Autopilot-brugere ville have været kørt så distractedly, at de ville have forårsaget ulykker, uanset. Men faktum er, at dem af os, der allerede er på vej i vores ikke-så-selvstyrende biler har lidt at ingen indflydelse på, hvordan vi sameksistere med selvkørende dem. Over, om ikke vi deler de gader med AVs, der kører på sjuskede software eller overvåges af en mindre-end-alert menneskelige chauffører, fordi ledere ikke ønsker at lag ‘ en i deres søgen efter at støvsuge op road data, eller gå glip af en salgsmulighed.

Hidtil, tech-giganter i et “race, at de er nødt til at vinde,” som Levandowski engang skrev, har lavet disse beslutninger for os. Kort for at skubbe til lovgivning til at regulere test af autonome køretøjer, mere strengt, krævende virksomheder, der gør ødelæggende og dødelige overtrædelser være korrekt holdes ansvarlige virker som en rimelig anvendelse. Medmindre disse selskaber dramatisk forbedre deres indsats for at prioritere sikkerhed og åbenhed over hastigheden af udviklingen og salgsteknik, de risikerer både at påføre yderligere skade og fremmedgørende en offentlig allerede på vagt over for udsigten til selvkørende biler.

“Vi har stadig lidt ide om, hvad de fleste mennesker ville overveje at være en acceptabel risiko, men mit gæt ville være, at medlemmer af offentligheden, der ikke ville være tilfreds, selv om vi vidste, at selvkørende biler var en smule mere sikkert end den menneskelige chauffører,” Stilgoe siger. “Et brag, nogen nedbrud, er en katastrofe. Den selvkørende bil-industrien er nødt til at arbejde meget hårdere for at vinde argumentet om sikkerhed.”

Rettelse: En tidligere version af denne artikel fastslået, at der under en BBC særlig rapport, der testede biler, “fuld selvkørende” Tesla styrtede ind i objekter i front af dem. Tesla hævder, at mens køretøjer har hardware “er nødvendig for fuld selvkørende kapacitet,” biler er i øjeblikket ikke i stand til fuldstændig selvkørende. Vi beklager fejlen.

Dele Denne Historie