Kunstmatige Intelligentie

De Dodelijke Roekeloosheid van de Zelf-rijdende Auto-Industrie

Foto: Tempe Politie Brian MerchantToday 12:52pmFiled: AutomatonFiled: Automaat

Automaton
autonome voertuigen

65Save

Autonome voertuigen werden geacht om het rijden veiliger, en ze kan nog—een aantal van de meer optimistische onderzoek geeft aan zelf-rijdende auto ‘ s kon opslaan tienduizenden doden per jaar in de VS alleen. Maar zo ver, een roekeloosheid heeft de cultuur van de grootste bedrijven met de technologie—Uber -, Google-en misschien zelfs Tesla—en heeft direct geleid tot onnodige ongevallen, verwondingen, zelfs tot de dood.

Laat dat duidelijk zijn, want het lijkt me dat deze bedrijven hebben gekregen een beetje een pass voor het uitvoeren van een lastige, potentieel revolutionaire technologie, en omdat de schuld kan verschijnen vaag in auto-ongevallen, of in deze gevallen kan worden gericht op de mensen die werden verondersteld te kijken naar de weg. Deze bedrijven’ acties (of soms gebrek aan actie) hebben geleid tot het verlies van levens en ledematen. In het proces, ze hebben vooral de vooruitzichten voor het veld in het algemeen, ondermijnt het vertrouwen van het publiek in zelf-rijdende auto ‘ s en het uitstellen van de invoering van wat velen hopen dat het een levensreddende technologie.

De aaneenschakeling van mislukkingen van de meest zichtbare bedrijven nastreven van zelf-rijdende technologieën onderstreept het feit dat de veiligheid van autonome systemen zijn slechts zo goed als de mensen en organisaties te bouwen.

Volgens een e-mail onlangs verkregen door de Informatie, Uber self-driving car division kan niet alleen worden roekeloos, maar ronduit nalatig is geweest. Het bedrijf uitvoerend personeel naar verluidt genegeerd gedetailleerde gesprekken van haar eigen veiligheid, team-en voortgezet onveilige praktijken en een voetganger is overleden. Voordat dat, een groot aantal ongelukken en bijna-ongelukken was gegaan in de wind geslagen.
Ten minste één grote college in Google ‘ s autonome auto divisie naar verluidt vrijgesteld zichzelf uit de test programma protocol, rechtstreeks veroorzaakt een ernstig ongeval gewond zijn passagier, en nooit op de hoogte gebracht van de politie dat dit veroorzaakt werd door een zelf-rijdende auto. Waymo, nu een dochteronderneming van Google, betrokken is geweest, door mijn telling in 21 gerapporteerde crashes dit jaar, volgens de California DMV records, maar het was de schuld van slechts een kleine fractie.
Op twee verschillende gelegenheden, Autopilot, Tesla ‘ s semi-autonoom rijden-systeem, was betrokken bij drivers geleden dodelijke auto-ongevallen. In oktober, een in Florida Tesla-eigenaar van het bedrijf aangeklaagd nadat zijn auto werd in een ernstige crash terwijl op de automatische piloot, beweert het bedrijf “heeft gedupeerde consumenten … laten geloven dat het automatische piloot-systeem en biedt met Tesla voertuigen op extra kosten veilig te kunnen vervoeren passagiers op de snelweg, met een minimale input van en het toezicht van de passagiers.” (Tesla, natuurlijk, ontkent deze karakterisering.) Deze gevallen zijn muddier omdat Tesla expliciet waarschuwt niet wilt dat het systeem de aandrijving van de auto is volledig en heeft beveiligingen geïnstalleerd te ontmoedigen slechte gedrag van de bestuurder. Maar Tesla blijft om te adverteren dat het “Volledig Self-Driving Hardware op Alle Auto ‘s” op de website, en de eigen ingenieurs vertelde toezichthouders dat ze verwachte sommige stuurprogramma ‘ s zou volledig vertrouwen op het systeem. Nog in het openbaar, Tesla blijft ontkennen dat hun systeem zou kunnen wekken in stuurprogramma ‘ s voor gevaarlijke afhankelijkheid van de semi-autonome systeem.

Geen wonder publiek het publiek is op zijn hoede, van zelf-rijdende auto ‘ s.

“Op dit moment getest in de VS is vrij roekeloze,” zegt Dr. Jack Stilgoe, een senior docent in de wetenschap en technologie afdeling van de University College in Londen, en de hoofdonderzoeker in de komende Onbemande Futures-project. “Het wordt overgelaten aan de bedrijven om te beslissen welke risico’ s acceptabel zijn.” Vaak zijn deze bedrijven hebben duidelijk besloten dat zeer hoge risico ‘ s aanvaardbaar zijn.

De nieuwste en meest in het oog springende voorbeeld van hoe roekeloos bedrijven in de autonome voertuig ruimte kan worden gaat het inmiddels beruchte fatale crash in Tempe, Arizona, waar één van de Uber auto ‘ s sloeg en doodde een 49-jarige voetganger. De verkregen Informatie een e-mail naar verluidt verzonden door Robbie Miller, een voormalig manager van de in het test-activiteiten van de groep, om zeven Uber kaderleden, waaronder het hoofd van de onderneming autonoom voertuig eenheid, met de waarschuwing dat de software het voeden van de taxi ‘ s defect was en dat de back-up drivers waren niet voldoende is getraind.

“De auto’ s worden regelmatig in ongevallen en schade,” Miller schreef. “Dit is meestal het gevolg van het slechte gedrag van de exploitant of de AV-technologie. Een auto was beschadigd bijna elke andere dag in februari. We moeten het niet raken van dingen die elke 15.000 km. Herhaalde overtredingen voor arme rijden resulteert zelden in de beëindiging. Een aantal van de stuurprogramma ‘ s niet weergegeven zijn correct gecontroleerd of getraind.”

Dat is gek. Honderden van zelf-rijdende auto ‘ s waren op de weg in de tijd, in San Francisco, Pittsburgh, Santa Fe, en elders. De AV-technologie aantoonbaar defect is, is de back-up drivers waren niet alert blijven, en ondanks de herhaalde incidenten—wat uiteraard gevaarlijk is—niets werd aangepakt. Vijf dagen na de datum van Miller ‘ s e-mail, een Volvo met Uber zelf rijden software getroffen Elaine Herzberg, terwijl ze langzaam werd het oversteken van de straat met haar fiets en haar vermoord. De chauffeur was blijkbaar het streamen van De Stem op Hulu op het moment van het ongeval.

Deze tragedie was niet een freak van een storing van een aantal cutting-edge technologie—het is volledig voorspelbaar bijproduct van collectieve misdrijf.

Als Uber is de slechtste acteur in dit geval, het is niet het enige slechte—en het bouwen aan een cultuur opgericht jaar eerder, waar een behoefte om de eerste te zijn die de technologie verduisterde bezorgdheid over de veiligheid.

Anthony Levandowski, de voormalige lead van Google ‘ s self-driving car-project, was berucht om zijn onbeschaamd, onzorgvuldig, en egregiously roekeloos. Het is waarschijnlijk eerlijk om te zeggen dat we niet eens weten hoe veel crashes van de zelf-rijdende auto ‘ s overzag hij bij betrokken waren. Hier is een voorbeeld, zoals gerapporteerd door Charles Duhigg in the New Yorker:

“Op een dag in 2011, een Google executive met de naam Isaac, Taylor geleerd dat, terwijl hij op vaderschapsverlof, Levandowski had gewijzigd van de auto’ s software, zodat hij ze kon nemen anders is verboden routes. Een Google-executive herinnert getuige Taylor en Levandowski schreeuwen naar elkaar. Levandowski verteld Taylor dat de enige manier om hem te laten zien waarom zijn aanpak was noodzakelijk is om een rit samen. De mannen, die beide nog steeds woedend sprong in een zelf-rijdende Prius en ging op weg.

“De auto ging op een snelweg, waar hij reisde langs een helling. Volgens de mensen die met de kennis van de gebeurtenissen die dag, de Prius per ongeluk verpakt in een ander voertuig, een Camry. Een menselijke bestuurder kan gemakkelijk behandeld de situatie door het vertragen en laat de Camry samenvoegen in het verkeer, maar Google ‘ s software was niet voorbereid op dit scenario. De auto ‘ s bleef het versnellen van de snelweg zijde. De Camry ‘ s chauffeur trok zijn auto op de rechter schouder. Dan, blijkbaar proberen te voorkomen dat een vangrail, hij zwenkte naar links; de Camry pinwheeled over de snelweg en in de mediaan. Levandowski, die fungeerde als de veiligheid van de bestuurder, week hard om te voorkomen dat botsen met de Camry, waardoor Taylor te brengen zijn rug zo erg dat hij uiteindelijk nodig meerdere operaties.

“De Prius weer controle en een hoek op de snelweg, het verlaten van de Camry achter. Levandowski en Taylor wist niet hoe ernstig beschadigd de Camry was. Ze niet meer terug om te controleren op de andere chauffeur of om te zien of er iemand gewond was geraakt. Noch zij, noch andere Google executives gemaakt van vragen met de autoriteiten. De politie was niet op de hoogte dat een zelf-rijdende algoritme had bijgedragen aan het ongeval.”

Levandowski ‘ s voorliefde voor het zetten van AV-test voor veiligheid—en dat is nu heel goed gedocumenteerd en het feit dat de politie niet op de hoogte zijn van de belangrijkste onderdelen van hier. Google voor een lange tijd leek openhartig over haar autonome voertuig programma; zozeer zelfs dat Vast gemeld dat een Google-auto als gevolg van haar “eerste crash” in 2016, vijf jaar na de Levandowski incident.

Dit, gecombineerd met de Uber openbaringen, moet ons diep na te denken over wat het niveau van vertrouwen en transparantie moeten we de vraag van de ondernemingen die autonoom voertuig testen op onze gezamenlijke tocht.

In December 2016, maar Google split zijn autonome auto indeling in Waymo, waar ook geen ernstige crash evenementen zijn gemeld. “Anthony Levandowki’ s minachting voor de veiligheid niet aansluit bij de missie en waarden hebben we op Waymo waar honderden ingenieurs in ons team werkt elke dag met deze technologie veilig onze weg,” een woordvoerder vertelde mij in een e-mail. “Ons bedrijf werd opgericht om de verkeersveiligheid te verbeteren, en zo houden we onszelf met een hoge veiligheidsstandaard.” Volgens Californië autonoom voertuig crash log, Waymo betrokken is geweest bij de 21 kleine ongevallen dit jaar, en was alleen de schuld van een paar. Dat is een vrij goede track record, in de veronderstelling dat alle ongevallen werden nauwkeurig gerapporteerd, en Waymo de nadruk op veiligheid lijkt het voor de industrie als het hoopt te herwinnen van het vertrouwen van het publiek.

Voor zijn deel, Uber nam haar autonome voertuigen dat van de weg en zegt dat het is gereviseerd zijn zelf-rijdende auto het testen van de procedures. Al toen ik vroeg aan een Uber woordvoerder hoe het is veranderd de corporate beleid sinds het ongeval, zij stuurde mij precies dezelfde standaardantwoorden die werd verzonden naar de Informatie (en mijn collega Jennings Bruin): “nu het hele team is gericht op het veilig en verantwoord terug naar de weg in een zelf-rijdende modus. We hebben alle vertrouwen in het werk dat het team aan het doen is om ons te komen. Ons team blijft inzetten voor de uitvoering van belangrijke verbetering van de veiligheid, en we zijn van plan te hervatten op-de-weg-self-driving tests alleen wanneer deze verbeteringen zijn doorgevoerd en hebben we de toelating hebben gekregen van het Pennsylvania Department of Transportation.”

Uber weigerde om vragen te beantwoorden over de vraag of er wijzigingen waren aangebracht in de bedrijfscultuur, of iemand bij het bedrijf was verantwoordelijk wordt gesteld, of iets, echt, na die verklaring en publiekelijk materialen. Uber niet te ontkennen dat het verantwoordelijk was voor de crash.

In de eerste week van December 2018, politie gestopt met een Tesla Model S waarvan de bestuurder in slaap was gevallen achter het stuur, terwijl het was gerold op de weg op 70 mph. Hij had de automatische piloot ingeschakeld en reisde 17 km voordat over wordt getrokken. In de oktober rechtszaak tegen Tesla eerder vermeld, Shawn Hudson, Florida man wiens Tesla crashte terwijl op de automatische piloot, beweerde dat hij was misleid in het geloven van de auto kan volledig autonoom werken. Hij zei dat hij kocht de Tesla onder andere omdat de Autopilot-functie, die hij dacht dat hem in staat zou stellen om te ontspannen op zijn lange woon-werkverkeer, en dus routinematig schreef e-mails en gecontroleerd zijn telefoon, terwijl op de weg—met inbegrip van de crash plaatsvond.

Tesla is in een unieke positie. Zoals eerder opgemerkt, het is al lang geleverd zijn auto ‘ s met wat er wordt beschreven als “volledig self-driving “hardware”, terwijl ook de afgifte van adviezen niet te vertrouwen volledig op de automatische piloot, de semi-autonoom rijden-systeem dat kost een extra $5,000. Het is het continu upgraden van de software, rand-stuurprogramma ‘ s al op de weg dichter bij de self-driving en de actualiteit.

“Tesla” Stilgoe vertelt me, “is het draaien van een blind oog voor hun stuurprogramma ‘s’ eigen experimenten met de automatische piloot. Mensen zijn met behulp van de automatische piloot onverantwoord, en Tesla zijn uitzicht want ze zijn het verzamelen van gegevens. En Tesla is ook misleidend mensen door te zeggen dat ze de verkoop van zelf-rijdende auto ‘ s. Ze gebruiken de term ‘volledig self-driving hardware.’”

Inderdaad, Elon Musk zelf was in wezen reclame Tesla ‘ s self-driving potentieel in een no-hands beetje derring-doen niets minder dan een 60 Minuten uitstraling. Tesla benadrukt dat tijdens het aankoopproces, haar sales team toont het juiste gebruik van de automatische piloot, disabusing kopers van het idee dat het functies zoals een zelf-rijdende auto. Het heeft extra functies die het uitschakelen van de automatische piloot als gebruikers gaan hands-free te lang. Nog steeds, marketing en de kracht van de suggestie—en niet te vergeten de lang aangehouden geek droom van het rijden in een zelf-rijdende auto ‘ s—zijn krachtige krachten, en de ongevallen en incidenten die automatische piloot wordt misbruikt als een zelf-rijdende systeem toch voortgezette gestaag.

Om openlijk op de markt zijn product op deze manier is een bewuste keuze, en het waarschijnlijk helpt inboezemen geloof in Tesla stuurprogramma ‘ s die ze kunnen gebruiken op de manier die de marketing-taal lijkt te beschrijven. Het probleem is: “wat gebeurt er als de bestuurder meer dan-afhankelijk van het systeem,” als Thatcham Onderzoek, die onderzocht hoe goed de software is echt in een segment voor de BBC, toegelicht. (Spoiler alert: Er zijn een aantal scenario ‘ s die “volledig self-driving” Teslas crash in de objecten in de voorkant van hen). Maar dat betekent niet stoppen met de mens in zich van steeds een onterecht gevoel van veiligheid.

Hierin ligt de tweede vraag met betrekking tot Tesla ‘s verantwoordelijkheid om de stuurprogramma’ s—de eigen ingenieurs wist dat dit een aparte veiligheid van de zorg. (Dit is ook de reden waarom ik denk dat het een beetje oneerlijk om een heap allemaal de schuld van de “veiligheid van de bestuurder’, die werd verondersteld om te kijken naar de weg in de fatale Uber crash; voor een ding, Uber blijkbaar snijd de veiligheid van de chauffeurs van twee naar één—Miller genoemd voor het herstel van twee bestuurders—en voor de andere, het is de menselijke natuur te verleiden tot een gevoel van veiligheid als bewijs stapelt zich op dat we veilig na uren van niet-evenementen, en na, vermoedelijk krijgen we zeer, erg verveeld.) In feite, een van Waymo de recente ongevallen zich hebben voorgedaan na de lone veiligheid van de chauffeur in slaap viel achter het stuur en per ongeluk was het systeem uit te schakelen.

In het rapport uitgebracht na de eerste fatale crash, de National Highway Traffic Safety Administration—die gewist Tesla van onrecht—toch vinden dat:

“[O]ver de loop van het onderzoek aan en het ontwikkelen van de automatische piloot, Tesla rekening gehouden met de mogelijkheid dat de bestuurders kunnen het systeem misbruiken in een verscheidenheid van manieren, met inbegrip van die welke hierboven – dat wil zeggen, door middel van mode verwarring, afgeleid rijden, en het gebruik van het systeem buiten de voorkeur omgevingen en omstandigheden. Inbegrepen in de types van de bestuurder afleiding dat Tesla ingenieurs beschouwd als een stuurprogramma dat mogelijk niet opletten, vallen in slaap, of worden incapactitated [sic] tijdens het gebruik van de automatische piloot. De mogelijkheden voor stuurprogramma misbruik is geëvalueerd als onderdeel van Tesla ‘ s design proces en oplossingen werden getest, gevalideerd en opgenomen in de grote release van het product. Het blijkt dat Tesla de evaluatie van de bestuurder misbruik en de daaruit voortvloeiende acties gericht op het onredelijk groot risico voor de veiligheid die kunnen worden ingediend door dergelijk misbruik.”

In andere woorden, Tesla ‘s team weet dat sommige stuurprogramma’ s gaat gebruiken de automatische piloot als een echte self-driving mode of anders eindigen vertrouwen volledig op het systeem. En terwijl de NHTSA gevonden dat Tesla de ingenieurs hadden geboekt voor die elementen, het systeem is nog steeds in gebruik is geweest gedurende twee ongevallen met dodelijke afloop en nog veel meer ongevallen. (Ondertussen, de National Transportation Safety Board gevonden dat een deel van de schuld in werkelijkheid liggen met Tesla, om het niet te doen, genoeg te ontmoedigen stuurprogramma ‘ s van misbruik van de automatische piloot).

Na uren gesprekken met Tesla woordvoerders, waarin het bedrijf weigerde te spreken over het record over de spanning tussen het bevorderen van de voertuigen met taal, zoals “volledig self-driving hardware op alle auto ‘s” en vervolgens op te dringen stuurprogramma ‘s die het kopen van Teslas niet behandelen als zelf-rijdende auto’ s (en tijdens die één van de woordvoerders vriendelijk vertelde mij klinkt het als ik moet nadenken over mijn verhaal een beetje meer), het bedrijf bood alleen de verklaring van het uitgegeven naar aanleiding van de Florida rechtszaak terug in oktober. Die verklaring is als volgt: “Tesla heeft altijd al duidelijk dat de automatische piloot maakt de auto ongevoelig voor alle ongevallen, en Tesla gaat tot het uiterste om het leveren van duidelijke instructies over wat de automatische piloot is en niet, zoals door het aanbieden van een bestuurder de instructies van de eigenaren van de aandrijving van de test en de levering van hun auto, voordat u stuurprogramma’ s inschakelen van de automatische piloot, en elke keer dat ze gebruik maken van de automatische piloot, alsmede door middel van de Handleiding en de Release Notes voor software-updates.”

Kijk, het rijden is al een vieze, gevaarlijke business. Hoog-functionerend zelf-rijdende auto ‘ s kan een uitkomst zijn in termen van menselijke gezondheid winsten en testen ze in het verkeer is het altijd gaat om een netelige kwestie logistiek en ethisch. In Tesla ‘ s geval, we hebben geen manier om te weten of sommige van de automatische piloot gebruikers zou hebben gereden dus distractedly dat zij zou hebben veroorzaakt ongelukken, ongeacht. Maar het feit is, die van ons al op de weg in onze niet-zo-autonome auto ‘ s hebben weinig tot geen zeggenschap over hoe we samenleven met zelf-rijdende exemplaren. Over het al of niet we delen de straten met de AVs uitgevoerd op slordige software of onder toezicht van een minder-dan-alert menselijke chauffeurs omdat leidinggevenden niet wilt lag in hun zoektocht naar het vacuüm weg of gegevens missen een verkoopkans.

Zo ver, tech reuzen in een “race die ze nodig hebben om te winnen,” als Levandowski ooit gezegd te hebben gemaakt bij het nemen van die beslissingen voor ons. Kort drukken voor de wetgeving tot regeling van de testen van autonome voertuigen meer streng, veeleisend bedrijven die schadelijk en dodelijk overtredingen op juiste wijze worden aangesproken lijkt een redelijke oplossing is. Tenzij deze bedrijven drastisch verbeteren van hun inspanningen om de prioriteit van veiligheid en openheid over de snelheid van de ontwikkeling en de verkooptechniek, lopen ze het risico om zowel het toebrengen van meer schade en het vervreemden van een publiek, dat toch al op hun hoede van het vooruitzicht van een zelf-rijdende auto ‘ s.

“We hebben nog steeds geen idee wat de meeste mensen zouden overwegen om een aanvaardbaar risico, maar mijn gok zou zijn dat leden van het publiek zou niet tevreden zijn, ook al wisten we dat zelf-rijdende auto’ s waren een beetje veiliger dan menselijke bestuurders,” Stilgoe zegt. “Een crash, een crash, is een ramp. De zelf-rijdende auto industrie heeft een veel harder te werken om te winnen het argument van de veiligheid.”

Deel Dit Verhaal