Test af Rekognition software links medlemmer af Kongressen til at arrestere fotos og finder folk af farve fejlidentificeret uforholdsmæssigt
@SamTLevin
Thu, 26 Jul 2018 20.42 BST
Offentliggjort første gang den Thu, 26 Jul 2018 19.22 BST
Den borgerlige rettigheder leder John Lewis var blandt de fejlidentificeret medlemmer af Kongressen.
Foto: Jim Lo Scalzo/EPA
Amazon ‘ s facial anerkendelse teknologi fejlagtigt identificeret 28 medlemmer af Kongressen, som folk, der har været anholdt for forbrydelser, i henhold til American Civil Liberties Union (ACLU).
ACLU i det Nordlige Californien ‘s test af Amazon’ s kontroversielle Rekognition software fandt også, at mennesker af farve var uforholdsmæssigt fejlidentificeret i et mugshot database, skabe nye bekymringer om racemæssige fordomme og mulighederne for misbrug af retshåndhævelse.
Rapporten, der blev fulgt på åbenbaringer i Maj, at Amazon har været markedsføring og salg af de Rekognition teknologi til politiet, der fører privacy-fortalere til at opfordre CEO Jeff Bezos til at stoppe med at levere produktet til regeringen.
“Vores test styrker, der står over for overvågning er ikke sikkert for regeringens brug,” Jacob Sne, en teknologi og borgerlige rettigheder advokat på ACLU Fundament i det Nordlige Californien, sagde i en erklæring. “Ansigt overvågning vil blive brugt til magten diskriminerende overvågning og kontrol som mål samfund af farve, indvandrere og aktivister. Når unleashed, at skaden ikke kan fortrydes.”
‘Recipe for disaster’: Amazon under beskydning for at sælge face-recognition software til politiet
Læs mere
ACLU brugt den samme facial recognition system, som Amazon tilbyder dem til offentligheden, scanning til kampe mellem billeder af ansigter. Gruppen opbygget et ansigt database og søge værktøjet ved hjælp af 25,000 offentlig anholdelse fotos, så krydsreferencer, at data med offentlige fotos af hver enkelt af OS, Hus og Senatet.
Af de 28 mennesker fejlagtigt identificeret af ACLU ‘ s test, 11 af dem var mennesker af farve, næsten 40% af dem, der med urette er matchet, på trods af det faktum, at folk af farve udgør kun 20% af dem, der i Kongressen. Seks medlemmer af Congressional Black Caucus var inkluderet i den falske kampe, herunder civil rights leader John Lewis.
“ACLU’ s test viser, ud over en skygge af tvivl om, hvad mange af os allerede ved – at Amazon ‘ s facial anerkendelse værktøj er diskriminerende … og derfor farlige for demokratiet,” sagde Malkia Cyril, som er administrerende direktør for Center for Media Retfærdighed. “De er nødt til at rulle det tilbage med det samme.”
Amazon har forsvaret sin teknologi i en erklæring, der siger, at ACLU ‘ s resultater kunne “sandsynligvis forbedres, hvis testen havde øget tillid tærskler”, hvilket betyder, at sandsynligheden for, at Rekognition fundet et match. ACLU er brugt en 80% konfidensgrænse, men Amazon har sagt i sin erklæring, “Når du bruger facial anerkendelse for retshåndhævende aktiviteter, vi guide kunderne til at indstille en grænse på mindst 95% eller højere.”
ACLU, men har påpeget, at det, der anvendes standard match indstillinger, som Amazon har sat for Rekognition, og at selskabet i øjeblikket referencer 80% tillid variabel til at genkende ansigter på sin egen hjemmeside.
Amazon ‘ s reaktion syntes at indrømme, at den teknologi, ville det ikke fungerer godt i sin standard tilstand, Sne sagde i et interview: “det Væsentlige, de siger, at deres produkt er brudt ud af boksen.”
Han bemærkede også, at der ikke var nogen beviser for, Amazon var faktisk at lede politiet til at bruge højere tærskel, og at selv hvis virksomheden var at gøre de anbefalinger, der var ingen garantier for, at politiet var i brug som standard. Teknologien giver mulighed for håndhævelse af loven til at ændre sine tærskler.
Amazon er ikke til at tage ansvar for Rekognition og hvordan Rekognition bliver indsat i fællesskaber,” Snow sagde, tilføjer, at Kongressen bør indføre et moratorium for regeringens brug af ansigtsgenkendelse værktøjer.
Microsoft opfordrer til ansigtsgenkendelse teknologi regler gives et potentiale for misbrug”
Læs mere
Tre af medlemmerne af Kongressen skrev til Bezos på torsdag anmode om kopier af alle interne nøjagtighed eller bias vurderinger, at Amazon havde udført på Rekognition og en liste af politiet eller efterretningstjenester, der bruger softwaren, eller har været i kontakt med virksomheden om eventuel overtagelse.
Brevet sagde: “effekten og konsekvenserne af teknologien er endnu ikke fuldt forstået”, og bemærkede, at “hverken Kongressen eller statslige lovgivere har vedtaget love, der udtrykkeligt tilladelse til at anvende ansigtsgenkendelse ved lov håndhævelse”.
Undersøgelser har vist, at facial anerkendelse teknologi misidentifies sorte folk, kvinder og unge på højere priser end ældre hvide mænd.
Hvis politiet bruger Amazon ‘ s teknologi i stor skala, “hundreder af tusinder af mennesker, der står til at blive fejlagtigt identificeret”, siger Cyril, der konstaterer, at det ville påvirke “mennesker af farve, og især sort folk, der allerede er diskrimineret i vores nuværende AMERIKANSKE system af politi, der allerede står over for farlige interaktioner med politiet”.
“Politiet vil have et værktøj til støtte for, at diskrimination,” Cyril fortsatte med at tilføje, at Amazon var at “lege politik med folks liv”.
En Amazon talsmand hævdede, at Rekognition haft gavnlige programmer, såsom “at forebygge menneskehandel” og “at hæmme udnyttelse af børn”, tilføjer: “Vi er fortsat spændt på, hvordan billed-og video-analyse kan være en drivkraft for det gode i verden, herunder i den offentlige sektor og håndhævelse af loven.”
Amazon har ikke offentliggjort politi, der kan være ved hjælp af software, og ikke svare på spørgsmål om sine retshåndhævende partnere på torsdag.