Test av Rekognition programvare linker medlemmer av Kongressen for å arrestere bilder og finner folk av farge feilaktig identifisert uforholdsmessig
@SamTLevin
E-post
Tor 26 Jul 2018 20.42 BST
Første gang publisert på Tor 26 Jul 2018 19.22 BST
Den sivile rettigheter leder John Lewis var blant de feilaktig identifisert medlemmer av Kongressen.
Foto: Jim Lo Scalzo/EPA
Amazon ‘ s facial anerkjennelse teknologi feilaktig identifisert 28 medlemmer av Kongressen som folk som har blitt arrestert for forbrytelser, i henhold til American Civil Liberties Union (ACLU).
Den ACLU av Nord-California ‘ s test av Amazons kontroversielle Rekognition programvare fant også at folk av farge var uforholdsmessig feilaktig identifisert i en mugshot database, heve nye bekymringer om rasefordommer og potensialet for misbruk av politiet.
Rapporten følges åpenbaringer i Hende at Amazon har vært markedsføring og salg av Rekognition teknologi til politiet etater, ledende personvern talsmenn til å oppfordre KONSERNSJEF Jeff Bezos til å slutte å tilby produktet til regjeringen.
“Vår test forsterker som møter overvåking er ikke trygt for offentlig bruk,” Jacob Snø, teknologi og sivile friheter advokat på ACLU Stiftelsen av Nord-California, sa i en uttalelse. “Face surveillance vil bli brukt til å drive diskriminerende overvåking og kontroll som mål samfunn av farge, innvandrere, og aktivister. Når sluppet løs, at skade kan ikke angres.”
“Oppskrift for katastrofe’: Amazon under ild for å selge ansikt gjenkjennelse programvare til politiet
Les mer
Den ACLU brukt samme ansikts gjenkjennelse system som Amazon tilbyr til offentlig, skanning for kamper mellom bilder av ansikter. Konsernet bygget et ansikt database og søk verktøyet bruker 25,000 offentlig arrest bilder, så kryss-referert til som data med offentlige bilder av ethvert medlem av den AMERIKANSKE Hus og Senatet.
Av de 28 mennesker feilaktig identifisert av ACLU ‘ s test, 11 av dem var folk av farge, nesten 40% av de som feilaktig matchet, til tross for det faktum at folk av farge utgjør kun 20% av de som i Kongressen. Seks medlemmer av Kongressens Svart Caucus var inkludert i de falske kamper, inkludert sivile rettigheter leder John Lewis.
“The ACLU’ s test viser utover en skygge av tvil om hva mange av oss allerede vet – at Amazon ‘ s facial anerkjennelse verktøyet er diskriminerende … og er derfor farlige for demokrati,” sa Malkia Cyril, direktør for Center for Media Rettferdighet. “De trenger å rulle den tilbake umiddelbart.”
Amazon forsvarte sin teknologi i en uttalelse, sier ACLU resultater kunne “trolig bli forbedret” hvis testen hadde økt “tillit grenser”, som betyr at sannsynligheten for at Rekognition funnet en kamp. Den ACLU brukt 80% av tillit terskel, men Amazon sier i sin uttalelse, “Når du bruker ansiktsgjenkjenning for rettshåndhevelse aktiviteter, vi veilede kunder til å sette en grense på minst 95% eller høyere.”
Den ACLU, har imidlertid påpekt at det brukes standard match-innstillinger som Amazon har satt for Rekognition, og at selskapet for tiden refererer til en 80% tillit til beregningen for å gjenkjenne ansikter på sin egen nettside.
Amazon ‘ s svar så ut til å innrømme at teknologien vil ikke fungere godt i standard-modus, Snø sa i et intervju: “Egentlig, de sier produktet er brutt ut av boksen”.
Han bemerket også at det var ingen bevis Amazon var faktisk styre politiet å bruke den høyere terskelen, og at selv om selskapet var å gjøre disse anbefalingene, var det ingen garantier for at politiet var med som standard. Teknologien gjør at politiet til å endre sine grenser.
“Amazon er ikke å ta ansvar for Rekognition og hvordan Rekognition blir utplassert i fellesskap,” Snow sa, og legger til at Kongressen bør iverksette et moratorium på regjeringens bruk av ansiktsgjenkjenning verktøy.
Microsoft kaller for ansiktsgjenkjenning teknologi regler gitt ‘potensial for misbruk”
Les mer
Tre Kongressen medlemmer skrev til Bezos på torsdag ber om kopier av eventuelle interne nøyaktighet eller bias vurderinger som Amazon hadde utført på Rekognition og en liste av politiet eller etterretningsorganisasjoner at bruk av programvaren, eller har vært i kontakt med selskapet om mulige oppkjøp.
Brevet sa “effekt og konsekvenser av teknologien er ennå ikke fullt ut forstått” og bemerket at “verken Kongressen eller statlige lovgivere som har vedtatt lover som eksplisitt autoriserer bruk av facial anerkjennelse av politiet”.
Studier har funnet at facial anerkjennelse teknologi misidentifies svarte mennesker, kvinner og unge mennesker til høyere priser enn eldre hvite menn.
Hvis politiet bruke Amazon ‘ s teknologi på en stor skala, “hundrevis av tusenvis av mennesker stand til å være feilaktig identifisert”, sa Cyril, og bemerker at det ville påvirke “folk av farge og spesielt svart personer som allerede er diskriminert i vår nåværende AMERIKANSKE systemet for kontroll, som allerede er vendt mot farlige interaksjoner med politiet”.
“Politiet vil ha et verktøy til hjelp for at diskriminering,” Cyril fortsatte, og legger til at Amazon var “å spille politikk med folks liv”.
En Amazon talsperson hevdet at Rekognition hadde nyttige programmer, som for eksempel å “forebygge menneskehandel” og “hemme barnet utnyttelse”, og legger til: “Vi er fortsatt spent på hvordan bilde-og video-analyse kan være en driver for det gode i verden, blant annet i offentlig sektor og politi.”
Amazon har ikke utleveres politiet etater som kan bruke programvaren og ikke svare på spørsmål om sin politi-partnere på torsdag.