Test av Rekognition programvara länkar medlemmar av Kongressen för att gripa foton och hittar människor av färg feltolkat oproportionerligt
@SamTLevin
E-post
Tors 26 Jul 2018 20.42 BST
Först publicerad på Tors 26 Jul 2018 19.22 BST
De medborgerliga rättigheterna ledaren John Lewis var bland de feltolkat medlemmar av Kongressen.
Foto: Jim Lo Scalzo/EPA
Amazon är tekniken för ansiktsigenkänning felaktigt identifieras 28 medlemmar av Kongressen som personer som har gripits för brott, enligt American Civil Liberties Union (ACLU).
ACLU i Norra Kalifornien test av Amazons kontroversiella Rekognition programvara fann också att personer av färg var oproportionerligt feltolkat i ett mugshot databas, väcker nya frågor om ras, bias och att risken för missbruk av brottsbekämpning.
Den rapport som sedan följs uppenbarelser i Maj att Amazon har varit marknadsföra och sälja Rekognition teknik för polismyndigheter, ledande integritet förespråkar att uppmana VD Jeff Bezos att sluta erbjuda produkten till regeringen.
“Vårt test förstärker att möta övervakning är inte säker för regeringen att använda,” Jacob Snö, en teknik och medborgerliga fri-och rättigheter advokat på ACLU Foundation i Norra Kalifornien, sade i ett uttalande. “Face övervakning kommer att användas för att driva diskriminerande övervakning och polisiära som mål samhällen i färg, invandrare och aktivister. En gång utlöste, att en skada kan inte ångras.”
‘Recept för katastrof”: Amazon under en eld för att sälja ansikte erkännande programvara till polisen
Läs mer
ACLU används samma facial recognition system som Amazon erbjuder till allmänheten, skanning för matcher mellan bilder av ansikten. Gruppen byggde upp ett ansikte databas och söka verktyget med 25,000 offentliga gripande foton, då korsreferenser data med offentliga bilder av varje medlem av den AMERIKANSKA representanthuset och Senaten.
Av de 28 personer som feltolkat av ACLU: s test, 11 av dem var personer som av färg, nästan 40% av de som felaktigt matchade, trots det faktum att människor i färg och endast 20% av de i Kongressen. Sex ledamöterna i Kongressens Black Caucus ingår i den falska matcher, inklusive den civila rättigheter ledare John Lewis.
“ACLU: s test visar bortom skuggan av ett tvivel vad många av oss redan vet – att Amazon ansiktsigenkänning verktyg är diskriminerande … och därför farlig för demokratin,” sade Malkia Cyril, verkställande direktör för Center for Media Rättvisa. “De behöver för att rulla tillbaka omedelbart.”
Amazon försvarade sin teknik i ett uttalande, säger ACLU: s resultat skulle förmodligen bli bättre” om testet hade ökat förtroende trösklar”, vilket innebär att sannolikheten för att Rekognition hittat en match. ACLU används 80% säkerhetsgräns, men Amazon sade i sitt uttalande, “När du använder ansiktsigenkänning för brottsbekämpande verksamhet, vi guidar kunder för att ställa in ett tröskelvärde som är minst 95% eller högre.”
ACLU har dock påpekat att det används standard match inställningar som Amazon har för Rekognition, och som bolaget för närvarande referenser 80% förtroende mått för att känna igen ansikten på sin egen webbplats.
Amazon svar tycktes erkänna att tekniken inte skulle fungera väl i sitt standard läge, Snö sade i en intervju: “i Huvudsak, de säger att deras produkt är trasig out of the box.”
Han noterade också att det inte fanns några bevis Amazon var faktiskt vägledande för polisen att använda sig av den högre gränsen, och att även om företaget var att göra dessa rekommendationer, det fanns inga garantier att polisen använder som standard. Den teknik som gör att de rättsvårdande myndigheterna att ändra sina trösklar.
“Amazon är inte att ta ansvar för Rekognition och hur Rekognition sätts in i samhällen,” Snö och sa att Kongressen bör införa ett moratorium på regeringens användning av ansiktsigenkänning verktyg.
Microsoft kallar för tekniken för ansiktsigenkänning regler som ges potential för missbruk”
Läs mer
Tre Kongress medlemmar skrev till Bezos på torsdag begära kopior av interna riktigheten eller bias bedömningar som Amazon har haft på Rekognition och en lista av polisen eller andra underrättelseorgan att använda programvaran eller har varit i kontakt med företaget om eventuella förvärv.
Brevet sade “effekt och inverkan av tekniken är ännu inte helt förstått” och konstaterade att “varken Kongressen eller delstatsparlament har stiftat lagar som uttryckligen tillåter användningen av ansiktsigenkänning av brottsbekämpning”.
Studier har visat att tekniken för ansiktsigenkänning misidentifies svarta människor, kvinnor och ungdomar i högre grad än äldre vita män.
Om polisen använder Amazons teknik i stor skala, “hundratusentals människor stå ut med att vara felaktigt identifierad”, säger Cyril, och noterar att det skulle påverka “människor av färg och speciellt svarta människor som redan är utsatta för diskriminering i vårt nuvarande system för polisen, som redan drabbats av farliga interaktioner med polisen”.
“Polisen kommer att ha ett verktyg för att bidra till att diskriminering,” Cyril fortsatte, och tillade att Amazon var att “leka politik med människors liv”.
En Amazon talesman hävdade att Rekognition haft en gynnsam program, såsom “att förebygga människohandel” och “att hämma exploatering av barn”, och tillade: “Vi är fortfarande glada om hur bild-och videoanalys kan vara en drivkraft för det goda i världen, även i den offentliga sektorn och brottsbekämpning.”
Amazon har inte avslöjat de polismyndigheter som kan använda programvaran och inte svara på frågor om sin brottsbekämpande partners på torsdag.