Foto: AP
Dage efter, at ACLU udgivet en fordømmende rapport om Amazon ‘s ansigtsgenkendelse produkt Rekognition, at Amazon’ s general manager for AI, Dr. Matt Træ, imødegås sine resultater i et blog-indlæg. ACLU, der anvendes Rekognition til at scanne ansigter af alle de 535 medlemmer af Kongressen, at finde den software forvekslede 28 af dem for mistanke om kriminelle. Dr. Træ bemærker for det første, at ACLU ikke afsløre sin metode eller et datasæt i rapporten, så punctuates Amazon ‘ s oprindelige svar—at det fremmer en højere tillid tærskler for retshåndhævelse.
Påfaldende mangler fra bloggen, men var en særlig tilbagevisning til den enorme racemæssig ulighed afdækket af ACLU. For Kongressen som helhed, var fejlprocenten kun fem procent, men for ikke-hvide medlemmer af Kongressen, fejlprocenten var 39 procent. Når man centers dette racemæssig ulighed, som blog-indlægget ikke, Dr. Wood ‘ s sidste punkt lyder som et argument mod ansigtsgenkendelse brug ved lov håndhævelse engros.
Han skriver:
“Ud over at fastsætte de konfidensgrænse alt for lavt, Rekognition resultater kan være betydeligt skæv ved hjælp af en facial database, der ikke er tilstrækkeligt repræsentative, er i sig selv skæv. I dette tilfælde, ACLU brugt en facial database af mugshots, der kan have haft en væsentlig indflydelse på nøjagtigheden af Rekognition resultater.”
Lad os bryde det ned.
Hvis et bureau, er scanning en gruppe af mennesker mod en database, makeup ‘ en af databasen vil naturligvis påvirke resultatet. En database af ansigter stammer fra Guadalajara sandsynligvis ikke vil være nyttige, hvis scanning mod ansigter i et indkøbscenter, i Wisconsin. Dr. Træ argumenterer for, at arrestee database ACLU scannet medlemmerne af kongressen imod sig selv er blevet forvrænget eller fordrejet.
Men, her er hvad vi ved om de ansigter af personer, der bliver anholdt i Usa: De skæve i retning af at blive mørkere. For congresspeople, de skæve lettere. Hvis overrepræsentation af mørkere i huden mennesker i mugshot databaser spillet en del i den svimlende racemæssig ulighed i ACLU ‘ s resultater, det samme argument kan gøres næsten enhver tid lov håndhævelse scanninger mod de “skæve” kriminelle databaser.
Wood ‘ s blog afspejler vanskeligheden i Silicon Valley i forståelsen af den måde, statistisk bias (over/under-repræsentation af forskellige hudfarver, der påvirker nøjagtighed) overlapper med racistiske fordomme (ansigtsgenkendelse bruges til at tilskynde skadet politiets systemer). De lever af hinanden. Mørkere flået mennesker er arresteret flere, vises i kriminelle databaser mere, og dermed er matchet mere. Denne overrepræsentation er bevaret, og længe før normalisering af ansigtsgenkendelse i lov håndhævelse.
Helt ærligt, er det et argument mod alle ansigtsgenkendelse, fordi kriminelle databaser, ikke er, og aldrig har været, og er perfekt repræsentant for enten USA på store eller medlemmer af kongressen.
Den blog, men ender med at foreslå garantier for ansigtsgenkendelse i hænderne på retshåndhævelse, der svarer til dem, der er fremført af Microsoft formand Brad Smith. Først Amazon anbefaler retshåndhævende kun at handle om kampe med 99 procent tillid til niveauer, der er højere end de 80 procent, der anvendes i undersøgelsen. Smith ligeledes foreslået en minimumsgrænse for retshåndhævelse. Disse anbefalinger er, dog, ikke regler. Kunne ikke Amazon nægter at forny kontrakter for organer, der fungerer ved hjælp af lavere tærskelværdier? Hvorfor hvile på blot en “henstilling?”
Endelig indlægget slutter med at sige, Rekognition skal være “én indgang på tværs af andre, at give mening”, og ikke erstatte den menneskelige dom, men “tillade mennesker til hurtigt at gennemgå og overveje muligheder for at bruge deres fornuft (og ikke at gøre den fuldt autonome beslutninger).” Sikker. Det er meget rimeligt—medmindre du er den person med til at forklare, at en officer, at du ikke som computeren siger du er.
Den antagelse, at hyper-rationalitet og fordomme-fri tænkning i hver officer med adgang til denne teknologi, der taler til en større misforståelse af, hvordan race, bias og teknologi skærer, med den pris, der i sidste ende betalt af de selvsamme mennesker, ignoreret i disse typer af forsvar.