Som ansiktsgjenkjenning verktøy spille en større rolle i bekjempelsen av kriminalitet, innebygde rasistiske fordommer heve problematisk spørsmål om systemer som gir dem
En protest over politiets vold mot svart samfunn.
Foto: Alamy Stock Photo
Ansiktsgjenkjenning
Hvordan hvit ingeniører bygget rasistiske kode – og hvorfor det er farlig for svarte
Som ansiktsgjenkjenning verktøy spille en større rolle i bekjempelsen av kriminalitet, innebygde rasistiske fordommer heve problematisk spørsmål om systemer som gir dem
Mandag 4. desember 2017 09.00 GMT
Sist endret på mandag 4. desember 2017 16.01 GMT
“Du godt?” en mann spurte to narkotika detektiver sent på sommeren 2015.
Detektivene hadde nettopp ferdig med en undercover narkotika-avtalen i Brentwood, en overveiende svart-området i Jacksonville, Florida, som er blant de fattigste i landet, når man plutselig nærmet seg dem. En av detektivene svarte at han var ute for $50, verdt av “hard”– slang for crack-kokain. Mannen forsvant inn i en nærliggende leilighet og kom ut igjen for å oppfylle detective forespørsel, bytte av legemidler for penger.
“Du ser meg rundt, mitt navn er Midnatt,” den forhandleren, sa han til venstre.
Før Midnatt tok ut en av etterforskerne som var i stand til å ta flere bilder av ham, diskret knipser bilder med telefonen hans holdt til øret hans, som om han var å ta en samtale.
To uker senere, politiet ønsket å gjøre arrestasjonen. Den eneste informasjonen de hadde om giveren var smarttelefonen bilder, adresse der exchange hadde funnet sted, og kallenavnet Midnatt. Stabbet, Jacksonville sheriff ‘ s office slått til et nytt verktøy for å hjelpe dem med å spore ned forhandler: facial anerkjennelse programvare.
Ansikt-lest AI vil være i stand til å oppdage din politikk og IQ, sier professor
Les mer
Teknologien har hjulpet dem å pin ned en mistanke heter Willie Lynch. Lynch, som har blitt beskrevet av nær observatører av den sak som Georgetown University forsker Clare Garvie som en “svært intelligente, motiverte individuelle”, til tross for kun å ha uteksaminert high school – han selv arkivert sin egen sak bevegelser, som kan forveksles med de skrevet av en faktiske advokat – til slutt ble kjent skyldig og dømt til åtte år i fengsel. Han er nå tiltalende sin overbevisning.
Om ikke Willie Lynch er “Midnatt”, gjenstår å se. Men mange eksperter se facial anerkjennelse teknologi brukt mot ham som mangelfulle, spesielt mot svart enkeltpersoner. Dessuten måte Jacksonville sheriff ‘ s office brukte teknologien – som grunnlag for å identifisere og arrestere Lynch, ikke som en del av en sak som støttes av fastere bevis – gjør sin overbevisning enda mer tvilsom.
Metodene som brukes til å fange Lynch ikke var gjort klart i løpet av sin rettssak. Jacksonville sheriff ‘ s office i utgangspunktet ikke selv avsløre at de hadde brukt facial anerkjennelse programvare. I stedet, de hevdet å ha brukt en mugshot database å identifisere Lynch på grunnlag av et enkelt bilde at etterforskerne hadde tatt natt til exchange.
En “ufullkommen biometrisk’
Mangel på svar Jacksonville sheriff ‘s office har gitt i Lynch’ s tilfelle er representativ for de problemene som ansiktsgjenkjenning utgjør hele landet. “Det er ansett som en ufullkommen biometrisk,” sa Garvie, som i 2016 opprettet en studie på ansikts gjenkjenning programvare, utgitt av Center for Personvern og Teknologi ved Georgetown Lov, kalt Vedvarende Line-Up. “Det er ingen konsensus i fagmiljøet om at det gir en positiv identifikasjon av noen.”
Eksperter frykter ny teknologi kan faktisk være til skade samfunn politiet hevder de prøver å beskytte
Programvaren, som har tatt en stadig større rolle blant politiet i USA over de siste flere år, har vært fast i en kontrovers på grunn av sin effekt på folk av farge. Eksperter frykter at den nye teknologien kan faktisk være til skade samfunn politiet hevder de prøver å beskytte.
“Hvis du er svart, er det mer sannsynlig å bli utsatt for denne teknologien og teknologien er mer sannsynlig å være feil,” House oversight committee rangerte medlem Elias Cummings sa i en congressional hearing på politi bruk av ansiktsgjenkjenning programvare i Mars 2017. “Det er et helvete av en kombinasjon.”
Cummings var henviser til studier som Garvie. Denne rapporten fant at svart enkeltpersoner, som med så mange aspekter ved det juridiske systemet, var det mest sannsynlig til å bli gransket av ansikts gjenkjenning programvare i tilfeller. Det er også foreslått at programvaren var mest sannsynlig å være feil når det brukes på svart personer – en å finne bekreftet av FBI ‘ s egen forskning. Denne kombinasjonen som gjør Lynch og andre svarte Amerikanere’ liv ulidelig vanskelig, er født fra en annen rase tema som har blitt en gjenstand for nasjonal diskurs: mangel på mangfold i teknologisektoren.
Algoritmer er vanligvis skrevet av hvite ingeniører som behersker teknologien sektor. Foto: Dominic Lipinski/PA
Racialized kode
Eksperter som Glede Buolamwini, forsker ved MIT Media Lab, tror at facial anerkjennelse programvare har problemer med å gjenkjenne svarte ansikter fordi algoritmer er vanligvis skrevet av hvite ingeniører som behersker teknologien sektor. Disse ingeniører bygge på eksisterende kode biblioteker, vanligvis skrevet av andre hvite ingeniører.
Som koder konstruksjoner algoritmer, de fokuserer på ansiktstrekk som kan være mer synlig i ett løp, men ikke i en annen. Disse hensynene kan stamme fra tidligere forskning på ansikts gjenkjenning teknikker og praksis, noe som kan ha sine egne fordommer, eller engineer ‘ s egne erfaringer og forståelse. Koden som resultatene er rettet til å fokusere på hvite ansikter, og det meste testet på hvite motiver.
Og selv om programvaren er bygget for å bli smartere og mer nøyaktig med maskinlæring teknikker, trening datasett som det bruker ofte består av hvite ansikter. Koden “lærer” ved å se på flere hvite mennesker – som ikke hjelper er det bedre med et variert utvalg av løpene.
Teknologi mellomrom er ikke utelukkende hvit, imidlertid. Asiater og sør-Asiater har en tendens til å være godt representert. Men dette kan ikke utvides pool av mangfold nok til å løse problemet. Forskning i feltet absolutt tyder på at status quo er rett og slett ikke fungerer for alle folk av farge – spesielt for grupper som fortsatt underrepresentert i teknologi. I henhold til 2011 en studie av National Institute of Standards and Technologies (Nist), ansiktsgjenkjenning programvare er faktisk mer nøyaktig på Asiatiske ansikter når det er skapt av bedrifter i Asiatiske land, noe som tyder på at hvem som gjør programvaren sterkt påvirker hvordan det fungerer.
I en TEDx foredrag, Buolamwini, som er svart, fortalte flere øyeblikk gjennom hele sin karriere når ansiktsgjenkjenning programvare ikke merke til henne. “Den demo-arbeidet på alle før det kom til meg, og du kan sikkert gjette det. Det kunne ikke gjenkjenne ansiktet mitt,” sa hun.
Uregulert algoritmer
Selv som bruk av ansiktsgjenkjenning programvare øker i politiet over hele landet, dypere analyse eksperter er krevende er det ikke skjer.
Politiet ofte ikke vurdere sine programvare for å se etter bakt i rasefordommer – og det er ikke lover eller forskrifter som tvinger dem til. I noen tilfeller, som Lynch, politiet er selv å skjule det faktum at de bruker slik programvare.
Garvie sa hun er trygg på at politiet bruker ansiktsgjenkjenning programvare for mer enn de gjør det på, som hun referert til som “bevis hvitvasking av penger”. Dette er problematisk fordi det tilslører hvor stor rolle facial anerkjennelse spiller programvare i politiet. Både juridiske talsmenn og ansiktsgjenkjenning programvare selskapene selv sier at teknologien skal bare levere en del av sak – ikke bevis som kan føre til en pågripelse.
“Ved gjennomgang, alle ansikts gjenkjenning kampene skal behandles på noen annen måte enn at noen ringer inn en mulig bly fra en dedikert spiss linje,” skriver Roger Rodriguez, en ansatt ved ansiktsgjenkjenning leverandør Årvåken Løsninger, i et innlegg forsvare programvare. “Det påhviler fortsatt faller på den som undersøker, i et byrå til å selvstendig etablere sannsynlig årsak til effekt en arrestasjon,” fortsetter han – sannsynlig føre til at “det må bli møtt av andre investigatory betyr”.
Fremveksten av den rasistiske roboter – hvor AI er læring for alle våre verste impulser
Les mer
Selv om ansiktsgjenkjenning programvare brukes på riktig måte, men teknologien har betydelige underliggende feilene. De bedrifter som skaper programvaren er ikke holdt til spesifikke krav for rasefordommer, og i mange tilfeller de ikke engang prøve for dem.
Ett selskap jeg snakket med, CyberExtruder, en facial anerkjennelse teknologi selskap som markedsfører seg selv til politiet, sa også at de hadde ikke utført testing og forskning på skjevhet i deres programvare. Årvåken Løsninger nektet å svare på om eller ikke de testet for det. CyberExtruder gjorde oppmerksom på at visse hud farger er rett og slett vanskeligere for programvaren til å håndtere gitt gjeldende begrensninger i teknologien. “Akkurat som personer med svært mørk hud er vanskelig å identifisere med høy betydning via ansiktsgjenkjenning, personer med svært blek hud er det samme,” sa Blake Senftner, senior software engineer på CyberExtruder.
Som for Lynch, hans tilfelle er for øyeblikket ute i Florida domstolene. Klokken kan også ikke bli slått tilbake for andre som ham, som kan ha vært urettferdig prøvd som en følge av mindre enn perfekt programvare uten gjennomsiktig krav til sitt bruk.
Ansiktsgjenkjenning programvare reiser mange spørsmål som må klare svar. Få de svarene vil ta mer enn igangkjøring studier, så viktig som de er. Det er også viktig at lover fange opp med teknologi, for å gi folk som Lynch med mulighet til å vite verktøy som blir brukt mot dem. Viktigst, må vi ta en nærmere titt på hvem det er som kan gjøre disse algoritmene, og hvordan de gjør det.
Ali Breland er en reporter på Bakken, hvor han fokuserer på skjæringspunktet mellom teknologi og politikk. En lengre versjon av dette stykket vises i den kommende “Justice” utgave av Logikk, et magasin som handler om teknologi. Besøk logicmag.io for å lære mer.