Illustrasjon: Angelica Alzona
Som selskaper løp for å ansette facial anerkjennelse over alt fra major league ballparks til din lokale skole og sommerleir, vi står overfor vanskelige spørsmål om teknologiens potensial til å intensivere rasefordommer; Kommersielle ansikt gjenkjennelse programvare har gjentatte ganger vist seg å være mindre nøyaktig på personer med mørkere hud og sivile rettigheter talsmenn bekymre deg om bekymringsfullt målrettet måter ansikt-skanning kan brukes av politiet.
Likevel, disse systemene fortsette å rulle ut over landet midt forsikringer om at mer nøyaktige algoritmer er på vei. Men er implementeringen av virkelig ikke-rasistisk (som i motsetning til bare “colorblind”) ansiktsgjenkjenning virkelig mulig? For å få svar på dette spørsmålet, har vi snakket med eksperter på ansiktsgjenkjenning, rase og overvåking, og ba dem om å vurdere om vi noensinne kunne bøte på det tekniske, kulturelle og carceral skjevheter i ansiktsgjenkjenning.
Teknisk skjevheter og tekniske løsninger
Tidligere dette året, MIT forskere Glede Buolamwini og Timnit Gebru fremhevet en av måtene ansiktsgjenkjenning er forutinntatt mot svart personer: mørkere hud ansikter er underrepresentert i datasett som brukes til å trene dem, forlater facial anerkjennelse mer unøyaktig når du ser på mørke ansikter. Forskerne fant ut at når ulike ansikt anerkjennelse algoritmer fikk i oppdrag med å identifisere kjønn, de miscategorized mørk hud kvinner som menn opp til en 34.7 prosent av tiden. Maksimal feil pris for lys mørkhudede menn, derimot, var mindre enn 1 prosent.
“Å mislykkes på en i tre, i et kommersielt system, på noe som er blitt redusert til en binær klassifisering oppgave, du har å be om, ville det ha blitt tillatt dersom de feilrater var i en annen undergruppe?” Buolamwini spurte i en medfølgende pressemelding fra MIT.
I papir, Microsoft kjønn classifier hadde en 20.8 prosent feil pris for mørk hud kvinner. I respons, Microsoft annonserte i juni det var omkalibrere trening data gjennom mangfoldet hudtoner i ansikts trening bilder, applauding seg selv for å balansere de rasemessige forskjeller i kjønn klassifisering priser. Dette, imidlertid, bare taler til en form for skjevhet i ansiktsgjenkjenning.
“Vi snakker om to ulike og unike problemer i bransjen vår,” Brian Brackeen, administrerende DIREKTØR i AI oppstart Kairos, fortalte Gizmodo. Teknisk skjevheter, forklarte han, har tekniske løsninger. Men selv fullt fungerende ansiktsgjenkjenning kan medvirke partisk systemer, et problem som krever mer kulturelt komplekse løsninger. “Begge er problemer og begge fortjener oppmerksomhet, men de er to separate ting.”
Kairos gjør biometrisk innlogging systemer som kan la banken kunder bruker sitt ansikt, for å sjekke deres regnskap, ansatte klokke inn i arbeid, og folk i fornøyelsesparker få tilgang til hurtig-pass baner. I disse sammenhenger, Brackeen sier, innsatsen for et falskt positive eller falskt negative er mye lavere. Blir feilaktig identifisert av banken er ikke det samme som å være feilaktig identifisert av politiet.
“Jeg er mye mer komfortabel med å selge ansiktsgjenkjenning til fornøyelsesparker, cruise linjer, eller banker,” sa Brackeen, ” hvis du har til å logge inn på [bank] konto to ganger fordi du er Afro-Amerikansk, det er urettferdig. Men, er du ikke kommer til å få skutt.”
Brackeen, som spøkefullt identifiserer som “trolig den eneste” svart CEO av et ansikt anerkjennelse selskapet, gikk inn i media søkelys forrige måned da han avslørte Kairos slått ned en kontrakt med kroppen kamera produsenten Axon. I henhold til Brackeen, ansiktsgjenkjenning eksponentielt forbedrer funksjonene til politiet, som i sin tur eksponentielt forverrer skjevheter av politiarbeid.
“Når du snakker om en INTELLIGENS verktøy på en kropp kamera, så dette er ekstra-menneskelige evner. La oss si at en offiser kan identifisere 30 bilder i timen,” sa Brackeen. “Hvis du var å spørre politiet om de var villige til å begrense [anerkjennelse] 30 utmerkelser en time, ville de si nei. Fordi det er egentlig ikke om den tid som offiser. Det er virkelig om en overnaturlig evne til å identifisere folk, som endrer den sosiale kontrakten.”
Til slutt, Brackeen ser en leverandør-ende-løsning: I en lederartikkel i forrige måned, han som kalles for hver enkelt ansiktsgjenkjenning selskapet til å slutte å selge sin tech til politiet.
Frukt fra et giftige treet
Ansiktsgjenkjenning fungerer ved å matche den personen som blir skannet mot en database av ansikts bilder. I politiarbeid sammenhenger, disse databasene kan ta med pass og førerkort bilder eller mugshots. I Orlando, i politiet, i samarbeid med Amazon til å teste ansiktsgjenkjenning koblet til overvåkingskameraer på offentlige steder. I New York, skolemyndigheter har begynt å utforske lignende systemer for å skanne besøkende ” ansikter etter Parkområde skyting. I begge tilfeller er målet å umiddelbart identifisere personer av interesse, slik som de med utestående tegningsretter.
Men dette forutsetter at tegningsrettene er fordelt seg “ganske” eller bør alltid utløse politiet intervensjon. Vurdere Ferguson, Missouri, der skyting død av Mike Brown utløste dager med protester. En Justisdepartementet etterforskning etter at Brown er død fant at Ferguson politiet var “formet av byens fokus på inntekter, heller enn ved offentlig sikkerhet behov.” Som rapporten forklart politiet rutinemessig målrettet svart drivere for stopp og søk som en del av en rasistisk, lukrativ inntekt modell, utstede arrestordre for ubesvarte og delvis betaling.
Tallene er svimlende: som Representerer 67 prosent av befolkningen i Klubben, svarte innbyggerne ble utsatt for 85 prosent av trafikken stopper, og 91 prosent av alle stopper resultert i noen form for begrunnelse. I en fremtid der alle drivere er umiddelbart identifiserbar via ansiktsgjenkjenning, vurdere hva ville livet være som for alle umiddelbart matchet og identifisert med et utestående arrestordre som et resultat av en partisk system. Som ansiktsgjenkjenning blir standardisert og går inn i skoler, idrettsarenaer, flyplasser og transitt-huber, overvåking krefter politiet vokse. Selv med rekalibrert trening modeller, “bias” er til stede. En lærd vi snakket med hevdet bias-gratis ansiktsgjenkjenning kan aldri eksistere i politi-systemet.
“[Ansiktsgjenkjenning] forestiller politiarbeid som nøytrale. Vi vet at det er ikke tilfelle,” Simone Browne, en assisterende professor ved University of Texas i Austin og forfatter av Mørke Saker: På Overvåking av Svarthet, fortalte Gizmodo. Mørke Saker argumenterer for at biometriske overvåking vender kroppen seg til en form for bevis, en form for hyper-objectification med historiske forbindelser til slaveri. Browne skriver:
Racializing overvåking er også en del av den digitale sfæren med materiale konsekvensene innenfor og utenfor det… data som er hentet fra, eller produsert om, enkeltpersoner og grupper som er så profilert, sirkuleres og handlet innenfor og mellom databaser. Slike data er ofte preget av kjønn, nasjonalitet, region, rase, sosioøkonomisk status og… for noen, disse kategoriene er spesielt negative.
Browne hevder at ansiktsgjenkjenning skaper en digital kopi av vår fysiske selv som fungerer som et ID, som deretter analysert, felles, gransket, matchet mot oss—i hovedsak utsatt for menneskehandel—alle som et middel til å verifisere identiteten vår, og sporing av vår atferd. Face recognition kategoriserer mennesker, og blir dermed en bil for noen ganger negative resultater av å sette folk inn biometriske kategorier. Vi kan se konsekvensene av en slik kategorisering i gjengen databaser, terror se lister, og selv foretrukket shopper lister.
“Vi ennå ikke kan forestille meg at det kommer til å forbedre ting for svarte mennesker, fordi politiarbeid systemet er fortsatt intakt,” Browne advart.
Hvem drar nytte av fremskritt?
“Vi lever i et øyeblikk av akselererende teknologi, akselerert teknologisk utvikling [og] vitenskapelig utvikling” Alondra Nelson, direktør for Data Og Samfunn, som studerer de sosiale konsekvensene av teknologien, fortalte Gizmodo. “Øyeblikk av pause og refleksjon er nødvendig og, tror jeg, viktige påminnelser om at vi ikke bare har å bli hjul i en rask bevegelig system.”
Svare på Microsoft ‘ s første innlegg på kjønn klassifisering, Nelson var skeptisk, tvitrer på den tiden: “Vi må stoppe forvirrende ‘inkludering’ mer ‘diverse’ overvåkingssystemer med rettferdighet og likestilling.”
“[Mye] i mitt arbeid har snakket om på den måten at samfunn av farge i de Afro-Amerikanske samfunnet forstått hvordan de kan være både ansatte ved den slags positiv rolle i en bestemt ny teknologi, men ofte overeksponert til sitt verste mulige dynamiske,” sa Nelson.
Denne doble binde—der svarte mennesker er utsatt for vitenskapen snarere enn støttes av det—er sammenfattet i begrepet “medisinsk apartheid,” et begrep skapt av forfatteren Harriet Washington. Født fra Washington robuste historisk analyse av medisinske experimentations på slaver, “medisinsk apartheid” refererer til hvordan svarte mennesker har blitt eksperimentert med, på grunn av vitenskapelige fremskritt som de ikke nytte. En av de mest beryktede eksempler kommer fra arbeidet med James Marion Sims, som er nevnt av noen som “far gynekologi” for å redusere mors død priser i det 19. århundre, men ble utført forskning ved å utføre grusomme eksperimenter på undertrykte svarte kvinner.
“Alle av de tidlige viktig reproduktiv helse fremskritt ble utviklet av perfeksjonere eksperimenter på svarte kvinner,” Washington sa i 2007 intervju. “Hvorfor det? Fordi hvite kvinner kunne si nei.” Århundrer senere, mors død pris for svarte kvinner er tre ganger høyere enn den er for hvite kvinner.
Ansiktsgjenkjenning er ikke så store, men “medisinsk apartheid” er et nyttig rammeverk for å vurdere hvordan ulike befolkningsgrupper har ulike roller i utvikling, utvikling, støt, og, til slutt, dra nytte av vitenskapelige og teknologiske gjennombrudd. Denne forskjellen kan illustreres med et enkelt spørsmål: Hvilke bestander kan si nei?
“Dette er ikke noe bare for [selskaper til å spørre:] det handler mer om demokratisk styring,” sa Nelson. “Vi må være åpne for den demokratiske muligheten for at å ha bedre overvåkings-teknologi er ikke nødvendigvis bedre.”
Utenfor sammenhenger som politi, skjevheter (både tekniske og kulturelle) synes mye mindre truende. Men spørsmålet gjenstår: svarte mennesker Kan si nei til å være ansikt skannet, selv om det er statistisk balansert, kommersielt brukt, eller ganske regulert? Som alle andre, svart mennesker bør være i stand til å nyte bekvemmeligheter som kortere flyplassen linjer og enklere log-ins. Men når du vurderer en emergent teknologi er positiv eller negativ effekt på samfunnet, må vi spørre om den har ulike virkninger på medlemmer av samfunnet, ikke bare om det er morsomt eller inclusive.
Se watchmen
Tidligere denne måneden, Microsoft President Brad Smith utstedt en offentlig (og rapportert) call for den AMERIKANSKE regjeringen å regulere facial anerkjennelse etter offentlig tilbakeslag til hans selskapets løpende kontrakt med IS. “Som et generelt prinsipp,” Smith skrev, “det virker mer fornuftig å spørre en valgte regjeringen å regulere selskaper enn å be unelected selskaper til å regulere en slik regjering.”
Smith kalt for etablering av en “tverrpolitisk ekspert kommisjonen” til guide regulering av ansiktsgjenkjenning tech. Det virket som et PR-triks på første, ikke i motsetning til mangfoldet paneler av Obama år eller nylig fasjonable AI etikk styrene sammen med store navn, ros, og ingen tvang krefter. Smith ‘ s forslag, men inneholdt en stor forskjell: Federal provisjoner har direkte øret av medlemmer av Kongressen, som er fetere enn noensinne i deres ønske om å regulere den “liberale bastion” i Silicon Valley, og kan problemet stevninger for dokumenter og opplysninger som vanligvis er skjult av opphavsrettslige lover for beskyttelse. Det er en oppmuntrende forslag, men å håndtere de store skjevheter i ansiktet anerkjennelse krever mye mer.
For å skape “ikke-rasistisk” ansikt anerkjennelse, selskaper som selger det må, ja, adresse teknisk feil i deres systemer, men de vil også ha til å utøve et moralsk imperativ å ikke gi teknologien til grupper som driver med rasefordommer. I tillegg, lovgivere ville behovet for å pålegge vanskelig begrensninger på hvor og når ansikt-skanning kan brukes. Selv da, objektive ansiktsgjenkjenning vil være umulig uten å ta opp rasisme i criminal justice system vil det uunngåelig bli brukt i.
For å nå disse mål kan virke urealistisk, men dette viser bare hvordan å trykke på problemet. Dessverre, dette er ikke hypotetiske spørsmål om en fjern dystopiske fremtiden. Bare denne måneden, Orlando politiet fornyet sin mye skjelt ansiktsgjenkjenning pilot med Amazon, mens New Yorks guvernør annonsert ansikt-skanning var snart kommer til bruer og tunneler over hele New York City.
Ansiktsgjenkjenning er markedsføres til forbrukere som en cutting edge bekvemmelighet, men det har klare bånd til overvåkning, og til slutt kontroll. Tenk om hver annonse eller artikkel å fremme et “betal med ditt ansikt” – systemet viste også kriminelle databaser eller terror se lister. Hvis de gjorde det, ville vi få en mer ærlig titt på face recognition innvirkning.