Illustration: Angelica Alzona
Som selskaber kapløb om at ansætte facial anerkendelse overalt fra major league ballparks på din lokale skole og sommerlejr, vi står over for svære spørgsmål om teknologiens potentiale til at intensivere race bias; Kommercielle ansigtsgenkendelse software har gentagne gange vist sig at være mindre præcis på folk med mørkere hud, og civile rettigheder går bekymre sig om den foruroligende målrettet måder ansigt-scanning kan bruges af politiet.
Ikke desto mindre er disse systemer fortsætte med at rulle ud over hele landet midt forsikringer om, at mere præcise algoritmer er på vej. Men er gennemførelsen af et virkeligt ikke-racistisk (i modsætning til blot “farveblind”) ansigtsgenkendelse virkelig muligt? Til at hjælpe med at besvare dette spørgsmål, vi har talt med eksperter på ansigtsgenkendelse, race og overvågning, og bad dem om at overveje, om vi nogensinde vil kunne afhjælpe de tekniske, kulturelle, og carceral bias ansigtsgenkendelse.
Tekniske fordomme og tekniske løsninger
Tidligere dette år, MIT forskere Glæde Buolamwini og Timnit Gebru fremhævet en af de måder, ansigtsgenkendelse, er forudindtaget imod sorte mennesker: mørkere flået ansigter er underrepræsenteret i det datasæt, der blev brugt til at træne dem, så facial anerkendelse mere upræcis, når man ser på mørke ansigter. Forskerne fandt, at når forskellige ansigtsgenkendelse algoritmer, der fik til opgave at identificere køn, de miscategorized mørklødede kvinder som mænd op til en 34.7% af tiden. Den maksimale fejl sats for lys-flået mænd, på den anden side, var mindre end 1 procent.
“At der ikke på én ud af tre, i et kommercielt system, på noget, der er blevet reduceret til en binær opgave, du er nødt til at spørge, ville det have været tilladt, hvis de manglende tal var i en anden undergruppe?” Buolamwini spurgte i en medfølgende pressemeddelelse fra MIT.
I papir, Microsoft ‘ s køn sigten var 20,8 procent fejlprocent for mørklødede kvinder. I svar, Microsoft annoncerede i juni, at det var en omjustering af uddannelsen data gennem diversificering hud toner facial træning billeder, klapper sig selv for at balancere den racemæssige forskelle i køn klassifikation satser. Dette er dog kun taler til en form for bias i ansigtsgenkendelse.
“Vi taler om to særskilte og unikke emner inden for vores branche,” Brian Brackeen, administrerende DIREKTØR for AI start Kairos, fortalte Gizmodo. Tekniske fejl og mangler, forklarede han, har tekniske løsninger. Men selv fuldt fungerende ansigtsgenkendelse kan være medskyldig forudindtaget systemer, et problem, der kræver mere kulturelt komplekse løsninger. “Både er problemer, og begge fortjener opmærksomhed, men de er to forskellige ting.”
Kairos gør biometriske login-systemer, der kan lade bank kunder bruger deres ansigt til at tjekke deres konti, medarbejdere ur i arbejde, og folk på forlystelsesparker adgang fast-pass baner. I disse sammenhænge, Brackeen siger, at indsatserne for falsk positive eller falsk negative er meget lavere. At være fejlidentificerede med din bank er ikke det samme som at være fejlidentificerede med politiet.
“Jeg er meget mere behageligt at sælge ansigtsgenkendelse til forlystelsesparker, cruise linjer, eller banker,” sagde Brackeen, ” hvis du er nødt til at logge ind på din [bank] – konto to gange, fordi du er African American, det er unfair. Men, du vil ikke blive skudt.”
Brackeen, der i spøg identificerer som “nok den eneste” sorte CEO af et ansigt anerkendelse selskab, der indgik i mediernes søgelys i sidste måned, da han afslørede Kairos slået ned på en kontrakt med krop kamera producent Axon. Ifølge Brackeen, ansigtsgenkendelse eksponentielt forbedrer mulighederne for politiet, som til gengæld eksponentielt forværrer bias politiarbejde.
“Når du taler om en AI-værktøj på en krop kamera, så disse er ekstra-menneskelige evner. Lad os sige, at en officer kan identificere 30 billeder i en time,” sagde Brackeen. “Hvis du skulle stille en politi-afdeling, hvis de var villige til at begrænse [anerkendelse] til 30 anerkendelser for en time, at de ville sige nej. Fordi det handler egentlig ikke om den tid af den officer. Det handler virkelig om en overmenneskelig evne til at identificere personer, som ændrer den sociale kontrakt.”
I sidste ende, Brackeen ser en leverandør-end løsning, der er: I en leder i sidste måned, han kaldte for hver enkelt ansigt anerkendelse selskab til at stoppe med at sælge sine tech til retshåndhævende myndigheder.
Frugt fra en giftig træ
Ansigtsgenkendelse fungerer ved at matche den person, der bliver scannet og sammenlignet med en database af facial billeder. I politiarbejde sammenhænge, disse databaser kan nævnes pas og kørekort fotos eller mugshots. I Orlando, politiet indgået et samarbejde med Amazon til at teste ansigt anerkendelse forbundet med at overvågningskameraer på offentlige steder. I New York, skoledistrikter, som er begyndt at udforske ens systemer til at scanne besøgende’ ansigter efter Parkland skydning. I begge tilfælde er målet at øjeblikkeligt at identificere personer af interesse, såsom dem med udestående warrants.
Dette forudsætter imidlertid warrants fordelt sig “nogenlunde”, eller skal altid udløse politiets indgriben. Mener Ferguson, Missouri, hvor skyderiet død af Mike Brown udløste dage med protester. En Justice Department undersøgelse efter Brown ‘ s død fandt, at Ferguson var politiet “, som er formet af byens fokus på indtægter, snarere end ved den offentlige sikkerhed.” Som rapporten forklaret, at politiet rutinemæssigt sort drivere til stop, og de søgninger, som en del af en racistisk, lukrative indtægter model, der udsteder arrestordre på ubesvarede og delvise betalinger.
Tallene var overvældende: hvilket er 67 procent af befolkningen i Ferguson, sort borgere blev målet om, at 85 procent af trafikken stopper, og 91 procent af alle stopper resulteret i en eller anden form for kildehenvisning. I en fremtid, hvor alle chauffører er øjeblikkeligt genkendelig via ansigtsgenkendelse, overveje, hvad livet ville være for nogen øjeblikkeligt matchet, og som er identificeret med et udestående arrestordre som et resultat af en forudindtaget system. Som ansigtsgenkendelse bliver standardiseret og træder skoler, stadioner, lufthavne, og transit hubs, overvågning beføjelser for politiet til at vokse. Selv med justeret uddannelse modeller, “bias” er til stede. En lærd vi talte hævdede, at bias-fri ansigt anerkendelse aldrig kunne eksistere i politisystemet.
“[Face recognition] forestiller sig, politiarbejde som neutral. Vi ved at det er ikke tilfældet,” Simone Browne, en assisterende professor ved University of Texas i Austin og forfatter af Mørk Spørgsmål: Om Overvågning af Sorthed, fortalte Gizmodo. Dark Matters argumenterer for, at biometrisk overvågning, vender kroppen sig til en form for bevis, en form for hyper-objektivering med historiske forbindelser til slaveri. Browne skriver:
Racializing overvågning er også en del af den digitale sfære med materiale konsekvenser inden for og uden for det… data, der er abstraheret fra, eller der er produceret om, at enkeltpersoner og grupper er så profileret, rundsendes, og som handles inden for og mellem databaser. Disse data er ofte præget af køn, nationalitet, region, race, socioøkonomisk status og… for nogle, disse kategorier er særligt skadelige.
Browne argumenterer for, at ansigt anerkendelse skaber en digital kopi af vores fysiske selv, der fungerer som et ID, som derefter analyseres, deles og undersøges, matches mod os—primært handlet—alle som et middel til at efterprøve vores identitet og sporing af vores adfærd. Ansigtsgenkendelse kategoriserer mennesker, og dermed bliver et køretøj, for nogle gange skade resultaterne af at sætte folk i biometriske kategorier. Vi kan se konsekvenserne af en sådan kategorisering i gang databaser, terror, se lister, og endda foretrukne shopper lister.
“Vi endnu ikke kan forestille sig, at der kommer til at forbedre forholdene for de sorte mennesker, fordi politisystemet er stadig intakt,” Browne advaret.
Hvem har gavn af fremskridt?
“Vi lever i et øjeblik af accelererede teknologi, hurtigere teknologisk udvikling [og] den videnskabelige udvikling,” Alondra Nelson, direktør for Data & Samfund, hvilke undersøgelser de sociale virkninger af teknologi, fortalte Gizmodo. “Øjeblikke af pause og refleksion er nødvendig, og, jeg tror, er vigtig påmindelse om, at vi ikke bare nødt til at blive tandhjul i en hurtig flytning af system.”
At reagere på Microsoft ‘ s første indlæg på køn klassificering, Nelson var skeptisk, tweeting på den tid: “Vi skal stoppe forvirrende “inklusion” i en mere ‘mangfoldig’ overvågningssystemer med retfærdighed og lighed.”
“[Meget] af mit arbejde har talt om på den måde, at samfund af farve i den Afrikansk-Amerikanske samfund har forstået, hvordan de kunne både være underforsynede med den slags positive rolle, som en bestemt ny teknologi, men ofte overeksponerede til sin værste muligt dynamisk,” sagde Nelson.
Denne dobbelte bind—hvor sorte mennesker udsættes for videnskaben snarere end understøttes af det—er indkapslet i begrebet “medicinsk apartheid”, et begreb opfundet af forfatter Harriet Washington. Født fra Washington ‘ s robuste historisk analyse af medicinske eksperimenter på slaver, “medicinsk apartheid” refererer til, hvor sorte mennesker er blevet eksperimenteret på af hensyn til videnskabelige fremskridt, som de ikke er omfattet. En af de mest berygtede eksempler kommer fra arbejde af James Marion Sims, der er kendt af nogle som “faderen af gynækologi” for at reducere mødre-dødelighed i det 19 århundrede, men udført forskning ved at udføre grusomme eksperimenter på slaver sorte kvinder.
“Alle de tidlige vigtigt reproduktiv sundhed fremskridt blev udtænkt af perfektionere forsøg på sorte kvinder,” Washington sagde i 2007 interview. “Hvorfor? Fordi hvide kvinder kunne sige nej.” Århundreder senere, maternel dødelighed for sorte kvinder, er tre gange højere end for hvide kvinder.
Ansigtsgenkendelse er ikke så alvorlige, men “medicinsk apartheid” er en nyttig ramme for at overveje, hvordan forskellige befolkningsgrupper har forskellige roller i den udvikling, fremgang, indflydelse, og i sidste ende til gavn for den videnskabelige og teknologiske gennembrud. Denne forskel kan illustreres med et simpelt spørgsmål: Hvilke befolkningsgrupper kan sige nej?
“Det er ikke noget, kun for [virksomhederne til at bede,] det mere om demokratisk styring,” sagde Nelson. “Vi er nødt til at være åbne for den demokratiske mulighed for at have en bedre overvågning teknologi er ikke nødvendigvis bedre.”
Uden for sammenhænge, som politi, bias (både teknisk og kulturelt synes at være en masse mindre truende. Men spørgsmålet er: Kan sorte mennesker siger nej til at være ansigt scannet, selvom det statistisk set er afbalancerede, kommercielt anvendt eller temmelig reguleret? Som nogen, sorte mennesker bør være i stand til at nyde bekvemmeligheder som kortere lufthavn linjer og nemmere log-ins. Men når du evaluerer en emergent teknologi er positiv eller negativ effekt på samfundet, er vi nødt til at spørge, om det har forskellige virkninger på medlemmer af samfundet, ikke kun hvis det er sjovt eller inkluderende.
Se watchmen
Tidligere i denne måned, Microsoft Formand Brad Smith, der er udstedt af en offentlig (og meget omtalt) opfordring til den AMERIKANSKE regering til at regulere facial anerkendelse efter offentlige modreaktion til hans virksomhedens igangværende kontrakt med IS. “Som et generelt princip,” Smith skrev, “det forekommer mere fornuftigt at spørge en valgt regering at regulere virksomheder, end det at bede ikke-valgte virksomheder til at regulere en sådan regering.”
Smith opfordrede til oprettelsen af et “tværpolitisk ekspert kommission” til at guide regulering af ansigtsgenkendelse tech. Det virkede som et PR-trick i første omgang, ikke i modsætning til den mangfoldighed paneler af Obama år eller nyligt fashionable AI etik brædder, samlet med store navne, stor ros, og ingen beføjelser til at håndhæve reglerne. Smith ‘ s forslag, men fremhævede en stor forskel: Federal kommissioner har direkte øre af medlemmerne af Kongressen, der er modigere end nogensinde i deres ønske om at regulere “liberal bastion” i Silicon Valley, og kan udstede pålæg om udlevering af dokumenter og oplysninger, der normalt er skjult af proprietær love til beskyttelse. Det er et opmuntrende forslag, men håndteringen af de skævheder i ansigtet anerkendelse kræver en masse mere.
For at skabe en “ikke-racistisk” ansigt anerkendelse, de virksomheder, der sælger det skal, ja, løse tekniske fejl i deres systemer, men de bliver også nødt til at udøve et moralsk afgørende ikke at give den teknologi, at grupper, der opererer med racistiske fordomme. Derudover, lovgivere vil være nødvendigt at indføre hårde grænser for, hvordan og hvornår ansigt-scanning kan bruges. Selv da, saglig ansigtsgenkendelse vil være umuligt, uden at spørgsmålet om racisme i det strafferetlige system, vil det uundgåeligt blive brugt i.
At nå disse mål kan synes urealistisk, men dette kun viser, at problemet er presserende. Desværre, disse er ikke hypotetisk bekymringer om en fjern dystopisk fremtid. Bare i denne måned, Orlando police department fornyet sin meget fordømt ansigtsgenkendelse pilot med Amazon, mens New Yorks guvernør annonceret ansigt-scanning blev snart kommer til at broer og tunneller i New York City.
Ansigtsgenkendelse er ved at blive markedsført til forbrugerne som et banebrydende bekvemmelighed, men det har en klar tilknytning til den overvågning, og i sidste ende, kontrol. Tænk, hvis hver annonce eller artikel fremme en “betaler med dit ansigt” system viste også kriminelle databaser eller terror, se lister. Hvis de gjorde, ville vi få et mere ærligt blik på face recognition ‘ s indflydelse.