Som ansiktsigenkänning verktyg spela en större roll i kampen mot brottslighet, inbyggd rasistiska fördomar väcker frågor om det system som skapar dem
En protest mot polisens våld mot svarta samhällen.
Foto: Alamy Stock Photo
Ansiktsigenkänning
Hur vita ingenjörer byggde rasistiska kod – och varför det är farligt för svarta människor
Som ansiktsigenkänning verktyg spela en större roll i kampen mot brottslighet, inbyggd rasistiska fördomar väcker frågor om det system som skapar dem
Måndag 4 December 2017 09.00 GMT
Senast ändrad måndagen den 4 December 2017 16.01 GMT
“Du bra?” frågade en man två narkotika detektiver sent på sommaren 2015.
Detektiverna hade precis avslutat en undercover narkotika uppgörelse i Brentwood, en övervägande svart stadsdel i Jacksonville, Florida, som är bland de fattigaste i landet, när man oväntat närmade sig dem. En av detektiverna svarade att han var ute för $50 värde av “hård”– slang för kokain. Mannen försvann i en lägenhet i närheten och kom tillbaka ut för att uppfylla detektiv begäran, att byta ut läkemedel för pengarna.
“Du ser mig omkring, mitt namn är Midnatt,” dealern sa när han lämnade.
Innan Midnatt departed, en av detektiverna kunde ta flera bilder av honom, diskret knäppa bilder med sin mobiltelefon som hålls till hans öra som om han skulle ta ett samtal.
Två veckor senare, polisen ville göra gripandet. Den enda information som de hade om givaren var smartphone bilder, den adress där utbyte hade tagit plats, och smeknamnet Midnatt. Illa, Jacksonville sheriff ‘ s office vände sig till ett nytt verktyg för att hjälpa dem att spåra återförsäljare: programvara för ansiktsigenkänning.
Inför behandlingen AI kommer att kunna upptäcka din politik och IQ, säger professor
Läs mer
Tekniken har hjälpt dem att sätta fingret på en misstänkt som heter Willie Lynch. Lynch, som har beskrivits av nära observatörer i de fall som Georgetown University forskaren Clare Garvie som en “mycket intelligent, mycket motiverade person” trots att endast ha gått ut high school – han även lämnat in sitt eget fall rörelser, som kan misstas för som skrivs av en faktisk advokat – dömdes så småningom och dömdes till åtta år i fängelse. Han är nu tilltalande för sin övertygelse.
Om inte Peter Lynch är “Midnatt” återstår att se. Men många experter ser tekniken för ansiktsigenkänning som används mot honom som bristfällig, särskilt mot svarta individer. Dessutom, hur Jacksonville sheriff ‘ s office används tekniken – som grund för att identifiera och gripa Lynch, inte som en komponent av ett ärende med stöd av fastare bevis – gör sin övertygelse ännu mer tveksamt.
De metoder som används för att döma Lynch var inte göras klart under hans rättegång. Jacksonville sheriff ‘ s office inledningsvis inte ens avslöja att de hade använt sig av mjukvara för ansiktsigenkänning. Istället hävdade de att ha använt en mugshot databas för att identifiera Lynch på grund av en enda bild som detektiverna hade tagit natten i utbyte.
En “ofullständig biometriska’
Bristen på svar Jacksonville sheriff ‘ s office har lämnat i Lynchs fall är representativa för de problem som ansiktsigenkänning utgör i hela landet. “Det anses som en ofullkomlig biometriska,” sade Garvie, som i och med 2016 skapat en studie om programvara för ansiktsigenkänning, som publicerades av Centrum om Integritet och Teknik vid Georgetown Lagen, som kallas Evig Line-Up. “Det finns ingen enighet inom forskarvärlden att det ger en positiv identifiering av någon.”
Experter fruktar att den nya tekniken kan faktiskt vara att skada de samhällen som polisen hävdar att de försöker skydda
Den programvara, som har tagit på sig en större roll mellan de brottsbekämpande organen i USA under de senaste åren, har varit fast i kontrovers på grund av dess inverkan på människor i färg. Experter fruktar att den nya tekniken kan faktiskt vara att skada de samhällen som polisen hävdar att de försöker skydda.
“Om du är svart, du är mer troligt att bli utsatt för denna teknik och den teknik som är mer sannolikt att vara fel,” House oversight kommittén uppsatt medlem Elia Cummings sade i ett kongressförhör om brottsbekämpning användning av mjukvara för ansiktsigenkänning i Mars 2017. “Det är ett helvete av en kombination.”
Cummings var att hänvisa till studier som Garvie. Denna rapport finns att svarta individer, som med så många aspekter av det rättsliga systemet, var mest benägna att granskas av mjukvara för ansiktsigenkänning i fall. Det föreslås också att programvaran var mest sannolikt att vara felaktig när den används på svart individer – en slutsats som bekräftas av FBI: s egen forskning. Denna kombination, som gör Lynch och andra svarta Amerikaner liv plågsamt svårt, är född ur en annan ras fråga som har blivit föremål för nationella diskursen: bristen på mångfald inom den tekniska sektorn.
Algoritmer är oftast skrivna av vita ingenjörer som dominerar inom den tekniska sektorn. Foto: Dominic Lipinski/PA
Racialized kod
Experter såsom Glädje Buolamwini, forskare på MIT Media Lab, tror att facial recognition software har svårt att känna igen svarta ansikten eftersom dess algoritmer är oftast skrivna av vita ingenjörer som dominerar inom den tekniska sektorn. Dessa tekniker att bygga på befintlig kod bibliotek, oftast skrivna av andra vita ingenjörer.
Som programmerare konstruerar algoritmer, de fokuserar på ansiktsdrag som kan vara mer synliga i en ras, men inte en annan. Dessa överväganden kan härstamma från tidigare forskning om ansiktsigenkänning tekniker och metoder, som kan ha sina egna fördomar, eller ingenjör egna erfarenheter och förståelse. Den kod som resultat är inriktad på att fokusera på vita ansikten, och oftast testats på att vita motiv.
Och även om programvaran är byggd för att bli smartare och mer exakt med maskinen lärande teknik, utbildning datamängder det används är ofta bestående av vita ansikten. Koden “lär sig” genom att titta på fler vita människor – som inte hjälper det att förbättra med ett varierande utbud av tävlingar.
Teknik utrymmen inte är uteslutande vita, dock. Asiater och söder Asiater tenderar att vara väl representerade. Men detta kan inte vidga pool av mångfald tillräckligt för att åtgärda problemet. Forskning inom området föreslår verkligen att status quo helt enkelt inte fungerar för alla människor i färg – särskilt för de grupper som fortfarande underrepresenterade i teknik. Enligt en studie från 2011 (av National Institute of Standards and Technologies (Nist), programvara för ansiktsigenkänning är faktiskt mer exakt på Asiatiska ansikten när det skapas av företag i de Asiatiska länderna, vilket tyder på att de som gör programmet starkt påverkar hur det fungerar.
I en TEDx föreläsning, Buolamwini, som är svart, erinrade flera stunder under hela sin karriär när programvara för ansiktsigenkänning inte märke till henne. “Demo arbetat på alla tills den fått för mig, och du kan nog gissa det. Det kunde inte upptäcka mitt ansikte,” sade hon.
Oreglerat algoritmer
Även användningen av programvara för ansiktsigenkänning ökar i brottsbekämpande myndigheter i hela landet, den djupare analys som experter är krävande är inte händer.
Brottsbekämpande myndigheter ofta inte se över sina program för att kontrollera bakat-i rasistiska fördomar – och det är inte lagar eller förordningar som tvingar dem till. I vissa fall, som Lynch, brottsbekämpande organ som även döljer det faktum att de använder sådan programvara.
Garvie sagt att hon är övertygad om att polisen använder programvara för ansiktsigenkänning mer än de låter på, som hon kallade “bevis penningtvätt”. Detta är problematiskt, eftersom det skymmer bara hur mycket av en roll programvara för ansiktsigenkänning spelar i brottsbekämpning. Både juridiska ombud och programvara för ansiktsigenkänning företagen själva säger att tekniken ska bara förmedla en del av fallet – inte bevis som kan leda till ett gripande.
“Vid granskning, alla ansiktsigenkänning matcher bör behandlas annorlunda än någon ringer på ett möjligt spår från en dedikerad tip”, skriver Roger Rodriguez, en av de anställda på ansiktsigenkänning säljaren Vaksamma Lösningar, i ett inlägg att försvara programvara. “Ansvaret fortfarande ligger på den utredare på en myndighet att självständigt upprätta sannolika skäl för ett anhållande”, fortsätter han – trolig orsak att man “måste uppfyllas av andra undersökande sätt”.
Ökningen av rasistiska robotar – hur AI är att lära sig alla våra värsta impulser
Läs mer
Även om programvara för ansiktsigenkänning används på rätt sätt, men tekniken har stora underliggande brister. De företag som skapar programvara som inte innehas för särskilda krav för rasistiska fördomar, och i många fall vet de inte ens testa för dem.
Ett företag som jag pratade med, CyberExtruder, en ansiktsigenkänning-teknik för företag som marknadsför sig till brottsbekämpning, sade också att de inte hade utfört tester eller forskning om fördomar i sina program. Vaksamma Lösningar avböjde att säga om de inte är testade för det. CyberExtruder gjorde observera att vissa hud-färger är helt enkelt svårare för programmet att hantera med nuvarande begränsningar i teknik. “Bara som individer med mycket mörk hud är svårt att identifiera sig med hög betydelse via ansiktsigenkänning, personer med blek hy är samma”, sa Blake Senftner, senior software engineer på CyberExtruder.
För Lynch, hans fall är för närvarande spelar i en domstol i Florida. Klockan kan inte vridas tillbaka för andra som honom, som kan ha varit orättvist försökte som en följd av mindre-än-perfekt programvara utan öppna standarder för dess användning.
Programvara för ansiktsigenkänning ger upphov till många frågor som behöver tydliga svar. Att få dessa svar kommer att ta mer än driftsättning studier, lika viktigt som de är. Det är också viktigt att lagar ikapp med teknik, i syfte att ge människor som Lynch med möjlighet att lära känna de verktyg som används mot dem. Viktigast av allt, vi måste ta en närmare titt på vem som gör dessa algoritmer, och hur de gör det.
Ali Breland är en reporter på en Kulle, där han fokuserar på skärningspunkten mellan teknik och politik. En längre version av denna del visas i den kommande “Rättvisa” frågan om Logik, en tidning om teknik. Besök logicmag.io för att lära sig mer.