Illustratie: Angelica Alzona
Als bedrijven ras te gebruiken voor gezichtsherkenning overal uit de major league ballparks naar uw plaatselijke school en de zomer kamp, wij worden geconfronteerd met moeilijke vragen over de technologie het potentieel te versterken racistische vooringenomenheid; Commerciële gezichtsherkenning software heeft herhaaldelijk aangetoond dat het minder accuraat te zijn op mensen met een donkere huid, de burgerlijke rechten en advocaten maken zich zorgen over de verontrustend gerichte manieren face-scan kan worden gebruikt door de politie.
Toch zijn deze systemen verder uit te rollen over het land te midden van de verzekering dat meer nauwkeurige algoritmen zijn op de weg. Maar is de uitvoering van dat het echt niet racistisch (als tegenstelling tot “kleurenblind”) gezichtsherkenning echt mogelijk? Om te helpen bij het beantwoorden van deze vraag, hebben we gesproken met deskundigen op het gezicht, de erkenning, de race, en het toezicht, en vroeg hen om te overwegen als we ooit een oplossing voor de technische, culturele, en carceral vooroordelen van gezichtsherkenning.
Technische vooroordelen en technische oplossingen
Eerder dit jaar, MIT onderzoekers Vreugde Buolamwini en Timnit Gebru gemarkeerd één van de manieren gezichtsherkenning is bevooroordeeld tegen zwarte mensen: donkere huidskleur gezichten zijn ondervertegenwoordigd in de datasets gebruikt om hen te trainen, waardoor gezichtsherkenning meer onnauwkeurig wanneer we kijken naar de donkere gezichten. De onderzoekers vonden dat wanneer verschillende gezichtsherkenning algoritmes waren belast met het identificeren van geslacht, ze miscategorized met een donkere huidskleur, vrouwen als mannen tot een 34.7% van de tijd. De maximale fout tarief voor de lichte huid van mannen, aan de andere kant, was minder dan 1 procent.
“Om te falen bij een op de drie, in een commercieel systeem, op iets dat is teruggebracht tot een binaire indeling taak, u te vragen, zou die zijn toegestaan indien deze percentages waren in een andere subgroep?” Buolamwini vroeg in een begeleidend persbericht van MIT.
In de papier -, Microsoft ‘ s geslacht classifier had 20,8 procent fout tarief voor donkere vrouwen. In een reactie kondigde Microsoft in juni was het kalibreren van de training data door middel van diversificatie van huidtinten in het gezicht opleiding beelden, applaudisseren zelf voor de afweging van de raciale verschillen in geslacht classificatie tarieven. Dit, echter, is slechts een vorm van bias in gezichtsherkenning.
“We praten over twee aparte en unieke thema’ s in onze sector,” Brian Brackeen, CEO van AI opstarten Kairos, vertelde Gizmodo. Technische vooroordelen, legde hij uit, zijn technische oplossingen. Maar zelfs volledig functionerende gezichtsherkenning kan abet bevooroordeeld systemen, een probleem dat meer cultureel complexe oplossingen. “Beide problemen zijn en beide verdienen aandacht, maar het zijn twee aparte dingen.”
Kairos maakt biometrische login systemen die kunnen laten klanten van de bank hun gezicht om hun rekeningen, medewerkers van de klok in werken, en mensen op pretparken toegang fast-pass rijstroken. In deze context, Brackeen zegt, de inzet van een vals-positieve of vals-negatief zijn veel lager. Dat wordt geïdentificeerd door uw bank is het niet hetzelfde als dat wordt geïdentificeerd door de politie.
“Ik ben veel meer comfortabel verkoop van gezichtsherkenning tot attractieparken, cruise lijnen, of de banken,” zei Brackeen, ” als u in te loggen in uw [bank] rekening twee keer omdat je de Afro-Amerikaanse, dat is oneerlijk. Maar, je gaat niet neergeschoten.”
Brackeen, die gekscherend aangeduid als “waarschijnlijk de enige” zwarte CEO van een gezichtsherkenning bedrijf, ingevoerd in de schijnwerpers van de media in de laatste maand wanneer hij geopenbaard Kairos zag af van een contract met het lichaam van de camera fabrikant Axon. Volgens Brackeen, gezichtsherkenning exponentieel vergroot de mogelijkheden van de politie, die, op zijn beurt, exponentieel versterkt de vooroordelen van de politie.
“Als je het over een AI-tool op een lichaam camera, dan worden deze extra-menselijke vermogens. Laten we zeggen dat een ambtenaar zich kan identificeren 30 beelden een uur,” zei Brackeen. “Als je vraagt de politie of ze bereid waren te beperken [opname] op 30 erkenningen een uur zouden ze nee zeggen. Want het is niet echt over de tijd van de officier. Het gaat echt over een bovenmenselijke vermogen om mensen te identificeren, die wijzigingen in het sociale contract.”
Uiteindelijk Brackeen ziet een vendor-end-oplossing: In een hoofdartikel van vorige maand, riep hij voor elke gezichtsherkenning bedrijf om te stoppen met de verkoop van zijn tech agentschappen van de wetshandhaving.
Fruit uit een giftige boom
Gezichtsherkenning werkt door het afstemmen van de persoon die wordt gescand tegen een database van afbeeldingen van het gezicht. Bij de politie contexten, deze databases zijn paspoort en rijbewijs, foto ‘ s of smoelenboek. In Orlando, politie samen met Amazon om te testen gezichtsherkenning aangesloten op bewakingscamera ‘ s op openbare plaatsen. In New York, school districten zijn begonnen met het verkennen van soortgelijke systemen te scannen bezoekers’ gezichten na het Park te fotograferen. In beide gevallen, het doel is om onmiddellijk te identificeren personen van belang, zoals die met uitstaande warrants.
Dit veronderstelt echter warrants zijn zichzelf verdeeld “vrij” of moet altijd leiden tot ingrijpen van de politie. Overweeg Ferguson, Missouri, waar de schietpartij van Mike Brown leidde tot de dagen van protesten. Een Ministerie van Justitie, het onderzoek na het Brown ‘ s dood gevonden dat Ferguson politie waren “gevormd door de stad de focus op de opbrengsten in plaats van door de openbare veiligheid.” Zoals in het rapport wordt uitgelegd, politie routinematig gerichte zwart-stuurprogramma ‘ s voor de aanhoudingen en fouilleringen als onderdeel van een racistisch, lucratieve verdienmodel, de afgifte van een arrestatiebevel voor gemiste en gedeeltelijke betalingen.
De nummers waren onthutsend: het Vertegenwoordigen 67% van de bevolking in Ferguson, zwart burgers werden het slachtoffer van 85 procent van het verkeer stopt, en 91 procent van alle registers resulteerde in een bepaalde vorm van bronvermelding. In een toekomst waar alle chauffeurs zijn direct herkenbaar via gezichtsherkenning, nadenken over wat het leven zou zijn als het voor iedereen onmiddellijk op elkaar afgestemd en geïdentificeerd met een uitstekende aanhoudingsbevel als gevolg van een vooringenomen systeem. Als gezichtsherkenning wordt gestandaardiseerd en komt in scholen, stadions, luchthavens en op verkeersknooppunten, het toezicht op de bevoegdheden van de politie groeien. Zelfs met opnieuw gekalibreerd training modellen, de “bias” is aanwezig. Een geleerde die we spraken betoogd bias-gratis gezichtsherkenning nooit zou kunnen bestaan in het reglement.
“[Gezichtsherkenning] stelt zich voor politiewerk als neutraal. Wij weten dat dat niet het geval is,” Simone Browne, een assistent-professor aan de Universiteit van Texas in Austin en de auteur van Dark Matters: Op de Bewaking van de Duisternis, vertelde Gizmodo. Dark Matters stelt dat biometrische toezicht verandert het lichaam zelf in een vorm van bewijs, een vorm van hyper-objectivering met historische verbindingen naar de slavernij. Browne schrijft:
Racializing toezicht is ook een onderdeel van de digitale sfeer met de materiële gevolgen voor mensen binnen en buiten… data die wordt onttrokken uit of zijn geproduceerd over, individuen en groepen is dan geprofileerde, verspreid en verhandeld binnen en tussen databases. Deze data wordt vaak gekenmerkt door geslacht, nationaliteit, regio, ras, socio-economische status en… voor sommige, deze categorieën zijn bijzonder schadelijk.
Browne betoogt dat gezichtsherkenning maakt een digitale kopie van ons fysieke zelf, dat functioneert als een ID, die wordt vervolgens geanalyseerd, gedeeld, onderzocht, vergeleken met ons—hoofdzakelijk verhandeld—alles als middel voor het verifiëren van onze identiteit en het bijhouden van ons gedrag. Gezichtsherkenning categoriseert mensen, om zo een voertuig voor de soms nadelige resultaten van het zetten van mensen in biometrische categorieën. We zien de gevolgen van een dergelijke categorisering in gang databases, terreur, lijsten bekijken, en zelfs de voorkeur shopper lijsten.
“We kunnen nog niet voorstellen dat dat gaat om dingen te verbeteren voor zwarte mensen, omdat de politie het systeem is nog steeds intact,” Browne gewaarschuwd.
Die voordelen van de vooruitgang?
“We leven in een moment van versnelde technologie, de versnelde technologische ontwikkeling [en] de wetenschappelijke ontwikkeling,” Alondra Nelson, directeur van Data & Society studies over de sociale effecten van technologie, vertelde Gizmodo. “Momenten van rust en bezinning nodig zijn en, denk ik, belangrijk herinneringen die we niet gewoon zijn tanden in een snel bewegend systeem.”
Reageren op Microsoft ‘ s eerste post op geslacht classificatie, Nelson was sceptisch, tweeten op de tijd: “We moeten stoppen met het verwarrend ‘inclusie’ meer ‘divers’ surveillance systemen met rechtvaardigheid en gelijkheid.”
“[Veel] van mijn werk heeft gesproken over de manier waarop gemeenschappen van kleur in de Afro-Amerikaanse gemeenschap begrepen hoe ze kunnen zowel ondergewaardeerd worden door de soort van positieve rol van een bepaalde nieuwe technologie, maar vaak overbelicht om de slechtst mogelijke dynamische,” zei Nelson.
Deze dubbele binding—waar zwarte mensen worden blootgesteld aan de wetenschap dan ondersteund door de het—is samengevat in het begrip “medische apartheid), een term bedacht door de auteur Harriet Washington. Geboren uit Washington de uitgebreide historische analyse van medische experimenten op slaven, “medische apartheid” verwijst naar hoe zwarte mensen hebben al geëxperimenteerd op voor het belang van wetenschappelijke vooruitgang uit die ze niet konden profiteren. Een van de meest beruchte voorbeelden komt uit het werk van James Marion Sims, die wordt opgemerkt door sommigen als de “vader van de gynaecologie” voor het verminderen van de maternale sterftecijfers in de 19e eeuw, maar onderzoek door het uitvoeren van gruwelijke experimenten op de slaaf zwarte vrouwen.
“Al van het begin van de belangrijke reproductieve gezondheid voorschotten werden bedacht door het perfectioneren van experimenten op zwarte vrouwen,” Washington zei in een interview uit 2007. “Waarom? Omdat de witte vrouwen kon geen nee tegen zeggen.” Eeuwen later, is de moedersterfte in voor zwarte vrouwen is drie keer hoger dan bij blanke vrouwen.
Gezichtsherkenning is niet zo rampzalig, maar “medische apartheid” is een nuttig kader voor gezien hoe verschillende bevolkingsgroepen hebben verschillende rollen in de ontwikkeling, promotie, impact, en, uiteindelijk, het voordeel van de wetenschappelijke en technologische doorbraken. Dit verschil wordt geïllustreerd met een eenvoudige vraag: Waarvan de bevolking ‘ nee ‘ kan zeggen?
“Dit is niet iets alleen voor [bedrijven te vragen,] het is meer democratisch bestuur,” zei Nelson. “We moeten open te staan voor de democratische mogelijkheid dat het hebben van een beter toezicht op technologie is niet per se beter.”
Buiten contexten, zoals de politie, vooroordelen (zowel technische en culturele) lijken een stuk minder bedreigend. Maar de vraag blijft: Kan zwarte mensen nee te zeggen tegen zijn gezicht gescand, zelfs als het is statistisch evenwichtig, commercieel toegepast, of vrij geregeld? Zoals iedereen, zwarte mensen moeten kunnen genieten van gemakken zoals een kortere luchthaven lijnen en gemakkelijker log-ins. Maar bij de evaluatie van een opkomende technologie is een positief of negatief effect hebben op een samenleving, we moeten om te vragen of het heeft uiteenlopende effecten op de leden van die samenleving, niet alleen als het leuk is of inclusive.
Het kijken naar de wachters
Eerder deze maand, Microsoft President Brad Smith heeft een openbare (en op grote schaal gemeld) oproep voor de AMERIKAANSE overheid te regelen gezichtsherkenning na het publieke verzet te zijn bedrijf de lopende contract met IJS. “Als een algemeen beginsel,” Smith schreef, “het lijkt verstandiger om te vragen een gekozen regering te reguleren bedrijven dan om te vragen ongekozen bedrijven te reguleren met een dergelijke regering.”
Smith pleitte voor de oprichting van een ‘tweeledige deskundige commissie” als leidraad voor de regulering van de gezichtsherkenning technologie. Het leek een PR-truc op het eerste, niet in tegenstelling tot de diversiteit panelen van de Obama-jaren of de nieuwe modieuze AI ethiek planken gemonteerd met grote namen, veel lof, en geen handhavingsbevoegdheid. Smith ‘ s voorstel, echter aanbevolen één groot verschil: de Federale commissies hebben de directe oor van de leden van het Congres, die zijn brutaler dan ooit in hun verlangen om het regelen van de “liberale bastion” van Silicon Valley, en kan het probleem dagvaardingen voor de documenten en de informatie meestal bedekt door eigen wetten voor bescherming. Het is een bemoedigend suggestie, maar de aanpak van de vooroordelen in het gezicht van herkenning vergt veel meer.
Voor het maken van “niet-racistisch” gezichtsherkenning, de bedrijven die het moet, ja, het adres van de technische gebreken van hun systemen, maar ze zal ook tot het uitoefenen van een morele plicht, niet om de technologie op organisaties die zich met raciale vooroordelen. Bovendien, de wetgever zou moeten opleggen harde grenzen aan hoe en wanneer face-scan kan worden gebruikt. Zelfs dan, onpartijdige gezichtsherkenning zal niet mogelijk zijn zonder de aanpak van racisme in het strafrechtelijk systeem zal onvermijdelijk worden gebruikt.
Het realiseren van deze doelstellingen lijkt misschien onrealistisch, maar dit toont alleen hoe de indrukken van het probleem is. Helaas, deze niet hypothetisch zorgen over een verre dystopische toekomst. Alleen deze maand, de Orlando politie vernieuwd zijn veel bestempeld gezichtsherkenning pilot met Amazon, terwijl de New Yorkse gouverneur aangekondigd de face-scannen is binnenkort aan bruggen en tunnels in New York City.
Gezichtsherkenning wordt verkocht aan de consument als een cutting edge gemak, maar het heeft duidelijke banden met de bewaking, en uiteindelijk controle. Stel u voor dat iedere advertentie of artikel het bevorderen van een “betaal met uw gezicht” systeem liet ook criminele databases of terror watch lists. Als ze deden, zouden we krijgen een eerlijke blik op het gezicht van de erkenning van de impact.