Foto: AP
Dagen na de ACLU bracht een vernietigend rapport over Amazon ‘s gezichtsherkenning product Rekognition, Amazon’ s general manager van AI, Dr. Mat Hout, tegenover haar bevindingen in een blog post. De ACLU gebruikt Rekognition voor het scannen van de gezichten van alle 535 leden van het Congres, het vinden van de software aanzagen 28 van hen voor de verdachte criminelen. Dr. Hout notities eerste dat de ACLU niet onthullen de methodiek of de gegevensreeks die u in het rapport, dan punctuates Amazon ‘ s originele response—dat het stimuleert hoger het vertrouwen van de drempels voor de handhaving van de wet.
Opvallend ontbreekt in de blog, was echter een specifieke weerlegging van die enorme raciale ongelijkheid ontdekt door de ACLU. Voor het Congres als geheel, het foutenpercentage was slechts vijf procent, maar voor niet-blanke leden van het Congres, de fout van het tarief van 39 procent. Wanneer één van deze centra raciale ongelijkheid, als de blog niet, Dr. Wood ‘ s laatste punt leest als een argument tegen de gezichtsherkenning gebruiken door de wet handhaving van de groothandel.
Hij schrijft:
“Naast het instellen van het vertrouwen van de drempel veel te laag, de Rekognition resultaten kunnen worden aanzienlijk scheef door het gebruik van een gezichts-database is niet correct vertegenwoordiger die zelf scheef. In dit geval ACLU gebruikt een gezichts-database van mugshots die mogelijk materiële gevolgen hebben gehad voor de juistheid van Rekognition bevindingen.”
Laten we breken.
Als een agentschap is het scannen van een groep mensen tegen een database, de make-up van de database, natuurlijk, invloed op het resultaat. Een database van gezichten afkomstig van Guadalajara is waarschijnlijk niet handig als het scannen van gezichten tegen in een winkelcentrum in Wisconsin. Dr. Wood stelt dat de derde bevinden database de ACLU gescand congres leden tegen kon zelf zijn scheef of verkeerd voorgesteld.
Maar, hier is wat we weten over de gezichten van de mensen gearresteerd in Amerika: Ze scheef in de richting van donkerder. Voor congresspeople, ze scheef lichter. Als de oververtegenwoordiging van donkerder gekleurde mensen in mugshot databases een rol hebben gespeeld in de duizelingwekkende raciale ongelijkheid in de ACLU bevindingen, hetzelfde argument kan worden gemaakt met bijna elk moment van de wetshandhaving scans mensen tegen “scheef” criminele databases.
Wood ‘ s blog weerspiegelt de moeilijkheden in Silicon Valley in het interpreteren van de manier statistische afwijkingen (boven/onder weergave van verschillende huidtinten invloed op de nauwkeurigheid) overlapt met de raciale vooroordelen (gezichtsherkenning gebruikt om abet bevooroordeelde politie-systemen). Ze voeden elkaar. Donkere gevilde mensen zijn gearresteerd, meer, verschijnen in het criminele databases meer, en dus zijn afgestemd meer. Deze oververtegenwoordiging is van kracht en lange dateert van voor de normalisatie van het gezicht van erkenning in toepassing van de wet.
Eerlijk gezegd, het is een argument tegen alle gezichtsherkenning, omdat criminele databases zijn niet en nooit geweest, perfect vertegenwoordiger van de VS bij grote of leden van het congres.
De blog eindigt door het voorstellen van de waarborgen voor gezichtsherkenning in de handen van de handhaving van de wet, vergelijkbaar met die voerde door Microsoft president Brad Smith. Eerste, Amazon adviseert handhaving van de wet alleen de wet op de wedstrijden met 99 procent vertrouwen niveau, hoger dan de 80 procent gebruikt in de studie. Smith ook voorgesteld een drempelwaarde voor de handhaving van de wet. Dit zijn de aanbevelingen echter niet de regels. Kon niet Amazon weigering van de verlenging van de contracten voor bureaus die werken met behulp van de lagere drempels? Waarom rest gewoon op een “aanbeveling?”
Tot slot, de post eindigt door te zeggen Rekognition moet “een invoer over anderen die zin hebben” en niet in de plaats van het menselijk oordeel, maar “toestaan mens te snel te beoordelen en te overwegen opties met behulp van hun oordeel (en niet om volledig autonoom beslissingen).” Zeker. Dat is heel redelijk—tenzij je de persoon die de uit te leggen aan een officier die je niet bent die de computer zegt dat je bent.
De veronderstelling van hyper-rationaliteit en vooroordelen-het vrije denken in elke ambtenaar met toegang tot deze technologie spreekt tot een groter onbegrip van hoe de race, vooroordelen en technologie snijdt, met de prijs die uiteindelijk betaald door de mensen genegeerd in deze types van defensie.