Foto: Drew Angerer (Gizmodo)
Geconfronteerd met twee onafhankelijke studies die gevonden zijn gezichtsherkenning software retourneert onjuiste of tendentieuze resultaten, Amazon heeft herhaaldelijk beweerd dat de onderzoekers is mislukt om de software te gebruiken, de zogenaamde Rekognition, in de manier waarop het bedrijf de opdracht aan de politie om het te gebruiken.
Echter, de enige politiebureau Amazon heeft erkend als een klant zegt dat het ook niet gebruiken Rekognition in de manier waarop Amazon beweert dat het raadt, Gizmodo heeft geleerd. In dit te doen, het politiebureau ondermijnt de zeer argument Amazon gebruikt in diskrediet te brengen en kritisch onderzoek over Rekognition.
Rekognition is een software suite die beweert te dienen voor verschillende functies, variërend van het identificeren van specifieke gelaatstrekken tot het vergelijken van overeenkomsten in een grote hoeveelheid foto ‘ s. Dit geeft de software potentiële waarde voor handhaving van de wet klanten op zoek naar, bijvoorbeeld, om met een mugshot om security cam beelden van een overval. Critici zijn bang dat het automatiseren van de politie proces kan ernstige gevolgen hebben als de software geeft racistisch of op andere wijze, in het bijzonder als Amazon heeft geworpen Immigratie en Douane Handhaving op het gebruik van dit product. Zo ver Amazon ‘ s frontlinie defense tegen advocaten en academici is: Onderzoekers zijn het instellen van het zoeken parameters onjuist.
De parameter in kwestie is iets Amazon verwijst als een “het vertrouwen van de drempel” of “gelijkenis drempel.” Wanneer u handelt op een query maakt, wordt de software ook informeert de gebruiker hoe nauw de twee foto ‘ s wedstrijd, scoorde uit 100 procent, met de optie voor het instellen van een drempel die filters u kunt resultaten onder de vastgestelde percentage.
Wanneer een ACLU studie gevonden Rekognition ten onrechte afgestemd 28 leden van het Congres van een dataset van mugshot foto ‘ s, Amazon betoogd dat de onderzoekers gewoon gefaald in het volgen van best practices. Het bedrijf beweerde in een verklaring:
Terwijl 80% van vertrouwen is een aanvaardbare drempel voor foto ‘ s van hete honden, stoelen, dieren, of andere sociale media use cases, het zou niet passend zijn voor het identificeren van individuen met een redelijke mate van zekerheid. Bij het gebruik van gezichtsherkenning voor wetshandhaving, begeleiden wij klanten om een hogere drempel van ten minste 95% of hoger.
Vorige week hebben onderzoekers van het MIT Media Lab publiceerde een studie die aangeeft dat Rekognition ‘ s gezichts-analyse toonden dat het moeite om correct te identificeren vrouwen van kleur. Nogmaals, Amazon stelde de resultaten steel niet van vooringenomenheid in de software zelf, maar van een onjuiste drempel instellingen:
We zijn nog niet op de hoogte van de drempel wordt gebruikt in dit onderzoek, maar zoals je verderop zult zien, de resultaten zijn veel verschillende indien uitgevoerd met het aanbevolen niveau van het vertrouwen. […] bij het gebruik van gezichtsherkenning om personen te identificeren van belang in een onderzoek, handhaving van de wet moet gebruik maken van onze aanbevolen 99% vertrouwen drempel (zoals beschreven), en gebruik alleen die voorspellingen als een element van het onderzoek (niet de enige determinant).
Momenteel is het alleen bekend van de handhaving van de wet-client met behulp van Rekognition de Washington County Sheriff ‘ s Office in Oregon. (Andere klanten kunnen bestaan, maar Amazon heeft weigerden te onthullen wie ze zouden kunnen zijn.) Verontrustend, wanneer gevraagd door Gizmodo als ze voldoen aan Amazon ‘ s richtlijnen waar dit strikt vertrouwelijk drempel betreft, de WCSO Public Information Officer (PIO) antwoordde: “Wij doen niet ingesteld, noch kunnen we gebruik maken van een vertrouwen van de drempel.”
Amazon ‘ s-documentatie staat dat handhaving van de wet-clients mogelijk “gebruik een gelijkenis drempel lager dan 99% voor de scenario’ s die profiteren van een grotere set van potentiële matches [zoals] het vinden van vermiste personen,” maar volgens een bron met kennis van de WCSO de Rekognition installatie en gebruik die vroeg om anoniem te blijven uit angst voor vergelding, de software is geïmplementeerd in de gevallen, variërend van diefstal tot moord.
Deel van een dia presentatie gemaakt door WCSO—gemaakt in een wob-verzoek ingediend door de ACLU—toont duidelijk een correct geïdentificeerd beeld slechts het verdienen van een 96.03 procent vertrouwen van de score, een resultaat dat kan worden weggelaten had Amazon ‘ s leiding, gevolgd zijn naar de letter.
Om duidelijk te zijn, het niet nakomen van Amazon ‘ s precieze suggesties niet het gevolg is van nalatigheid aan de WCSO part—precies het tegenovergestelde. “De sheriff’ s office heeft nooit bekeken Rekognition zoekresultaten als ‘wedstrijden.’ De technologie biedt aanknopingspunten voor onderzoekers, maar uiteindelijk is het identificeren van verdachten is een mens-gebaseerde besluitvorming, niet een computer-based,” de PIO later verduidelijkt. “Met name, per polis, onze onderzoekers zijn het niet toegestaan om handhavend op te treden uitsluitend op basis van een mogelijke identificatie leiden.”
Dezelfde vertrouwelijke bron vertelde Gizmodo dat een ‘ confidence score is niet overal gebruikt in het proces om een beslissing te maken en dus geen drempel wordt gebruikt bij het zoeken.”
De PIO verder op de hoogte Gizmodo dat, terwijl Amazon deed leveren documentatie en andere ondersteuning op de software einde, geen directe training werd gegeven aan de onderzoekers die gebruik blijven maken van de suite. One Systems Analyst Project werken in de nabijgelegen Clackamas County—waarvan de correspondentie openbaar gemaakt via de ACLU-verkregen FOIA-documenten—schreef dat Rekognition “de documentatie is zeer ontbreekt of verkeerd is.”
Terwijl het bedrijf de overeenkomst met WCSO stelt dat de “klant zal AWS met tijdige en adequate toegang tot het personeel, de documentatie, gegevens, systemen en faciliteiten,” Amazon weigerde aan te geven of zij sporen het vertrouwen van de drempels in dienst van haar klanten. Een woordvoerder wees ons naar een Amazon Web Services blog post van vorige week gemeld dat het bedrijf “op te schorten mensen gebruik van onze diensten en als we ze gebruiken ze onverantwoord of om inbreuk te maken op mensen die de burgerlijke rechten.” Een woordvoerder van Amazon verduidelijkt dat de wet handhaving klanten het niet gebruiken van een 99-procent-het vertrouwen van de drempel geldt niet als een onverantwoorde toepassing van Rekognition.
Op dit moment is er geen bewijs dat WCSO of andere wetshandhaving klanten, als ze bestaan, zijn in dienst van Rekognition voor onrechtmatige doeleinden. Nog steeds zijn de excuses Amazon heeft gemaakt voor hun software en de werkelijke ervaring van het gebruik niet op één lijn.
Amazon heeft in haar openbare blog posts, ondersteund wetgeving die zou leiden tot het gebruik van software zoals Rekognition. “Het is een zeer goed idee, echter, voor de overheid af te wegen in en geef aan wat de temperatuur (of vertrouwen) en het wil wetshandhavingsinstanties om te voldoen aan om te helpen in hun openbare veiligheid werken,” Dr. Mat Hout, Amazon Web Service general manager van diep leren, schreef in juli bericht. In de mening van de Congressional wetgevers die herhaaldelijk getracht informatie mogelijk regelen van het gebruik van gezichtsherkenning, echter, Amazon gefaald heeft om te zorgen voor voldoende antwoorden” als er op wordt gedrukt in juli en November.
“Ik denk dat dit aantoont dat de belachelijkheid van Amazon’ s positie,” Matt Cagle, een technologie en de burgerlijke vrijheden advocaat bij de ACLU van Noord-Californië, vertelde Gizmodo, “aan de ene kant praten ze over de richtlijnen, maar dan is de eigen klanten kan eigenlijk niet worden hen te volgen, en dat het onaanvaardbaar is wanneer we praten over een technologie die zo gevaarlijk zijn als het gezicht van toezicht die wordt gebruikt door agentschappen van de wetshandhaving. Amazon moet handelen. Het moet gehoor geven aan de oproepen van het Congres, van het publiek, en zelfs zijn eigen werknemers en uitstappen van het toezicht op de bedrijfsvoering.”
Een AWS woordvoerder voorzien van de Vlieger met een lange verklaring die we hebben overgenomen hieronder:
AWS en de Washington County Sherriff ‘ s Kantoor werkten samen aan het ontwerp van een architectuur en best practices over het gebruik van de technologie, met inbegrip van het juiste gebruik van en het vertrouwen en geretourneerd leidt voor het cold case onderzoek. Sindsdien Rekognition heeft bewezen effectief in het helpen van officieren identificeren van leads, het vooraf onderzoeken, en weten potentieel gevaarlijke verdachten die anders detectie te ontsnappen […] de Washington County Sherriff ‘ s Kantoor is volledig transparant over het gebruik van de technologie en het beleid dat door het […] er is nog nooit een enkel gerapporteerde klacht van het publiek en geen problemen met de lokale kiesdistrict rond hun gebruik van Rekognition.
De volledige uitspraak is hier bekijken.
Werk je voor Amazon ontwikkelen Rekognition, of bent u een klant van hen met informatie? Wij horen graag van u. Ons e-mail, chat ons op Keybase, of stuur ons informatie anoniem via onze Beveiligde Drop-server.
Deel Dit Verhaal