Foto: Drew Angerer (Gizmodo)
Møtt med to uavhengige studier som fant sin facial anerkjennelse programvare returnerer unøyaktig eller partisk resultater, Amazon har gjentatte ganger hevdet at forskerne ikke klarte å bruke programvaren, kalt Rekognition, på den måten selskapet har bedt politiet om å bruke det.
Men, den eneste politimyndigheter Amazon har anerkjent som en klient sier at det heller ikke bruke Rekognition i veien Amazon hevder det anbefaler, Gizmodo har lært. Ved å gjøre det, politimyndigheter undergraver selve argumentet Amazon bruker for å rakke ned på kritisk forskning om Rekognition.
Rekognition er en programvarepakke som utgir seg for å tjene ulike funksjoner alt fra å identifisere bestemte ansiktstrekk å sammenligne likheter i et stort volum av bilder. Dette gir programvaren potensiell verdi til politiet kunder som søker, for eksempel, for å matche en mugshot å security cam opptak av et ran. Kritikere er bekymret for at automatisere politiarbeid prosessen kunne ha store konsekvenser hvis programvaren viser rase eller andre legninger, spesielt som Amazon har reist Immigration and Customs Enforcement på å bruke dette produktet. Så langt har Amazon frontline defense mot advokater og akademikere har vært: Forskere er stilt inn søk parametere feil.
Den parameter er noe Amazon refererer til som en “tillit terskel” eller “likhet terskel.” Når de opptrer på en spørring, programvare også informerer brukeren om hvor tett de to bildene kamp, scoret av 100 prosent, med muligheten til å sette en terskel som filtrerer resultater under definert prosentsats.
Når en ACLU studie fant Rekognition feilaktig matchet 28 medlemmer av Kongressen fra et datasett av mugshot bilder, Amazon hevdet at forskerne rett og slett ikke klarte å følge beste praksis. Selskapet hevdet i en uttalelse:
Mens 80% tillit er en akseptabel grense for bilder av pølser, stoler, dyr, eller andre sosiale medier bruker tilfeller, at det ikke ville være hensiktsmessig for å identifisere individer med en rimelig grad av sikkerhet. Når du bruker ansiktsgjenkjenning for rettshåndhevelse aktiviteter, vi veilede kunder til å sette en høyere grense på minst 95% eller høyere.
Forrige uke, har forskere fra MIT Media Lab publisert en studie som indikerer at Rekognition er ansikts-analyse-funksjonen viste det slet med å identifisere kvinner av farge. Igjen, Amazon foreslått resultatene stammet ikke fra skjevhet i selve programvaren, men fra feil innstillinger:
Vi er ennå ikke klar over den terskelen som brukes i denne forskningen, men som du vil se nedenfor er resultatene mye forskjellig når det kjøres med den anbefalte sikkerhetsnivå. […] når du bruker ansiktsgjenkjenning for å identifisere personer som er av interesse i en undersøkelse, politi skal bruke våre anbefalte 99% sikkerhet terskel (som dokumentert), og bare bruke de spådommer som en del av undersøkelsen (ikke den eneste faktoren).
For øyeblikket er det bare kjent politi-klient som bruker Rekognition er Washington County Sheriff ‘ s Office i Oregon. (Andre kunder kan eksistere, men Amazon har nektet å oppgi hvem de kan være.) Det er bekymringsfullt, da han ble spurt av Gizmodo hvis de holder seg til Amazon ‘ s retningslinjer der dette konfidensielt terskelen er opptatt av, WCSO Public Information Officer (PAD) svarte: “har Vi ikke sett, heller ikke vil vi benytte en sikkerhetsterskel.”
Amazon er dokumentasjon som sier at loven håndheving kunder kan “bruke en likhet terskelen lavere enn 99% for scenarier som drar nytte av et større sett av potensielle matcher [eksempel] finne savnede personer”, men ifølge en kilde med kjennskap til WCSO er Rekognition oppsett og bruk som har bedt om å være anonym i frykt for represalier, programvaren er distribuert i tilfeller alt fra tyveri til drap.
En del av en lysbildepresentasjon opprettet av WCSO—avslørt på en offentleglova forespørsel arkivert av ACLU—viser tydelig en riktig identifisert bildet bare tjene en 96.03-prosent tillit resultat, et resultat som kan ha blitt utelatt hadde Amazon retningslinjer er fulgt til punkt og prikke.
Å være tydelig, unnlatelse av å etterkomme av Amazons presise forslag synes ikke å være et resultat av uaktsomhet på WCSO er en del—tvert imot. “Sheriff’ s office har aldri sett Rekognition søkeresultater som ” matcher.’ Teknologien gir leder for etterforskerne, men til syvende og sist å identifisere mistenkte er en human-basert beslutningsprosessen, ikke en datamaskin-basert,” den PIO senere avklart. “Spesielt, og i henhold til retningslinjene, og våre forskere er ikke tillatt å ta enforcement handling basert utelukkende på en mulig identifikasjon av bly.”
Den samme kilden i WCSO fortalte Gizmodo som en “tillit score er ikke brukt hvor som helst i prosessen med å ta en beslutning, og så ingen terskel brukes i søk.”
De PIO videre informert om Gizmodo, at mens Amazon gjorde leverer dokumentasjon og andre support på programvare slutt er det ingen direkte trening ble gitt til etterforskere som fortsetter å bruke suite. Én Systemer Prosjektet Analytiker arbeider i nærheten av Clackamas County—korrespondanse som ble offentliggjort via ACLU-fikk FOIA dokumenter—skrev at Rekognition er “dokumentasjon er svært mangelfull eller feil.”
Mens selskapet har avtale med WCSO sier at “kunden vil sørge for AWS med tidsriktig og hensiktsmessig tilgang til personell, dokumentasjon, data, systemer og utstyr,” Amazon nektet å opplyse om det spor tillit terskler ansatt av sine kunder. En talsmann pekte oss til en Amazon Web Services blogginnlegg fra forrige uke, som sier at selskapet vil “suspendere folks bruk av våre tjenester hvis vi finner de bruker dem uansvarlig eller for å krenke folks sivile rettigheter.” En Amazon talsperson avklart at politi kunder unnlatelse av å bruke en 99 prosent sikkerhetsterskel utgjør ikke en uansvarlig bruk av Rekognition.
Foreløpig er det ingen bevis for at WCSO eller andre rettshåndhevende kunder, hvis de finnes, har ansatt Rekognition for misbruk formål. Likevel, unnskyldninger Amazon har gjort for deres programvare og den faktiske opplevelsen av bruken ikke er i samsvar.
Amazon har, i sin offentlige vender blogg innlegg, støttet lovgivning som ville lede bruk av programvare som Rekognition. “Det er en veldig fornuftig idé, men for regjeringen å veie og angi hvilken temperatur (eller tillit nivåer) den ønsker politiet å møtes for å bistå i deres offentlige sikkerhetsarbeidet,” Dr. Matt Tre, Amazon Web Service er daglig leder i dyp læring, skrev i juli innlegget. I den oppfatning av de Kongressens lovgivere som har gjentatte ganger søkt informasjon til potensielt regulere bruk av ansiktsgjenkjenning, men Amazon “har unnlatt å gi tilstrekkelig svar” når trykket i juli og November.
“Jeg tror dette viser ridiculousness av Amazons posisjon,” Matt Cagle, teknologi og sivile friheter advokat med ACLU av Nord-California, fortalte Gizmodo, “på den ene siden snakker de om retningslinjer, men da selskapets egne kunder kan faktisk ikke være å følge dem, og det er uakseptabelt når vi snakker om en teknologi som er så farlig som ansiktet overvåking som blir brukt av politiet. Amazon bør handle. Det bør gi akt på samtaler av Kongressen, av det offentlige, og til og med sine egne arbeidere og komme seg ut av overvåknings-business.”
Jobber du for Amazon å utvikle Rekognition, eller er du en klient av dem med informasjon? Vi vil gjerne høre fra deg. Send oss e-post, chat med oss på Keybase, eller sende oss informasjon anonymt via vår Sikre Slippe server.
Deler Denne Historien