Amazon Verteidigung der Rekognition Tool Untergraben von der Polizei Client

Foto: Drew Angerer (Gizmodo)

Konfrontiert mit zwei unabhängigen Studien gefunden, dass seine Gesichts-Erkennungs-software gibt ungenaue oder verfälschte Ergebnisse, Amazon hat immer wieder behauptet, dass die Forscher versäumt, verwenden Sie die software, genannt Rekognition, in der Weise, die die Gesellschaft angewiesen hat, die Polizei zu verwenden.

Jedoch, das einzige Gesetz Durchsetzung Agentur von Amazon anerkannt hat, als ein Kunde sagt, dass es auch nicht verwenden Rekognition in der Weise, die Amazon behauptet, es empfiehlt, Gizmodo gelernt hat. In doing so, dass die Strafverfolgungsbehörde untergräbt die sehr argument mit der Amazon zu diskreditieren kritische Untersuchungen über die Rekognition.

Rekognition ist eine software-suite, die vorgibt zu dienen verschiedenen Funktionen, angefangen von der Identifizierung der konkreten Gesichtszüge zu vergleichen, ähnlichkeiten in der eine große Menge von Fotos. Dies gibt die software Potenzial, Wert Strafverfolgungsbehörden Kunden suchen, um beispielsweise ein mugshot zu security-cam Aufnahmen von einem überfall. Kritiker befürchten, dass die Automatisierung der Polizeiarbeit Prozess könnte fatale Folgen haben, wenn die software zeigt der Rasse oder anderen Vorurteile, vor allem, da Amazon aufgeschlagen hat Immigration and Customs Enforcement, die auf der Verwendung dieses Produkts. So weit, mit Amazons frontline defense gegen Anwälte und Akademiker wurde: die Forscher die Einstellung der Suchparameter falsch.

Die parameter in der Frage etwas von Amazon bezieht sich auf ein “Vertrauen Schwellenwert” oder “Schwellenwert für ähnlichkeit.” Wenn er auf einer Abfrage, die software informiert den Benutzer, wie eng die beiden Fotos passen, erzielte von 100 Prozent, mit der option auf eine Schwelle setzen, die Filter-Ergebnisse, die unter dem angegebenen Prozentsatz.

Wenn ein ACLU-Studie gefunden Rekognition fälschlicherweise abgestimmt sind 28 Mitglieder des Kongresses aus einem Datensatz von mugshot Fotos, Amazon argumentiert, dass die Forscher einfach nicht Folge best practices. Die Firma sagte in einer Erklärung:

Während 80% Vertrauen ist eine akzeptable Schwelle für Fotos von hot dogs, Stühle, Tiere, oder andere social-media-use-cases, die es nicht angemessen wäre für die Identifizierung von Individuen mit einem vernünftigen Maß an Sicherheit. Bei der Verwendung von Gesichtserkennung für Strafverfolgungsmaßnahmen, wir leiten den Kunden einen höheren Schwellenwert von mindestens 95% oder höher.

Letzte Woche, Forscher des MIT Media Lab eine Studie veröffentlicht, die darauf hinweist, dass Rekognition-Gesichts-Analyse-Funktion zeigte er kämpfte, um korrekt zu identifizieren, die die Frauen der Farbe. Mal wieder von Amazon vorgeschlagen, die Ergebnisse stammten nicht aus der Neigung in die software selbst, sondern aus der falschen threshold-Einstellungen:

Wir sind noch nicht bewusst die Schwelle in dieser Forschung verwendet, aber wie Sie unten sehen werden, die Ergebnisse sind viel anders, wenn Sie ausgeführt wird mit der empfohlenen Vertrauen Ebene. […] bei der Verwendung von Gesichtserkennung zur Identifizierung von Personen von Interesse, in einer Untersuchung, die Strafverfolgungsbehörden sollten unsere empfohlene 99% KONFIDENZ-Schwelle (wie beschrieben), und verwenden Sie nur diese Vorhersagen als ein element der Untersuchung (nicht die einzige Determinante).

Derzeit ist die einzige bekannte law enforcement client mit Rekognition ist das Washington County Sheriff ‘ s Office in Oregon. (Andere clients existieren können, aber Amazon hat sich geweigert, offenzulegen, wer Sie sein könnten.) Beunruhigend ist, dass, wenn gefragt, von Gizmodo, wenn Sie entsprechen den Amazon-Richtlinien, wo diese streng vertraulich Schwelle betrifft, die WCSO Public Information Officer (PIO) antwortete, “Wir sind nicht festgelegt oder wir nutzen das Vertrauen der Schwelle.”

Amazon-Dokumentation besagt, dass die Strafverfolgungsbehörden können clients “verwenden Sie einen Schwellenwert für ähnlichkeit geringer als 99% für die Szenarien, die profitieren von einer größeren Gruppe von potentiellen Spiele [wie] Suche nach vermissten Personen”, aber laut einer Quelle mit Kenntnis der WCSO die Rekognition Installation und Nutzung, der fragte, anonym zu bleiben, aus Angst vor Vergeltung, die software bereitgestellt wird, in den Fällen, angefangen von Diebstahl bis Mord.

Teil einer dia-Präsentation erstellt von WCSO—offenbart in einem Freedom of Information Act Anfrage eingereicht, die von der ACLU—zeigt deutlich eine korrekt identifiziert Bild nur verdienen eines 96.03-Prozent Vertrauen Punktzahl, ein Ergebnis, das möglicherweise ausgelassen worden, hatte Amazon die Anleitung befolgt wurde, um den Brief.

Screenshot: WCSO

Um klar zu sein, die das Nichteinhalten von Amazon ist präzise Vorschläge nicht angezeigt werden, die Ergebnis der Fahrlässigkeit auf das WCSO—Teil-ganz im Gegenteil. “Das sheriff’ s office hat noch nie angesehen Rekognition Suchergebnisse zu ‘entspricht.’ Die Technologie bietet führt für die Ermittler, aber letztendlich Identifizierung von verdächtigen ist ein Mensch-basierte Entscheidungsfindung, nicht ein computer-basiertes,” der PIO später geklärt. “Vor allem, und pro Politik, unsere Ermittler sind nicht gestattet, die Zwangsvollstreckung ausschließlich auf eine mögliche Identifizierung führen.”

Die gleiche vertrauliche Quelle sagte Gizmodo, dass eine “confidence score ist nicht überall verwendet in dem Prozess, eine Entscheidung zu treffen, so dass keine Schwelle in die Suche verwendet wird.”

Der PIO weiter informiert Gizmodo, dass, während Amazon hat die Versorgung Dokumentation und weitere Unterstützung auf der software Ende, keine direkte Ausbildung gegeben wurde, um die Ermittler, die weiterhin die Verwendung der suite. One-Systeme-Projekt-Analyst arbeitet in der Nähe Clackamas County, deren Korrespondenz wurde öffentlich gemacht, über die ACLU-erhalten FOIA-Dokumente—schrieb, dass Rekognition “die Dokumentation ist sehr mangelhaft oder falsch.”

Während das Unternehmen ein Abkommen mit WCSO besagt, dass die “Kunden, stellt AWS mit rechtzeitigen und angemessenen Zugang zum Personal, Dokumentation, Daten, Systeme und Einrichtungen,” Amazon sank um anzugeben, ob es Spuren, die das Vertrauen der Schwellenwerte eingesetzt, die von seinen Kunden. Ein Sprecher wies uns auf ein Amazon Web Services-blog-post aus der letzten Woche, die besagt, dass das Unternehmen “auszusetzen Menschen die Nutzung unserer Dienstleistungen, wenn wir finden, Sie sind mit Ihnen in unverantwortlicher Weise oder zu verletzen Menschen, die Bürgerrechte.” Ein Amazon-Sprecher erklärte, dass die Strafverfolgungsbehörden Kunden, Nichtinanspruchnahme einer 99-Prozent Vertrauen Schwelle gilt nicht als eine verantwortungslose Anwendung der Rekognition.

Derzeit gibt es keine Hinweise, dass WCSO oder andere Strafverfolgungs-Kunden, wenn Sie vorhanden ist, eingesetzt haben Rekognition für missbräuchliche Zwecke. Noch, den Ausreden, die Amazon gemacht hat, für Ihre software und die tatsächliche Erfahrung seiner Verwendung nicht ausrichten.

Amazon hat in seinem öffentlich zugänglichen blog-Beiträge, unterstützt Gesetzgebung, die Orientierung für den Einsatz von software wie die Rekognition. “Es ist eine sehr vernünftige Idee, allerdings für die Regierung zu Wiegen und zu spezifizieren, welche Temperatur (oder das Vertrauen), Sie will den Strafverfolgungsbehörden zu treffen, um zu unterstützen in Ihren öffentlichen Sicherheit Arbeit”, so Dr. Matt Wood, Amazon Web Service ist general manager von deep learning, schrieb im Juli post. In der Meinung der Befragten Congressional Gesetzgeber, die haben immer wieder versucht, Informationen zu potenziell Regeln die Nutzung der Gesichtserkennung, aber Amazon hat “keine ausreichenden Antworten” gedrückt, wenn im Juli und November.

“Ich denke, dies zeigt die Lächerlichkeit von Amazon die position,” Matt Cagle, Technik und bürgerlichen Freiheiten Anwalt mit der ACLU von Nord-Kalifornien, sagte Gizmodo”, auf der einen Seite sprechen Sie über Leitlinien, die dann aber das Unternehmen die eigenen Kunden kann eigentlich nicht sein, Ihnen zu Folgen, und das ist nicht akzeptabel, wenn wir reden über eine Technologie so gefährlich ist, wie Gesicht überwachung, wird von den Strafverfolgungsbehörden. Amazon sollte handeln. Es sollte beachten Sie die Aufrufe der Kongress, der öffentlichkeit und sogar seine eigenen Arbeitnehmer und die überwachung Unternehmen.”

Ein AWS-Sprecher zur Verfügung gestellt Gizmodo mit einer längeren Erklärung, die wir haben, hier in Auszügen wiedergegeben:

AWS und die Washington County Sherriff ‘ s Office arbeiteten gemeinsam an der Entwicklung einer Architektur und best practices rund um die Nutzung der Technologie, einschließlich die ordnungsgemäße Verwendung von Vertrauen und kehrte führt für cold case Ermittlungen. Seitdem Rekognition als wirksam erwiesen hat zu helfen, Offiziere identifizieren, führt Untersuchungen im Vorfeld, und begreifen, potenziell gefährliche verdächtige, die andernfalls möglicherweise nicht erkannt […] die Washington County Sherriff ‘ s Office wurde vollständig transparent über seine Verwendung der Technologie und der Politik, die es regieren […] es hat noch nie einen einzigen gemeldeten Beschwerde aus der öffentlichkeit und keine Probleme mit dem lokalen Wahlkreis, um Ihre Nutzung der Rekognition.

Die vollständige Erklärung ist hier sichtbar.

Arbeitest du für Amazon zu entwickeln Rekognition, oder sind Sie ein Kunde von Ihren Informationen? Wir würden uns freuen, von Ihnen zu hören. Uns eine E-Mail, chat uns auf Keybase, oder senden Sie uns die Informationen anonym über unser Sicheres Drop-server.

Teilen Sie Diese Geschichte


Date:

by