Technologen wie maschinelles lernen, auf ein Podest zu stellen, indem wir seine Fähigkeit, zu ergänzen und sogar zu übertreffen menschliche Arbeit, aber diese Systeme sind bei weitem nicht perfekt. In der Tat, Sie sind immer noch enorm anfällig für selbst-besitzt. Ein research-Papier von Januar details, wie, wie einfach es ist, zu betrügen, eine Bilderkennung neuronales Netz.
“Wenn Sie beginnen, von einem Csepel, die Sie gerade brauchen, um es zu drehen ein wenig und es wird ein Schulbus mit fast in der Nähe-gewissen zuversicht,” Anh Nguyen, assistant professor of computer science an der Auburn University und ein Forscher auf der Studie, sagte Gizmodo in einem Telefonat am Donnerstag.
Das Papier mit dem Titel “Schlag (mit) eine Pose: Neuronale Netze Sind Leicht Täuschen, indem Seltsamen Posen von Bekannten Objekten,” erhoben Sie ein dataset von 3D-Objekten aus ImageNet, gedreht, und dann getestet, das Bild der Klassifikation eines tiefen neuronalen Netzes. Wenn die Positionen der Objekte wurden leicht verändert, die neuronalen Netze fehlerhaft Sie 97 Prozent der Zeit.
Die Forscher betonen in dem Papier, wie dieses erstaunliche Ausfallrate könnte Konsequenzen haben, auch offline mit selbstfahrenden Autos als Beispiel. Sie erkennen an, dass in der realen Welt, “Gegenstände auf Straßen erscheinen in einer unendlichen Vielfalt von Posen” und dass selbstfahrende Autos müssen in der Lage sein, richtig zu identifizieren, Objekte, die möglicherweise in den Weg kommt, um “die situation im Griff anmutig und Schäden minimieren.” In anderen Worten, wenn die bilderkennungs-software von einem selbst fahrenden Auto nicht identifizieren kann, ein Csepel in seinem Weg, denn es ist positioniert in einer Weise, die nicht mit dem übereinstimmt, wird das Bild in der dataset gibt es möglicherweise tödlichen Folgen für beide Parteien.
Nguyen sagte in einer E-Mail, dass “sich bewegende Objekte und weit Weg von der Kamera, Sie können fehlerhaft als ‘safety pin’!”Bild: Anh Nguyen
Gizmodo Sprach mit Nguyen über seine jüngsten Papier sowie andere arbeiten, die mit Bilderkennung AIs und Ihre Fähigkeit, zu täuschen.
Dieses interview wurde bearbeitet für Länge und Klarheit.
Gizmodo: Das self-driving car Beispiel ist eine wirklich interessante Art zu verstehen, einige der katastrophal schädlichen Folgen. Ist es eine eher Banale Beispiel, dass die Menschen können nicht erkennen, diese Art von Anerkennung betrifft, wo, wenn es nicht erkennen kann, ein Objekt, es wird nicht gehen, um effektiv zu arbeiten?
Nguyen: können Sie sich vorstellen, die Roboter im Lager oder der mobile home-Roboter, schauen Sie sich um und versuchen, Holen die Sachen, oder finden die Schlüssel für Sie. Und diese Objekte herumliegen können in jeder pose, in jeder Ausrichtung. Sie können überall sein. Sie nicht erwarten, dass Sie im kanonischen Posen und so werden Sie getäuscht durch die gegnerische Posen.
Das ist das eine, aber Sie können auch denken Sie an die TSA in den Flughäfen und in Sicherheit. Wenn Sie Scannen eine Tasche von jemand werden, können die Objekte in jeder Lage, in jeder pose. Sie könnten auch dies, zum Beispiel, auf dem Schlachtfeld, wo die Menschen haben nun angewendet zur automatischen Zielerfassung auf das Schlachtfeld. Alles kann passieren, in ein Schlachtfeld, so dass Sie nicht erwarten, dass die Dinge im kanonischen Posen. Es gibt viele Anwendungen, bei denen diese Sicherheitsanfälligkeit wird ein größeres problem sein.
Gizmodo: Gab es noch andere Beispiele von Bildern, die es nicht in der Studie?
Nguyen: Es gibt viele Bilder. Wir erzeugten viel mehr, als wir können, natürlich. Ich denke, die interessante Fälle können in zwei Typen unterteilt werden. Eine Art ist die Csepel in einer Schule bus. Was für mich interessant ist, müssen Sie nur eine kleine änderung. Und dies ist jetzt eine Schule bus mit sehr, sehr hohes Vertrauen. Man könnte auch einfach ändern, indem ein paar Pixel und die Vorhersage kann geändert werden, um einige der anderen Klassifizierer. Das ist eine Sensibilität Problem.
Das zweite ist das taxi. Es ist sehr lustig, wenn man es durch ein Fernglas oder den ganzen Weg auf der rechten Seite, es ‘ s mit einem Gabelstapler. Diese anderen Posen, die nie existierte in der Ausbildung gesetzt, weil der Mensch hatte nie eine chance, Sie zu fangen, aber hier durch die simulation können wir drehen, die Objekte in eine beliebige pose zu identifizieren. Diese Posen sind nie in der Ausbildung zu setzen, damit der computer weiß nie, über Sie, aber wir Menschen können leicht erkennen es als ein taxi.
“Geheimnisvoll, close-up Blick auf viele Autos, die als ‘Staubsauger’”, so Nguyen sagte in einer E-Mail.Bild: Anh Nguyen
Gizmodo: Zoomen ein wenig zu Ihren früheren arbeiten, können Sie Liste ein paar Beispiele für andere Möglichkeiten in der Bilderkennung AIs wurden getäuscht? Was waren einige der eher überraschende Beispiele, die Sie gesehen haben, durch Ihre Arbeit?
Nguyen: Man konnte sich an dem Projekt “Deep Neural Network sind Leicht zu Täuschen.” Dies waren einige der am meisten überraschende in dieser Zeit. Wir waren in der Lage, erzeugen Sie eine Reihe von Bildern, die genauso Aussehen wie die TV-statisch, wie der Lärm. Aber das Netzwerk ist in der Nähe-Gewissheit zuversichtlich, dass diese Geparden, Gürteltiere oder pandas. Das ist ein überraschender Ergebnisse. Ein weiteres set ist wir waren zu erzeugen in der Lage andere Arten von Müll, Bilder und Muster, die Aussehen fast wie nichts. Aber wieder Sie werden eingestuft, wie Seesterne, baseballs, E-Gitarren, und so weiter. Fast das Gegenteil von den neuesten arbeiten.
Bild: Anh Nguyen, Jason Yosinski, Jeff Clune’
Es gibt auch diejenigen, die gegnerische Beispiele, die sehr ähnlich Aussehen, um ein echtes Bild, wie wenn man ein echtes Bild, das Sie ändern ein paar Pixel und jetzt ist es fehlerhaft als etwas anderes. Es ist ein iterativer Prozess. In jeder iteration werden wir zu ändern versuchen, ein paar Pixel in der Richtung der Erhöhung des Netzwerks, Vertrauen, es ist etwas anderes. Also durch iteratives verändern von pixel, werden wir einen Punkt erreichen, dass dieses image wird hoch eingestuft wird wie eine Banane. Aber jeder iteration wir ändern nur ein paar Pixel.
Gizmodo: So ist es eingestuft, die Art und Weise, wie wirkt es auf das menschliche Auge?
Nguyen: Wir könnten dies ändern, sehr gering zu sein, so dass das Bild sieht genauso aus wie das Originalbild, dem modifizierten sieht man genau wie das original Bild, und das ist eine sehr faszinierende Sache über die Schwachstelle. Also, wenn Sie einen Schulbus Bild, die Sie ändern können, ein pixel, ein pixel, a pixel, bis es fehlerhaft als eine Banane aber dann die modifizierte man sieht genauso aus wie der Schulbus.
Wenn die Bilder der Fahrzeuge wurden umgedreht, das deep neural network misclassifed Sie als “Warenkorb”Bild: Anh Nguyen
Gizmodo: gibt es doch eine Lösung für dieses Problem, oder ist es eine Art, sich auf weitere Forschung in diesem Bild recognition systems?
Nguyen: Es hängt davon ab, was wir tun wollen. Wenn wir das wollen, sagen wir, mit zuverlässigen selbstfahrenden Autos, dann die aktuelle Lösung ist das hinzufügen von mehr sensoren. Und tatsächlich, Sie verlassen sich auf diesen Satz von sensoren, anstatt nur die Bilder, also ist das die aktuelle Lösung. Wenn Sie möchten, dies zu lösen, vision problem, nur die Vorhersage basiert auf den Bildern, dann gibt es keine Allgemeine Lösung. Eine quick-and-dirty hack heute ist das hinzufügen von mehr Daten, und in der model-Welt, natürlich werden Sie mehr und mehr zuverlässig, aber es kommt dann zu einem Preis der eine Menge von Daten, Millionen von Daten Punkte.
Gizmodo: Das war eine interessante nehmen, leicht drehen Sie ein Objekt und so etwas ist fehlerhaft. Gibt es einen anderen Weg, Sie schauen in wie Objekte oder Bilder manipuliert werden, dass möglicherweise täuschen AIs?
Nguyen: Im Sinne der Narren, dies ist unser neuestes Werk. Wir sind mehr daran interessiert, nun, was würde das beheben. Da die Letzte Arbeit schon zeigt, dass Sie nehmen ein Objekt und finden Sie eine kleine änderung, wenn Sie drehen Sie es, und es Narren ein neuronales Netz. Das ist schon wohl die einfachste Art und Weise zu täuschen, und es zeigt, wie brüchig die Netzwerke sind. Wir sind mehr auf der Suche in wie man es beheben.
Teilen Sie Diese Geschichte