MIT-forskarna lyckades förvirra artificiell intelligens i att klassificera en reptil som ett skjutvapen, som innebär att ställa frågor om framtiden för AI säkerhet
Är det en sköldpadda? Säker – såvida du inte är Googles AI.
Foto: Labsix/MIT
Artificiell intelligens (AI)
Hagelgevär skal: Googles AI tycker denna sköldpadda är ett gevär
MIT-forskarna lyckades förvirra artificiell intelligens i att klassificera en reptil som ett skjutvapen, som innebär att ställa frågor om framtiden för AI säkerhet
@alexhern
Fredag 3 November 2017 12.15 GMT
Senast ändrad fredagen den 3 November 2017 12.17 GMT
Om det är formen av en sköldpadda, storleken av en sköldpadda, och har mönstret av en sköldpadda, det är nog en sköldpadda. Så när artificiell intelligens självsäkert förklarar att det är en pistol istället, något har gått fel.
Men det är vad forskare från MIT: s Labsix lyckats lura Googles objekt erkännande AI i tänkande, de visade i en rapport som publicerades den här veckan.
Laget bygger på ett koncept som kallas “öppna bild”. Det är en bild som har skapats från grunden och upp för att lura en AI i klassificera det som något helt annat än vad den visar till exempel en bild av en tabby katt redovisas med 99% säkerhet som en skål med guacamole.
Sådana trick fungerar genom att försiktigt lägga till visuella brus till bilden så att den bunt av signifiers en AI använder för att erkänna dess innehåll blir förvirrad, medan en människa inte märka någon skillnad.
Men medan det finns en hel del av det teoretiska arbete som visar attacker är möjliga, fysiska demonstrationer av samma teknik som är tunna på marken. Ofta, helt enkelt för att rotera bilden, jävlas med färg balans, eller beskära den lite, kan vara tillräckligt för att förstöra trick.
MIT-forskare har drivit idén längre än någonsin tidigare, genom att manipulera inte en enkel 2D-bild, men ytan av en 3D-utskrivna sköldpadda. Den resulterande shell-mönster ser ut trippy, men fortfarande helt lätt att känna igen som en sköldpadda – om du har Google public object detection AI, i vilket fall du är 90% säker på att det är ett gevär.
Forskarna också 3D tryckt en baseball med smattrande att göra det verkar det AI som en espresso, med marginellt mindre framgång – AI kunde berätta att det var en baseball ibland, men fortfarande felaktigt föreslog espresso för det mesta.
“Vårt arbete visar att den kontradiktoriska exempel är ett betydligt större problem i verkliga system än man tidigare trott,” forskarna skrev. Som vision är rullas ut i större utsträckning, sådana attacker kan vara farliga.
Redan forskarna undersöker möjligheten att automatiskt upptäcka vapen från CCTV bilder. En sköldpadda som ser ut som ett gevär för att ett sådant system kan endast orsaka ett falskt larm, ett gevär som ser ut som en sköldpadda, skulle dock vara betydligt mer farliga.
Det är fortfarande problem för forskarna att reda ut. Viktigast av allt är att den nuvarande strategin för att lura maskinen vision fungerar bara på ett system åt gången, och kräver tillgång till systemet för att utveckla trick mönster. Sköldpaddan som dårar Googles AI inte kan dra bort samma attack mot Facebook eller Amazon, till exempel. Men en del forskare har redan hunnit med att utveckla enklare attacker som arbetar mot okända AIs, med hjälp av tekniker som har generella program.
AI företag kämpar tillbaka. Både Facebook och Google har publicerat forskning som tyder på att de söker till de tekniker som själva, att hitta sätt att säkra sina egna system.
- Lever min ångest dröm: att ta en tur i en av Googles självstyrande bil