MIT forskere klart å forvirre kunstig intelligens i å klassifisere et reptil som et skytevåpen, stille spørsmål om fremtiden for AI-sikkerhet
Er det en skilpadde? At – med mindre du er Google ‘ s AI.
Foto: Labsix/MIT
Kunstig intelligens (AI)
Hagle shell: Googles AI mener dette turtle er en rifle
MIT forskere klart å forvirre kunstig intelligens i å klassifisere et reptil som et skytevåpen, stille spørsmål om fremtiden for AI-sikkerhet
@alexhern
Fredag 3. November 2017 12.15 GMT
Sist endret på fredag 3. November 2017 12.17 GMT
Hvis det er formet som en skilpadde, på størrelse med en skilpadde, og har trykket på en skilpadde, er det sannsynligvis en skilpadde. Så når kunstig intelligens trygt erklærer det er en pistol i stedet, noe er gått galt.
Men det er hva forskere fra MIT er Labsix klart å lure Google ‘ s objekt anerkjennelse AI til å tro, de er åpenbart i en artikkel publisert denne uken.
Laget er bygget på et konsept som kalles en “uvennlige bilde”. Det er et bilde som er opprettet fra ground-up for å lure en AI i klassifisere det som noe helt forskjellig fra hva den viser: for eksempel, et bilde av en tabby katt anerkjent med 99% sikkerhet som en bolle med guacamole.
Slike triks arbeid ved nøye å legge visuell støy på bildet slik at den pakken av signifikanter en AI bruker til å gjenkjenne innholdet bli forvirret, mens et menneske ikke merke noen forskjell.
Men mens det er mye teoretisk arbeid demonstrere angrep er mulig, fysiske demonstrasjoner av den samme teknikken som er tynne på bakken. Ofte, er det bare å rotere bildet, å rote med fargebalansen, eller beskjære det litt, kan være nok til å ødelegge lure.
MIT forskere har presset ideen mer enn noen gang før, ved å manipulere ikke en enkel 2D-bilde, men overflatestruktur av en 3D-printede skilpadde. Den resulterende shell mønsteret ser trippy, men likevel helt gjenkjennelig som en skilpadde – med mindre du er Googles offentlige objekt deteksjon AI, i hvilket tilfelle du er 90% sikker på at det er en rifle.
Forskerne har også 3D-printet et baseball med pattering for å gjøre det vises til AI som en espresso, med marginalt mindre suksess – AI var i stand til å fortelle det var en baseball-av og til, men fortsatt feilaktig foreslått espresso mesteparten av tiden.
“Vårt arbeid viser at alternative eksempler er et betydelig større problem i den virkelige verden systemer enn tidligere antatt,” forskerne skrev. Som maskin visjon er rullet ut mer allment, slike angrep kan være farlig.
Allerede forskere undersøke muligheten for automatisk detektering av våpen fra CCTV bilder. En skilpadde som ser ut som en rifle til et slikt system kan bare føre til en falsk alarm, en rifle som ser ut som en skilpadde, men ville være betydelig mer farlig.
Det er fortsatt problemer for forskerne til å stryke ut. Viktigst av alt, den nåværende tilnærmingen til å lure machine vision fungerer bare på ett system om gangen, og krever tilgang til systemet for å utvikle trikset mønstre. Turtle at fools Googles AI kan ikke dra av det samme angrep mot Facebook eller Amazon, for eksempel. Men noen forskere har allerede klart å utvikle enklere angrep som arbeider mot ukjent AIs, ved hjelp av teknikker som har generelle programmer.
AI selskaper kjemper tilbake. Både Facebook og Google har publisert forskning som tyder på at de ser i teknikker for seg selv, for å finne måter å sikre sine egne systemer.
- Bor min angst drøm: å ta en tur i en Googles selvkjørende bil