Forskere betvivler den populære idé om, at deep-learning-modeller er “sorte bokse”, der intet afslører om, hvad der foregår inde
af
12. oktober 2021 
Ms Tech | Pexels, thispersondoesnotexist.com
Indlæs webstedet Denne person eksisterer ikke, og det viser dig et menneskeligt ansigt, næsten perfekt i sin realisme, men alligevel fuldstændig falsk. Opdatering og det neurale netværk bag webstedet vil generere en anden, og en anden, og en anden. Den endeløse sekvens af AI-fremstillede ansigter produceres af et generativt adversarial network (GAN)-en type AI, der lærer at producere realistiske, men falske eksempler på de data, den er trænet på.
Men sådanne genererede ansigter – som begynder at blive brugt i CGI -film og annoncer – er måske ikke så unikke, som de ser ud til. I et papir med titlen This Person (Probably) Exists viser forskere, at mange ansigter produceret af GAN'er ligner en slående lighed med egentlige mennesker, der optræder i træningsdataene. De falske ansigter kan effektivt afsløre de virkelige ansigter, som GAN blev uddannet på, hvilket gør det muligt at afsløre identiteten af disse personer. Værket er det seneste i en række studier, der sætter tvivl om den populære idé om, at neurale netværk er “sorte kasser”, der ikke afslører noget om, hvad der foregår indeni.
Relateret historie
Folk ansætter ud af deres ansigter for at blive dyb falske marketingkloner
AI-drevne figurer baseret på rigtige mennesker kan medvirke i tusindvis af videoer og sige alt på ethvert sprog.
For at afsløre de skjulte træningsdata brugte Ryan Webster og hans kolleger ved University of Caen Normandy i Frankrig en type angreb kaldet et medlemsangreb, som kan bruges til at finde ud af, om visse data blev brugt til at træne en model for neurale netværk. Disse angreb udnytter typisk subtile forskelle mellem den måde, en model behandler data, den blev trænet på – og har således set tusinder af gange før – og usete data.
For eksempel kan en model identificere et tidligere uset billede nøjagtigt, men med lidt mindre selvtillid end et, det blev trænet på. En anden, angribende model kan lære at få øje på sådanne fortæller i den første models adfærd og bruge dem til at forudsige, hvornår visse data, f.eks. Et foto, er i træningssættet eller ej.
Sådanne angreb kan føre til alvorlige sikkerhedslækager. F.eks. Kan det afsløre, at denne person har den sygdom.
Websters team udvidede denne idé, så i stedet for at identificere de nøjagtige fotos, der blev brugt til at træne et GAN, identificerede de fotos i GAN's træningssæt, der ikke var identiske, men syntes at skildre det samme individ – med andre ord ansigter med samme identitet. For at gøre dette genererede forskerne først ansigter med GAN og brugte derefter en separat ansigtsgenkendelse AI til at opdage, om identiteten af disse genererede ansigter matchede identiteten af nogen af ansigterne, der ses i træningsdataene.
Resultaterne er slående. I mange tilfælde fandt teamet flere fotos af rigtige mennesker i træningsdataene, der tilsyneladende matchede de falske ansigter, der blev genereret af GAN, og afslørede identiteten af personer, AI var blevet trænet på.
Den venstre kolonne i hver blok viser ansigter genereret af et GAN. Disse falske ansigter efterfølges af tre fotos af rigtige mennesker, der er identificeret i træningsdataene UNIVERSITY OF CAEN NORMANDY