Forskare tvivlar på den populära tanken att djupinlärningsmodeller är ”svarta lådor” som inte avslöjar något om vad som händer inuti
av
12 oktober 2021 
Ms Tech | Pexels, thispersondoesnotexist.com
Ladda upp webbplatsen Denna person existerar inte och det visar dig ett mänskligt ansikte, nästan perfekt i sin realism men ändå helt falskt. Uppdatering och det neurala nätverket bakom webbplatsen kommer att generera en till, och en till, och en till. Den oändliga sekvensen av AI-tillverkade ansikten produceras av ett generativt kontradiktoriskt nätverk (GAN)-en typ av AI som lär sig att producera realistiska men falska exempel på data som den tränas på.
Men sådana genererade ansikten – som börjar användas i CGI -filmer och annonser – kanske inte är så unika som de verkar. I ett papper med titeln This Person (Probably) Exists visar forskare att många ansikten som producerats av GAN: er har en slående likhet med verkliga personer som förekommer i utbildningsdata. De falska ansikten kan effektivt maskera de verkliga ansikten som GAN utbildades på, vilket gör det möjligt att avslöja identiteten för dessa individer. Arbetet är det senaste i en rad studier som ifrågasätter den populära tanken att neurala nätverk är ”svarta lådor” som inte avslöjar något om vad som händer inuti.
Relaterad berättelse
Folk anställer/> Folk anställer ut sina ansikten för att bli marknadsföringskloner i djupfake-stil
AI-drivna karaktärer baserade på riktiga människor kan spela i tusentals videor och säga vad som helst, på vilket språk som helst.
För att avslöja de dolda träningsdata använde Ryan Webster och hans kollegor vid universitetet i Caen Normandie i Frankrike en typ av attack som kallas en medlemsattack, som kan användas för att ta reda på om vissa data användes för att träna en modell för neurala nätverk. Dessa attacker utnyttjar vanligtvis subtila skillnader mellan hur en modell behandlar data som den utbildades på – och har alltså sett tusentals gånger tidigare – och osynlig data.
Till exempel kan en modell identifiera en tidigare osynlig bild exakt, men med något mindre självförtroende, än den den utbildades på. En andra, attackerande modell kan lära sig att upptäcka sådana berättelser i den första modellens beteende och använda dem för att förutsäga när vissa data, till exempel ett foto, finns i träningsuppsättningen eller inte.
Sådana attacker kan leda till allvarliga säkerhetsläckor. Om du till exempel får reda på att någons medicinska data användes för att träna en modell som är associerad med en sjukdom kan det avslöja att den här personen har den sjukdomen.
Websters team utökade denna idé så att istället för att identifiera de exakta bilderna som används för att träna ett GAN, identifierade de foton i GAN: s träningssats som inte var identiska men verkade skildra samma individ – med andra ord ansikten med samma identitet. För att göra detta genererade forskarna först ansikten med GAN och använde sedan en separat ansiktsigenkänning AI för att upptäcka om identiteten för dessa genererade ansikten matchade identiteten hos någon av ansiktena som ses i träningsdata.
Resultaten är slående. I många fall hittade teamet flera foton av riktiga personer i träningsdata som tycktes matcha de falska ansikten som genererades av GAN, vilket avslöjade identiteten på individer som AI hade tränats på.
Den vänstra kolumnen i varje block visar ansikten som genereras av ett GAN. Dessa falska ansikten följs av tre foton av riktiga personer som identifieras i träningsdata