En säkerhet ska upphöra att påverkas mer än 1 000 personer tvingats en moderator gömmer sig – och att han fortfarande lever i ständig rädsla för sin säkerhet
“Jag kan inte gå någonstans utan att titta tillbaka: en moderator beskriver psykiska skador efter att hans personliga detaljer har läckt ut om att misstänkta terrorister han bort från plattformen.
Foto: Dado Ruvic/Tt-Reuters
Avslöjat: Facebook utsatta identiteter som moderatorer för misstänkta terrorister
En säkerhet ska upphöra att påverkas mer än 1 000 personer tvingats en moderator gömmer sig – och att han fortfarande lever i ständig rädsla för sin säkerhet
@oliviasolon
e-post
Fredag 16 juni 2017 08.09 BST
Först publicerad på fredag den 16 juni 2017 08.00 BST
Facebook sätta säkerheten för dess innehåll moderatorer på risk efter att oavsiktligt utsätta sina personuppgifter till en misstänkt terrorist användare av det sociala nätverket, the Guardian har lärt sig.
Avslöjat: Facebook interna regelverk på kön, terrorism och våld
Läs mer
Säkerheten upphör att påverkas mer än 1 000 personer över 22 avdelningar på Facebook som används företagets måtta programvara för att granska och ta bort innehåll som är olämpligt från plattformen, inklusive sexuellt material, hets mot folkgrupp och terroristpropaganda.
En bugg i programvaran, som upptäcktes i slutet av förra året, som resulterade i personliga profiler av innehåll moderatorer automatiskt visas som meddelanden i aktivitetsloggen av Facebook grupper vars administratörer bort från plattformen för brott mot användarvillkoren. Den personliga uppgifter på Facebook moderatorer då var synlig för den återstående administratörer i gruppen.
Av de 1 000 arbetstagare, runt 40 arbetade i en counter-terrorism enhet baserad på Facebook Europeiska huvudkontor i Dublin, Irland. Sex av dem bedömdes vara “hög prioritet” offer av misstag efter att Facebook har avslutat sina personliga profiler var sannolikt ses av potentiella terrorister.
The Guardian talade med en av de sex, som inte vill bli namngiven av oro för sin och sin familjs säkerhet. Den Irakiska-är född Irländsk medborgare, som är i tjugoårsåldern, Irland flydde och gömde sig efter att ha upptäckt att sju personer i samband med en misstänkt terrorist grupp som han avstängd från Facebook – ett Egypten-baserad grupp som backade Hamas, sade han, hade medlemmar som var med Islamisk Stat sympatisörer – hade sett sin personliga profil.
Facebook har bekräftat brott mot säkerheten i ett uttalande och sa att det hade gjorts tekniska ändringar för att bättre upptäcka och förhindra dessa typer av problem”.
“Vi bryr oss mycket om att hålla alla som arbetar för Facebook säker,” sade en talesman. “Så snart vi lärt oss om problemet, och vi fixade det och började en grundlig undersökning för att lära sig så mycket som möjligt om vad som hänt.”
Den moderator som gömde sig bland hundratals av “gemenskapens verksamhet analytiker” som är kontrakterade av global outsourcing Cpl Rekrytering. Gemenskapens verksamhet analytiker är vanligtvis låga betalas entreprenörer i uppdrag att med polisiära Facebook för innehåll som strider mot gemenskapens standarder.
Överväldigad med rädslan för att han skulle kunna möta vedergällning, moderator, som först kom till Irland som asylsökande när han var ett barn, sluta sitt jobb och flyttade till östra Europa för fem månader.
Straffet från Isis för att arbeta i counter-terrorism är halshuggning. Allt de skulle behöva göra är att berätta för någon
“Det skulle bli för farligt att bo i Dublin,” sade han, och förklarar att hans familj hade redan upplevt den skrämmande effekten av terrorism, att hans far hade blivit kidnappad och slagen och hans farbror avrättades i Irak.
“Den enda anledningen till att vi är i Irland var att fly, terrorism och hot,” sade han.
Moderator säger att andra inom hög-risk sex hade deras personliga profiler ses av företag med anknytning till Isis, Hizbollah och den Kurdiska arbetarpartiet. Facebook uppfyller US state department ‘ s utnämning av terroristgrupper.
“När man kommer från en krigszon och du har människor tycker om att veta din familj namn du vet att folk blir slaktade för det,” sade han. “Straffet från Isis för att arbeta i counter-terrorism är halshuggning. Allt de skulle behöva göra är att säga till någon som är radikalt.”
Facebook moderatorer som honom först misstänkte att det var ett problem när de började ta emot vänförfrågningar från människor samröre med terroristorganisationer de skulle granska.
En brådskande utredning av Facebook: s säkerhetsgrupp etablerade som personliga profiler som hör till innehåll moderatorer hade varit utsatt för. Så snart som läckan upptäcktes i November 2016, Facebook sammankallade en “task force av data forskare, gemenskapens verksamhet och säkerhet utredare”, enligt intern e-post kan ses av Väktare, och varnade för alla anställda och kontrakterade personalen trodde det var drabbade. Bolaget också ställa in en e-postadress, nameleak@fb.com att fältet frågor från dem som berörs.
Underbetalda och överbelastade: livet på en Facebook moderator
Läs mer
Facebook och upptäckte då att de personliga Facebook-profiler av dess moderatorer hade varit att automatiskt visas i loggar aktiviteter för de grupper som de skulle stänga.
Craig D ‘Souza, Facebook’ s head of global utredningar, har hållit kontakt direkt med några av de drabbade entreprenörer, talar till de sex personer som anses vara den största risken över videokonferens, e-post och Facebook Messenger.
I ett utbyte, innan Facebook utredning var fullständig, D ‘ Souza försökte lugna moderatorer att det var “en god chans att” alla misstänkta terrorister underrättas om att deras identitet skulle misslyckas med att ansluta prickar.
“Tänk på att när personen ser ditt namn på listan, det var i deras verksamhet log, som innehåller en hel del information,” D ‘ Souza skrev, “det finns en god chans att de förknippar du med en annan admin för gruppen eller en hacker …”
“Jag förstår Craig,” svarade den moderator som slutade som flyr från Irland”, men detta är att ta chanser. Jag väntar inte för en pipe bomb skickas till min adress till Facebook gör något åt det.”
Facebook VD Mark Zuckerberg levererar ett inledningsanförande. Sex moderatorer bedöms som “hög prioritet” och offer för ett misstag som delat med sig av sin personliga information med extremistiska grupper. Foto: Justin Sullivan/Getty Images
Bugg i programvaran inte var fast i ytterligare två veckor, den 16 November 2016. Genom att peka glitch hade varit aktiv i en månad. Men felet var också retroaktivt utsätta den personliga profiler av moderatorer som hade censurerat konton så långt tillbaka som till augusti 2016.
Facebook erbjöd sig att installera ett larm system för övervakning och transport till och från arbete till dem i gruppen hög risk. Bolaget dessutom erbjuds rådgivning via Facebook är employee assistance program, utöver rådgivning som erbjuds av entreprenören, Cpl.
Den moderator som flytt från Irland var missnöjd med säkerhet garantier som erhållits från Facebook. I ett e-postmeddelande till D ‘ Souza, att han skrev att hög risk sex hade tillbringat veckor “i ett tillstånd av panik och kris” och att Facebook som behövs för att göra mer för att “ta itu med de akuta problemen för vår säkerhet och våra familjer”.
Han sa till the Guardian att de fem månader han tillbringade i östra Europa kändes som att “exil”. Han höll en låg profil, förlitar sig på besparingar för att försörja sig själv. Han tillbringade sin tid att hålla sig i form och att hålla kontakt med sin advokat och Dublin polisen som kollade upp på hans familj medan han var borta. Han återvände till Irland förra månaden efter att ha kört slut på pengar, trots att han fortfarande lever i skräck.
Flytta snabbt, Zuckerberg, eller hatar will kill Facebook | John Naughton
Läs mer
“Jag har inte ett jobb, jag har ångest och jag är på antidepressiva,” sade han. “Jag kan inte gå någonstans utan att titta tillbaka.”
Denna månad har han lämnat in ett rättsligt anspråk mot Facebook och Cpl med Skador Styrelsen i Dublin. Han söker ersättning för psykiska skador som orsakats av läckage.
Cpl inte svara på en begäran att kommentera. Det uttalande från Facebook, sade undersökningen syftade till att ange exakt vilka namn som var möjligen ses och av vem, samt en bedömning av risken för att den drabbade personen”.
Sociala medier jätte tonade ned hotet mot de berörda moderatorer, men sade att det kontaktat var och en av dem för sig “att erbjuda stöd, svara på deras frågor, och vidta lämpliga åtgärder för att garantera deras säkerhet”.
“Vår undersökning visade att endast en liten bråkdel av namnen var sannolikt ses, och vi har aldrig haft bevis för något hot mot människor påverkade eller deras familjer som en följd av detta ärende,” sade talesmannen.
Information om Facebook ‘ s säkerhet blunder än en gång kommer att sätta en spotlight på den ansträngande och kontroversiella arbete som utförs av en armé av tusentals lågavlönade personalen, inklusive i länder som Filippinerna och Indien.
Den Facebook-Filer: sex, våld och hatpropaganda
The Guardian nyligen avslöjade den hemliga regler och riktlinjer som Facebook använder för att utbilda moderatorer att polisen sitt omfattande nätverk av nästan två miljarder användare, inklusive 100 interna manualer, kalkylblad och flödesscheman.
Den moderator som flytt från Irland arbetat för en 40-stark specialist team med uppgift att utreda anmälningar av terroristverksamhet på Facebook. Han var anställd för att han talade arabiska, sade han.
De skulle ha låtit oss använda falska profiler. Att de aldrig varnade oss för att något sådant här skulle kunna hända
Han kände att kontrakterade personalen var inte behandlas som jämlikar till Facebook anställda men “andra klassens medborgare”. Han var betalade bara 13 euro ($15) per timme för en roll som krävde honom att utveckla specialistkunskap inom globala terror nätverk och skura igenom ofta mycket störande material.
“Du kommer in varje morgon och bara titta på halshuggningar, människor blir slaktade, stenas, avrättad,” sade han.
Facebook ‘ s policy tillåter användare att lägga upp extremt våldsamma bilder, förutsatt att de inte marknadsför eller fira terrorism. Detta innebär att moderatorer kan vara upprepade gånger utsätts för samma spökar bilder för att avgöra om personer som delar dem var att fördöma eller firar de avbildade akter.
Moderator säger att när han började, han fick bara två veckor på utbildning och var tvungen att använda sitt personliga Facebook-konto för att logga in på sociala medier-jättens måtta system.
“De borde ha låtit oss använda falska profiler”, sade han, och tillade: “De aldrig varnade oss för att något sådant här skulle kunna hända.”
Hur Facebook guider moderatorer på terroristrelaterat innehåll
Läs mer
Facebook berättade för the Guardian som en följd av läckan det är att pröva användningen av administrativa konton som inte är kopplade till personliga profiler.
Måtta lag var ständigt fått för noggrannhet och hastighet av sina beslut, sade han, liksom andra faktorer såsom deras förmåga att hålla uppdaterat utbildningsmaterial. Om en moderator betyg sjunkit under 90% att de skulle få en formell varning.
I ett försök att stärka moralen bland myndighetens personal, Facebook lanserade en månatlig ceremoni för att fira av hög kvalitet. Priset var en Facebook-märkesvaror mugg. “Muggen som alla Facebook anställda få”, konstaterade han.
Kontakta författaren: olivia.solon@theguardian.com