Det sociala nätverket har lovat att arbeta hårdare för att identifiera och ta bort stötande innehåll, men det kan ta en psykologisk toll
“Människor kan vara mycket påverkas … det är inte klart Facebook är även medveten om långsiktiga resultat”, säger en expert.
Foto: Chris Jackson/Getty Images
Facebook är att anställa moderatorer. Men är de jobb är för hemsk att hantera?
Det sociala nätverket har lovat att arbeta hårdare för att identifiera och ta bort stötande innehåll, men det kan ta en psykologisk toll
@oliviasolon
e-post
Torsdag 4 Maj 2017 10.00 BST
Senast ändrad torsdagen den 4 Maj 2017 10.01 BST
Någonsin ville arbeta för Facebook? Mark Zuckerberg har just meddelat att 3 000 nya jobb. Haken? Du kommer att behöva se över stötande innehåll på plattformen, vilket har nyligen värd för live-streamad film av mord, självmord och våldtäkter.
I hans uttalande, Zuckerberg visade att bolaget redan har 4 500 personer runt om i världen arbetar i sin “community operations team” och att de nyanställda att bidra till att förbättra översynen, som har kommit under eld för både olämpligt att censurera innehåll och misslyckas med att ta bort extrema innehåll tillräckligt snabbt. Bara förra veckan att företaget lämnat bilder av en Thai-man att döda sin 11-månaders gamla dotter på Facebook Live på plattformen för en hel dag.
I stället för att granska innehållet innan det har laddats upp, Facebook bygger på att användarna av sociala nätverk för att rapportera olämpligt innehåll. Moderatorer granska sedan rapporterade inlägg – hundratals varje skift – och ta bort dem om de faller offer för Facebook-gemenskapen standarder. Facebook tillåter inte nakenhet (inklusive kvinnor, men inte män, bröstvårtor), hets mot folkgrupp eller förhärligade våldet.
Facebook vägrade att erbjuda någon mer information om den typ av nya roller, bland annat arbetsuppgifter, om de skulle vara anställda eller uppdragstagare, eller där de skulle grundas. Men en sak är klar: detta arbete är ansträngande, och experter säger, kan leda till psykiska trauman.
Levande och död: Facebook i högsta grad behöver en reality check om video
Läs mer
“Människor kan vara mycket påverkas och okänsliga. Det är inte klart att Facebook är även medveten om långsiktiga resultat, aldrig tänka att spåra mentala hälsa, säger Sara T Roberts, en information studies professor från UCLA som studier i stor skala moderering av online plattformar.
Om dessa roller är outsourcad till underleverantörer, det kommer att bli ännu svårare för Facebook att övervaka moderatorer arbetsvillkor och psykisk hälsa, sade hon.
I januari, moderatorer i liknande roller på Microsoft stämde företaget och hävdade att exponering för bilder av “obeskrivlig sexuella övergrepp” och “fruktansvärda brutalitet” har resulterat i svåra post-traumatic stress disorder (PTSD).
Upprepad exponering för extrema innehåll kan leda till “secondary trauma”, vilket är ett tillstånd som liknar PTSD, men vittnet tittar på bilder av vad som hänt snarare än att vara traumatiserade sig själva.
“De symptom som är liknande och har hypervigilance,” sade Lisa Perez, docent i psykologi vid Minnesota State University, som har studerat sekundär traumatisk stress och utbrändhet bland rättsutredare utsätts för störande media bilder.
Utredare av barnpornografi, till exempel, kommer att vara mycket misstänksam mot människor som interagerar med barn, särskilt sina egna. Visa störande sexuella bilder kan också skapa problem i sexuella och äktenskapliga relationer.
För brottsbekämpning, det finns en baksida: den kunskap som de arbetar med att få dåliga människor från gatan. “Medan de har denna känslomässig utmattning och utbrändhet, tenderar de att vara mycket nöjda med sina jobb och att hitta dem är att vara meningsfull,” sade Perez.
Facebook Mark Zuckerberg på video döda: “Vi har en hel del arbete att göra”
Det är inte klart hur Facebook moderatorer skulle få samma tillfredsställelse. Även om det är djupt oroande att titta på, det är inte olagligt att dela med halshuggning videor på plattformen. Ta bort innehåll gör lite för att ta itu med förövaren av de avbildade agera, även om det inte shield andra från att se det.
Moderatorer kan också krävas att göra bedömningar av självmordsnära personer. Facebook testar artificiell intelligens som ett sätt att upptäcka kommentarer vägledande för självmordstankar, men de är fortfarande ses över av människor.
“Vi har haft situationer där vi har bokstavligen talat människor utanför kanten av byggnader,” sade Peter Friedman, verkställande av LiveWorld, som ger måtta tjänster till stora varumärken. Alla som hanterar sådana interaktioner måste vara högt utbildad, med tydliga processer att följa för att eskalera incidenter i akuta fall, tillade han.
Jag är en ex-Facebook exec: tro inte på vad de säger om annonser
Läs mer
Bortom den psykologiska toll moderatorer ansikte, det är en enorm börda av dom: de har att skilja mellan barnpornografi och ikoniska vietnamkriget foton, mellan förhärligande av våld och exponeringen mot de mänskliga rättigheterna. Beslut måste vara nyanserad och kulturellt kontextualiserade eller Facebook kommer att anklagas för att göra intrång i yttrandefriheten.
“Du kan ha en situation där ord som skrivs in av slutanvändaren är exakt den samma men den ena är en avslappnad skämt och den andra är en allvarlig sak som måste upptrappning”, säger Friedman. “Detta kräver intuition och mänsklig bedömning. Algoritmer kan inte göra det.”
Med tanke på de enorma utmaningar som är förknippade med dessa roller, Facebook behöver för att hålla ett vakande öga på processen och se till att moderatorer har utbildning och psykologiskt stöd för att hantera störande innehåll.
Microsoft rättegången beskrivs några specifika rekommendationer för hur moderatorer bör behandlas, inklusive rotationer ut av programmet, obligatoriska möten med en psykolog med specialistutbildning för att känna igen trauma och en make wellness-program.
En Facebook taleskvinna sade att företaget redovisar att arbetet ofta kan vara svårt och att varje person erbjuds psykologiskt stöd och wellness resurser. Bolaget sade att det också har ett program som utformats för att stödja människor i dessa roller, som utvärderas årligen. Facebook erbjuds inga ytterligare detaljer om den typ av stöd eller utbildning.