Det sosiale nettverket har forpliktet seg til å jobbe hardere for å identifisere og fjerne forstyrrende innhold – men dette kan ta en psykologisk toll
“Folk kan bli sterkt påvirket … det er ikke klart Facebook er selv klar over den langsiktige resultater,” sier en ekspert.
Foto: Chris Jackson/Getty Images
Facebook er å ansette moderatorer. Men er det jobb er for grusomme til å håndtere?
Det sosiale nettverket har forpliktet seg til å jobbe hardere for å identifisere og fjerne forstyrrende innhold – men dette kan ta en psykologisk toll
@oliviasolon
e-post
Torsdag 4. Mai 2017 10.00 BST
Sist endret på torsdag 4 Mai 2017 10.01 BST
Noen gang ønsket å jobbe for Facebook? Mark Zuckerberg har nettopp annonsert 3000 nye arbeidsplasser. Fangsten? Vil du ha til å skrive støtende innhold på plattformen, som har nylig arrangert live-streamet opptakene av mord, selvmord og voldtekt.
I sin kunngjøring, Zuckerberg avslørt at selskapet allerede har 4500 mennesker rundt om i verden som arbeider i sin “samfunnet team”, og at den nyansatte bidra til å forbedre denne prosessen, som har kommet under ild for både uhensiktsmessig å sensurere innhold, og å unnlate å fjerne ekstreme innhold raskt nok. Bare i forrige uke selskapet venstre på opptak av en Thailandsk mann drepe sin 11 måneder gamle datter på Facebook Live på plattformen for en hel dag.
I stedet for saumfarer innhold før den er lastet opp, Facebook baserer seg på at brukere av sosiale nettverk for å rapportere upassende innhold. Moderatorer da gjennom rapportert innlegg – hundrevis hvert skift – og fjerne dem hvis de faller stygt på Facebook fellesskapsregler. Facebook tillater ikke nakenhet (inkludert kvinner, men ikke menn, brystvortene), hatefulle ytringer eller forherliget vold.
Facebook nektet å gi noen ytterligere detaljer om arten av den nye roller, inkludert jobb beskrivelse, om de ville være ansatte eller leverandører, eller hvor de ville være basert på. Men en ting er klart: arbeidet er knallhard og, sier ekspertene, kan føre til psykiske traumer.
Levende og død: Facebook sårt trenger en reality check om video
Les mer
“Folk kan bli sterkt påvirket og ufølsomme. Det er ikke klart at Facebook er selv klar over den langsiktige resultater, never mind sporing den mentale helsen til arbeiderne,” sa Sarah T Roberts, en informasjonsvitenskap professor fra universitetet UCLA som studier i stor skala moderering av online-plattformer.
Hvis disse rollene er outsourcet til underleverandører, og det kommer til å bli enda vanskeligere for Facebook til å overvåke moderatorer’ arbeidsforhold og psykisk helse, sa hun.
I januar, moderatorer i lignende roller i Microsoft saksøkt selskapet, med påstand om at eksponering for bilder av “ubeskrivelig seksuelle overgrep” og “fryktelig brutalitet” resulterte i alvorlige post-traumatisk stress lidelse (PTSD).
Gjentatt eksponering for ekstreme innhold kan føre til sekundær traumer”, som er en tilstand som ligner på PTSD, men vitnet er å se på bilder av hva som skjedde i stedet for å bli traumatisert seg selv.
“Symptomene er like, og inkluderer vaktsomhet,” sa Lisa Perez, førsteamanuensis i psykologi ved Minnesota State University, som har studert sekundær traumatisk stress og utbrenthet blant politi etterforskere utsatt for forstyrrende media bilder.
Etterforskerne av barnepornografi, for eksempel, vil være svært mistenkelig av mennesker i samspill med barn, spesielt sine egne. Ser urovekkende seksuelle bilder kan også skape problemer i seksuell og ekteskapelig forhold.
For at politiet, det er en flip side: den kunnskap som de arbeider for å få dårlige mennesker av gaten. “Mens de har denne emosjonell utmattelse og utbrenthet, de har en tendens til å være veldig fornøyd med jobbene sine og finne dem for å være meningsfull,” sa Perez.
Facebook ‘s Mark Zuckerberg på video-drapet: “Vi har mye arbeid å gjøre”
Det er ikke klart hvordan Facebook moderatorer ville få den samme tilfredshet. Selv om svært urovekkende å se på, det er ikke ulovlig å dele halshuggingen videoer på plattformen. Å fjerne innhold gjør lite for å ta gjerningsmannen på de avbildede handle, selv om det ikke shield andre kan se det.
Moderatorer kan også være nødvendig å foreta vurderinger om suicidale individer. Facebook tester kunstig intelligens som en måte å oppdage kommentarer tegn på selvmordstanker, men de er fortsatt anmeldt av mennesker.
“Vi har hatt situasjoner hvor vi har bokstavelig talt snakket folk utenfor kanten av bygninger,” sa Peter Friedman, administrerende direktør i LiveWorld, som gir moderasjon tjenester til store merkene. Alle som håndterer slike interaksjoner behov for å være høyt utdannet, med klare prosesser for å følge for å eskalere hendelser i nødstilfeller, la han til.
Jeg er en ex-Facebook exec: ikke tro hva de forteller deg om annonser
Les mer
Utover det psykologiske toll moderatorer ansiktet, det er en enorm byrde av dommen: de er nødt til å skille mellom barnepornografi og ikoniske Vietnam-krigen bilder, mellom forherligelse av voldelige handlinger og eksponering av menneskerettighetene. Beslutninger må være nyansert og kulturelt contextualized eller Facebook vil bli anklaget for å krenke ytringsfriheten.
“Du kan ha en situasjon der de ordene som blir skrevet av sluttbrukeren er nøyaktig det samme, men ett er en hverdagslig spøk, og den andre er en alvorlig ting som må eskalering,” sa Friedman. “Dette krever intuisjon og menneskelig dømmekraft. Algoritmer kan ikke gjøre det.”
Gitt den enorme utfordringer knyttet til disse rollene, Facebook, vil behovet for å holde et tett øye på prosessen og sikre at moderatorer har trening og psykologisk støtte til å håndtere forstyrrende innhold.
Microsoft søksmål skisserer noen konkrete anbefalinger for hvordan moderatorer bør behandles, inkludert rotasjoner ut av programmet, obligatoriske møter med en psykolog med spesialist trening i å gjenkjenne traumer og ekteskapelig wellness program.
En Facebook talskvinne sa at selskapet erkjenner at arbeidet kan ofte være vanskelig, og at enhver person som er tilbudt psykologisk støtte og velvære ressurser. Selskapet sa den har også et program utviklet for å støtte folk i disse rollene, som er evaluert årlig. Facebook ga ingen ytterligere opplysninger om arten av den støtte og opplæring.