Online misbruk kan være en prøvelse – men for noen tech selskaper det er en eksistensiell trussel. Kan giganter som Facebook bruker atferdsmessige psykologi og overbevisende design for å temme troll?
Kjærlighet og enhjørninger … kan software gjøre oss til bedre mennesker?
Mandag 22 februar 2016 18.57 GMT
Sist endret mandag 22. februar 2016 22.00 GMT
Det var en bok på nysgjerrig nedgang på drapsraten som ga Aja Bogdanoff sin idé.
Hennes jobb igjen da stoppet kort av faktiske blodsutgytelse, men det lot henne ikke fremmed for den mørke siden av den menneskelige natur. En programvare ingeniør som bygget og moderert online kommentar plattformer, Bogdanoff brukt henne dager vasse gjennom fornærmelser, og fritiden brannslokking mer akutte hendelser. Hun kunne se plattformer å bli overveldet av det store volumet av antisosial brukere, men kunne ikke finne ut hvordan å få en hoppe foran dem.
Da hun leste Steven Pinker er Bedre Engler i Vår Natur, som skisserer utviklingen av menneskelig vold. “Boken sier folk tror alltid at deres handlinger er berettiget. Uansett hva de gjør, de tror det er en gyldig grunn,” forteller hun, fra kontoret til sin oppstart i Oregon. “Så, jeg skjønte at vi måtte komme inn og forstyrre denne prosessen; få folk til å tenke på det, at dette er ekte mennesker.” I stedet for stadig å kjøre for å fange opp med “dårlig” plakater, kunne hun lage bedre atferd i fra starten av?
Ideen om en “bedre” netto høres litt twee, garantert å enrage libertarianere som frykter etablering av blid, beige trygge rom hvor ytringsfrihet går for å dø. Men det er en idé med noen store våpen bak det, og hva de reklamerer er ikke sensur, men smartere design. Denne måneden på Sundance film festival, web pioneer Tim Berners-Lee kalles på plattformer for å begynne å bygge “systemer som har en tendens til å produsere konstruktiv kritikk og harmoni, i motsetning til negativitet og mobbing”.
I Storbritannia, Yvette Cooper, som utholdt noen dystre misogynistic online overgrep da hun var valgkamp for å bli Arbeidskraft leder, planlegger en “reclaim the net” toppmøtet, undersøke måter å bygge en snillere og mer sivilisert kultur. “Når de snakker med politikere, folk bør være i stand til å være uenig og si så sterkt, sier hun. “Men når det handler om å bombardere folk som ikke er i det offentlige liv med aggressiv misbruk, det er der det blir et problem, hvis det begynner å slå folk. Du hører tenåringsjenter og sa, ‘Right, jeg kommer til å slutte å si noe om feminisme på Facebook fordi det er bare så fiendtlig.’” Dette handler ikke om sensur ytringsfrihet, men å beskytte det, hevder hun, for de som nå blir mobbet ut av samtalen.
For idealister som Berners-Lee, er det faktum at nettet har blitt et slitsomt sted å tilbringe tid er en krenkelse av sine grunnleggende verdier. Teknologien var ment å gjøre verden til et bedre sted, ikke en bitchier. Og for store bedrifter spillere – Twitter, Instagram, online utgivere og andre virksomheter avhengige av oss tilbringer mer og mer tid på nettet – det er en ekte kommersiell trussel. Noen brukere og færre annonsører nyte henger ut i et rom full av rasende mennesker ødelegger for en kamp.
“Hvis Facebook var ikke et trygt sted og folk ikke føler at de kan ha en samtale som er sivile og respekt, hvorfor skulle noen ønske å annonsere i stedet?” sier Simon Milner, Facebook er direktør for personvern for NORGE, Midt-Østen og Europa. “De to tingene hører sammen. Det er en viktig del av forretningsmodellen.”
Dette er hvor Sivile Kommentarer, oppstart-Bogdanoff grunnlagt med Christa Mrgan, kommer inn.
Ideen er enkel (selv om programvaren er så kompleks at det tok over et år å bygge): før du poster en kommentar i et forum, eller under en artikkel, må brukere rangere to tilfeldig utvalgte kommentarer fra andre for kvaliteten på argumentet og høflighet (definert som et fravær av personlige angrep eller overgrep). Rangeringer er knaste å bygge opp et bilde av hva som brukere av et gitt område vil tolerere, som er så nyttig for flagging potensielt støtende materiale.
Det som er avgjørende, brukere må deretter rangere sin egen kommentar til høflighet, og kan skrive om det hvis de vil (i testing, ca 5% gjorde).
Det kan ikke avskrekke herdet troll, men, sier Bogdanoff, prosessen minner vanlige brukere at de er ikke bare “rope i et tomrom” – andre mennesker dømmer dem, også. Det vekker liten følelse av sosial hemming det vi opplever i det virkelige liv når du blir bedt om å snakke foran et publikum. “Hvis noen ga deg en mikrofon og ga deg et øyeblikk i rampelyset, du vil tenke:” Er dette hva jeg egentlig ønsket å si?’”
Det er tidlig dager – systemet blir styrt av to lokale Oregan aviser. Men Mrgan insisterer på at den ikke har ført til sterilt, sanitised kommentarer. “Folk er fortsatt å lage vitser, blir litt snarky, blir veldig sta,” sier hun. “Den personlige angrep, name-calling og misbruk har gått, men den samme følelsen har virkelig blitt.”
Spør mennesker til å dømme hverandre kan være en overraskende kraftig ting. Ta Uber taxi app ‘ s rating-systemet, som ber passasjerer og sjåfører til å gi hverandre star-rangeringer – egentlig en måte å skape et gjensidig forhold mellom to fremmede, der hver har et rykte for å miste. Selskapet ikke stave ut konsekvensene for passasjerene som får dårlige anmeldelser grunn, for å være ærlig, det trenger ikke å; passasjerer gå til overraskende lengder for å holde en god rating uten egentlig å forstå hvorfor det er viktig. Men å kalle en følelse av å bli overvåket er ikke den eneste måten plattformer umerkelig oppmuntre til sosial atferd.
For noen år siden, Facebook ledere lagt merke til et rush av henvendelser fra brukere om venner poste bilder av dem som de ikke liker. Bildene var ikke eksplisitt; de bare minnet brukere av noe de heller ville glemme, eller gjort dem til å se dum ut. Disse klager var alltid avvist fordi ingen regler hadde blitt brutt, men vennskap ble anstrengt som følge av dette. “Vi prøvde å si,” Hvorfor ikke bare melding personen?’, men folk vet ikke helt hva jeg skal si, sier Milner, legge til taktfullt at ikke alle “har den sosiale ferdigheter” for å løse slike smålige krangling.
Så, Facebook introdusert sosial rapportering, som fungerer som en lærer forsiktig å hjelpe barn i en lekeplass tvisten løser ting seg imellom. Klagerne få en mal i meldingen for å sende til sin venn, som forklarer hvordan bildet gjør dem føler for og spørre pent om sin fjerning. Vanligvis, det er alt det tar – det er, sier Milner, “å hjelpe du har en empatisk respons”, som etterlater alle en god følelse. “Vi setter opp våre systemer for å oppmuntre folk til å være hyggelig – å tenke på ting før du legger ut.”
Det er et klassisk eksempel på hva BJ Fogg, en Stanford-basert atferdsmessige forsker som spesialiserer seg i psykologi på Facebook, samtaler overbevisende design: hvis du vil at folk skal gjøre noe, kan ikke forklare hvorfor, bare vis dem hvordan. Mennesker lærer ved å imitere, noe som betyr modellering fin oppførsel slår foredrag folk til å bli fin.
I det siste, Facebook planer for å fremme harmoni har blitt betydelig mer ambisiøse. Siste måned, sin chief operating officer, Sheryl Sandberg, provosert hevet øyenbrynene i Davos ved å foreslå at brukere kunne bidra til å undergrave jihadi propaganda med en samordnet motoffensiv av det som bare kan beskrives som organisert niceness. Hun nevnte en siste “som angrep” som arrangeres av tyske brukere, som overbelastet en neo-Nazi-gruppens Facebook-side med meldinger på inclusivity og toleranse.
Det er vanskelig å forestille herdet fascister blir lovebombed til omvendelse over natten. Men Sandberg var gjenspeiler en økende tro på at mens du spiller Whac-a-Mole med ekstremister – slå støtende kontoer bare for dem til overflaten under ny identitet er nødvendig, det er ikke nok. (Twitter har slått 125,000 kontoer knyttet til Isis siden midten av 2015, noe som indikerer omfanget av problemet.) Hvorfor ikke mobilisere det store flertall av fornuftige mennesker til å marginalise hva er egentlig en liten, men uforholdsmessig støyende mindretall av ekstremister?
I fjor høst, Facebook lansert et prosjekt med thinktank Demoer på det de kaller “counterspeech”, som gir alternativer til ekstremistiske fortellinger, og det har nylig begynt å jobbe med forskere ved King ‘ s College i London som spesialiserer seg i jihadi propaganda. Det har ikke alle svarene ennå, sier Milner, men “hva fungerer er den slags ting Sheryl snakket om: humor og varme”. Hvis ekstremister forsøker å spre frykt og sjokk, counterspeech kanskje tar sikte på å gjøre dem ser små og latterlig. Facebook har nå planer om å bygge et nettverk av frivillige Organisasjoner på tvers og utenfor Europa, å dyrke en grasrota counter-fortelling til jihadi propaganda. Spørsmålet som det er stri med, sier Milner, er nesten “hvordan gjør vi det mulig for empati i en folkemengde i motsetning til enkeltpersoner?”
Det kan høres usannsynlig ut. Men en annen senior tech executive privat sammenligner problemet med hatefulle ytringer på nettet med rasisme i fotball for flere tiår siden. Det var bare så mye klubber kan gjøre for å endre mengden atferd, og den virkelige skiftet kom da Sparke Den Ut kampanjen oppfordret vanlige fotballfans til å se det som sitt ansvar. Det slås ned på antisosial atferd fra det høye fungerer best sammen med å endre kulturen fra bunnen og opp.
Nylig, Cooper var å se fotball med en venn som nettopp hadde sluttet seg til Twitter. “Det var en stor kamp, og de var intervjue ledere etterpå, og hans umiddelbare reaksjon var fascinerende, sier hun. “Han var på jakt gjennom Twitter, og ser på hva folk har svarene var, arbeider ut” Hva bør jeg legge inn? Oh, skal jeg si hva en idiot jeg tror at fyren er?’ Fordi det ser ut som det er den slags ting du skal si.”
Mennesker tar våre cue i romanen situasjoner fra hva alle andre gjør, noe som betyr at på sosiale medier vil vi ubevisst prøver å matche den generelle tonen. På Sundance, Berners-Lee blinket Twitter ut for å skape en verden der “folk har en tendens til å retweet ting som virkelig får dem i gang”.
Twitter ansatte plaintively avviser kritikken, og insistere på at hashtags som går viral er ofte varmt fengende. “Det er ting som #lovewins eller ” du er ikke ingen Muslim, bruv’, ting der folk er utfordrende samfunn med et positivt budskap, sier Nick Pickles, leder av offentlig politikk på Twitter, som argumenterer for at dens store styrke er myndiggjøre folk til å fordømme fordommer samlet.
Men med brukeren fallende tall, Twitter er nå å ta en hardere se på sin kultur.
Psykolog slått web design konsulent Susan Weinschenk, forfatter av 100 Ting Hver Designer Trenger å Vite Om Folk, sammenligner den hastigheten som aggressiv atferd colonises plattformer med den beryktede “broken windows” avhandling om hvordan nabolag nedgang. En liten hendelse, venstre uimotsagt, raskt skaper inntrykk av at noe går og dermed oppmuntrer til mer alvorlige problemer. Mildere sjeler flytte ut, og bråkmakere flytte inn.
“Når du la hvilken som helst av det, er det virkelig lett for det å eskalere, sier hun. “Det er knuste vinduer teori, bare på internett.” Og på store plattformer, windows pause for fort og for numerously å holde styr på.
Flere plattformer har eksperimentert med å bygge algoritmer som kan oppdage truende mønstre av tale, kanskje til og med mellomliggende automatisk til kule oppvarmet utveksling – si, ved å sende en “er du sikker på at du ønsker å si dette?” – melding til de som er involvert.
Men så langt, sier Bogdanoff, ideen om datamaskiner blir i stand til å bedømme offensiveness “egentlig ikke arbeide utenfor filmer”. Programvare sliter med sarkasme, ironi og det brede spekteret av menneskelige irritasjonsmoment (den mest rapportert innlegget på YouTube er historie, sier Pickles, var en Justin Bieber-video).
En annen utgangspunktet lovende ideen er programvare som tillater brukere å blokkere meldinger som inneholder støtende ord til dem personlig, slik som rase tilnavn. Dr Claire Hardaker, foreleser i corpus linguistics ved University of Lancaster, har nylig gjennomført et prosjekt med Twitter analysere meldinger som er sendt til mye-trolled feministisk aktivist Caroline Criado-Perez. Hun identifisert flere søkeord karakteristisk brukt av folk som trusler – alt fra “bitch”og “voldtekt”, til det mer overraskende “LOL” – men dessverre, sier hun, ingen er en helt pålitelig indikator på problemer. “Svært få ord er iboende og pålitelig dårlig. Selv N-ordet er helt akseptabelt når det brukes av enkelte medlemmer av gruppen i visse sammenhenger.” Så det er det hun kaller “den Scunthorpe problem”, der skanning for et forbudt gruppe av bokstaver produserer falske positiver.
Relatert: Kreft ulemper, phoney ulykker og falske dødsfall: møte internett-spøk buster | Rachel Monroe
Twitter er stort problem, i mellomtiden, er at hver eneste bevegelse mot en sunnier, mer positiv kultur – utnevne en “sikkerhets-råd” til å takle trakassering, og tilbyr en valgfri algoritmisk fôr som fremmer tweets du kanskje liker, eller å innføre en animert hjertet symbol for innhold brukere som ber rasende klager på at det blir som Facebook. Mens Facebook dreier seg om vennskap, Twitter er raison d ‘ être er å koble fremmede, som utsetter personer til nye utfordrende ideer og perspektiver. Det er det som gjør det intellektuelt stimulerende. Men tenk på hva som skjer når Corbynistas møte Blairites på nettstedet, og det kan også være det som gjør at noen brukere mad.
Den nye svaret er hva Pickles kaller “som tillater brukere å kontrollere sin egen opplevelse”, for eksempel ved å bruke mute-knappen for å sile ut folk de ikke liker uten at personen vet om det. I hovedsak er det en måte å la noen diskanthøyttalere for å uttrykke splittende meninger uten å bry andre som ikke liker det. En persons rett til å tale fritt motsvares av en annen persons rett til ikke å lytte, som det kan være på en fest der du prøver å rømme når fanget av hullet i hjørnet.
Til å begynne med, selv om dette høres ut som en trekke inn noen bare tomt boble, hvor du må aldri møte en idé du ikke liker. Men hvis pionerene i prosocial behaviour er rett, tidevannet kan være sakte å snu, selv i et samfunn som når verdsatt ytringsfrihet over alt. “Da jeg startet, jeg vil fortelle folk hva jeg gjorde for arbeid og at de vil være like, ‘Oh, du er en sensurere”, sier Bogdanoff. “Nå får du fortelle folk du arbeider på sivile kommentar, og de er som” Å, takk skal du ha!’”