På nätet kan vara grym – men för vissa företag är det ett existentiellt hot. Kan jättar som Facebook använder beteendepsykologi och övertygande design för att tämja troll?
Kärlek och enhörningar … kan programvara gör oss trevligare människor?
Måndag 22 februari 2016 18.57 GMT
Senast ändrad måndagen den 22 februari 2016 22.00 GMT
Det var en bok på nyfiken nedgång av antalet mord som gav Aja Bogdanoff hennes idé.
Hennes jobb då slutade kort att faktiska blodsutgjutelse, men det gjorde henne inte främmande för den mörka sidan av den mänskliga naturen. En programvara ingenjör som byggt och modereras online kommentar plattformar, Bogdanoff som tillbringade sina dagar vada genom förolämpningar och sin fritid brandbekämpning mer akuta incidenter. Hon kunde se plattformar att bli överväldigad av den stora volymen av antisocial användare, men kunde inte räkna ut hur man får en hoppa framför dem.
Då hon läsa Steven mer rosa är Bättre Änglarna i Vår Natur, som kartlägger utvecklingen av mänskligt våld. “Boken säger att människor alltid tror att deras handlingar är befogade. Oavsett vad de gör, de tror att det är en giltig anledning”, minns hon, från kontoret i hennes start i Oregon. “Så, jag insåg att vi hade för att komma in där och störa den processen; att få folk att tänka om det, att det här är verkliga personer.” Istället för att ständigt springer för att fånga upp med “dåliga” affischer, kunde hon skapa bättre beteende i från början?
Idén om en “trevligare” net låter lite twee, garanterat att reta upp libertarianer som är rädda för skapandet av intetsägande, beige säkra utrymmen där det fria ordet går för att dö. Men det är en idé med några stora kanonerna bakom det, och vad de förespråkar är inte censur, utan smartare design. Denna månad på Sundance film festival, webb pionjär Tim Berners-Lee kallas på plattformar för att börja bygga system som tenderar att ge konstruktiv kritik och harmoni, i motsats till negativitet och mobbning”.
I Storbritannien, Yvette Cooper, som stått ut med några grymma kvinnofientliga online övergrepp när hon var som kämpar för att bli Arbets ledare planerar en “reclaim the net” – toppmötet, som undersöker olika sätt att bygga upp en snällare, mer civiliserad kultur. “När de talar med politiker, människor bör få möjlighet att vara oense och säga så starkt”, säger hon. “Men när det handlar om att bombardera människor som inte befinner sig i det offentliga livet med aggressiv missbruk, det är där det blir ett problem om det börjar att tysta människor. Du hör tonårsflickor säga: “Rätt, jag ska sluta säga något om feminism på Facebook eftersom det bara är så fientliga.’” Detta handlar inte om att censurera det fria ordet, men att skydda det hon menar, för dem som nu blir mobbad ut av samtalet.
För idealister som Berners-Lee, det faktum att nätet har blivit en ansträngande plats att tillbringa tid är en skymf mot dess grundläggande värderingar. Teknik som var tänkt att göra världen till en bättre plats, inte en bitchier. Och för de stora företagens spelare – Twitter, Instagram, online-förlag och andra företag som är beroende av oss spenderar mer och mer tid på nätet – det är en äkta kommersiella hot. Några användare och färre annonsörer gillar att hänga i ett rum fullt av rasande människor förstöra för en kamp.
“Om Facebook var inte en säker plats och folk inte känner att de skulle kunna ha en konversation som är civila och respektfull, varför skulle någon vilja annonsera på denna plats?” säger Simon Milner, Facebook ‘ s director of policy för STORBRITANNIEN, Mellanöstern och Europa. “Två saker att gå ihop. Det är en viktig del av affärsmodellen.”
Det är där det Civila Kommentarer, start Bogdanoff som grundades med Christa Mrgan, kommer in.
Idén är enkel (även om programvaran är så komplex att det tog ett år att bygga): innan du postar en kommentar i ett forum eller under en artikel, måste användarna betygsätta två slumpmässigt utvalda kommentarer från andra för kvaliteten på argument och kultur (definierat som frånvaro av personliga angrepp eller missbruk). Betyg är knastrade att bygga upp en bild av hur användare av en viss webbplats kommer att tolerera, som är så användbara för att markera eventuellt stötande material.
Ytterst användare måste då bedöma sin egen kommentar om hövlighet, och kan skriva om det om de vill (i tester, ca 5% gjorde det).
Det får inte avskräcka härdade troll men, säger Bogdanoff, processen påminner vanliga användare att de inte bara “skrek i ett tomrum” – andra människor är att döma dem, alltför. Det väcker en liten känsla av social hämning vi känner i verkliga livet när du blir ombedd att tala inför publik. “Om någon gav dig en mikrofon och gav dig en stund i rampljuset, skulle du tänka:” Är detta vad jag egentligen ville säga?’”
Det är tidiga dagar – systemet som leds av två lokala Oregano dagstidningar. Men Mrgan insisterar på att det inte har lett till steril, desinficeras kommentarer. “Människor är fortfarande att skämta, att vara lite snarky, att få riktigt påstridig, säger hon. “Personliga angrepp, skällsord och övergrepp har gått, men samma känsla har bott.”
Att be människor att döma varandra kan vara en förvånansvärt kraftfull sak. Ta Uber taxi app rating system, som ber passagerare och förare för att ge varandra star-kreditbetyg – i huvudsak ett sätt att skapa en ömsesidig relation mellan två människor, där alla har ett rykte att förlora. Företaget inte stava ut det konsekvenser för passagerarna som får dåliga recensioner för ärligt talat, det behöver inte, passagerare gå till överraskande ansträngningar för att behålla ett bra betyg utan att riktigt förstå varför det är viktigt. Men att åberopa en känsla av att vara övervakad är inte det enda sättet plattformar undermedvetet uppmuntra socialt beteende.
För några år sedan, Facebook chefer märkt en ström av klagomål från användarna om att vänner att publicera fotografier av dem som de inte gillar. Bilderna var inte tydlig; de bara påmind användare av något de hellre vill glömma, eller fick dem att se dum ut. Dessa klagomål var alltid avslås på grund av att inga regler hade varit bruten, ännu vänskap var ansträngd som en följd av detta. “Vi försökte att säga,” Varför inte du bara meddelande person?’, men folk visste inte riktigt vad jag ska säga, säger Milner, lägga taktfullt att alla inte har “social kompetens” för att lösa sådana småaktiga gräl.
Så, Facebook infört social rapportering, som fungerar som en lärare och försiktigt hjälpa barn på en lekplats tvist att lösa saker mellan sig. Klagande få en mall för meddelande för att skicka till sina vänner, som förklarar hur bilden får dem att känna sig och frågar artigt för dess avlägsnande. Vanligtvis, det är allt som behövs – det är, säger Milner, “att hjälpa dig har en empatisk reaktion”, som lämnar alla mår bra. “Vi har satt upp våra system för att uppmuntra människor att vara” bra – att tänka på saker innan du postar.”
Det är ett klassiskt exempel på vad som BJ Fogg, en Stanford-baserade beteendevetare som forskar i psykologi Facebook, samtal övertygande design: om du vill att folk ska göra något, kan inte förklara varför, bara visa dem hur. Människor lär sig genom imitation, vilket innebär modellering trevligt beteende slår läxa upp folk för att vara snäll.
Nyligen, Facebook planer för att främja harmoni har blivit betydligt mer ambitiösa. Förra månaden, chief operating officer, Sheryl Sandberg, provocerade höjt ögonbryn i Davos genom att föreslå användare kan hjälpa till att undergräva den jihadistiska propaganda med en samlad motoffensiv av vad som bara kan beskrivas som en organiserad trevlighet. Hon citerade en färsk “som attack” iscensatt av tyska användare, som översvämmas en nynazistisk grupp ‘ s Facebook sida med meddelanden av social integration och tolerans.
Det är svårt att föreställa sig härdade fascister som lovebombed i ånger över natten. Men Sandberg var återspeglar en växande tro att medan du spelar Whac-a-Mole med extremister – stänga stötande konton bara för att dyka upp igen under nya identiteter – är nödvändigt, det är inte tillräckligt. (Twitter har stängt på 125 000 konton kopplade till Isis sedan mitten av 2015, som visar omfattningen av problemet.) Varför inte mobilisera den stora majoriteten av rimliga mänskliga varelser för att marginalisera vad är det egentligen för en liten men oproportionerligt högljudd minoritet av extremister?
Förra hösten, Facebook lanserat ett projekt med thinktank Demos på vad man kallar “counterspeech”, som ett alternativ till extremistiska berättelser, och det har nyligen börjat arbeta med akademiker vid King ‘ s College London som har specialiserat sig på den jihadistiska propaganda. Det har inte alla svar ännu, säger Milner, men “det som fungerar är den typ av sak Sheryl var att prata om: humor och värme”. Om extremister försöker sprida rädsla och chock, counterspeech kan sikta på att göra dem ser små och löjliga. Facebook nu planer på att bygga ett nätverk av icke-statliga Organisationer i och utanför Europa för att odla en gräsrotsnivå counter-berättande till den jihadistiska propaganda. Den fråga som det är att brottas med, säger Milner, är nästan “hur ska vi göra det möjligt empati i en folkmassa i motsats till individer?”
Det alla kanske låter långsökt. Men en annan ledande tech verkställande privat jämför problemet med hatpropaganda på nätet med rasism inom fotbollen decennier sedan. Det var bara så mycket klubbar kunde göra för att ändra mängden beteende, och den verkliga förändringen kom när den Kick It Out-kampanjen uppmanas vanlig fotboll fans att se det som deras ansvar. Att slå ner på antisocialt beteende från höjden fungerar bäst tillsammans förändrar kulturen från botten och upp.
Nyligen, Cooper var att titta på fotboll med en vän som bara hade anslutit sig till Twitter. “Det var en stor match och de var intervjua chefer efteråt, och hans omedelbara svar var fascinerande, säger hon. “Han letade igenom Twitter, titta på vad folk s svar var, att arbeta ut” Vad ska jag inlägg? Åh, ska jag säga vilken idiot jag tror att killen är?’ Eftersom det ser ut som att det är den typ av sak du skulle säga.”
Människor som tar vår cue i nya situationer från vad alla andra gör, vilket innebär att på sociala medier ska vi undermedvetet försök att matcha den allmänna tonen. På Sundance, Berners-Lee pekas Twitter ut för att skapa en värld där “människor tenderar att retweet saker som verkligen får igång dem”.
Twitter personal klagande avvisa kritik, insisterar på att den hashtags för att gå viral är ofta varmt optimistisk. “Det är saker som detta #lovewins eller “du är inte Muslim, bruv’, saker och ting där människor utmanar samhället med ett positivt budskap, säger Nick Pickles, head of public policy på Twitter, som menar att dess stora styrka är att stärka människor att fördöma det påverkar kollektivt.
Men med antalet användare minskar, Twitter är nu att ta ett hårdare titt på dess kultur.
Psykolog vände web design konsult Susan Weinschenk, författare av 100 Saker Varje Designer Behöver Veta Om Människor, jämför den hastighet vid vilken ett aggressivt beteende koloniserar plattformar med den ökända “broken windows” – tesen om hur stadsdelar nedgång. En liten incident, vänster oemotsagda, snabbt skapar intrycket av att vad som helst går och därmed uppmuntrar till mer allvarliga problem. Mildare själar flytta ut, och bråkmakare flytta in.
“När du låter något av det, det är verkligen lätt för att eskalera, säger hon. “It’ s broken windows-teorin, bara på nätet.” Och på stora plattformar, windows bryta alltför snabbt och alltför talrikt för att hålla reda på.
Flera plattformar har experimenterat med att bygga algoritmer som kan upptäcka hotande mönster av tal, kanske till och med ingripa automatiskt för att kyla hetsiga debatter säga, genom att skicka en “är du säker på att du vill säga det?” meddelande till de inblandade.
Men så långt, säger Bogdanoff, idén om datorer för att kunna bedöma stötande produkter “verkligen inte fungerar utanför filmer”. Programvara kämpar med sarkasm, ironi och det stora utbud av mänsklig störning (den mest rapporterade inlägg i Youtubes historia, säger Pickles, var en Justin Bieber video).
En annan initialt lovande idé är en programvara som tillåter användare att blockera meddelanden som innehåller ord som kränkande för dem personligen, såsom rasistiska tillmälen. Dr Claire Hardaker, en lektor i corpus lingvistik vid University of Lancaster, som nyligen genomförts ett projekt med Twitter analysera meddelanden som skickas till den mycket kontrollerat feministisk förkämpe Caroline Criado-Perez. Hon har identifierat flera sökord karakteristiskt används av människor som gör hot – allt från “bitch”och “våldtäkt” till de mer överraskande “LOL” – men tyvärr, säger hon, ingen är en perfekt tillförlitlig indikator på problem. “Mycket få ord är i sig och orubbligt dåligt. Även N-ordet är helt acceptabelt när det används av vissa gruppmedlemmar i vissa sammanhang.” Så det är vad hon kallar “den Scunthorpe problem”, där scanning för en förbjuden grupp av brev ger falskt positiva resultat.
Relaterat: Cancer nackdelar, tvivelaktiga olyckor och falska dödsfall: möt internet bluff buster | Rachel Monroe
Twitter är stora problem, under tiden, är att varje rörelse mot en soligare, mer positiv kultur – utse en “safety council” för att hantera trakasserier, erbjuder en frivillig algoritmisk foder som främjar tweets som du kanske gillar, eller att införa en animerad hjärtat symbol för content-användare som – instruktionerna rasande klagomål på att det blir som Facebook. Medan Facebook kretsar kring vänskap, Twitter raison d ‘ etre är att ansluta främlingar, utsätta människor för nya utmanande idéer och perspektiv. Det är det som gör det intellektuellt stimulerande. Men fundera på vad som händer när Corbynistas möta Blairites på platsen, och det kan också vara det som gör att vissa användare till vansinne.
Den framväxande svaret är vad Pickles samtal “som gör det möjligt för användare att styra sin egen erfarenhet”, till exempel genom att använda mute-knappen för att sålla bort personer som de inte tycker om utan att personen vet om det. I huvudsak är det ett sätt att låta några diskanter att uttrycka splittrande åsikter utan att bry sig om andra som inte gillar det. En persons rätt till det fria ordet motsvaras av en annan persons rätt att inte lyssna, så det kan vara på en fest där du försöker fly när instängd med hålet i hörnet.
Att vissa, även detta låter som en återgång till några intetsägande bubbla, där du aldrig behöver träffa en idé som du inte gillar. Men om pionjärerna för prosocial beteende är rätt, strömmen kan vara långsamt vrida, även i ett samhälle som en gång prisade yttrandefrihet framför allt. “När jag började, att jag skulle berätta för folk vad jag gjorde för att fungera och de skulle vara som, “Åh, du är en censurera”, säger Bogdanoff. “Nu du berättar att du jobbar på det civila kommentar och de är som,” Åh, tack!’”