Algoritmene Facebook og andre tech selskaper bruker for å øke engasjement og øke fortjenesten – har ført til spektakulære feil av følsomhet og verre. Hvordan kan vi kjempe tilbake?
Observatøren
Hvordan algoritmer presser tech gigantene i faresonen
Algoritmene Facebook og andre tech selskaper bruker for å øke engasjement og øke fortjenesten – har ført til spektakulære feil av følsomhet og verre. Hvordan kan vi kjempe tilbake?
Lørdag 18 November 2017 18.00 GMT
Sist endret på søndag 19 November 2017 00.11 GMT
Facebook ber brukere til å sende dem deres nakne bilder i et prosjekt for å bekjempe ‘hevn porno’. Foto: Alamy Lager
Tidligere denne måneden, Facebook annonsert et nytt pilotprosjekt i Australia som tar sikte på å stoppe “hevn porno” ikke – samtykkende deling av nakne eller ellers eksplisitte bilder – på sin plattform. Deres svar? Bare send Facebook dine nudister.
Ja, det er riktig: hvis du er bekymret for noen å spre eksplisitte bilder av deg på Facebook, du er ment for å sende disse bildene til Facebook selv.
Hvis dette høres ut som en slags syk spøk, du er ikke alene. Ganske mye alle jeg snakket med om det gjorde en spit-ta på hele premisset. Men i tillegg til å være latterlig, det er et perfekt eksempel på den måten dagens tech selskaper er i over hodet, prøver å konstruere sin vei ut av komplekse sosiale problemer – uten noen gang å stille spørsmål ved om de er veldig forretningsmodeller har faktisk skapt disse problemene.
For å se hva jeg mener, la oss se på hvordan Facebook ‘s nye afp-ordningen er ment til å fungere: hvis du er bekymret for hevn porno, må du fylle ut et elektronisk skjema med Australia eSafety Commissioner’ s office. At office deretter varsler Facebook at du har sendt en forespørsel. Derfra, du kan sende bildet i spørsmålet til deg selv ved hjelp av Facebook Messenger. Et lag på Facebook henter bildet, omtaler det, så skaper en numerisk fingeravtrykk av det som er kjent som en “hash”. Facebook lagrer deretter bildet er hash, men ikke selve bildet, og varsler deg hvis du vil slette bildet fra Messenger. Etter du har gjort det, Facebook sier det vil også slette bildet fra sine servere. Deretter, når en bruker laster opp et bilde til plattform, en algoritme som sjekker bilde mot databasen. Hvis algoritmen finner at bildet ikke stemmer overens med en rapportert som hevn porno, vil brukeren ikke få lov til å legge det ut.
Mark Zuckerberg snakker om å beskytte integriteten til den demokratiske prosessen, etter Russland-baserte gruppen betalt for politiske annonser på Facebook under den AMERIKANSKE valgkampen. Foto: Facebook via YouTube
Bare tenk for et øyeblikk om alle måtene dette kan gå svært galt. Først av, å gjøre systemet fungerer i det hele tatt, du må ikke bare ha digitale kopier av alle bilder som kan spres, men også være komfortabel med en haug med fremmede på Facebook poring over dem, og stoler på at nummerering systemet vil faktisk fange fremtidige forsøk på å laste opp bildet. Og det er forutsatt at alt fungerer som planlagt: du vil ikke skru opp opplastingen og ved et uhell sende dem til noen andre, som Facebook ansatte ikke misbruk bilder, som Messenger-konto vil ikke bli hacket, at Facebook faktisk vil slette bildet fra sine servere når det står at det vil. Kort sagt, du må stole på at Facebook design, backend databaser og ansatte er alle i stand til sømløst håndtering av ekstremt personlig informasjon. Hvis noen av disse tingene ikke fungerer helt rett, brukeren er i fare for ydmykelse – eller verre.
En mann mottok en video fra Facebook satt til jazzy musikk utstillingsvindu sin bilulykke og påfølgende tur til sykehus
Gitt Facebook banerekord for å håndtere sensitive emner, er det ikke en fare for noen av oss skulle ta. Tross alt, dette er selskapet som la russisk-støttet organisasjoner kjøpe annonser til hensikt å undergrave demokratiet i løpet av 2016 valget (annonser som selskapet innrømmer nå, millioner av mennesker saw). Dette er selskapet som har bygget et ad-targeting-plattform som tillater annonsører å målrette mot personer som bruker antisemitic publikum kategorier, inkludert “Jøde-hatere” og “Hvordan å brenne Jøder”. Og dette er et selskap som øses opp et skjermbilde av en grafisk voldtekt trussel journalist hadde mottatt og lagt ut på sin Instagram-konto, og slått den inn i en peppy annonse for Instagram (som eier) som så ble satt inn på sin venns Facebook-sider.
Og det er bare fra de siste månedene. Leter videre tilbake, kan vi finne mye mer belastende historier – som den gang i 2012, når Facebook outed to homofile studenter fra University of Texas, Bobbi Duncan og Taylor McCormick. Elevene hadde brukt Facebook personvern innstillinger for å skjule sin legning fra sine familier, men Facebook lagt ut en oppdatering til sine profiler som sier at de hadde sluttet seg til Skeive Refrenget.
Eller hva med lansering i 2014 på Facebook År I Review-funksjonen, som samlet inn mest populære innholdet fra året og pakket det opp til deg å gjenoppleve? Min venn Eric Meyer hadde vært å unngå at funksjonen, men Facebook har opprettet en for ham likevel, og satt det inn i sin feed. På coveret var ansiktet hans seks år gamle datter, Rebecca, flankert av illustrasjoner av ballonger, vimpler og folk som danser på en fest. Rebecca hadde dødd tidligere år. Men Facebook er algoritmen visste ikke om det var en god eller dårlig image til overflaten. Det bare visste at det var populært.
Siden År I Anmeldelsen, Facebook har amped opp dette algoritmer-generert type feirende påminnelser. Nå er det På Denne Dagen, som til tross for å fortelle Facebook som jeg ikke ønsker å se disse innleggene, fortsatt spretter inn på min feed minst en gang i uken. Det er også Venner Dag, en falsk ferie hvor Facebook sender algoritmer generert foto montasjer av brukere med vennene deres – noe som resulterer i en mann som får en video satt til jazzy musikk utstillingsvindu sin bilulykke og påfølgende tur til sykehuset.
Men Facebook holder sette inn meldinger og design inn i brukernes minner. Bare i forrige uke, min svigerinne har mottatt et varsel dekket i ballonger og tommelen-opp skilt som forteller henne hvor mange mennesker har likt henne innlegg. Det bildet de viste med det? Et bilde av henne brukket fot i støpejern. Jeg kan forsikre deg om, at hun ikke føler seg særlig tommelen opp med å falle ned en trapp.
Peppa og George om å bli tilberedt av en heks i en YouTube-spin-off av Peppa Pig-serien. Kilde: YouTube
Hva alle disse feil har til felles, er at de ikke må skje. De oppstår fordi Facebook investerer langt mer tid og energi i å bygge algoritmer kontrollert har ment å drive brukerens engasjement, eller gir mer kontroll til annonsører, enn det gjør å tenke på de sosiale og kulturelle konsekvensene av å gjøre det enkelt for 2 milliarder mennesker til å dele innhold.
Du er nødt til å bryte et par egg for å lage en omelett. Du må traumatise få barna til å bygge en $600bn global behemoth
Det er ikke bare Facebook som er slått til algoritmer for å støte opp engasjementet i løpet av de siste årene, selvfølgelig – det er mest av tech industrien, spesielt de delene avhengige av annonseinntekter. Tidligere denne måneden, forfatteren James Hodelag publisert en grundig titt på understells av skumle, voldelig innhold rettet mot barn på YouTube – fra knock-off Peppa Gris tegneserier, for eksempel en der en tur til tannlegen forvandles til en grafisk tortur scene, til live-action “brutto-ut” – videoer, som viser ekte barn oppkast og smerter.
Disse videoene blir produsert og lagt på YouTube av tusen, så er merket med hva Hodelag kaller “søkeord salat” – lange lister over populære søkeord pakket inn i sine titler. Disse søkeordene er utformet for å spill eller manipulere algoritme som sorterer, rekker og velger innhold for brukere å se. Og takket være en forretningsmodell som tar sikte på å maksimere utsikt (og dermed annonseinntekter), er disse videoene blir automatisk spilt og markedsføres til barn basert på deres “likhet” – i det minste i form av nøkkelord som brukes til innholdet som barna allerede har sett. Det betyr at et barn kan begynne å se på en normal Peppa Gris episode på den offisielle kanal, ferdig, deretter automatisk bli nedsenket i en mørk, voldelig og uautorisert episode – uten sine foreldre å realisere det.
YouTube er svar på problemet har vært å overføre ansvaret til sine brukere, ber dem om å flagge videoer som upassende. Fra det, videoer gå til en anmeldelse team som YouTube sier består av tusenvis av mennesker som jobber 24 timer i døgnet til å skrive en anmeldelse av innhold. Hvis innholdet er funnet å være upassende for barn, vil det være aldersgrense og ikke vises i YouTube-Barn-appen. Det vil fortsatt vises på YouTube riktig, men hvor, offisielt, brukere må være minst 13 år gammel, men i virkeligheten, er fortsatt et system som utallige barn bruker (bare tenk på hvor ofte antsy barna er levert en telefon eller et nettbrett til å holde dem opptatt i et offentlig rom).
Liker Facebook er ordningen, er denne tilnærmingen har flere feil: siden det er prøver å ferret ut upassende videoer fra barnas innhold, er det sannsynlig at de fleste av folk som vil møte disse videoene er barn selv. Jeg forventer ikke mye av seks-åringer til å bli aggressiv innhold moderatorer som helst snart. Og hvis innholdet er merket, er det fortsatt behov for å bli anmeldt av mennesker, som, som YouTube har allerede anerkjent, tar “døgnet rundt” overvåking.
Når vi snakker om denne type utfordring, tech selskaper respons er ofte at det er rett og slett uunngåelig skala – det er ingen måte å tjene milliarder av brukere endeløse strømmer av engasjerende innhold uten å få det feil eller slik at misbruk for å slippe av noen av tiden. Men selvfølgelig, disse selskapene ikke trenger å gjøre noe av dette. Auto-å spille en endeløs strøm av algoritmer utvalgte videoer til barna ikke er noen form for mandat. Internett hadde ikke til å bli et koldtbord av foreslåtte innhold”. Det er et valg som YouTube gjort, fordi annonsevisninger er annonsevisninger. Du er nødt til å bryte et par egg for å lage en omelett, og du har å traumatise få barna til å bygge en global behemoth verdt $600bn.
Facebook ber brukerne for nakenbilder i prosjektet for å bekjempe porno hevn
Les mer
Og det er det som er problemet: i sin unblinking jakten på vekst i løpet av det siste tiåret, har disse selskapene har bygget sine plattformer rundt om funksjoner som ikke er like utsatt for overgrep, men bokstavelig talt optimalisert for det. Ta et system som er lett å spill, lønnsom for feil bruk, henger sammen med vår sårbare mennesker og våre mest intime øyeblikk, og opererer på en skala som er umulig å kontrollere eller overvåke, og dette er hva du får.
Spørsmålet nå er, da vil vi tvinge tech selskaper til å regne med hva de har gjort? Vi har lang besluttet at vi ikke vil la selskaper som selger sigaretter til barn eller sette asbest i sine bygg materialer. Hvis vi vil, kan vi bestemme at det er grenser for hva tech kan gjøre for å “delta” oss, også, heller enn å se på disse plattformene spinn lenger og lenger bort fra den utopiske drømmer de ble solgt til oss på.
Teknisk Feil: Sexistisk Apps, Partisk av Algoritmer og Andre Trusler av Giftig Tech av Sara Wachter-Boettcher er publisert av Norton. For å bestille en kopi for £20 gå til bookshop.theguardian.com eller ring 0330 333 6846. Gratis UK s&p over kr 10, online bestillinger bare. Telefonen bestillinger min s&p for £1.99