James Hold ‘ s essay om urovekkende YouTube-innhold rettet mot barn gikk viral siste året. Har problemet gått bort – eller er det verre?

Søn 17 Jun 2018 08.00 BST

I November i fjor, leste jeg en artikkel i New York Times om forstyrrende videoer rettet mot barn, som ble distribuert via YouTube. Foreldrene fortalte at barna deres var i møte med knock-off-utgaver av sine favoritt tegneseriefigurer i situasjoner med vold og død: Peppa Gris drikke blekemiddel, eller Mikke Mus å bli kjørt over av en bil. En kort Google på noen av vilkårene nevnt i artikkel brakt opp ikke bare mange flere kontoer av upassende innhold, i Facebook-innlegg, nyhetsgruppe tråder, og andre aviser, men også urovekkende kontoer av deres effekter. Tidligere lykkelige og veltilpassede barn ble skremt av mørket, utsatt til anfall av gråt, eller vist voldelig atferd og snakket om selvskading – alle klassiske symptomer på misbruk. Men til tross for disse rapportene, YouTube og morselskapet, Google, hadde gjort lite for å løse dem. Videre, det syntes å være liten forståelse for hvor disse videoene kom fra, hvordan de ble produsert – eller hvorfor de eksisterte i første omgang.

Jeg er en forfatter og artist, med et fokus på den brede kulturelle og samfunnsmessige virkninger av ny teknologi, og dette er hvordan de fleste av mine tvangstanker start: stadig mer nysgjerrig på noe og å grave dypere, med et øye for skjult infrastruktur og skjulte prosesser. Det er en tilnærming som har tidligere ledet meg til å etterforske Storbritannias system for utvisning flyreiser eller dets sofistikerte veien overvåking nettverk, og denne gangen tok meg inn i den rare, surrealistisk, og ofte belastende innlandet av YouTube ‘s children’ s videoer. Og disse videoene er bekymringsfull på flere nivåer. Som jeg tilbrakte mer og mer tid sammen med dem, ble jeg forskrekket ikke bare av innholdet, men av måten systemet i seg selv virket til å reprodusere og forsterke deres mest avskyelig utskeielser, jakter på barnas verste frykt og bunting dem opp til mareritt spillelister, mens blindt givende deres skapere for å øke deres syn teller selv som videoer seg ned i meningsløse parodier og nonsens historier.

For voksne, det er ren weirdness av mange av videoene som virker nesten mer forstyrrende enn deres vold. Dette er den delen som er vanskeligere å forklare – og vanskeligere for folk å forstå – hvis du ikke fordype deg i videoene, som jeg hadde neppe å anbefale. Utover den enkle banke-offs og provokasjoner finnes en hel klasse av nonsens, algoritme-generert innhold; millioner av videoer som tjener bare for å tiltrekke utsikt og produsere inntekt, lappet sammen fra barnerim, leketøy anmeldelser og kulturelle misforståelser. Noen ser ut til å være produktet av tilfeldig tittel generatorer, andre – som så mange andre – involverer ekte mennesker, inkludert små barn, fordelt over hele verden, som handler ut i det uendelige den vanvittige krav til YouTube ‘ s anbefaling algoritmer, selv om det gir ingen mening, selv om du har til debase deg selv helt til å gjøre det.

A scene from Minnie Mouse Choked Pizza for Eating Too Much.

Når jeg skrev et essay om videoer på nettet, den offentlige reaksjon i stor grad speilet mitt eget. På den ene siden, mennesker ble sjokkert over å finne ut at disse videoene har eksistert, og på den andre, helt weirded ut av det store omfanget og fremmedheten av hva de fant. Kombinasjonen sendt artikkelen viral: det var felles og lese online millioner av ganger, plukket opp av nettsteder og aviser over hele verden, og til og med resultert i spørsmål som blir stilt i Eu-parlamentet. Til slutt, YouTube begynte å reagere, selv om sitt arbeid, og resultatene har vært blandet.

YouTube er første forslag var å begrense reklame på urovekkende innhold rettet mot barn – men sine forslag ikke klarte å engasjere ærlig med sin egen plattform. Det er anslått at 400 timer med innhold som er lastet opp til nettstedet hvert minutt. Politiarbeid det for hånd er umulig; i stedet, YouTube er avhengig av flagging av seere til å drive offisiell vurdering – som er knapt egnet når de første mennesker til å se denne ting er små barn, og skaden er allerede gjort. YouTube har også erklært at den teknologiske kur-alle maskinlæring som sin foretrukne løsning – men i April, er det til slutt enighet om at dedikert YouTube-Barn app ville bytte til et helt menneske moderering, effektivt innrømme at tilnærmingen ikke fungerer.

Som et resultat, mens mange filmer har siden blitt fjernet fra nettstedet, utallige antall fortsatt. I Mars, Kablet kategorisert en slew av voldelige kontoer og viste at det var mulig å gå fra en populære barne-alfabetet video til en Minnie Mus snus film i 14 trinn, bare ved å følge Youtubes egne anbefalinger. Som i forrige uke, Googling tittelen på en av de nå fjernet videoer som er nevnt i the New York Times-artikkelen (“LABB Patrol Babyer Later til å Dø av Selvmord av Annabelle Hypnotisert”) resulterer i en kobling til en nesten identisk video fortsatt ligger på nettstedet (“LABB PATROL Babyer Later til Å Dø MONSTER HENDER Fra SPEILET! Labb Patrol Animasjon Unger Lagre For Barn”), som den søte unger ikke et uvanlig clip-art monster maske for å skremme hverandre før de blir lokket av et svømmebasseng med et hjemsøkt dukken. Er “Redde For Barn” skal lese “Trygt For Barn”? Uansett, det er ikke, og det er åpenbart at det å spille whack-a-mole med søkeord og utestengt kontoer som aldri kommer til å løse seg fast problemer av opphavsretten, algoritmisk anbefaling, og ad-drevet monetære insentiver på en milliard-view plattform med noe meningsfullt menneskelige tilsyn.

Om disse videoene er bevisst ondsinnet, “bare” trolling, eller den resulterende effekten av komplekse systemer, er ikke poenget. Hva er nytt er at systemet som sådan vold proliferates er rett foran oss, og synlig delaktige, hvis vi velger å se det for hva det er. Jeg heter den opprinnelige essay “Noe er galt på internett”, fordi det syntes og synes fortsatt for meg at problemene laget glaringly opplagt av skandalen er ikke begrenset til barnas innhold, heller ikke til YouTube. Først blant disse er hvordan systemer av algoritmisk og selskapsledelse, snarere enn som fører oss mot den solfylte heiene for likeverd og medbestemmelse, kontinuerlig re-iverksette og forsterke våre eksisterende fordommer, mens undertrykke dem med minst forståelse av, og dermed makt over, de systemene de er trukket inn i.

Ta YouTube ‘ s anbefaling system for startere, som ikke skille mellom Disney-filmene og bildene et kornete animasjon kokt opp med en bot på gården i Kina. Egentlig hva den tilsynelatende tillitvekkende “hvis du liker det, vil du liker dette” – mekanismen gjør er opplæring av små barn – nesten fra fødselen av – til å klikke på den første tingen som kommer sammen, uavhengig av kilde. Dette er den samme mekanismen som ser Facebook skyv falske politiske annonser og konspirasjonsteorier i strømmer av millioner av misfornøyde velgere, og utfallet – stadig mer ekstreme innhold og delt synspunkter – er mye det samme. Legg til ren umulighet av å jobbe ut hvor disse videoene kommer fra (de fleste er anonyme kontoer med tusenvis av knapt differensiert opplastinger) og viewer er skjøvet ut i et hav av eksistensiell usikkerhet, som begynner å føle seg dessverre å være kjent i en verden der ugjennomsiktig og uansvarlige systemer i økende grad kontroll på viktige aspekter av vår hverdag.

Vi har sett hvordan datamaskin programmer som er laget for å gi balansert straffeutmålingen anbefalinger i AMERIKANSKE domstoler var mer utsatt for feilaktig label svarte tiltalte som sannsynlig å reoffend – feilaktig rapportering dem på nesten det dobbelte av den pris som for hvite mennesker (45% til 24%). Vi har sett hvordan algoritmisk systemer målet menn over kvinner for prestisjefylte sysselsetting stillinger: i en studie, Googles annonse-systemet viste de høyeste betalende jobber 1,852 ganger til menn — men bare 318 ganger til en kvinnelig gruppe med de samme innstillingene. Og vi har også sett hvor vanskelig det er å appellere mot disse systemene. Når den Australske regjeringen innførte “robo-gjeld”, en automatisert gjeld-recovery-programmet, feilaktig og ulovlig straffet de mest sårbare i samfunnet, som ikke hadde mulighet til å støtte eller råd til å utfordre systemet.

I månedene etter først å skrive om YouTube er rart video problem, jeg har møtt mange mennesker fra selskapet, så vel som fra andre plattformer som har vært fanget opp i lignende virvlene. Mens de fleste er velmenende, noen synes å ha mye av en inntrykk av større strukturelle problemer i samfunnet som deres systemer både overskudd fra og forverre. Som de fleste folk som jobber på store tech selskaper, de tror at disse problemene kan løses ved bruk av mer teknologi: av bedre algoritmer, mer moderasjon, tyngre engineering. Mange utenfor tech bubble – særlig i vest og i høyere inntektsgruppene – er rett og slett forferdet at noen ville la barna bruke YouTube i første omgang. Men vi vil ikke løse disse problemene ved å skylde på selskaper, eller som oppfordrer dem til å gjøre bedre, akkurat som vi vil ikke løse fedme krisen ved demonising rask mat, men ved å løfte folk ut av fattigdom. Hvis YouTube er å bygge bro mellom et gap i barneomsorg, svaret er mer finansiering for barneomsorg og utdanning generelt, ikke fikse YouTube.

Hvor mye tv-tid er for mye for barna? Det er komplisert

Les mer

Hva skjer med barna på YouTube, tiltalte i algoritmer forbedret court trials, og til fattige debitorer i Australia, kommer for oss alle. Alle våre jobber, livsoppholdende systemer, og sosiale kontrakter er sårbare for automatisering – som behøver ikke å bety at det faktisk blir erstattet av roboter, men bare være prisgitt deres. YouTube gir en annen nyttig leksjon her: bare i forrige uke ble det rapportert at YouTube er mest vellykket unge stjerner – “YouTubers” fulgt og beundret av millioner av sine jevnaldrende – brenner ut og bryte ned i hopetall. Polygon magazine omtalt, blant mange andre eksempler på Rubén “El Rubius” Gundersen, som er det tredje mest populære YouTuber i verden, med i underkant av 30 millioner abonnenter, som nylig gikk live til å snakke til sine seere om frykt for et nært forestående sammenbrudd og hans beslutning om å ta en pause fra YouTube, og Elle Mills, et populært YouTuber med 1,2 millioner tilhengere, som har lagt ut bilder av seg selv midten av angst angrep i en video med tittelen Brenne Ut på 19.

YouTuber Ruben Doblas Gundersen at a film premiere

Det ville være lett å spotter disse unge kjendiser, om det ikke var for det faktum at deres erfaring er bare den mest karismatiske eksempel på den type algoritmisk sysselsetting under som mange andre allerede arbeidskraft. Egenskapene, tross alt, er det samme: lange timer uten helligdager, fordeler, eller institusjonell støtte, og presset til å arbeide på farten på maskinen i et system som har som mål og mekanismer som er uoversiktlig og i stadig endring, og som sine undersåtter har ingen appell. (I en deprimerende vri, mange av disse samme YouTubers har blitt rammet av nedgang i inntekter direkte forårsaket av YouTube ‘ s forsøk på å demonetise “upassende” innhold for barn – løse et problem i systemet bare forverrer andre.)

The weirdness av YouTube-videoer, ekstremisme på Facebook og Twitter mobber, den latente skjevheter av algoritmisk systemer: alle disse har en ting til felles med internett i seg selv, som er det – med et par skitne unntak – ingen utformet dem på denne måten. Dette er kanskje den rareste og mest nyttig lærdom som vi kan lære av disse eksemplene, hvis vi velger å lære på alle. The weirdness og vold de produserer synes å være i direkte korrelasjon til hvor lite vi forstår deres arbeid – og hvor mye er skjult for oss, bevisst eller på annen måte, av kravene til effektivitet og brukervennlighet, bedrifter og nasjonale hemmelighold, og ren, planet-skala som spenner over. Vi lever i en tid preget av vold og fordelingen av slike systemer, fra den globale kapitalismen til balansen av klimaet. Hvis det er noe håp for de som er utsatt for sine utskeielser fra vugge, kan det være at de vil være den første generasjonen i stand til å tenke på global kompleksitet på måter som øker, snarere enn å redusere, direktoratet for oss alle.

James Hodelag er forfatter av en Ny Mørk Tidsalder, (Verso, £16.99). For å bestille en kopi for £14.44 gå til guardianbookshop.com eller ring 0330 333 6846

Hvordan Peppa Gris ble en video mareritt for barn

Hvor mye tv-tid er for mye for barna? Det er komplisert