James Scholl ‘ s essä om störande YouTube-innehåll som riktar sig till barn gick viral förra året. Har problemet försvunnit – eller blir det värre?

Sön 17 Jun 2018 08.00 BST

I November förra året läste jag en artikel i New York Times om störande videos som är riktade till barn som distribueras via YouTube. Föräldrar uppgav att deras barn stöter på knock-off utgåvor av deras favorit seriefigurer i situationer av våld och död: Peppa Gris dricka blekmedel, eller Musse pigg bli överkörd av en bil. En kort Google av några av de termer som nämns i artikeln tog upp inte bara många fler står på olämpligt innehåll, Facebook-inlägg, nyhetsgrupper trådar, och andra tidningar, men också oroande redovisning av deras effekter. Tidigare lyckliga och välanpassade barn blev rädd för mörkret, utsatt för anfall av gråt eller våldsamt beteende och talade om att skada sig själv – alla klassiska symptom på missbruk. Men trots dessa rapporter, YouTube och dess moderbolag, Google, hade gjort lite för att ta itu med dem. Dessutom verkade det finnas lite förståelse för dessa filmer var kommer ifrån, hur de produceras – eller ens varför de fanns i första hand.

Jag är en författare och konstnär, med fokus på den breda kulturella och samhälleliga effekter av ny teknik, och detta är hur de flesta av mina tvångstankar start: blir allt mer nyfiken på något och att gräva djupare, med ett öga för dold infrastruktur och dolda processer. Det är en strategi som har tidigare lett mig för att undersöka det brittiska systemet för utvisning flyg eller dess sofistikerade road surveillance network, och den här gången tog det mig konstigt, surrealistiskt, och ofta störande inlandet av YouTube ‘ s barn filmer. Och dessa filmer är oroande på flera nivåer. Som jag tillbringade mer och mer tid med dem, jag blev bestört inte bara genom sitt innehåll, men genom det sätt de själva systemet verkade föröka sig och förstärka sin mest motbjudande övergrepp, jagar barn värsta rädslor och bunta ihop dem till en mardröm spellistor, medan blint givande deras skapare för att öka deras åsikt räknas även som filmer sig ned till meningslösa parodier och meningslösa historier.

För vuxna, det är ren konstig av många av de filmer som verkar nästan mer störande än deras våld. Detta är den del som är svårare att förklara – och svårare för människor att förstå – om du inte fördjupa dig i en video, som jag skulle knappast rekommendera. Utöver den enkla knock-offs och provokationer finns en hel klass av nonsens -, algoritm-genererade innehåll, miljontals videor som tjänar endast till att locka över och producera resultat, som lappats ihop från barnvisor, toy recensioner och kulturella missförstånd. Vissa verkar vara en produkt av slumpmässiga titel generatorer, andra – som så många andra – innebär riktiga människor, inklusive barn, distribueras över hela världen, agerar ut oändligt vansinniga krav på YouTube rekommendation algoritmer, även om det inte är vettigt, även om du har för att förnedra dig själv fullständigt för att göra det.

A scene from Minnie Mouse Choked Pizza for Eating Too Much.

När jag skrev en uppsats om de videor online, var den allmänna reaktionen i stort sett speglade min egen. Å ena sidan, folk var upprörda för att ta reda på att dessa filmer fanns, och på den andra, helt weirded ut genom den stora och främlingskap av vad de har hittat. Kombinationen skickade artikeln viral: det var delade och läsa online miljontals gånger, som plockas upp av webbplatser och tidningar runt om i världen, och även resulterat i frågor ställs i Eu-parlamentet. Slutligen, YouTube igång att svara, även om dess arbete, och resultaten har varit blandade.

YouTube ursprungliga förslag var att begränsa reklam på störande innehåll som riktar sig till barn – men dess förslag misslyckats med att engagera sig ärligt med sin egen plattform. Det är uppskattade att 400 timmar av innehåll som laddas upp till webbplatsen varje minut. Polisarbete det hand är omöjligt; i stället, YouTube bygger på flaggning av tittarna att köra officiell granskning – som knappast lämpar sig när de första människorna för att visa det här är små barn, och skadan är redan gjort. YouTube har också utropat den tekniska bota-alla maskininlärning som sin föredragna lösningen – men i April, det kom slutligen överens om att den särskilda YouTube Kids app skulle byta till helt mänskligt måtta, ett effektivt sätt att erkänna att den strategin inte fungerar.

Som ett resultat, samtidigt som många videor som har tagits bort från webbplatsen, oräkneligt antal finns fortfarande kvar. I Mars, Fast katalogiseras en massa våldsamma konton och visade att det var möjligt att gå från en populär barn alfabetet video till en Minnie Mouse snus film i 14 steg, bara genom att följa Youtubes egna rekommendationer. Som i förra veckan, Googla titeln på en av nu-ta bort videoklipp som nämns i artikel i New York Times (“TASS Patrull Barn Låtsas att Dö genom Självmord Annabelle Hypnotiserad”) resulterar i en länk till en nära identisk video fortfarande värd på webbplatsen (“TASS PATRULL Barn Låtsas Att Dö MONSTER HÄNDER Från SPEGELN! Tass Patrull Animation Valpar Spara För Barn”), i vilken bedårande valpar behöver en underlig clip-art monster mask för att skrämma varandra innan de lockas av en takterrass med en hemsökt docka. Är “Spara För Barn” ska läsa “Säkra För Barn”? Hursomhelst, det är det inte, och det är uppenbart att bara spela whack-a-mole med sökord och förbjudna konton kommer aldrig att lösa intrasslad problem med upphovsrätten, algoritmisk rekommendation, och ad-driven monetära incitament på en miljard-visa plattform med någon meningsfull mänsklig tillsyn.

Om dessa filmer är medvetet illvillig, “bara” trolling, eller den framväxande effekten av komplexa system, är inte poängen. Vad som är nytt är att systemet som sådant våld sprider sig precis framför oss, och synligt delaktiga, om vi väljer att se det för vad det är. Jag heter, som original essä “det är Något fel på internet” eftersom det verkade och verkar fortfarande mig att de emissioner som gjorts och det alldeles uppenbart av skandalen är inte begränsad till barn som är innehåll, eller på YouTube. Den första av dessa är hur system av algoritmisk styrningen, snarare än som leder oss mot den soliga höjder jämställdhet och empowerment, att ständigt återskapa och förstärka vår befintliga fördomar, samtidigt som förtrycker dem med minst förståelse av, och därmed makt över de system som de är insnärjda i.

Ta YouTube rekommendation system till att börja med, som inte gör någon åtskillnad mellan Disney-filmer och en grynig animation tillagade av en bot gård i Kina. I huvudsak vad den till synes godartade “om du gillar det, du kommer att gilla det här” mekanismen gör är att utbilda unga barn – praktiskt taget från födseln – att klicka på den första sak som kommer, oavsett källan. Detta är samma mekanism som ser Facebook bild falska politiska annonser och konspirationsteorier i flöden av miljontals missnöjda väljare, och resultatet – allt mer extrema innehåll och delas synpunkter – är mycket samma. Lägg till det en ren omöjlighet att arbeta ut om dessa filmer kommer från (de flesta är anonyma konton med tusentals knappt differentierade inlagda) och betraktaren är på drift i ett hav av existentiell osäkerhet, vilket börjar kännas oroväckande bekant i en värld där ogenomskinlig och oansvariga system alltmer kontroll av kritiska aspekter av våra vardagsliv.

Vi har sett hur datorprogram som syftar till att ge en balanserad straff rekommendationer i AMERIKANSKA domstolar var mer benägna att av misstag etikett svart svarande som sannolikt kommer att reoffend felaktigt flaggning dem till nästan det dubbla priset som för vita människor (45% till 24%). Vi har sett hur algoritmiska system target män över kvinnor för prestigefyllda anställningar: i en studie på Googles annonssystem visade den högsta betalande jobb 1,852 gånger att män — men bara 318 gånger att en kvinnlig grupp med samma preferenser. Och vi har också sett hur svårt det är att överklaga dessa system. När den Australiska regeringen instiftade “robo-skuld”, en automatisk skuld-recovery-programmet, det är fel och olagligt straffas för de mest utsatta i samhället, som hade ingen möjlighet till stöd eller råd för att utmana systemet.

Under de månader som gått sedan första att skriva om YouTube är konstig video problem, jag har träffat ett par personer från bolaget, liksom från andra plattformar som har fångats upp i liknande virvlar. Medan de flesta är välmenande, några verkar ha mycket av en förståelse av de större strukturella problem i samhället som deras system både vinst och förvärrar. Som de flesta som arbetar på stora företag, de tror att dessa problem kan lösas genom tillämpning av mer teknik: med bättre algoritmer, mer måtta, tyngre engineering. Många utanför tech bubbla – särskilt i väst och i högre inkomstgrupper – är helt enkelt en bestört över att någon skulle låta sina barn använda YouTube i första hand. Men vi kommer inte att lösa dessa frågor genom att skylla på de företag, eller uppmana dem att göra bättre, precis som vi kommer inte att lösa fetma krisen genom att demonisera snabbmat men genom att lyfta människor ur fattigdom. Om YouTube är att överbrygga ett gap i barnomsorg, svaret är mer finansiering för barnomsorg och utbildning i allmänhet, inte fastställa YouTube.

Hur mycket tv-tid är för mycket för barnen? Det är komplicerat

Läs mer

Vad är det som händer med barnen på YouTube, att svarandena i algoritmiskt förbättrad domstolens prövningar, och att fattiga gäldenärer i Australien, kommer till oss alla. Alla våra jobb, livsuppehållande system, och sociala kontrakt är utsatta för automatisering – som inte betyda att man faktiskt håller på att ersättas av robotar, men att bara vara på deras nåd. YouTube ger en annan nyttig lektion här: bara förra veckan rapporterades det om att Youtubes mest framgångsrika unga stjärnor – “YouTubers” följt och beundrat av miljontals av sina kamrater – är att bränna ut och bryta ner en masse. Polygon tidningen citerade, bland många andra, till exempel av Rubén “El Rubius” Gundersen, den tredje mest populära YouTuber i världen med strax under 30 miljoner abonnenter, som nyligen gick live för att tala till sina tittare om rädsla för en hotande sammanbrott och hans beslut att ta en paus från YouTube, och Elle Mills, en populär YouTuber med 1,2 miljoner följare, som postat bilder på sig själv i mitten av ångest attack i en video med titeln Bränna Ut vid 19.

YouTuber Ruben Doblas Gundersen at a film premiere

Det skulle vara lätt att håna dessa unga kändisar, om det inte vore för det faktum att deras erfarenhet är att bara de mest karismatiska exempel på den typ av algoritmisk sysselsättning enligt vilket många andra som redan finns på arbetsmarknaden. De egenskaper som, trots allt, är den samma: långa timmar utan semester, förmåner, eller institutionellt stöd och påtryckningar för att arbeta i den takt som maskinen i ett system vars mål och mekanismer är oklara och föränderliga, och som dess ämnen har inget överklagande. (I en deprimerande twist, många av dessa samma YouTubers har drabbats av nedgångar i intäkter som direkt orsakas av YouTube ‘ s försök att demonetise “olämpligt” material för barn – att lösa ett problem i systemet endast förvärrar andra.)

The weirdness av YouTube-videor, extremism av Facebook och Twitter folkmassor, den latenta fel av algoritmiska system: alla dessa har en sak gemensamt med internet i sig självt, vilket är – med några smutsiga undantag – ingen avsiktligt utformad för dem på detta sätt. Detta är kanske den märkligaste och mest välgörande läxa som vi kan lära av dessa exempel, om vi väljer att inte lära sig alls. The weirdness och våld som de producerar verkar vara i direkt korrelation till hur lite vi förstår deras arbete och hur mycket är dolt från oss, medvetet eller på annat sätt, av krav på effektivitet och användarvänlighet, företags-och nationell sekretess och ren, planet som sträcker sig över skalan. Vi lever i en tid som präglas av våld och fördelningen av sådana system, från den globala kapitalismen att balansen av klimatet. Om det finns något hopp för de som utsätts för dess överdrifter från vaggan, det kan vara så att de kommer att bli den första generation som kan tänka globala komplexitet i sätten att öka, snarare än minska, byrån för oss alla.

James Betsel är författare av Ny Mörk tid, (Verso, £16.99). För att beställa en kopia för £14.44 gå till guardianbookshop.com eller ring 0330 333 6846

Hur Peppa Gris blev en video mardröm för barn

Hur mycket tv-tid är för mycket för barnen? Det är komplicerat