Algoritmer kan bestämma om du får en inteckning eller hur mycket du betalar för försäkringen. Men ibland är de för fel – och att de ibland är utformade för att lura

Söndag 16 juli 2017 09.59 BST

Massor av algoritmer gå dåligt oavsiktligt. Några av dem, dock, är gjorda för att vara kriminell. Algoritmer är formella regler, oftast skrivna på dator-kod, att göra förutsägelser om framtida händelser baserat på historiska mönster. Att träna en algoritm som du behöver för att ge historiska data samt en definition av framgång.

Vi har sett finans få tas över av algoritmer i de senaste decennierna. Handel algoritmer använda historiska data för att förutsäga rörelser i marknaden. Framgången för denna algoritm är en förutsägbar marknad flytta, och algoritmen är vaksamma för mönster som historiskt har hänt precis innan att flytta. Finansiella risker modeller också använda historiska förändringar på marknaden för att förutsäga omvälvande händelser i en mer övergripande mening, så inte för ett enskilt lager, men snarare för att en hel marknad. Risken modell för mortgage-backed securities var ökänt dåliga – avsiktligt så – och att förtroendet för dessa modeller kan vara skulden för mycket av den skala och efterföljande skador som skapas av finanskrisen 2008.

Sedan 2008 har vi hört mindre av algoritmer inom finans, och mycket mer från big data och algoritmer. Målet för denna nya generation av algoritmer har förskjutits från abstrakt marknader till enskilda personer. Men den underliggande funktionaliteten är densamma: att samla in historiska data om människor, profilering deras beteende på nätet, en plats eller ett svar på frågeformulär, och använda det omfattande dataset för att förutsäga deras framtida köp, röstning, eller arbetsmoral.

Den senaste tidens ökning i big data modeller har gått i stort sett obemärkt förbi den genomsnittliga personen, men det är säkert att säga att de flesta viktiga stunder där människor interagerar med stora byråkratiska system som nu involverar en algoritm i form av ett poängsystem. Att komma in på högskolan, få ett jobb, som bedöms som en arbetstagare att få ett kreditkort eller ett försäkringsföretag, rösta, och även polisarbete är i många fall gjort algoritmiskt. Dessutom, den teknik som introducerades i dessa systematiska beslut är till stor del oklara, även till deras skapare, och har hittills till stor del undgått meningsfull förordningen, även om den misslyckas. Det gör frågan om vilken av dessa algoritmer arbetar på vårt uppdrag ännu mer viktig och brådskande.

Jag har fyra lager hierarki när det kommer till dåliga algoritmer. På toppen finns det oavsiktliga problem som återspeglar kulturella fördomar. Till exempel, när Harvard professor Latanya Sweeney fann att Google-sökningar för namn som uppfattas som svart annonser som genereras i samband med brottslig verksamhet, kan vi anta att det var något Google-ingenjör skriva rasistiska kod. I själva verket är de annonser som var utbildade för att vara dåligt av tidigare användare av Google-sökning, som var mer benägna att klicka på en kriminalregister annons när de söker efter en svart klingande namn. Ett annat exempel: Google image sökresultat för “oprofessionellt hår”, som återvände nästan uteslutande svarta kvinnor, är på samma sätt som utbildats av människor inlägg eller genom att klicka på sök resultat hela tiden.

Ett lager ner kommer vi att algoritmer som går dåligt genom försummelse. Dessa skulle bland annat schemaläggning av program för att förhindra att människor som arbetar minimilönen jobb från ledande anständigt liv. De algoritmer som behandlar dem som kugghjul i en maskin, skicka dem till att arbeta vid olika tider på dygnet och på olika dagar varje vecka, hindrar dem från att ha regelbundna barnomsorg, ett andra jobb, eller gå till natt skolan. De är brutalt effektiv, enormt skalas, och till stor del juridiskt, samla slantar på bekostnad av arbetstagarna. Eller fundera på att Googles system för att automatiskt tagga foton. Det hade en konsekvent problem där svarta människor var att märkas gorillor. Detta innebär försummelse av olika slag, nämligen kvaliteten på bedömningen av produkten i sig, de behövde inte kolla att det fungerade på ett brett utbud av testfall innan du släpper koden.

Det tredje skiktet består av otrevliga men lagliga algoritmer. Till exempel, det var Facebook befattningshavare i Australien visar annonsörer sätt att hitta och rikta utsatta tonåringar. Hemskt men förmodligen inte uttryckligen olagligt. I själva verket online reklam i allmänhet kan ses som ett spektrum, där man å ena sidan de rika presenteras med lyxiga varor att köpa, men de fattiga och desperata är tog på av online payday långivare. Algoritmer ladda mer för bilförsäkring om de inte verkar sannolikt att jämföra shop och Uber bara stoppas av en algoritm som det var med att förutsäga hur lågt ett erbjudande om lön kan vara, och därmed stärka den löneskillnaderna mellan könen.

Slutligen, finns det understa lagret, som består av avsiktligt skändliga och ibland direkt olagliga algoritmer. Det finns hundratals privata företag, däribland dussintals i STORBRITANNIEN, som erbjuder en massiv övervakning verktyg. De marknadsförs som ett sätt att hitta terrorister eller brottslingar, men de kan användas för att rikta och utrota medborgare aktivister. Och eftersom de samla in stora mängder data, automatisk algoritmer och scoring system som används för att filtrera ut signalen från bruset. Det olagliga i den här branschen är under debatt, men i en ny hemlig operation av journalister på Al Jazeera har utsatt den relativa lätthet med vilken mellanhänder som representerar repressiva regimerna i Iran och Södra Sudan har kunnat köpa sådana system. För den delen, observatörer har kritiserat Kinas social credit scoring system. Kallas “Sesam Kredit,” det är faktureras som oftast är en kredit värdering, men det kan också fungera som ett sätt att hålla koll på en persons politiska åsikter, och för den delen som ett sätt att påverka folk att följa.

Närmare till hem, det är Uber “Greyball,” en algoritm som uppfann speciellt för att undvika upptäckt när taxi fungerar olagligt i en stad. Det data som används för att förutsäga vilka ryttare bryter mot användarvillkoren för Uber, eller som ryttare var undercover statliga tjänstemän. Telltale tecken på att Greyball plockade upp ingår flera använda appen i en och samma dag och med hjälp av ett kreditkort kopplat till en polis unionen.

Den mest kända skadliga och olagliga algoritm vi har upptäckt hittills är den som används av Volkswagen i 11 miljoner fordon över hela världen för att lura utsläpp tester, och framför allt för att dölja det faktum att de fordon som släpper ut kväveoxider på upp till 35 gånger de nivåer som tillåts enligt lag. Och även om det verkade helt enkelt som en slingrande enhet, detta betecknas som en algoritm. Det var utbildad för att identifiera och förutse testa villkor jämfört med väglaget och att fungera på olika sätt beroende på resultatet. Och, som Greyball, det var utformade för att lura.

Keyboard with shopping-cart icon key highlighted

Det är värt att bo på exempel på biltillverkare eftersom världen av algoritmer – en mycket ung, mycket riskabelt ny bransch med inga säkerhetsåtgärder på plats – är snarare som början av bilindustrin. Med sin naiva och sprudlande tro på sin egen teknik, världen av AI säljer motsvarande bilar utan stötfångare vars hjul kan falla ut när som helst. Och jag är säker på att det var sådana bilar tillverkade en gång i tiden, men under tiden, som vi såg mer skador av felaktig konstruktion, vi kom upp med fler regler för att skydda passagerare och fotgängare. Så, vad kan vi lära oss från den nuvarande, gammal värld av biltillverkare inom ramen för olaglig programvara?

För det första, liknande typer av programvara som distribueras med andra biltillverkare att stänga av utsläpp kontroller i vissa inställningar. Med andra ord, detta var inte en situation där det bara var en dålig skådespelare, utan snarare ett standardförfarande. Dessutom kan vi anta att detta representerar inte fusk, utan snarare ett enkelt fall av extrem incitament i kombination med en beräknad låg sannolikhet för att bli fångad på en del av biltillverkarna. Det är rimligt att förvänta sig, då, att det finns massor av andra algoritmer som används för att kjol regler och förordningar som anses vara för dyra, speciellt när byggare av algoritmer kvar självbelåten om sina chanser.

Nästa, VW otrogen startade 2009, vilket innebär att det gick oupptäckt under fem år. Vad har pågått i fem år? Detta synsätt gör oss börja titta runt, undrar vilka företag som är närvarande hoodwinking tillsynsmyndigheter, kringgå lagar om personlig integritet, eller begå algoritmisk bedrägeri med straffrihet.

Ja det kan tyckas som en slam dunk affärsmodell, i termer av kostnad-nytta-analys: fuska fram till tillsynsmyndigheterna ikapp med oss, om de någonsin gör det, och sedan betala en begränsad bra att göra inte mycket av en buckla i vår ackumulerad vinst. Det var så det fungerade i efterdyningarna av den finansiella krisen, trots allt. I namn av aktieägarvärde, vi kan vara skyldigt att göra detta.

“En vit mask fungerade bättre’: varför algoritmer är inte färgblind

Läs mer

Uttryckt på ett annat sätt. Vi är alla förväntar sig att bilar är självgående i ett par år eller ett par decennier. När det händer, kan vi räkna med att det är internationella överenskommelser om vad som är inbäddade själv kör bil etik kommer att se ut? Eller kommer fotgängare vara i händerna på bilen tillverkare för att avgöra vad som händer i händelse av en oväntad potthål? Om vi får regler, kommer reglerna skiljer sig åt från land till land, eller ens av landet av tillverkaren?

Om det låter förvirrande för något som är lätt att observera när bilen kraschar, tänk dig vad som händer under huven, i den relativt obskyra värld av komplexa “deep learning” – modeller.

Verktygen finns där redan, för att vara säker. Kina har nyligen visat hur väl tekniken för ansiktsigenkänning fungerar redan tillräckligt för att fånga jaywalkers tillsammans och toalett papper tjuvar. Det innebär att det finns gott om möjligheter för företag att utföra tvivelaktiga knep för kunder eller potentiella anställda. För den delen, de incitament som också är på plats. Bara förra månaden Google dömdes till böter på 2,4 mdr kronor för ett orättvist sätt att placera sin egen shopping sökning resulterar i en mer framträdande plats än sina konkurrenter. En liknande klagomål har riktats mot Amazon av ProPublica förra året med hänsyn till dess prissättning algoritm, nämligen att det var privilegieras sin egen, i-huset produkter – även när de inte var en bättre affär – över dem utanför sin marknadsplats. Om du tror att internet är en plats där big data-företagen tävlar om din uppmärksamhet, då kan vi tänka oss fler algoritmer som denna i framtiden.

Det finns en slutlig parallell att dra med VW-skandalen. Nämligen skillnaden i utsläpp var äntligen upptäckt 2014 av ett team av professorer och studenter vid West Virginia University, som sökt och fått en ynka bidrag på 50.000 dollar från Internationella Rådet på Ren Transport, en oberoende ideell organisation som betalas av OSS skattebetalare. De lägger sina pengar på bilar runt om i landet och fånga utsläpp, en billig och enkel test.

Vad organisationen kommer att sätta stopp för den mötande odling av olagliga algoritmer? Vad är det för analog av Internationella Rådet för Ren Transport? Gör det ännu finns en organisation som har förmåga, intresse och förmåga att sätta stopp för den illegala algoritmer, och för att bevisa att dessa algoritmer är skadligt? Svaret är, hittills, nr. I stället, åtminstone i USA, en disparat grupp av federala myndigheter som ansvarar för att genomdriva lagar i deras bransch eller domän, av vilka ingen är särskilt på toppen av den komplexa världen av big data och algoritmer. På andra håll, Europeiska kommissionen verkar vara ute i Googles antitrust aktivitet, och Facebook är falska nyheter problem, men som lämnar flera branscher orörd av kontroll.

Ännu mer till den punkt, är dock frågan om hur delaktiga utredning av algoritmer skulle vara. Den nuvarande karaktär av algoritmer är hemlig, patentskyddad kod, skyddas den “hemliga sås” av företag. De är så hemliga att de flesta online scoring system är inte ens uppenbart för de människor som måltavla för dem. Det innebär att dessa personer inte vet vilka betyg de har fått, eller kan de klaga eller att ifrågasätta dessa värderingar. Mest viktigt är att de vanligtvis inte kommer att veta om något orättvist som har hänt dem.

Med tanke på allt detta, det är svårt att föreställa sig tillsyn av algoritmer, även när de har gått fel och aktivt för att skada människor. För den delen, inte alla typer av skada är tydligt mätbara i första hand. Man kan argumentera för att vad med alla falska nyheter som flyter runt, vår demokrati har skadats. Men hur gör man mäta demokrati?

Det är inte att säga att det inte finns något hopp. Efter allt, per definition, en olaglig algoritm är att bryta en faktisk lag som vi kan peka på. Det är, i slutändan, är det någon som borde ställas till svars för detta. Problemet kvarstår, hur kommer en sådan lagstiftning att genomföras?

Ben Shneiderman, en professor i datavetenskap vid University of Maryland, fram ett förslag till en Nationell Algoritmer Safety Board, i ett föredrag på Alan Turing Institutet. Bygger på National Transportation Safety Board, som undersöker marken och luften trafikolyckor, detta organ skulle på samma sätt vara i uppdrag att utreda skada, och särskilt avgörande för vem som bör hållas ansvarig för algoritmisk skada.

Detta är en bra idé. Vi bör undersöka problem när vi finner dem, och det är bra att ha en formell process för att göra så. Om man har tillräcklig juridisk makt, styrelsen kan kanske gå till botten med massor av sunt förnuft frågor. Men det är inte klart hur omfattande det kan vara.

För här är där analogin med biltillverkare bryter ner: det finns ingen motsvarighet till ett 30-bil pile-up i världen av algoritmer. De flesta av skada sker till isolerade individer, enskilt och tyst. En spridning av tyst och osynlig bil kraschar är svårare att utreda än när det händer i vanligt sikte.

Jag skulle ändå behålla det finns hopp. En av de mirakel för att vara en data skeptiska i ett land med uppgifter som evangelister är att människor är så imponerad av deras teknik, även om det är oavsiktligt skapa skada, de öppet beskriva hur fantastiskt det är. Och det faktum att vi redan kommit över en hel del exempel på algoritmisk skada innebär att hemlig och ogenomskinlig som dessa algoritmer är, de är så småningom kommer att upptäckas, om än efter att de har orsakat en hel del problem.

Vad betyder detta för framtiden? Först och främst, vi måste börja hålla koll. Varje kriminella algoritm vi upptäcker bör ses som ett testfall. Gör den regel-brytare hamnar i trubbel? Hur mycket? Är de regler som tillämpas, och vad är straffet? Som vi lärt oss efter finanskrisen 2008, en regel som ignoreras om straffet för att bryta mot det är mindre än vinsten i hål. Och går det dubbla för en bruten regel som upptäckte bara halva tiden.

Även när vi börjar bygga upp ett track record av verkställighet, vi har oss själva i en kapprustning. Vi kan snart räkna med en fullt fungerande armé av algoritmer som kjol lagar, som är sofistikerad och tyst, och att försöka komma runt regler och förordningar. De kommer att lära av hur andra har fångats och göra det bättre nästa gång. Med andra ord, det kommer att få allt svårare att fånga dem otrogen. Vår taktik måste bli bättre över tid.

Police perform a stop and search in Harrow, London.

Vi kan också förvänta oss att veta att de stora företagen är “att göra med det privat”. Detta är något som redan sker med respekt för att bekämpa terrorism. Vi bör inte lita på dem när de säger detta. Vi måste skapa en standard för testning ram – en vanlig definition av skada – och kräva att de algoritmer som lämnas in för analys. Och vi kan inte göra detta bara i “test lab villkor,” antingen, eller kommer vi att rekonstruera VW utsläpp skandal.

Ett av de största hindren för detta är att Google, Facebook, eller för den delen Amazon, som inte tillåter testning av flera personas – eller online – profiler- av externa forskare. Eftersom dessa företag erbjuda en skräddarsydd och personlig service, det enda sättet att se vad som ser ut skulle vara att ta på profilen av flera personer, men det är inte tillåtna. Tycker om att inom ramen för VW-tester: det skulle vara som att säga forskning lag kunde inte ha kontroll av en bil för att testa sina utsläpp. Vi måste kräva tillgång till mer och fortlöpande övervakning, särskilt när vi fångar dem i olagliga handlingar. För den delen, hela industrier, såsom algoritmer för försäkring och hyra, bör vara föremål för dessa skärmar inte bara de enskilda gärningsmännen.

Det är dags att omgjorda oss för en kamp. Det kommer så småningom att vara en teknologisk kapprustning, men det börjar nu, som en politisk kamp. Vi måste kräva bevis på att algoritmer med potential att skada oss påvisas att agera rättvist, legalt och konsekvent. När vi hittar problem, vi måste upprätthålla våra lagar tillräckligt med dryga böter som företag inte finner det lönsamt att fuska i första hand. Det är dags att börja kräva att de maskiner som arbetar för oss, och inte tvärtom.

Cathy O ‘ Neil är författare av Vapen i Matematik Förstörelse (Allen Lane £9.99). För att beställa en kopia för £8.49, gå till bookshop.theguardian.com eller ring 0330 333 6846

Hur kan vi stoppa algoritmer ljuga?

“En vit mask fungerade bättre’: varför algoritmer är inte färgblind