Algoritmer kan diktere, hvorvidt du få et realkreditlån eller hvor meget du betaler for forsikring. Men nogle gange de er forkerte – og nogle gange er de designet til at narre
Søndag 16 juli 2017 09.59 BST
Masser af algoritmer gå dårligt utilsigtet. Nogle af dem, men er lavet til at være kriminel. Algoritmer er formelle regler, normalt skrevet på computer-kode, der gør forudsigelser om fremtidige begivenheder er baseret på historiske mønstre. At træne en algoritme, du har brug for til at levere historiske data samt en definition af succes.
Vi har set finansiering få overtaget af algoritmer i de seneste par årtier. Handel algoritmer bruge historiske data til at forudsige bevægelser i markedet. Succes for algoritmen er en forudsigelig marked bevæge sig, og den algoritme, der er på vagt over for mønstre, der historisk har der skete lige før at flytte. Finansielle risici modeller også bruge historiske ændringer i markedet til at forudsige naturkatastrofer i en mere overordnet forstand, så ikke for en enkelt bestand, men i stedet for et helt marked. Risikoen model for mortgage-backed securities, som blev berømt for dårlig – og bevidst så – og den tillid, som i disse modeller kan kritiseres for meget af den skala og efterfølgende skade er bevirket af den finansielle krise i 2008.
Siden 2008 har vi hørt fra mindre algoritmer inden for finansiering, og meget mere fra big data algoritmer. Målet for denne nye generation af algoritmer er blevet flyttet fra det abstrakte markeder til enkeltpersoner. Men den underliggende funktionalitet er den samme: at indsamle historiske data om personer, profilering deres adfærd online, location, eller svar på spørgeskemaer, og bruge det massive datasæt til at forudsige deres fremtidige køb, stemmeafgivelse, eller arbejdsmoral.
Cathy O ‘ Neill. Foto: Adam Morganstern
Den seneste spredning i big data modeller er gået stort set ubemærket af den gennemsnitlige person, men det er sikkert at sige, at de fleste vigtige øjeblikke, hvor folk interagerer med store bureaukratiske systemer nu inddrage en algoritme i form af et pointsystem. At komme i skole, få et job, blive vurderet som en arbejdstager, at få et kreditkort eller forsikring, stemmer, og selv politiarbejde, er i mange tilfælde gjort algoritmer. Desuden, den teknologi, der indføres i disse systematiske beslutninger er i overvejende grad uigennemskuelig, selv til deres skabere, og har stort set undgået meningsfuld forordning, selv når det ikke lykkes. Det gør spørgsmålet om, hvilken af disse algoritmer arbejder på vores vegne, endnu mere vigtigt og presserende.
Jeg har en fire-lag i hierarkiet, når det kommer til dårlig algoritmer. På toppen er der den utilsigtede problemer, som afspejler kulturelle fordomme. For eksempel, når Harvard professor Latanya Sweeney fandt, at Google søger efter navne, der opfattes at være sort annoncer, der genereres i forbindelse med kriminel aktivitet, kan vi antage, at der ikke var nogen Google-ingeniør at skrive racistiske kodeks. I virkeligheden, er de annoncer, der blev uddannet til at blive dårlig af tidligere brugere af Google søg, som var mere tilbøjelige til at klikke på en straffeattester annonce, når de søgte efter en sort klingende navn. Et andet eksempel: Google image search resultat for “uprofessionel hår”, der tilbage næsten udelukkende sorte kvinder, er ligeledes trænet af folk udstationering eller ved at klikke på søge-resultater hele tiden.
Et lag ned, kommer vi til algoritmer, der går dårligt gennem forsømmelse. Disse vil omfatte planlægning af programmer, der forhindrer, at folk, der arbejder mindsteløn job, fra at leve et anstændigt liv. De algoritmer, der behandler dem som tandhjul i en maskine, der sender dem til at arbejde på forskellige tidspunkter af dagen og på forskellige dage hver uge, hvilket forhindrer dem i at have regelmæssig børnepasning, et andet job, eller gå på aftenskole. De er brutalt effektiv, er meget individuelt, og stort set juridiske, indsamling øre på ryggen af arbejderne. Eller mener Google ‘ s system til automatisk tagging af fotos. Det var et konstant problem, hvor sorte mennesker blev mærket gorillaer. Dette er omsorgssvigt af forskellig karakter, nemlig kvalitet bedømmelse af produktet i sig selv: at de ikke ind, at det virkede på en bred vifte af testcases før frigive koden.
Algoritmer bruges til at godkende ansøgerne, før deres Cv ‘ er kan ses af det menneskelige øje, som kan føre til diskrimination. Foto: Danny Lawson/PA
Det tredje lag består af grimme, men de juridiske algoritmer. For eksempel, der var Facebook ledere i Australien viser annoncører måder at finde og målrette sårbare teenagere. Forfærdeligt, men sandsynligvis ikke udtrykkeligt er ulovligt. Faktisk er online-annoncering generelt kan ses som et spektrum, hvor der på den ene side de velhavende er præsenteret med luksus varer at købe, men de fattige og desperate er jagtet af online payday långivere. Algoritmer oplade folk mere for en bilforsikring, hvis de ikke synes sandsynligt, at sammenligning shop og Uber lige standset en algoritme, der var med til at forudsige, hvordan lave et udbud på løn kunne være, og derved styrke den kønsbestemte lønforskelle.
Endelig, der er det nederste lag, som består af bevidst forbryderiske og til tider direkte ulovlige algoritmer. Der er hundredvis af private virksomheder, herunder snesevis i det forenede KONGERIGE, der tilbyder omfattende overvågning værktøjer. De markedsføres som en måde at lokalisere terrorister eller kriminelle, men de kan bruges til at målrette og udrydde borger aktivister. Og fordi de indsamler massive mængder af data, forprogrammerede algoritmer og scoring-systemer, der anvendes til at filtrere signal fra støj. Ulovligheden af denne industri er under debat, men en nylig undercover-operation, som journalister på Al Jazeera har udsat den relative lethed, som mellemmænd, der repræsenterer undertrykkende regimer i Iran og sydsudan har været i stand til at købe sådanne systemer. For den sags skyld, observatører har kritiseret Kina ‘ s social-og faktureringsgebyr. Kaldet “Sesam Kredit,” det er faktureret som for det meste en kredit score, men det kan også fungere som en måde at holde styr på en persons politiske udtalelser, og for den sags skyld som en måde at nudging mennesker hen imod overholdelse.
Tættere på hjemmet, der er Uber “Greyball,” en algoritme, der er opfundet specielt til at undgå at blive opdaget, når taxi service er velfungerende ulovligt i en by. Det anvendes data til at forudsige, hvilke ryttere var overtræde betingelserne for service af Uber, eller som ryttere var undercover embedsmænd. Afslørende tegn på, at Greyball afhentet i prisen flere brugen af app ‘ en i en enkelt dag og bruger et kreditkort, der er knyttet til en politi union.
Den mest berømte skadelige og ulovlige algoritme, vi har opdaget, så langt er brugt Volkswagen i 11 millioner biler på verdensplan for at bedrage emissioner tests, og i særdeleshed til at skjule det faktum, at det var køretøjer, der udleder kvælstof på op til 35 gange de niveauer, der er tilladt ved lov. Og selv om det virkede simpelthen som en lusket enhed, denne kan betegnes som en algoritme som godt. Det blev uddannet til at identificere og forudsige test betingelser forhold til vejforholdene, og fungerer forskelligt, afhængigt af resultatet. Og, som Greyball, det blev designet til at narre.
I 2015, e-handel business-Plakat Revolution blev fundet skyldig i at bruge algoritmer til at lave hemmelige aftaler med andre plakat sælgere til at fastsætte priserne. Foto: Bob Handelman/Getty Images
Det er værd at dvæle ved for eksempel bilproducenter, fordi verden af algoritmer – en meget ung, meget risikabelt ny industri med ingen sikkerhedsforanstaltninger er på plads – er temmelig ligesom den tidlige industri. Med sine naive og overstrømmende tro på sin egen teknologi, world of AI er at sælge tilsvarende biler uden kofangere, hvis hjulene kan falde ud på noget tidspunkt. Og jeg er sikker på, at der var sådanne biler lavet en gang på en gang, men over tid, som vi så mere skade, der gøres af fejl i konstruktion, vi kom op med flere regler for at beskytte passagerer og fodgængere. Så, hvad kan vi lære fra de nuværende, gamle verden af bil beslutningstagere i forbindelse med ulovlig software?
For det første, lignende typer af software, der anvendes af andre bil producenter at slukke emissioner kontrol i bestemte indstillinger. Med andre ord, det var ikke en situation, hvor der kun var en dårlig skuespiller, men snarere en standard operating procedure. Desuden kan vi antage, at dette repræsenterer ikke aftalt spil, men snarere et simpelt tilfælde af ekstrem incitamenter, kombineret med en beregnet lav sandsynlighed for at blive fanget på den del af bilfabrikanterne. Det er rimeligt at forvente, at der er masser af andre algoritmer, der anvendes til at omgå regler og regulativer, der anses for at være for dyrt, især når bygherrer af de algoritmer, der fortsat være selvglad om deres chancer.
Næste, VW snydes startede i 2009, hvilket betyder, at det gik upåagtet hen i fem år. Hvad der ellers har stået på i fem år? Denne tankegang gør os begynde at kigge rundt, spekulerer på, hvilke virksomheder er i øjeblikket hoodwinking regulatorer, at omgå love om privatlivets fred, eller begå algoritmisk svindel med straffrihed.
Faktisk kan det synes som en slam dunk business model, i form af cost-benefit-analyse: snyde indtil tilsynsmyndigheder hamle op med os, hvis de nogensinde gør det, og så betaler en begrænset fint, at ikke gøre meget af en forskel i vores gevinst. Det er, hvordan det fungerede i kølvandet på den finansielle krise, efter at alle. I navn af shareholder value, vi kan være forpligtet til at gøre dette.
“En hvid maske arbejdet bedre”: hvorfor algoritmer er ikke farveblind
Læs mere
Sagt på en anden måde. Vi er alle forventer, at biler, der selv kører i et par år eller et par af årtier på de fleste. Når det sker, kan vi forvente, at der er internationale aftaler om, hvad den indbyggede selvkørende bil, etik vil se ud? Eller vil fodgængere at være prisgivet de bilfabrikanter til at beslutte, hvad der sker i tilfælde af en uventet hul i vejen? Hvis vi får regler, vil reglerne varierer fra land til land, eller endda som det land, hvor producenten?
Hvis det lyder forvirrende, for noget som er let at observere, da bilen går ned, forestille sig, hvad foregår der under kølerhjelmen, i relativt obskure verden af komplekse “dyb læring” – modeller.
Værktøjerne er der allerede, for at være sikker. Kina har for nylig vist, hvor godt facial anerkendelse teknologi, der allerede virker – nok til at fange jaywalkers og toilet papir tyvene. Det betyder, at der er masser af muligheder for virksomheder til at udføre lumske tricks på kunder eller potentielle medarbejdere. For den sags skyld, incitamenter er også på plads. Bare i sidste måned, at Google blev idømt en bøde på 2,4 mia for uretfærdigt at placere sin egen shopping søgning resulterer i en mere fremtrædende plads end sine konkurrenter. En lignende klage var rettet mod Amazon med ProPublica sidste år med hensyn til prissætning algoritme, nemlig at det var privilegere sin egen in-house-produkter – selv når de ikke et bedre tilbud – over de, der er uden sin markedsplads. Hvis du synes om internettet som et sted, hvor big data-selskaber kappes om din opmærksomhed, så kan vi forestille mig flere algoritmer som denne i fremtiden.
Der er en sidste parallel at drage med VW-skandale. Nemlig forskellen i emissioner endelig blev opdaget i 2014 med et hold af professorer og studerende på West Virginia University, der har ansøgt og modtaget en sølle tilskud til $50.000 fra det Internationale Råd for Ren Transport, som er en uafhængig non-profit organisation, betalt af OS skatteydere. De har brugt deres penge på at køre biler rundt om i landet og registrering af emissioner, en billig og enkel test.
I 2015, Volkswagen blev anset for at have brugt en ondsindet algoritme til at bedrage emissioner test. Syv VW-ledere har været anklaget i USA. Foto: Patrick T Fallon/Bloomberg/Getty
Hvad vil organisationen sætte en stopper for den modkørende afgrøde af ulovlige algoritmer? Hvad er analog af det Internationale Råd for Ren Transport? Er der endnu ikke eksisterer en organisation, der har kapacitet, interesse og evne til at sætte en stopper for ulovlig algoritmer, og for at bevise, at disse algoritmer er skadeligt? Svaret er, indtil videre, ikke. I stedet, i hvert fald i USA, en uensartet gruppe af føderale agenturer, der er ansvarlig for håndhævelse af lovgivning inden for deres branche eller dit domæne, kan ingen af dem er særlig på toppen af den komplekse verden af big data algoritmer. Andre steder, Europa-kommissionen ser ud til at være leder i Google ‘ s aktivitet, og Facebook er fake news problemer, men som efterlader flere brancher, uberørt af kontrol.
Endnu mere til det punkt, selv om, er spørgsmålet om, hvor involveret undersøgelse af algoritmer ville være. Den nuværende karakter af algoritmer er hemmelige, proprietær kode, der er beskyttet som den “hemmelige sauce” af selskaber. De er så hemmelige, at de fleste online pointsystemer er ikke engang klart, at de mennesker, der er målrettet dem. Det betyder, at disse mennesker også kender ikke den score, de har fået, ligesom de heller ikke kan klage over, eller bestride dem scorer. Vigtigst, de vil typisk ikke vide, hvis noget unfair er sket med dem.
I betragtning af alt dette, er det svært at forestille sig, tilsyn for algoritmer, selv når de har gået forkert, og er aktivt at skade folk. For den sags skyld, ikke for alle former for skade er tydeligt målbare i første omgang. Man kan fremføre det argument, at, hvad med alle de falske nyheder flyder rundt, at vores demokrati er blevet skadet. Men hvordan måler man demokrati?
Det er ikke til at sige, at der ikke er noget håb. Efter alt, per definition, en ulovlig algoritme er at bryde en egentlig lov, at vi kan pege på. Der er, i sidste ende, en person, der bør holdes ansvarlig for dette. Problemet er stadig, hvordan vil disse love håndhæves?
Ben Shneiderman, en professor i datalogi ved University of Maryland, foreslog konceptet med en National Algoritmer Safety Board, i en tale på Alan Turing Institut. Inspireret af the National Transportation Safety Board, som undersøger, jord og luft trafik ulykker, dette organ skal ligeledes til opgave at undersøge skade, og specielt i beslutningen om, hvem der skal holdes ansvarlig for algoritmisk skade.
Algoritmer finkæmme gennem historiske data til værdi hjem. I USA, en boligejer, er at sagsøge Zoopla for at banke $100.000 fra værdien af sin ejendom ved at trække på den forkerte data. Foto: Yui Mok/PA
Det er en god idé. Vi bør undersøge problemer, når vi finder dem, og det er godt at have en formel proces til at gøre det. Hvis det har tilstrækkelig juridisk magt, kan bestyrelsen måske komme til bunds i masser af commonsense spørgsmål. Men det er ikke klart, hvor omfattende det kunne være.
Fordi her er, hvor analogien med bilen beslutningstagere bryder ned: der er ingen der svarer til en 30-bil bunke-up i verden af algoritmer. De fleste af de skader, der sker, til isolerede individer, der hver for sig og lydløst. En spredning af tavs og målbart bil går ned, er sværere at undersøge, end når det sker i et almindeligt syn.
Jeg vil stadig fastholde, at der er håb. Et af de mirakler, for at blive en data-skeptiker i et land af data evangelister er, at folk er så imponeret over deres teknologi, selv når det er utilsigtet skabe skade, de åbent at beskrive, hvor fantastisk det er. Og det faktum, at vi allerede stødt på en hel del eksempler på algoritmiske skade betyder, at du som hemmelige og uigennemskuelige som disse algoritmer er, at de er i sidste ende kommer til at blive opdaget, omend efter de har forårsaget en masse problemer.
Hvad betyder det for fremtiden? Først og fremmest er vi nødt til at begynde at holde styr på. Hver kriminelle algoritme, opdager vi, skal ses som en test. Gøre reglen overtrædes, kommer i problemer? Hvor meget? Er de regler, der håndhæves, og hvad er straffen? Som vi lærte efter den finansielle krise i 2008 en regel, der ignoreres, hvis den straf for at bryde det er mindre end overskuddet i hul. Og det gælder dobbelt for en brudt reglen om, at kun opdaget den halve tid.
Selv når vi begynder at bygge en track record af håndhævelse, vi har selv et våbenkapløb. Vi kan snart forvente en fuldt udbygget hær af algoritmer, der nederdel love, der er sofistikeret og tavs, og at søge at komme omkring regler og bestemmelser. De vil lære af, hvordan andre blev fanget og gøre det bedre næste gang. Med andre ord, vil det gradvist vanskeligere at fange dem snyd. Vores taktik er nødt til at blive bedre over tid.
Predictive policing algoritmer bruge historiske data til at forudsige, hvor kriminalitet vil ske næste. Borgerlige rettigheder grupper hævder, at disse systemer forværre eksisterende politiet fordomme. Foto: Stuart Emmerson/Alamy
Vi kan også forvente at blive fortalt, at de store selskaber “, der beskæftiger sig med det privat”. Dette sker allerede med hensyn til bekæmpelse af terrorisme. Bør vi ikke stole på dem, når de siger dette. Vi har brug for at skabe en standard test ramme – en standard til definition af skade – og kræve, at algoritmer, der sendes til undersøgelse. Og vi er ikke kun i “test lab betingelser,” enten, eller vi vil være rekonstruere VW emissioner skandale.
En af de største hindringer for dette er, at Google, Facebook, eller for den sags skyld Amazon, ikke tillader test af flere personas – eller online-profiler – af forskere udefra. Da disse virksomheder tilbyder en skræddersyet og personlig service, den eneste måde at se, hvad denne service ser gerne ville være at tage på profilen for flere mennesker, men det er ikke tilladt. Tænk på, at der i forbindelse med VW-test: det ville være som at sige, at forsknings-hold ikke kunne få kontrol over en bil til at teste sine emissioner. Vi er nødt til at kræve mere adgang og løbende overvågning, især når vi fanger dem i ulovlige handlinger. For den sags skyld, hele industrier, såsom algoritmer til forsikring og ansættelse, bør være omfattet af disse skærme, ikke blot i enkelte syndere.
Det er tid til at binde os til en kamp. Det vil i sidste ende være en teknologisk våbenkapløb, men det begynder nu, som en politisk kamp. Vi bliver nødt til at kræve dokumentation for, at algoritmer med potentiale til at skade os påvises, at den, der handler ret, der er lovligt, og konsekvent. Når vi finder problemer, er vi nødt til at håndhæve vores love med tilstrækkeligt store bøder, at virksomhederne ikke finder det rentabelt at snyde i første omgang. Det er tid til at begynde at kræve, at de maskiner, der arbejder for os, og ikke den anden vej rundt.
Catherine O ‘ neil er forfatter af Weapons of Maths Destruction (Allen Lane £9.99). For at bestille en kopi til £8.49, gå til bookshop.theguardian.com eller ring 0330 333 6846