I en tid hvor vår hver handling kan høstes som data og brukt mot oss, Jamie Susskind bok gjør det avgjørende å lese
Mon Sep 17 2018 07.00 BST
OSS doms-algoritmer er mer sannsynlig å forutsi at svart lovbrytere vil mer sannsynlig reoffend enn hvite.
Foto: Kim Kulish/Corbis via Getty Images
Ingenting er som fjernkontroll som gårsdagens utopier. Fra 1990-tallet og frem til slutten av det siste tiåret, eksplosjonen i datakraft ble sett av storøyd optimister som en styrke for frigjøring som skulle legge lave uansvarlige myndighet. Deres øyne har falt nå. Demokrati, rettferdighet, vår evne til å tjene til livets opphold, føler seg utrygge. “Alle som er standspreget,” sa Marx av det 19. århundre kapitalismen. I vår tid, er det ikke bare økonomiske systemer føler seg ustabil, men grunnleggende antakelser om hvordan mennesker lever sammen.
Nå, og stadig flere vil det i fremtiden, hvordan vi oppfatter verden vil være bestemt av hva som er avslørt og skjult av sosiale medier og søk tjenester, affektive computing og virtual reality plattformer. Skillet mellom cyberspace og ekte plass er å bli overflødig. De to er sammen, og som de kommer sammen, selskaper og stater vil ha makt til å kontrollere våre oppfatninger. Fragmentering sosiale medier fremmer har vært diskutert til døde. Men det er verdt å understreke at automatiserte systemer plassere oss i siloer. Det er deres valg ikke vår til å skape en verden der mennesker som trenger mest for å høre andres meninger er minst sannsynlig å høre dem. I mellomtiden skandale av Brexit kampanjen er å sette mønsteret for alle kampanjer; som viser hvordan politcians og deres representanter kan samle inn data og mål propaganda, skreddersydd for å møte sin mottakernes fordommer, uten noen offentlig myndighet regulere det eller selv å vite om det.
“Du har rett til egne meninger, men ikke dine egne fakta,” sa senator Daniel Patrick Moynihan i det 20. århundre. Hvis det noensinne var sant, det er ikke nå, som Jamie Susskind viser i denne flotte og nødvendig bok. Svært uvanlig, Susskind, en ung Britisk advokat, kombinerer kunnskap om teknologi med kunnskap om politisk teori. Han er så komfortable med å snakke om Athenske demokrati som moralske problemer av å ha “sex” med en virtuell barn. Hans bredden i kunnskap gjør det mulig for ham å unngå å sette techno-utopianism med fasjonable dystopianism, og gir oss et arbeid som legger vekt på at fremtiden avhenger ikke bare på tekniske forhånd, men på politiske valg.
Tenk deg grensepolitiet ved hjelp av face-recognition systemer som ikke innser at du er du. Foto: Joe Raedle/Getty Images
For hvem kan argumentere for at innføring av teknologi i stand til raskt å spre løgner krever ikke et politisk svar. Det er ikke godt nok å si at Facebook, Google og Twitter er i likhet med andre private selskaper, når de har blitt en moderne agora at demokratiske samfunn har all rett til å regulere som det regulerer andre nødvendigheter av livet. Jeg fortsatt abonnere John Milton og John Stuart Mill ‘ s tro på at vi bør tillate fri tale for å bli testet i markedet av ideer. Men det er behov for reinterpreting når markedet har blitt partisjonert og privatisert.
Hvis det virtuelle monopoler er å bli temmet, sine algoritmer kan ikke behandles som kommersielt konfidensielle når de bestiller hvordan debatter er utført, og informasjon er mottatt. Samfunnet må sørge for at reglene oppfylle prinsippene om samtykke og rettferdighet. Som Susskind stater, så lenge tech bedrifter holde sine algoritmer skjult, sine data politikk obskure, og deres verdier udefinert, at de ikke kan kreve disse former for legitimitet.
Behovet for åpenhet går langt utover tech gigantene. Allerede de fleste CVs er aldri sett av menneskelige øyne. Algoritmer skanne dem og bestemme hvem som skal jobbe. Hvis du finner en jobb, algoritmer vil overvåke resultatene og bestemme om du bor ansatt eller bli sparket. Sjansene for å få et lån eller forsikring avhenger av dataprogrammer, som i økende grad vil alle essensielle i livet.
For nesten alle av historien av menneskeheten, vi har levd som en uovervåket arter hvis gjerninger var i stor grad glemt. Vi er blitt et så på arter som hver handling, i hvert fall i teorien, blir skrivbar og kunne gjenfinnes. De som gjør overvåking bruke enorme makt: en kraft som er stadig mer vanskelig å bestride. Tenk deg gru prøver å samhandle med et ansikt gjenkjennelse system som ikke gjenkjenner at du er du. Eller se på hvordan evnen til å spille inn din fortid, til å gi deg som om du var på TripAdvisor, er brukt i Kina, der lokale myndigheter er å lage digitale registreringer av borgere så troverdig kan ferdes hvor de vil, mens malcontents er begrenset.
Evnen til å spille inn din fortid, til å gi deg som om du var på Tripadvisor, er brukt i Kina
I vest, algoritmer rangerte folk er sagt å være nøytral. Ennå Airbnb regler som besøkende med afroamerikanske navn er betydelig mindre sannsynlig å bli akseptert enn hvite mennesker med identiske legitimasjon. Doms-algoritmer i USA er igjen spår at svart lovbrytere er mer sannsynlig å reoffend enn hvite. Og her ligger en utpreget moderne vilkårlighet: ingen kan si hvorfor. Dommeren gir ikke hans eller hennes grunner. Koden er en kommersiell hemmelig. Fangen er sendt ned av et system som er mer Kafkaesque enn Orwellske.
Susskind er altfor intelligent til en forfatter å si at statlig innblanding er det eneste svaret. Som Kina er allerede antyder, den nye teknologier er å gi staten krefter diktatorer i de tidligere bare kunne drømme om. Snarere er hans verk fører til krav om innsyn. Som en arbeider prinsippet burde det være en selvfølge at enhver form for kunstig intelligens som kan skade det offentlig skal være offentlig ansvar. Hvis det betyr å åpne opp kommersielt konfidensiell informasjon til revisor, så bli det.
Den store debatten i det 20. århundre var hvor mye av vårt kollektive liv skulle være styrt av markedet. Den store debatten i det 21. århundre vil være hvor mye bør være ledet og kontrollert av digitale systemer. “Vi kan ikke tillate oss selv å bli leketing av fremmede makter, i henhold alltid til beslutninger som er laget for oss av enheter og systemer som er utenfor vår kontroll, avslutter Susskind. Det er en hyllest til ham at hans arbeid gjør at fremtidige litt mindre sannsynlig.
• Fremtidige Politikk er utgitt av Oxford University Press (£20). For å bestille en kopi for € 17.20 gå til guardianbookshop.com eller ring 0330 333 6846. Gratis UK s&p over kr 10, online bestillinger bare. Telefonen bestillinger min s&p for £1.99