Under flera år på 1980-talet av studenter på läkarutbildningen i St George ‘ s hospital i London valdes ut med hjälp av high-tech-metoden. Ett datorprogram, en av de första i sitt slag, titta igenom igen, välja alla program av cirka 2 000 kandidater per år. Programmet analyseras bokföring av inbetalningar, genom att studera egenskaperna hos framgångsrika sökande, och anpassas till, tills dess lösning inte sammanfaller med yttrandet från Kommittén.
Men programmet har lärt mig att hitta mer än bra betyg och akademiska prestationer. Fyra år efter genomförandet av två läkare på sjukhuset ansåg att programmet vanligtvis avvisar kvinnor och individer med icke-Europeiska namn, oberoende av sina akademiska meriter. Läkarna fann att cirka 60 sökande varje år, var bara nekad ett jobb intervju på grund av sitt kön eller ras. I programmet ingår kön och ras fördomar i de data som används för utbildning — i själva verket har lärt sig att läkare och utlänningar är inte de bästa kandidaterna för läkare.
Trettio år senare står vi inför ett liknande problem, men med den inre fördomar är nu spridda och fatta beslut med ännu högre insatser. Artificiell intelligens algoritmer baserade på maskininlärning används överallt, till att börja med statliga institutioner till hälso-och sjukvård, ta beslut och göra förutsägelser baserade på historiska data. Att studera mönster i data, de absorberar också och det påverkar i dem. Google, till exempel, visar mer reklam betalda arbetande kvinnor än män, och en dag frakt, Amazon kommer att passera Negro kvartal, och en digital kamera är svårt att känna igen ansikten är inte vit.
Det är svårt att förstå om algoritmen är partisk eller verkligt, och så anser även dataexperter. En av orsakerna är att detaljerna i den nya algoritmen anses ofta vara patenterade information, så noggrant bevakad av sina ägare. I mer komplicerade fall, de algoritmer som är så komplicerat att inte ens skaparna vet inte exakt hur de fungerar. Detta problem är den så kallade “black box” AI — vår oförmåga att se den inre delen av algoritmen och förstå hur han kommer till ett beslut. Om du lämnar det låst, vårt samhälle kan påverkas allvarligt: i den digitala miljön genomförs historiska diskriminering som vi kämpat för i många år, från slaveriet och livegenskapen att diskriminering mot kvinnor.
Dessa farhågor har uttryckts i små samhällen för datavetenskap tidigare, finns nu att få allvarliga tur. Under de senaste två åren inom detta område fanns det en hel del publikationer om öppenhet av artificiell intelligens. Tillsammans med detta växande medvetenhet och känsla av ansvar. “Kan du vara saker som vi inte ska bygga?”, ber Kate Crawford, forskare på Microsoft och en av grundarna av AI Nu Insitute i new York.
“Machine learning har äntligen kommit i förgrunden. Nu försöker vi att använda det för hundratals olika uppgifter i den verkliga världen,” sa rika Caruana, senior forskare, Microsoft. “Det är möjligt att människor kommer att kunna distribuera skadlig algoritmer som avsevärt kommer att påverka samhället på lång sikt. Nu verkar det som, plötsligt förstod hon att detta var ett viktigt Kapitel i vår region.”
Obehörig algoritm
Vi har med hjälp av algoritmer, men problemet med den svarta lådan har inga prejudikat. Den första algoritmer var enkel och transparent. Många av dem använder vi fortfarande, till exempel för att bedöma kreditvärdighet. Med varje ny användning kommer den förordningen.
“Människor har använt algoritmer för att bedöma kreditvärdigheten under årtionden, men i dessa områden var ganska stark uppgörelse, som växte parallellt med användning av automatisk algoritmer,” sade Caruana. Föreskrifter säkerställa att den prognos algoritmer ge en förklaring till varje punkt: du nekades eftersom du har stor kredit, eller för låg inkomst.
I andra områden, såsom rättsliga och reklam, det finns inga regler som förbjuder användningen av medvetet neproschityvaemym algoritmer. Du kanske inte vet varför du har fått avslag på ett lån eller inte få jobbet eftersom ingen tvingar ägaren av algoritmen för att förklara hur det fungerar. “Men vi vet att eftersom de algoritmer som är utbildade på verkliga data, måste de vara partisk, eftersom den verkliga världen är partisk, säger Caruana.
Tänk till exempel språket är ett av de mest uppenbara källor till bias. Då algoritmer är utbildade på skriven text, de bildade vissa associationer mellan ord som förekommer tillsammans oftare. Till exempel, lär de sig att “för män att vara en programmerare är samma som för en kvinna att vara en hemmafru.” När denna algoritm kommer att instruera att hitta en bra sammanfattning att arbeta som programmerare, mest troligt, kommer han att välja män som kandidater.
Sådana problem är ganska enkelt att fixa, men många företag är helt enkelt inte går. I stället kommer de att gömma sig dessa inkonsekvenser bakom skölden skyddade information. Utan tillgång till information om algoritmen, experter i många fall inte kommer att kunna avgöra om partiskhet eller inte.
Dessa algoritmer är hemligt och förblir utanför behörighet av styrande organ, medborgare är nästan omöjligt att stämma skaparna av algoritmer. I och med 2016, Supreme court of Wisconsin avslog begäran att se det inre arbetet i COMPAS. Mannen, Eric Loomis, dömdes till sex års fängelse, delvis på grund av att COMPAS betraktade honom som “hög risk”. Loomis säger att hans rätt till en rättvis rättegång hade kränkts genom ett beroende domare i en ogenomskinlig algoritm. Sista ansökan för talan i Högsta domstolen i Usa misslyckades i juni 2017.
Men det hemlighetsfulla företaget inte kommer att använda sin frihet för en obegränsad tid. I Mars kommer EU att anta lagar som kräver att företag möjlighet att förklara för intresserade kunder hur de skall använda sina algoritmer och hur beslut fattas. USA har ingen sådan lagstiftning som är under utveckling.
Kriminalteknik black box
Oavsett om tillsynsmyndigheter som deltar i allt detta, en kulturell förändring i hur det utvecklas och används algoritmer som kan minska förekomsten av partisk algoritmer. När fler företag och programmerare är fast beslutna om att göra sina algoritmer transparent och begriplig, lite hopp om att företag som inte gör det, kommer att förlora ett gott anseende i allmänhetens ögon.
Ökningen av datorkraft har tillåtit oss att skapa algoritmer som är både korrekt och begripligt — detta teknisk utmaning, utvecklarna inte kunde övervinna historiskt. Nyligen genomförda studier visar att det är möjligt att skapa begripliga modeller för att förutsäga återfall i brottslig ämnen, samt exakt hur den svarta lådan kriminalteknik som COMPAS.
“Allt är klart — vi vet hur man skapar modeller utan svarta lådor”, säger Cynthia Rudin, Docent i datavetenskap och elektroteknik vid Duke University. “Men det är inte så lätt att dra folks uppmärksamhet till detta arbete. Om den myndighet som kommer att sluta betala för modell svart låda, det skulle hjälpa. Om domarna vägrar att använda modeller av en svart låda för domen, att det skulle”.
Andra arbetar med att komma på sätt att kontrollera giltigheten av algoritmer, att skapa ett system av kontroller och balanser innan den algoritm som kommer att släppas ut i världen, precis som test av varje nytt läkemedel.
“De modeller som nu görs och används för fort. Inte utförs korrekt kontroller innan release algoritm i ljuset, säger Sarah Tang från Cornell University.
Idealiskt, utvecklare bör avfärda känd bias — till exempel av kön, ålder och ras, och att köra interna simuleringar för att testa sina algoritmer på andra problem.
Under tiden, innan man når den punkt där alla algoritmer kommer att testas noggrant innan de släpps, är förmågan att avgöra vilka av dem som kommer att drabbas av fördomar.
I hans senaste verk, tan, Caruana och deras kollegor har beskrivit ett nytt sätt att förstå vad som kan hända under huven på en svart låda algoritmer. Forskare har skapat en modell som simulerar algoritmen i den svarta lådan, lära sig att bedöma risken för återfall i brott enligt COMPAS. De skapade också en annan modell som var utbildad på verkliga data som visar om eller var förutsett risken för återfall. Jämförelse av två modeller har tillåtit forskare att bedöma noggrannheten i beräknade punkter, utan att analysera den algoritm. Skillnaderna i resultaten av de två modeller som kan visa vilka variabler, såsom på grund av ras eller ålder, kan vara viktigare i en viss modell. Deras resultat visade att COMPAS fördomar mot svarta människor.
Korrekt konstruerade algoritmer kan eliminera länge etablerade fördomar i det straffrättsliga området, polisen och många andra områden i samhället.
Du måste öppna den “svarta lådan” artificiell intelligens, tills det är för sent
Ilya Hel