När Glädje Buolamwini funnit att en robot erkände hennes ansikte bättre när hon bar en vit mask, hon visste ett problem som behövs för fastställande
Glädje Buolamwini ger hennes TED talk på bias av algoritmer
Foto: TED
Design
Observer
“En vit mask fungerade bättre’: varför algoritmer är inte färgblind
När Glädje Buolamwini funnit att en robot erkände hennes ansikte bättre när hon bar en vit mask, hon visste ett problem som behövs för fastställande
Söndag 28 Maj 2017 13.27 BST
Först publicerad på söndag, den 28 Maj 2017 08.30 BST
Glädje Buolamwini är en examen som är forskare vid MIT Media Lab och grundare av Algoritmisk Justice League – en organisation som syftar till att utmana fördomar i beslutsfattande programvara. Hon växte upp i Mississippi, fick ett Rhodes-stipendium, och hon är också en av Fulbright-stipendiat, en Astronaut scholar och Google Anita Borg scholar. Tidigare i år vann hon en $50,000 stipendiet finansieras av skaparna av filmen Dolda Siffror för hennes arbete med att bekämpa kodade diskriminering.
En hel del av ditt arbete handlar tekniken för ansiktsigenkänning. Hur blev du intresserad av det området?
När jag var datavetenskap grundutbildning jag arbetade på sociala robotics – robotar använder datorseende för att identifiera de människor de umgås med. Jag upptäckte att jag hade svårt att bli upptäckt av robot jämfört med ljusare hy människor. På den tiden jag trodde att detta var en engångsföreteelse sak och att människor skulle fixa detta.
Senast jag var i Hong Kong för en entreprenör event där jag provade en annan social robot och stötte på liknande problem. Jag frågade om den kod som de brukade och det visade sig att vi hade använt samma öppna källkod för ansiktsigenkänning – det är där jag började få en känsla av att omedvetna fördomar kan mata in den teknik som vi skapar. Men återigen, jag antog att folk skulle fixa detta.
Så jag var mycket förvånad över att komma till Media Lab ungefär ett halvt decennium senare som doktorand, och stött på samma problem. Jag hittade klädd i en vit mask fungerade bättre än att använda mina verkliga ansikte.
Detta är då jag tänkte, du har vetat om detta ett tag, kanske är det tid att tala.
Hur är detta ett problem?
Inom ansiktsigenkänning gemenskap du har riktmärke datamängder som är tänkt att visa hur olika algoritmer så att du kan jämföra dem. Det är ett antagande att om du gör ett bra riktmärken då du är överlag bra. Men vi har inte ifrågasatt den representativa referensvärden, så om vi gör väl som riktmärke vi ge oss en falsk bild av utvecklingen.
Glädje Buolamwini på TED i November 2016.
Det verkar otroligt att folk sätta ihop dessa riktmärken inser inte hur undiverse de är.
När vi tittar på det nu verkar det väldigt tydligt, men med arbete i ett labb, jag förstår att du gör det “down the hall test” – du sätta ihop det snabbt, du har en deadline kan jag se varför dessa snett har kommit till stånd. Att samla in data, i synnerhet olika uppgifter, är inte en lätt sak.
Utanför labbet, är det inte svårt att säga att du är diskriminerad av en algoritm?
Absolut, du behöver inte ens vet att det är ett alternativ. Vi försöker att identifiera fördomar, för att peka på fall där bias kan uppstå så att människor vet vad man ska se upp för, men även att utveckla verktyg där skaparna av system kan kontrollera om det finns en bias i sin design.
Istället för att få ett system som fungerar bra för 98% av människorna på den här datan, vi vill veta hur väl det fungerar för olika demografiska grupper. Låt oss säga att du använder ett system som har utbildats på lättare ansikten men de människor som är mest negativt av användningen av detta system har mörkare ansikten, är det rimligt att använda systemet på den här specifika befolkningen?
Georgetown Law nyligen funnit att en av två vuxna i USA har deras ansikte i ansiktsigenkänning nätverk. Att nätverk kan sökas med hjälp av algoritmer som inte har granskats för noggrannhet. Jag ser detta som ytterligare en röd flagga för varför det är viktigt att vi lyfter fram fördomar och ge verktyg för att identifiera och minska den.
Förutom ansiktsigenkänning vilka områden som har en algoritm för problemet?
Ökningen av automation och ökat beroende av algoritmer för high-stakes beslut till exempel om någon blir försäkring för din sannolikhet för fallissemang på ett lån eller någon risk för återfall i brott innebär att det är något som behöver åtgärdas. Även antagning beslut är allt automatiserat – vilken skola våra barn går till och vilka möjligheter de har. Vi behöver inte ta den strukturella orättvisor i det förflutna in i framtiden vi skapar, men som kommer att hända om vi är avsiktliga.
Om dessa system bygger på gamla uppgifter inte finns risk för att de helt enkelt bevara status quo?
Absolut. En studie på Google fann att annonser för de ledande nivå befattningar var mer benägna att vara visat att män än kvinnor – om du försöker avgöra vem som är den idealiska kandidaten är och allt du har är historiska data att gå på, du kommer att presentera en idealisk kandidat som är baserat på värdena i det förflutna. Vårt förflutna bor inom våra algoritmer. Vi vet att våra tidigare är ojämn men för att skapa en mer jämställd framtid vi har att titta på de egenskaper som vi är att optimera för. Som är representerade? Som inte är representerade?
Är inte det ett motargument till insyn och öppenhet för algoritmer? Ett, att de är kommersiellt känslig och två, som en gång i den öppna de kan manipuleras eller gamed av hackare?
Jag förstår definitivt företag som vill hålla sina egenutvecklade algoritmer eftersom det ger dem en konkurrensfördel, och beroende på vilka typer av beslut som görs och det land som de är verksamma i, som kan skyddas.
När du arbetar med djupa neurala nätverk som inte nödvändigtvis är transparent i första hand, ett annat sätt att vara ansvarig är att vara öppen om resultaten och om de fördomar det har testats för. Andra har arbetat på black box-test för automatiserade system för beslutsfattande. Du kan hålla din hemliga sås hemliga, men vi behöver veta, med tanke på dessa insatsvaror, om det finns någon bias i hela kön, etnicitet i de beslut som fattas.
Tänka på dig själv – att växa upp i Mississippi, Rhodes-Stipendiat, en Fulbright-Kollega och nu i MIT – undrar du som om de antagning beslut fattats av algoritmer som du kanske inte har hamnat där du är?
Om vi tänker sannolikt sannolikheter i den tekniska världen, svarta kvinnor är på 1%. Men när jag tittar på de möjligheter som jag har haft, jag är en viss typ av person som skulle göra också. Jag kommer från ett hushåll där jag har två högskoleutbildade föräldrar – min farfar var en professor på school of pharmacy i Ghana, så när du ser på andra människor som har haft möjlighet att bli ett Rhodes-Stipendiat eller göra en Fulbright jag passa mycket bra dessa mönster. Ja, jag har jobbat och jag har haft att övervinna många hinder, men på samma gång har jag varit positionerade för att göra väl med annan statistik. Så det beror på vad du väljer att fokusera på utseende från en identitet perspektiv är det som en helt annan historia.
I introduktion till Dolda Siffror författaren Margot Lee Shetterly berättar om hur det är att växa upp nära Nasa Langley Research Center på 1960-talet ledde till att hon tror att det var standard för Afro-Amerikaner för att vara ingenjörer, matematiker och vetenskapsmän…
Att det blir ditt norm. Filmen påminde mig om hur viktigt representation. Vi har en mycket smal syn på vad teknik kan göra det möjligt just nu eftersom vi har mycket lågt deltagande. Jag är spänd på att se vad människor kan skapa när det inte längre bara den domän av den tekniska eliten, vad som händer när vi öppna upp detta, det är vad jag vill vara en del av att aktivera.
Rubriken för denna artikel ändrades den 28 Maj 2017 för att bättre spegla innehållet i intervjun.