Når Glæde Buolamwini fandt, at en robot anerkendte hendes ansigt bedre, når hun var iført en hvid maske, hun vidste, at et problem, der skulle løses,
Glæde Buolamwini giver hende TED talk på skrå af algoritmer
Foto: TED
Design
Observatøren
Når algoritmer er racistisk
Når Glæde Buolamwini fandt, at en robot anerkendte hendes ansigt bedre, når hun var iført en hvid maske, hun vidste, at et problem, der skulle løses,
Søndag 28 Maj 2017 08.30 BST
Glæde Buolamwini er uddannet forsker ved MIT Media Lab og grundlægger af den Algoritmiske Justice League – en organisation, der har til formål at udfordre bias i beslutningsprocessen software. Hun voksede op i Mississippi, fik et Rhodes-stipendiet, og hun er også en Fulbright-stipendiat, en Astronaut scholar og Google Anita Borg-lærd. Tidligere i år vandt hun en $50.000 stipendium finansieret af skaberne af filmen Skjulte Tal for sit arbejde med at bekæmpe kodet forskelsbehandling.
En masse af dit arbejde vedrører ansigtsgenkendelse teknologi. Hvordan er du blevet interesseret i området?
Da jeg var en datalogi bachelor arbejdede jeg på social-robotics – robotter ved hjælp af computer vision om at registrere de mennesker, de omgås med. Jeg opdagede, at jeg havde en hård tid på at blive opdaget af robotten i forhold til lettere-flået mennesker. På det tidspunkt troede jeg, det var en one-off ting, og at folk ville løse dette.
Senere var jeg i Hong Kong for en iværksætter event, hvor jeg prøvede en anden social robot og løb ind i lignende problemer. Jeg spurgte om den kode, som de brugte, og det viste sig, at vi havde brugt den samme open source-kode til face detection – dette er, hvor jeg begyndte at få en følelse af, at ubevidste fordomme kan indgå i den teknologi, som vi skaber. Men igen, jeg antog folk ville løse dette.
Så jeg var meget overrasket over at komme til Media Lab om et halvt årti senere, da en ph.d. – studerende, og løber ind i det samme problem. Jeg fandt iført en hvid maske fungerede bedre, end at bruge min egentlige ansigt.
Dette er, når jeg troede, at du har kendt til det i nogen tid, måske er det tid til at sige op.
Hvordan er problemet opstået?
Inden for de facial anerkendelse, fællesskab, du har benchmark data sæt, der er beregnet til at vise resultater af forskellige algoritmer, så du kan sammenligne dem. Der er en antagelse om, at hvis du gør det godt på de benchmarks, så du gør det godt alt i alt. Men vi har ikke sat spørgsmålstegn ved repræsentativiteten af de benchmarks, så hvis vi gør godt på, at benchmark, vi giver os selv en falsk forestilling om fremskridt.
Glæde Buolamwini på TED i November 2016.
Det synes utroligt, at de mennesker, sætte sammen med disse benchmarks ikke klar over, hvor undiverse de er.
Når vi ser på det nu, virker det meget indlysende, men med arbejde i et laboratorium, jeg forstår dig ikke “ned hall test” – du sætte denne sammen hurtigt, du har en deadline, kan jeg se, hvorfor disse kører skævt. Indsamling af data, især forskellige data, er ikke en let ting.
Uden for laboratoriet, er det ikke svært at fortælle, at du er diskrimineret af en algoritme?
Helt, behøver du ikke engang ved, at det er en mulighed. Vi forsøger at identificere bias, at påpege de tilfælde, hvor bias kan opstå, så folk kan vide hvad man skal kigge efter, men også udvikle værktøjer, hvor skaberne af systemer, der kan kontrollere, om en bias i deres design.
I stedet for at få et system, der fungerer godt for 98% af befolkningen i dette datasæt, vi ønsker at vide, hvor godt det virker for forskellige demografiske grupper. Lad os sige, at du ved hjælp af systemer, der er blevet uddannet på lettere ansigter, men de mennesker, der er mest påvirket af brugen af dette system er mørkere ansigter, er det rimeligt at bruge det system, på denne særlige befolkning?
Georgetown Lov for nylig konstateret, at en ud af to voksne i USA har deres ansigt i den facial anerkendelse netværk. At netværk kan søges ved hjælp af algoritmer, der ikke er blevet kontrolleret for nøjagtighed. Jeg ser dette som endnu et rødt flag for hvorfor det er vigtigt, at vi sætter fokus på fordomme og give redskaber til at identificere og afhjælpe det.
Udover ansigtsgenkendelse, hvilke områder der har en algoritme, der er problemet?
Den stigende automatisering og øget afhængighed af algoritmer til high-stakes beslutninger, som, om nogen bliver forsikringen ikke, er din sandsynlighed for misligholdelse af et lån eller nogen risiko for tilbagefald betyder, at det er noget, der skal løses. Selv indlæggelser beslutninger i stigende grad automatiseret – hvilken skole vores børn går til, og hvilke muligheder de har. Vi behøver ikke at bringe den strukturelle uligheder af fortiden ind i fremtiden, vi skaber, men det er kun kommer til at ske, hvis vi er bevidst.
Hvis disse systemer er baseret på gamle data ikke er fare for, at de blot at bevare status quo?
Helt. En undersøgelse på Google fandt at annoncer for executive-niveau, holdninger var mere tilbøjelige til at blive vist til mænd end til kvinder – hvis du forsøger at afgøre, hvem den ideelle kandidat er, og alt hvad du har, er historiske data at gå på, du kommer til at præsentere en ideel kandidat, som er baseret på værdier fra fortiden. Vores fortid bor i vores algoritmer. Vi ved, at vores fortid er ulige, men at skabe et mere lige fremtid, vi er nødt til at se på de egenskaber, som vi vil optimere på. Der er repræsenteret? Der er ikke repræsenteret?
Er der ikke et kontra-argument om, at gennemsigtighed og åbenhed for algoritmer? Den ene, at de ikke er kommercielt følsomme, og to, der engang i det åbne, de kan være manipuleret eller gamed af hackere?
Jeg er helt forstå virksomheder, der ønsker at holde deres proprietære algoritmer, fordi det giver dem en konkurrencemæssig fordel, og afhængigt af, hvilke typer af beslutninger, der bliver lavet og det land, de arbejder i, der kan være beskyttet.
Når du har at gøre med dybt neurale netværk, der er ikke nødvendigvis i første omgang, en anden måde at være ansvarlig er at skabe gennemsigtighed om resultater og om den bias det er blevet testet for. Andre har arbejdet på black box test for automatiske beslutningsprocesser. Du kan holde din hemmelige sauce hemmelighed, men vi har brug for at vide, på baggrund af disse input, om der er nogen bias på tværs af køn, etnicitet i de beslutninger, der træffes.
Tænker om dig selv, der vokser op i Mississippi, Rhodes-Stipendiat, en Fulbright-Stipendiat og nu på MIT – undrer du dig over, at hvis disse indlæggelser beslutninger var blevet truffet af algoritmer, som du måske ikke er endt hvor du er?
Hvis vi tænker sandsynligvis sandsynligheder i tech verden, sorte kvinder er på 1%. Men når jeg ser på de muligheder jeg har haft, jeg er en bestemt type person, der ville gøre godt. Jeg kommer fra en husstand, hvor jeg har to college-uddannede forældre – min bedstefar var en professor på school of pharmacy i Ghana – så når du ser på andre mennesker, der har haft mulighed for at blive Rhodes-Stipendiat, eller lave et Fulbright jeg er meget passer til disse mønstre. Ja, jeg har arbejdet hårdt, og jeg var nødt til at overvinde mange forhindringer, men på samme tid, jeg har været positioneret til at gøre godt ved andre målinger. Så det afhænger af hvad du vælger at fokusere på udkig fra en identitet perspektiv, det er så en helt anden historie.
I introduktion til Skjulte Tal forfatteren Margot Lee Shetterly taler om, hvordan vokser op i nærheden af Nasa Langley Research Center i 1960’erne førte hende til at tro, at det var standard for afro-Amerikanerne til at blive ingeniører, matematikere og videnskabsmænd…
Det bliver din norm. Filmen mindede mig om, hvor vigtigt repræsentation. Vi har et meget snævert syn på, hvad teknologi kan gøre det muligt lige nu, fordi vi har en meget lav deltagelse. Jeg er spændt på at se, hvad mennesker skaber, når det ikke længere kun det domæne af tech elite, hvad der sker, når vi åbner dette op, det er hvad jeg ønsker at være en del af aktivering.