Når Glede Buolamwini funnet ut at en robot gjenkjente ansiktet hennes bedre når hun hadde på seg en hvit maske, visste hun et problem som måtte løses,
Glede Buolamwini gir henne TED talk på bias av algoritmer
Foto: TED
Databehandling
Observatøren
“En hvit maske fungerte bedre’: hvorfor algoritmer er ikke fargeblind
Når Glede Buolamwini funnet ut at en robot gjenkjente ansiktet hennes bedre når hun hadde på seg en hvit maske, visste hun et problem som måtte løses,
Søndag 28. Mai 2017 13.27 BST
Første gang publisert søndag 28. Mai 2017 08.30 BST
Glede Buolamwini er utdannet forsker ved MIT Media Lab og grunnlegger av Algoritmisk Justice League – en organisasjon som har som mål å utfordre skjevheter i beslutningsprosessen programvare. Hun vokste opp i Mississippi, fikk Rhodes scholarship, og hun er også en Fulbright-stipendiat, en Astronaut lærd og en Google-Anita Borg lærd. Tidligere i år vant hun en $50 000 i stipend finansiert av skaperne av filmen Skjulte Tall for hennes arbeid kjemper kodet diskriminering.
Mye av arbeidet bekymringer facial anerkjennelse teknologi. Hvordan klarte du å bli interessert i det området?
Når jeg var en computer science undervisning jeg jobbet på sosiale robotics – roboter bruke datamaskinen visjon om å oppdage mennesker de sosialisere med. Jeg oppdaget at jeg hadde en hard tid å bli oppdaget av roboten i forhold til lysere mørkhudede mennesker. På den tiden tenkte jeg at dette var en one-off ting og at folk ville fikse dette.
Senere var jeg i Hong Kong for en entreprenør arrangement hvor jeg prøvde ut en annen sosial robot og kjørte inn i lignende problemer. Jeg spurte om koden som de brukte, og det viste seg at vi hadde brukt den samme åpen-kilde kode for ansiktsgjenkjenning – dette er hvor jeg begynte å få en følelse av at ubevisste fordommer kan trekkes inn i teknologi som vi skaper. Men igjen jeg antok folk ville fikse dette.
Så jeg var veldig overrasket over å komme til Media Lab, om et halvt tiår senere som en graduate student, og kjør til det samme problemet. Jeg fant iført en hvit maske fungerte bedre enn å bruke min faktiske ansikt.
Dette er da jeg trodde, du har kjent på dette noen gang, kanskje det er på tide å si fra.
Hvordan fungerer dette problemet kommer om?
Innen ansikts gjenkjenning samfunnet du har benchmark datasett som er ment å vise resultater av ulike algoritmer slik at du kan sammenligne dem. Det er en forutsetning om at hvis du gjør det bra på benchmarks så gjør du det bra totalt sett. Men vi har ikke avhørt representativitet av benchmarks, så hvis vi gjør det godt på at referanseindeksen gir vi oss selv en falsk forestilling om fremskritt.
Glede Buolamwini på TED i November 2016.
Det virker utrolig at folk setter sammen disse milepælene ikke skjønner hvordan undiverse de er.
Når vi ser på det nå synes opplagt, men med arbeid i et forskningslaboratorium, jeg forstår at du gjør det “down hall test” – du er å sette dette sammen raskt, du har en tidsfrist, kan jeg se hvorfor disse forskyvninger har kommet om. Å samle inn data, spesielt ulike data, er ikke en enkel ting.
Utenfor laboratoriet, er det ikke vanskelig å fortelle at du er diskriminert av en algoritme?
Absolutt, du ikke engang vet at det er et alternativ. Vi prøver å identifisere bias, for å peke på tilfeller der bias kan forekomme, slik at folk kan vite hva de skal se etter, men også utvikle verktøy hvor skaperne av systemer som kan kontrollere for en skjevhet i sin design.
I stedet for å få et system som fungerer godt for 98% av folk i dette datasettet vi ønsker å vite hvor godt det fungerer for ulike demografiske grupper. La oss si at du bruker systemer som har blitt trent på lysere ansikter, men mennesker som er mest påvirket av bruk av dette systemet har mørkere ansikter, er det riktig å bruke dette systemet på denne spesifikke befolkningen?
Georgetown Lov nylig funnet at en i to voksne i USA har sine møter i facial anerkjennelse nettverk. At nettverket kan søkes ved hjelp av algoritmer som ikke har vært revidert for korrektheten. Jeg ser på dette som en annen rødt flagg for hvorfor det er viktig at vi fremheve fordommer og gi verktøy til å identifisere og redusere den.
I tillegg til ansiktsgjenkjenning hvilke områder som har en algoritme som er problemet?
Fremveksten av automatisering og økt avhengighet av algoritmer for high-stakes beslutninger, for eksempel om noen blir forsikringen ikke, sannsynligheten til standard på et lån eller noen risiko for tilbakefall betyr at dette er noe som må tas opp. Selv innleggelser beslutninger blir stadig mer automatiserte – hvilken skole barna våre går til, og hvilke muligheter de har. Vi trenger ikke å bringe den strukturelle ulikheter av fortiden inn i fremtiden vi skaper, men det er bare kommer til å skje hvis vi er tilsiktet.
Hvis disse systemene er basert på gamle data er ikke fare for at de rett og slett bevare status quo?
Absolutt. En studie på Google fant at annonser for ledende stillinger var mer sannsynlig å bli vist til menn enn kvinner – hvis du prøver å finne ut hvem som er den ideelle kandidaten er og alt du trenger er historiske data å gå på, du kommer til å presentere en ideell kandidat som er basert på verdier fra fortiden. Vår fortid bor i våre algoritmer. Vi vet at vår fortid er ulik, men å skape et mer likeverdig fremtiden må vi se på egenskapene som vi er optimalisering for. Som er representert? Som ikke er representert?
Er det ikke et motargument til gjennomsiktighet og åpenhet for algoritmer? En, at de er kommersielt følsom og to, som en gang i den åpne de kan manipuleres eller gamed av hackere?
Jeg definitivt forstå selskaper ønsker å holde sine proprietære algoritmer fordi det gir dem et konkurransefortrinn, og avhengig av hvilke typer beslutninger som blir gjort og det landet de opererer i, som kan være beskyttet.
Når du arbeider med dype nevrale nettverk som ikke nødvendigvis er gjennomsiktig i første omgang, en annen måte å være ansvarlig er å være åpen om resultater og om bias det har blitt testet for. Andre har jobbet på black box-testing for automatiserte beslutningsprosesser systemer. Du kan holde din hemmelige saus hemmelig, men vi trenger å vite, gitt disse inngangene, om det er noen skjevhet på tvers av kjønn, etnisitet i beslutninger som blir gjort.
Tenker om deg selv – det å vokse opp i Mississippi, Rhodes-Stipendiat, et Fulbright-Stipendiat, og nå på MIT – lurer du på at hvis de innleggelser beslutninger hadde blitt tatt av algoritmer som du kanskje ikke har havnet der du er?
Hvis vi tenker sannsynlig sannsynlighetene i tech-verden, svarte kvinner er på 1%. Men når jeg ser på de mulighetene jeg har hatt, jeg er en bestemt type person som ville gjøre det bra. Jeg kommer fra en husholdning der jeg har to college-utdannede foreldre – min bestefar var en professor i masterstudiet i farmasi i Ghana – så når du ser på andre mennesker som har hatt muligheten til å bli en Rhodes-Stipendiat eller gjøre et Fulbright jeg veldig mye plass de mønstre. Ja, jeg har jobbet hardt, og jeg har hatt til å overvinne mange hindringer, men på samme tid har jeg vært posisjonert for å gjøre det bra ved andre beregninger. Så det kommer an på hva du velger å fokusere på utseende fra en identitet perspektiv er det som en helt annen historie.
I innledningen til Skjulte Tall forfatteren Margot Lee Shetterly snakker om hvordan det å vokse opp i nærheten av Nasa Langley Research Center i 1960-årene førte henne til å tro at det var standard for Afrikanske Amerikanere til å bli ingeniører, matematikere og forskere…
At det blir din norm. Filmen minnet meg om hvor viktig representasjon er. Vi har et meget snevert syn på hva teknologien kan gjøre akkurat nå fordi vi har svært lav deltakelse. Jeg er spent på å se hva folk lager når det ikke lenger bare domenet av tech elite, hva som skjer når vi åpner dette opp, det er det jeg ønsker å være en del av aktivering.
Overskriften på denne artikkelen ble endret 28. Mai 2017 for å bedre gjenspeile innholdet i intervjuet.