Microsoft koder for å begrense PR skade over fornærmende AI bot Tay

‘Tusenårsrike’ chatbot ble stengt ned bare 16 timer etter at hun ble slått på på grunn av henne å bli en folkemord-rasistiske støtte

@alexhern

Torsdag 24. Mars 2016 16.04 GMT

Sist endret på torsdag 24. Mars 2016 16.06 GMT

Microsoft kjemper for å kontrollere pr skade gjort av dens “tusenårsrike” chatbot, som ble til en folkemord-støtte Nazi mindre enn 24 timer etter at den ble sluppet løs på internett.

Den chatbot, som heter “Tay” (og, som tilfellet ofte er, gendered kvinne), var designet for å ha samtaler med Twitter-brukere, og lære hvordan å etterligne et menneske ved å kopiere deres tale mønstre. Det var ment å etterligne personer i alderen 18-24 men en børste med den mørke siden av nettet, ledet av utvandrere fra den beryktede 4chan forum, i stedet lærte henne å tvitre setninger som “jeg fucking hate feminister og de skal alle dø og brenne i helvete” og “HITLER GJORDE NOE GALT”.

Ved 4am på torsdag, bare 16 timer etter Tay hadde møtt verden med en tweet å lese “hellooooooo w�rld!!!” hun ble slått av – beklager, “gikk for å sove” – sa godnatt til sine tilhengere:

— TayTweets (@TayandYou)
Mars 24, 2016

c u snart mennesker trenger søvn nå så mange samtaler i dag thx�

Microsoft, når du blir bedt om å bekrefte om de hadde snudd bryteren på Tay på grunn av hennes mindre-enn-PC utterings, og hvis så, når hun ville bli slått tilbake, ga bare en korte uttalelse:

“AI chatbot Tay er et machine learning prosjektet, designet for menneskelig engasjement. Som den lærer, noen av sine svar er upassende og en indikasjon på hvilke typer vekselsvirkningene noen mennesker er å ha med det. Vi gjør noen justeringer til Tay”, er det sagt.

I mellomtiden har selskapet gått inn skadebegrensning-modus, for å fjerne mange av de verste tweets i et forsøk på å rydde opp i hennes bilde i ettertid. Både tweets ovenfor, om hvordan hun hater feminister og hvordan Hitler gjorde noe galt, har blitt slettet, som har en annen som brukes truende, rasistisk språk.

Andre har blitt direkte rammet av Tay er tweets. Spill designer og anti-trakassering kampanjeleder Zoe Quinn ble angrepet av bot, som sendte henne melding, “aka Zoe Quinn er en Dum Hore”. Quinn, som var et viktig mål for 2014 er anti-feministisk Gamergate bevegelse, twitret en skjermdump av bildet, og skriver: “Wow det bare tok dem timer for å ødelegge denne bot for meg.”

“Dette er problemet med innhold-nøytral algoritmer,” la hun til, og knytter det til en tidligere situasjon hvor en video hun lagt ut på YouTube tilbyr algoritmisk forslag til hva du kan se på neste, som inkluderte “Zoe Quinn, en vapid idiot”. Hun sa at det er “samme som YouTube’ s forslag. Det er ikke bare en feil i sin trakassering av proxy, det er en kvalitet problem. Dette er ikke hadde til hensikt å bruke.

“Det er 2016. Hvis du ikke spør deg selv ” hvordan kan dette brukes til å skade noen i din design/engineering prosessen, du har sviktet,” la hun til, og konkluderte: “Det er ikke du som betaler for din feil. Det er folk som allerede har nok dritt å håndtere.”