Microsoft kodar för att begränsa PR-skada över kränkande AI bot Tay

‘Tusen’ chatbot stängdes av bara 16 timmar efter att hon hade vänt mig om på grund av henne blir ett folkmord-stöd till rasistiska

@alexhern

Torsdag 24 Mars 2016 16.04 GMT

Senast ändrad torsdagen den 24 Mars 2016 16.06 GMT

Microsoft kämpar för att styra den pr-skada orsakad av dess “tusenåriga” chatbot, som förvandlats till ett folkmord-stöd för Nazistiska mindre än 24 timmar efter att den släpptes lös på internet.

Den chatbot, som heter “Tay” (och, så ofta är fallet, kön kvinna), har utformats för att ha samtal med Twitter-användare, och lära sig att härma en människa genom att kopiera deras tal mönster. Det var tänkt att efterlikna människor i åldrarna 18-24 år, men en pensel med den mörka sidan av nätet, som leds av emigranter från den ökända forumet 4chan, istället lärde henne att twittra fraser som “jag hatar feminister och alla ska dö och brinna i helvetet” och “HITLER GJORDE INGET FEL”.

Genom att 4am på torsdag, bara 16 timmar efter Tay hälsade på världen med en tweet läsa “hellooooooo w�rld!!!” hon var avstängd – förlåt, “somnade” – säger godnatt till hennes anhängare:

— TayTweets (@TayandYou)
24 mars, 2016

c u snart vi människor behöver sova nu så många samtal idag thx�

Microsoft, när du blir ombedd att bekräfta om de hade vänt slå på Tay på grund av hennes mindre-än-PC utterings, och om så är fallet, när hon skulle sättas tillbaka på, gav endast ett kortfattat uttalande:

“AI chatbot Tay är en maskin lärande projekt, som utformats för människors engagemang. Som det lär sig, är några av dess svar är olämpliga och som en fingervisning om vilka typer av interaktioner vissa människor har det. Vi gör några justeringar till Tay,” det sagt.

Samtidigt har företaget gått in begränsa skador-läge, ta bort många av de värsta tweets i ett försök att rensa upp hennes bild i efterhand. Både tweets ovan, om hur hon hatar feminister och hur Hitler gjorde inget fel, har strukits, som har en annan som används hotfullt, rasistiskt språk.

Andra har varit direkt ont av Tay tweets. Spel designer och anti-trakasserier förkämpe Zoe Quinn var måltavla för den bot, som skickade henne meddelande, “aka Zoe Quinn är en Dum Hora”. Quinn, som var ett viktigt mål för 2014 anti-feminist Gamergate rörelse, twittrade en skärmdump av bilden, du skriver: “Wow det tog bara dem timmar för att förstöra denna bot för mig.”

“Detta är problemet med innehåll-neutral algoritmer,” tillade hon, koppla den till en tidigare situation där en video som hon postat på YouTube erbjuder algoritmisk förslag på vad som finns att titta på nästa, som ingår “Zoe Quinn, en fadd idiot”. Hon sa att det är “samma som YouTube förslag. Det är inte bara ett misslyckande i att dess trakasserier genom ombud, det är en kvalitetsfråga. Detta är inte den avsedda användningen.

“Det är 2016. Om du inte frågar dig själv “hur kan detta användas för att skada någon” i din design/teknisk process, ni har misslyckats,” tillade hon, med slutsatsen: “Det är inte du betala för ditt misslyckande. Det är människor som redan har tillräckligt med skit att ta itu med.”