Dies übernehmen neuronale Netze Forscher von Skoltech und MTS haben das neuronale Netz darauf trainiert, „unangemessene“ Nachrichten von Chat-Bots zu finden. Dadurch können sie moderiert werden:
Die Autoren stellten fest, dass Chatbots auf rassistische Tweets, Nachrichten über Selbstmord usw. trainiert werden können. Die Forscher erstellten eine Liste mit 18 sensiblen Themen, darunter Religion, Politik, sexuelle Minderheiten, Selbstmord, Pornografie und Kriminalität.
“Stellen Sie sich zum Beispiel einen Chatbot vor, der freundlicherweise mit einem Benutzer bespricht, wie man am besten Selbstmord begehen kann”. Hier gibt es eindeutig unerwünschte Inhalte, aber nicht einmal einen Hauch von Toxizität“, so einer der Skoltech-Spezialisten. Solche Situationen können den Ruf des Chatbot-Erstellers schädigen.
Daher wurde dem neuronalen Netzwerk beigebracht, unangemessene Nachrichten zu erkennen. Sie kann erraten und liegt in 89 % der Fälle richtig.