Odiômetro: Tecnologia antivírus pode ajudar a deter discursos de ódio

Redação do Site Inovação Tecnológica - 19/12/2019

Exemplo do programa mostrando uma tela de quarentena, com o odiômetro mostrando a probabilidade de que a mensagem contenha discursos de ódio.
[Imagem: Stefanie Ullman]

Quarentena de mensagens de ódio

A mesma tecnologia usada para detectar vírus e programas maliciosos pode ser usada para detectar mensagens de ódio.

A ideia de Stefanie Ullmann e Marcus Tomalin, da Universidade de Cambridge, no Reino Unido, é usar um programa de inteligência artificial para detectar o discurso de ódio e colocá-lo em quarentena, de onde ele poderá ser ou não liberado pelo usuário ou pelos moderadores das redes sociais.

Isso permitirá lidar com o problema sem apelar para a censura e sem depender da mão-de-obra humana necessária para uma varredura mais criteriosa - onde um grande problema são os critérios usados.

O discurso de ódio é difícil de detectar automaticamente porque as definições do que compõe um discurso de ódio variam dependendo da cultura, das leis locais e até da plataforma sendo usada. Apenas bloquear palavras-chave é ineficaz porque descrições gráficas da violência não precisam conter insultos étnicos óbvios para constituir ameaças de morte racistas, por exemplo.

Os dois pesquisadores estão então utilizando bases de dados de ameaças e insultos violentos reconhecidos para treinar um sistema de aprendizado de máquina que oferece uma avaliação da probabilidade de que uma mensagem contenha algum tipo de discurso violento.

À medida que esses algoritmos são refinados, o discurso de ódio em potencial pode ser identificado e colocado em quarentena, como acontece com os arquivos suspeitos de conterem vírus ou anexos mal-intencionados. Os usuários recebem um alerta de aviso na forma de um "odiômetro" - a pontuação de potencial gravidade do discurso de ódio -, o nome do remetente e uma opção para exibir o conteúdo ou exclui-lo sem abrir a mensagem.

Essa abordagem é semelhante aos filtros de spam e malware, e os pesquisadores acreditam que isso poderia reduzir drasticamente a quantidade de discursos de ódio que as pessoas são levadas a ler.

Usuário é o juiz

Tendo demonstrado o funcionamento da ferramenta, a dupla espera ter um protótipo pronto para uso em larga escala no início de 2020. No estágio atual, a precisão da detecção do discurso de ódio foi de 80%, mas isto deverá aumentar rapidamente com o aumento da base de dados, à medida que o programa começar a ser utilizado.

Um elemento importante da proposta é a preservação da liberdade, uma vez que o próprio usuário se torna o árbitro, salienta Tomalim: "Muitas pessoas não gostam da ideia de uma corporação não eleita ou de um governo decidindo o que podemos e o que não podemos dizer."

"Nosso sistema sinalizará quando você deve tomar cuidado, mas é sempre uma decisão sua. Ele não impede que as pessoas publiquem ou visualizem o que gostam, mas dá o controle necessário para aqueles que estão sendo inundados com [mensagens de] ódio," finalizou.

Mais tópicos