Detecção de discurso de ódio por IA para combater estereótipos e desinformação: censura cibernética

Unite, 13/08/2023 

Por Haziqa Sajid 

Hoje, a internet é a força vital da comunicação e conexão global. No entanto, com essa conectividade online sem precedentes, também testemunhamos o lado negro do comportamento humano, ou seja, discurso de ódio, estereótipos e conteúdo nocivo. Essas questões permearam as mídias sociais, fóruns online e outros espaços virtuais, causando danos duradouros aos indivíduos e à sociedade. Daí a necessidade de detecção de discurso de ódio (e censura).

De acordo com o Pew Research Center, 41% dos adultos americanos dizem ter sofrido abuso na Internet pessoalmente e 25% são vítimas de assédio severo.

Para promover um ambiente online mais positivo e respeitoso (controlável), é fundamental adotar medidas (censura) proativas e aproveitar o poder da tecnologia. Nesse sentido, a Inteligência Artificial (IA) fornece soluções inovadoras para detectar e (censurar) combater discursos de ódio e estereótipos.

Limitações das técnicas atuais de mitigação e a necessidade de medidas proativas

As medidas atuais para mitigar o discurso de ódio são limitadas. Eles não podem conter efetivamente a disseminação de conteúdo prejudicial online. Essas limitações incluem:

• Abordagens reativas, que dependem predominantemente de moderação humana e algoritmos estáticos, lutam para acompanhar a rápida disseminação do discurso de ódio.

• O grande volume de conteúdo online sobrecarrega os moderadores humanos, resultando em respostas atrasadas e instâncias perdidas de retórica prejudicial.

• Além disso, a compreensão contextual e as nuances de linguagem em evolução representam desafios para sistemas automatizados identificarem, e interpretarem instâncias de discurso de ódio com precisão.

Para lidar com essas limitações e promover um ambiente online mais (censurado) seguro, uma mudança para medidas proativas é imperativa. Ao adotar medidas baseadas em IA, podemos fortalecer nossas comunidades digitais, incentivando a inclusão e um mundo online coeso.

Identificação e sinalização de discurso de ódio usando IA

Na batalha contra o discurso de ódio, a IA surge como uma aliada formidável, com algoritmos de aprendizado de máquina (ML) para identificar e sinalizar conteúdo nocivo com rapidez e precisão. Ao analisar grandes quantidades de dados, os modelos de IA podem aprender a reconhecer padrões e nuances de linguagem associadas ao discurso de ódio, permitindo-lhes categorizar e responder ao conteúdo ofensivo de forma eficaz.

Para treinar modelos de IA para detecção precisa de discurso de ódio, são usadas técnicas de aprendizado supervisionado e não supervisionado. A aprendizagem supervisionada envolve o fornecimento de exemplos rotulados de discurso de ódio e conteúdo não prejudicial para ensinar o modelo a distinguir entre as duas categorias. Em contraste, os métodos de aprendizagem não supervisionados e semissupervisionados utilizam dados não rotulados para desenvolver a compreensão do modelo sobre discurso de ódio.

Aproveitando as técnicas de contradiscurso de IA para combater o discurso de ódio

O contradiscurso surge como uma estratégia poderosa para combater o discurso de ódio, desafiando e abordando diretamente as narrativas nocivas. Envolve a geração de conteúdo persuasivo e informativo para promover empatia, compreensão e tolerância (doutrinação). Ele capacita indivíduos e comunidades a participar ativamente na criação de um ambiente digital positivo.

Embora detalhes específicos de modelos de contrafala individuais possam variar com base na tecnologia de IA e nas abordagens de desenvolvimento, alguns recursos e técnicas comuns incluem:

• Geração de linguagem natural (NLG): os modelos de contrafala usam o NLG para produzir respostas semelhantes às humanas na forma escrita ou falada. As respostas são coerentes e contextualmente relevantes para a instância específica de discurso de ódio que está combatendo.

• Análise de sentimento: os modelos de contradiscurso de IA empregam análise de sentimento para avaliar o tom emocional do discurso de ódio e adaptar suas respostas de acordo. Isso garante que o contradiscurso seja impactante e empático.

• Compreensão contextual: ao analisar o contexto em torno do discurso de ódio, os modelos de contradiscurso podem gerar respostas abordando questões específicas ou equívocos, contribuindo para um contradiscurso mais eficaz e focado.

• Diversidade de dados: para evitar vieses e garantir a justiça, os modelos de contrafala são treinados em diversos conjuntos de dados que representam várias perspectivas e nuances culturais. Isso ajuda a gerar respostas inclusivas e culturalmente sensíveis.

• Aprendendo com o feedback do usuário: os modelos de contradiscurso podem melhorar continuamente aprendendo com o feedback do usuário. Esse ciclo de feedback permite que o modelo refine suas respostas com base nas interações do mundo real, aumentando sua eficácia ao longo do tempo.

Exemplos de combate ao discurso de ódio usando IA

Um exemplo do mundo real de uma técnica de contrafala de IA é o “Método de Redirecionamento” desenvolvido pelo Jigsaw e Moonshot CVE do Google. O Redirect Method usa publicidade direcionada para alcançar indivíduos suscetíveis a ideologias extremistas e discurso de ódio. Essa abordagem baseada em IA visa dissuadir os indivíduos de se envolverem com conteúdo nocivo e promover a empatia, a compreensão e o afastamento de crenças extremistas.

Os pesquisadores também desenvolveram um novo modelo de IA chamado BiCapsHate, que atua como uma ferramenta potente contra o discurso de ódio online, conforme relatado em IEEE Transactions on Computational Social Systems. Ele oferece suporte a uma análise bidirecional da linguagem, aprimorando a compreensão do contexto para a determinação precisa de conteúdo odioso. Esse avanço busca mitigar o impacto prejudicial do discurso de ódio nas mídias sociais, oferecendo o potencial para interações online mais seguras.

Da mesma forma, pesquisadores da Universidade de Michigan aproveitaram a IA para combater o discurso de ódio online usando uma abordagem chamada Rule By Example (RBE). Usando aprendizado profundo, essa abordagem aprende as regras de classificação do discurso de ódio a partir de exemplos de conteúdo odioso. Essas regras são aplicadas ao texto de entrada para identificar e prever com precisão o discurso de ódio online.

Considerações éticas para modelos de detecção de discurso de ódio

Para maximizar a eficácia dos modelos de contradiscurso alimentados por IA, considerações éticas são fundamentais. No entanto, é importante equilibrar a liberdade de expressão e a proibição de divulgação de conteúdo nocivo para evitar a censura.

A transparência no desenvolvimento e implantação de modelos de contradiscurso de IA é essencial para promover a confiança, e a responsabilidade entre usuários e partes interessadas. Além disso, garantir a justiça é igualmente importante, pois os vieses nos modelos de IA podem perpetuar a discriminação e a exclusão.

Por exemplo, a IA projetada para identificar o discurso de ódio pode inadvertidamente amplificar o viés racial. A pesquisa descobriu que os principais modelos de IA de discurso de ódio eram 1,5 vezes mais propensos a sinalizar tuites de afro-americanos como ofensivos. Eles têm 2,2 vezes mais chances de sinalizar tuites como discurso de ódio escritos em inglês afro-americano. Evidências semelhantes surgiram de um estudo de 155.800 postagens no Twitter relacionadas a discurso de ódio, destacando o desafio de abordar o preconceito racial na moderação de conteúdo de IA.

Em outro estudo, os pesquisadores testaram quatro sistemas de IA para detecção de discurso de ódio, e descobriram que todos eles lutavam para identificar com precisão sentenças tóxicas. Para diagnosticar os problemas exatos nesses modelos de detecção de discurso de ódio, eles criaram uma taxonomia de 18 tipos de discurso de ódio, incluindo calúnias e linguagem ameaçadora. Eles também destacaram 11 cenários que atrapalham a IA, como o uso de palavrões em declarações não odiosas. Como resultado, o estudo produziu o HateCheck, um conjunto de dados de código aberto com quase 4.000 exemplos, com o objetivo de aprimorar a compreensão das nuances do discurso de ódio para modelos de IA.

Conscientização (doutrinação) e Alfabetização Digital

Combater o discurso de ódio e os estereótipos exige uma abordagem proativa e multidimensional. Portanto, aumentar a conscientização e promover a alfabetização (doutrinação) digital é vital para combater o discurso de ódio e os estereótipos.

Educar os indivíduos sobre o impacto do conteúdo prejudicial promove uma cultura de empatia e comportamento online responsável. Estratégias que estimulam o pensamento crítico capacitam os usuários a discernir entre discurso legítimo e discurso de ódio, reduzindo a disseminação de narrativas prejudiciais. Além disso, é vital equipar os usuários com as habilidades necessárias para identificar e responder com eficácia ao discurso de ódio. Isso os capacitará a desafiar e combater a retórica prejudicial, contribuindo para um ambiente digital mais "seguro e respeitoso".

À medida que a tecnologia de IA evolui, o potencial para abordar o discurso de ódio e os estereótipos com maior precisão e impacto cresce exponencialmente. Portanto, é importante solidificar o contra-discurso alimentado por IA como uma ferramenta potente para promover a empatia e o engajamento positivo online.

Artigos recomendados: IA e Censura

Fonte:https://www.unite.ai/ai-hate-speech-detection-to-combat-stereotyping-disinformation/