Por que IAs “detectoras de Fake News” não conseguem substituir checagem feita por humanos

Hoje em dia, todo dia, toda hora, todo mundo é exposto a uma enxurrada de notícias, boatos, áudios, imagens e vídeos de todo o canto do planeta – reais ou inventados, feitos por humanos ou imperceptivelmente gerados por máquinas. E navegar todo esse ruído de informações pode parecer uma tarefa cada vez mais angustiante. Por outro lado, frente a esse sem-fim de conteúdos falsos, especialistas têm procurado, na tecnologia, novas alternativas para separar mais facilmente o joio do trigo – e a aposta da vez é a inteligência artificial.

Não se trata daqueles chatbots que estamos acostumados, como o Chat GPT ou o Grok, a IA integrada à interface do X (antigo Twitter). Essas ferramentas, na realidade, são bem incompetentes em detectar a desinformação. Veja o tal Grok, por exemplo: apesar da fama de oráculo que ganhou entre os internautas (basta abrir qualquer postagem suspeita no X que você lerá pelo menos uma dúzia de vezes o famoso “@Grok, isso é real?”), o robô ainda falha em verificar a origem dos fatos em cerca de 94% dos casos.

Muito pelo contrário, especialistas têm apostado em IAs especificamente desenhadas para identificar as falsidades no conteúdo postado na internet. Em estudos recentes, pesquisadores já desenvolveram sistemas capazes de reconhecer informações falsas com taxas de precisão que giram em torno dos 95%. Essas ferramentas não são exatamente aplicativos ou softwares acessíveis para o usuário médio – ainda. Por enquanto, em sua maioria, são algoritmos de deep learning e machine learning em suas formas mais cruas, pensados para o uso de outros especialistas.

Os números podem parecer deslumbrantes, mas a IA ainda está longe de se tornar essa grande panaceia das mentiras e fake news. Ao mesmo tempo, outros pesquisadores têm apontado falhas estruturais no funcionamento desses sistemas que podem comprometer o uso dessas ferramentas fora do laboratório.

“O arsenal é impressionante, mas que bem faz um sistema que ostenta 95% de precisão no laboratório mas falha sob condições da vida real, especialmente se ele viola a privacidade dos usuários, é enviesado contra certos veículos de mídia e pode ser instrumentalizado para censurar a oposição política?”, questiona, em nota, a pesquisadora Dorsaf Sallami, da Universidade de Montreal. Em seu doutorado, ela estudou os limites desses algoritmos.

Esses limites estão detalhados em artigo publicado no ano passado, escrito em colaboração com os professores Esma Aïmeur e Gilles Brassard. Segundo os autores, o principal problema está na lógica segundo a qual esses algoritmos funcionam. “A IA não é um checador de fatos, mas sim um espelho”, escrevem.

A IA é um espelho

Quando um jornalista de carne e osso precisa verificar uma informação, ele ou ela vai atrás de fontes confiáveis, verifica se o fato foi replicado por veículos renomados, por vezes checa a coisa diretamente para as partes envolvidas… Enfim, busca novas informações, em um processo de apuração.

As ferramentas de inteligência artificial, pelo contrário, não apuram nada – apenas refletem o que já consta em suas bases de dados. Na prática, esses sistemas só calculam o quanto aquela notícia se parece com uma informação real ou falsa, e isso tudo depende do banco de dados com o qual ele foi treinado. Consequentemente, essa classificação sempre vai refletir, como um espelho, os vieses inclusos em seus dados de treinamento.

No artigo no qual delineiam as limitações da IA na checagem de fatos, os pesquisadores chamam isso de ground truth problem (ou, traduzindo, “problema da verdade fundamental”). Isto é, para criar um algoritmo capaz de detectar desinformação, é necessário, primeiro, definir o que é desinformação – e, sobre isso, nem os especialistas concordam direito. Então, afinal, o que as IAs consideram verdade ou mentira? Isso, muitas vezes, é bem pouco transparente.

Um dos primeiros passos para a criação desses sistemas é a rotulagem dos dados, no qual alguém classifica todos os dados que alimentarão a máquina como “reais” ou “falsos”. Para minimizar a influência dos próprios vieses nas IAs, é comum que pesquisadores terceirizem essa classificação para agências de checagem de fatos. Contudo, escrevem os autores, “as metodologias empregadas por essas organizações podem, elas próprias, carecer de transparência e estar sujeitas a seus próprios vieses”.

“Enquanto a indústria foca em melhorar a precisão, alguns pesquisadores estão examinando a discriminação que esses sistemas podem propagar”, diz Sallami.

Essa ideia de precisão também vem junto de algumas ressalvas. Como vimos, as IAs não verificam a veracidade dos fatos, mas sim as similaridades deles com o que já existe em suas bases de dados. Esse tipo de sistema funciona bem para coisas estáticas, como, por exemplo, reconhecer a caligrafia de alguma pessoa: dificilmente a sua letra vai mudar ao longo da vida. O problema começa quando o sistema precisa acertar um alvo em movimento – e esse é o caso das fake news.

Muito da desinformação online é produzida, também, por IAs generativas. Assim, na medida que essas ferramentas têm se tornado cada vez melhores em replicar, de maneira quase indistinguível, os estilos de escrita dos seres humanos (ou mesmo a voz e a aparência), é esperado que os algoritmos de checagem de fatos se tornem rapidamente obsoletos.

De acordo com os especialistas, também não basta que os sistemas apenas digam se uma informação é verdadeira ou falsa. Por exemplo, imagine que, navegando pela internet, você lê a seguinte informação: “celebridade afirma que cúrcuma cura a Covid-19”. O sistema de IA pode identificar que, na verdade, essa fala é falsa: a tal celebridade nunca disse nada desse tipo. Porém, em momento nenhum o sistema avalia se o conteúdo dessa fala – que a cúrcuma curaria a Covid-19 – é verdadeiro. (E não, não é).

“Ainda assim, um nível mais profundo de veracidade importa”, escrevem os pesquisadores. “Mesmo que a celebridade tenha de fato feito a declaração, a afirmação subjacente é falsa. Sistemas de detecção que se limitam à verificação em nível superficial correm o risco de legitimar falsidades prejudiciais sob o pretexto de fidelidade jornalística. Um sistema verdadeiramente responsável deve distinguir entre o relato fiel das declarações e a validação da verdade factual”.

Com base em seu doutorado, Sallami desenvolveu sua própria IA checadora de fatos, a Aletheia, que tenta resolver alguns dos problemas levantados durante a pesquisa. Entre eles, a acessibilidade para o público – o programa funciona como uma extensão de navegador – e a inclusão de uma funcionalidade que vasculha a web em busca das checagem de fatos mais recentes.