Claude AI pode ter sido usado para desenvolvimento de armas biológicas e sistemas de mísseis

A Anthropic, empresa americana responsável pelo Claude AI, afirma que identificou e impediu uma série de usos indevidos de sua ferramenta de inteligência artificial em possíveis atividades maliciosas, que incluem desde ciberataques até o desenvolvimento de armas biológicas.

Em relatório divulgado na quinta-feira (10), a empresa reuniu episódios dos últimos oito meses envolvendo abusos de seu modelo de IA. Com destaque, o Claude teria sido usado para o desenvolvimento de armamentos convencionais, como armas de fogo, mísseis, drones e bombas, no que seria, segundo o documento, uma categoria inédita de uso malicioso da ferramenta.

A lista de agentes maliciosos supostamente inclui instituições estatais de propaganda, grupos patrocinados por Estados, criminosos com motivações financeiras, fornecedores de spyware e indivíduos politicamente motivados. Ainda de acordo com o documento, grande parte dos abusos teria partido de regiões banidas pela plataforma, como China, Rússia, Coréia do Norte e Irã.

“Os casos que apresentamos aqui não são usos indevidos típicos, mas sim exemplos das atividades maliciosas mais notáveis e inovadoras que identificamos até o momento. Estamos publicando este trabalho porque acreditamos ter a responsabilidade de divulgar o uso malicioso de nossos serviços. À medida que os modelos se tornam cada vez mais capazes, seus riscos aumentarão, a menos que os desenvolvedores de IA e os defensores da sociedade ajam para torná-los mais seguros”, escreve a empresa.

Mísseis e armas biológicas

Uma das intervenções citadas ocorreu no norte do Iêmen. A Anthropic afirma que o Claude foi usado “no lugar de engenheiros de software humanos” para desenvolver sistemas que guiam mísseis e de controle de vôo. Para isso, o desenvolvimento foi separado em três etapas, com instâncias (conversas) separadas do Claude a cargo de cada uma delas.

Essa separação de tarefas é uma das estratégias usadas para burlar as restrições instaladas na ferramenta. Nesse caso, algumas das instruções acabaram sendo bloqueadas, mas outras passaram e foram obedecidas pela IA.

Se alguém chegar numa IA e pedir “me ajude com um ataque cibernético”, as barreiras de segurança do algoritmo vão acender um alerta. Agora, se em cada conversa com o Claude (sem conexões com as demais), os agentes maliciosos podem ser capazes de pedir fragmentos do que eles desejam (“analise a lista X, crie um código para Y”). E aí, juntar as peças depois, sem que a IA entenda o contexto geral da coisa.

O relatório não é explícito quanto aos envolvidos nesse caso, mas, pelo contexto, é possível supor que o episódio teria partido dos Houthis, a milícia patrocinada pelo Irã que domina a região. Segundo a empresa, não há evidências de que o grupo foi capaz de criar um armamento que realmente funcionasse, mas, ao que tudo indica, ao menos um teste mal sucedido aconteceu.

Além disso, o relatório detalha outras três ocorrências relacionadas ao desenvolvimento de softwares para armamentos convencionais acontecendo na China, e mais duas na Rússia.

A Anthropic também suspeita que seu modelo tenha sido utilizado para auxiliar o desenvolvimento de armas biológicas. Um dos exemplos descritos aconteceu em maio, quando um usuário pediu para que a IA escrevesse um pedido de financiamento para uma pesquisa sobre o vírus do Chikungunya – uma das doenças transmitidas pela picada do mosquito Aedes Aegypti. 

O experimento consistiria na criação de uma versão geneticamente modificada do vírus que se tornasse progressivamente mais transmissível na medida em que infectasse, repetidas vezes, animais vivos. Como o Chikungunya é uma doença que circula naturalmente, a versão modificada do vírus usada como arma biológica seria dificilmente distinguível de um surto comum.

Ainda assim, a Anthropic afirma que não pode determinar se esse era, de fato, o objetivo daquele usuário. Afinal, modificações genéticas do gênero são comuns em pesquisas visando, por exemplo, o desenvolvimento de vacinas. A empresa afirma que foi capaz de identificar, porém, que a pesquisa pertencia a um instituto de pesquisa militar, o que intensificou a preocupação. O usuário foi banido. 

Ciberataques e espionagem

De acordo com o relatório, o Claude também teria sido usado por hackers para orquestrar e executar ciberataques. Um dos grupos de hackers citados teria conduzido uma série de ataques digitais contra o governo, o exército e setores diplomáticos da Ucrânia. Os ataques consistiam na invasão de redes de wi-fi em hotéis, operações de roubo de contas no Whatsapp e phishing – um tipo de golpe digital em que criminosos se passam por instituições confiáveis para conseguir informações sensíveis.

O principal suspeito no caso é o Midnight Blizzard, um grupo de espionagem russo.

Do lado da espionagem industrial, a Anthropic atribuiu uma série de ataques a sete empresas de tecnologia da China – incluindo Xiaomi, Deepseek, Moonshot e Alibaba.

A principal acusação tem a ver com supostas tentativas ilícitas de “destilação”, uma prática na qual um modelo de linguagem maior é usado para treinar um modelo menor. No caso da Alibaba, gigante do e-commerce chinês, a Anthropic afirma ter flagrado 151 milhões de interações entre seu modelo e a empresa entre maio e julho desse ano, feitas através de mais de milhares de contas descritas como fraudulentas, com o objetivo de treinar os modelos da IA Qwen.

Quanto ao Deepseek e o chatbot Kimi, da Moonshot, o relatório alega que essas ferramentas teriam, em segredo, redirecionado as conversas de seus usuários para o Claude, incluindo informações potencialmente sensíveis. (Ou seja, fizeram um gato).

Na política norte-americana, as novas revelações podem representar um aumento de tensão entre a Anthropic e o governo dos EUA. Ainda nesse ano, o Departamento de Defesa do país classificou a empresa (que é de lá) como um “risco para a cadeia de suprimentos”.

Acontece que a Anthropic se recusou a remover as restrições de uso de suas tecnologias para armamentos automatizados e vigilância em massa. O caso resultou em uma disputa legal com o governo do país.