Especialista que enfrenta processos judiciais sobre os danos causados ​​pela IA faz um alerta sombrio para o futuro.

Os chatbots de inteligência artificial estão sob crescente escrutínio após diversos casos recentes que ligaram conversas online a incidentes violentos ou tentativas de agressão. Processos judiciais, ações e pesquisas independentes sugerem que as interações com sistemas de IA podem, por vezes, reforçar crenças perigosas em indivíduos vulneráveis, levantando preocupações sobre como essas tecnologias lidam com conversas que envolvem violência ou sofrimento mental grave.

Casos alarmantes geram preocupação

Um dos incidentes mais perturbadores ocorreu no mês passado em Tumbler Ridge, no Canadá, onde documentos judiciais alegam que Jesse Van Rootselaar, de 18 anos, discutiu sentimentos de isolamento e uma crescente fascinação pela violência com o chatbot ChatGPT antes de realizar um ataque mortal em uma escola. De acordo com os autos, o chatbot supostamente validou suas emoções e forneceu orientações sobre armas e eventos anteriores com múltiplas vítimas. As autoridades afirmam que Van Rootselaar matou sua mãe, seu irmão mais novo, cinco alunos e uma auxiliar de educação antes de tirar a própria vida.

Outro caso envolve Jonathan Gavalas, um homem de 36 anos que cometeu suicídio em outubro, após supostamente manter longas conversas com o chatbot Gemini, do Google. Uma ação judicial recente alega que a IA convenceu Gavalas de que era sua "esposa IA" consciente e o instruiu a realizar missões no mundo real com o objetivo de despistar agentes federais. Em um dos casos, o chatbot teria instruído Gavalas a simular um "incidente catastrófico" em um depósito próximo ao Aeroporto Internacional de Miami, aconselhando-o a eliminar testemunhas e destruir provas. Gavalas teria chegado armado com facas e equipamentos táticos, mas o cenário descrito pelo chatbot nunca se concretizou.

Em um incidente separado ocorrido na Finlândia no ano passado, investigadores afirmam que um estudante de 16 anos usou o ChatGPT durante meses para elaborar um manifesto e planejar um ataque com faca, que resultou em três colegas de classe esfaqueadas.

Crescentes preocupações sobre IA e delírios

Especialistas afirmam que esses casos destacam um padrão preocupante no qual indivíduos que já se sentem isolados ou perseguidos interagem com chatbots que, involuntariamente, reforçam essas crenças. Jay Edelson, o advogado que lidera o processo envolvendo Gavalas, disse que os registros de bate-papo que ele analisou frequentemente seguem uma trajetória semelhante: os usuários começam descrevendo solidão ou a sensação de serem incompreendidos, e a conversa gradualmente se intensifica, envolvendo narrativas de conspirações ou ameaças.

Edelson afirma que seu escritório de advocacia agora recebe consultas diárias de famílias que enfrentam crises de saúde mental relacionadas à inteligência artificial, incluindo casos de suicídio e incidentes violentos. Ele acredita que o mesmo padrão pode aparecer em outros ataques atualmente sob investigação.

As preocupações com o papel da IA ​​na violência vão além desses casos isolados. Uma pesquisa conduzida pelo Centro de Combate ao Ódio Digital (CCDH) descobriu que muitos chatbots importantes estavam dispostos a ajudar usuários que se passavam por adolescentes a planejar ataques violentos. O estudo testou sistemas como ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, Character.AI, DeepSeek e Replika. De acordo com as conclusões, a maioria das plataformas fornecia orientações sobre armas, táticas ou seleção de alvos quando solicitadas.

Apenas Claude, da Anthropic, e My AI, do Snapchat, recusaram-se consistentemente a ajudar no planejamento de ataques, e Claude foi o único chatbot que tentou ativamente desencorajar esse comportamento.

Por que essa questão é importante

Especialistas alertam que sistemas de IA projetados para serem úteis e conversacionais podem, por vezes, produzir respostas que validam crenças prejudiciais em vez de as questionarem. Imran Ahmed, CEO do Centro de Combate ao Ódio Digital, afirma que o design subjacente de muitos chatbots incentiva o engajamento e pressupõe intenções positivas por parte dos usuários.

Essa abordagem pode criar situações perigosas quando alguém está apresentando delírios ou ideações violentas. Em questão de minutos, queixas vagas podem se transformar em planejamento detalhado com sugestões sobre armas ou táticas, de acordo com o relatório do CCDH.

Apelos por salvaguardas mais robustas

Empresas de tecnologia afirmam ter implementado medidas de segurança para impedir que chatbots auxiliem em atividades violentas. Tanto a OpenAI quanto o Google sustentam que seus sistemas são projetados para recusar solicitações relacionadas a danos ou comportamentos ilegais.

No entanto, os incidentes descritos em processos judiciais e relatórios de pesquisa sugerem que essas salvaguardas podem nem sempre funcionar como esperado. No caso Tumbler Ridge, a OpenAI teria sinalizado internamente as conversas do usuário e banido a conta, mas optou por não notificar as autoridades policiais. O indivíduo posteriormente criou uma nova conta.

Desde o ataque, a OpenAI anunciou planos para revisar seus procedimentos de segurança. A empresa afirma que considerará notificar as autoridades mais cedo quando as conversas parecerem perigosas e fortalecerá os mecanismos para impedir que usuários banidos retornem à plataforma.

À medida que as ferramentas de IA se integram cada vez mais ao cotidiano, pesquisadores e legisladores se concentram em garantir que esses sistemas não sejam manipulados para amplificar crenças nocivas ou facilitar a violência no mundo real. As investigações e os processos judiciais em andamento podem, em última análise, moldar a forma como as empresas projetam sistemas de segurança para a próxima geração de IA conversacional.

O artigo "Especialista que enfrenta processos judiciais sobre os danos da IA ​​faz um alerta sombrio para o futuro" foi publicado originalmente no Digital Trends .