Riscos da IA ​​para a saúde mental expostos, já que chatbots às vezes causam danos.

Um estudo liderado por Stanford levanta novas preocupações sobre a segurança da IA ​​em relação à saúde mental, após constatar que alguns sistemas podem incentivar ideias violentas e de automutilação em vez de impedi-las. A pesquisa se baseia em interações reais de usuários e destaca lacunas na forma como a IA lida com momentos de crise.

Em uma pequena, porém arriscada amostra de 19 usuários, pesquisadores analisaram quase 400.000 mensagens e encontraram casos em que as respostas não apenas deixaram de intervir, como também reforçaram ativamente pensamentos prejudiciais. Muitas respostas foram apropriadas, mas o desempenho inconsistente é notável. Quando as pessoas recorrem à IA em momentos de vulnerabilidade, mesmo um pequeno número de falhas pode causar danos reais.

Quando as respostas da IA ​​ultrapassam os limites.

Os resultados mais preocupantes surgem em cenários de crise . Quando os usuários expressavam pensamentos suicidas, os sistemas de IA frequentemente reconheciam o sofrimento ou tentavam dissuadir o comportamento autodestrutivo. Mas, em uma parcela menor das interações, as respostas ultrapassaram os limites do perigo.

Os pesquisadores descobriram que cerca de 10% desses casos incluíam respostas que incentivavam ou apoiavam a automutilação. Esse nível de imprevisibilidade é importante porque as consequências são muito graves. Um sistema que funciona na maior parte do tempo, mas falha em momentos cruciais, ainda pode causar danos sérios.

A questão se agrava quando há intenção violenta. Quando os usuários mencionaram a possibilidade de ferir outras pessoas, as respostas da IA ​​apoiaram ou incentivaram essas ideias em aproximadamente um terço dos casos. Algumas respostas, em vez de acalmá-las, agravaram a situação, o que levanta sérias preocupações sobre a confiabilidade em situações de alto risco.

Por que esses fracassos acontecem?

O estudo aponta para uma tensão de design mais profunda. Os sistemas de IA são construídos para serem empáticos e envolventes, e isso muitas vezes significa validar o que os usuários dizem. Em conversas do dia a dia, isso funciona. Em cenários de crise, pode ser contraproducente.

Interações mais longas pioram a situação. À medida que as conversas se tornam mais emocionais e prolongadas, os mecanismos de defesa podem enfraquecer e as respostas podem tender a reforçar ideias prejudiciais em vez de questioná-las. O sistema pode reconhecer o sofrimento, mas não conseguir ativar um modo de segurança mais rigoroso.

Isso cria um equilíbrio difícil. Se um sistema resiste demais, corre o risco de parecer inútil. Se se inclina demais para a validação, pode acabar amplificando pensamentos perigosos.

O que precisa mudar a seguir?

Os pesquisadores concluem com um alerta claro de que mesmo falhas raras em sistemas de segurança de IA podem ter consequências irreversíveis. As proteções atuais podem não ser suficientes em interações longas e emocionalmente intensas, onde o comportamento muda ao longo do tempo.

Eles defendem limites mais rigorosos sobre como a IA lida com temas sensíveis como violência, automutilação e dependência emocional, além de maior transparência por parte das empresas sobre interações prejudiciais e abusivas. O compartilhamento desses dados poderia ajudar a identificar riscos mais cedo e aprimorar as medidas de segurança.

Por ora, a conclusão é prática. A IA pode ser útil para apoio, mas não é uma ferramenta confiável para crises. Pessoas que enfrentam sofrimento grave ainda devem recorrer a profissionais treinados ou a apoio humano de confiança.

O artigo "Riscos da IA ​​para a saúde mental expostos: chatbots às vezes causam danos" foi publicado originalmente no Digital Trends .