Conselho do ChatGPT ‘influenciou’ homem à psicose, afirma revista médica

No início deste ano, uma história inspiradora detalhou como uma mãe recorreu ao ChatGPT e descobriu que seu filho sofria de um distúrbio neurológico raro, após mais de uma dúzia de médicos não terem conseguido identificar o problema real. Graças ao chatbot de IA, a família conseguiu acessar o tratamento necessário e salvar uma vida.

Nem todos os casos de avaliação médica por ChatGPT levam a um resultado milagroso. Um relatório agora alega que o ChatGPT, ao fornecer aconselhamento médico enganoso, acabou levando uma pessoa a uma condição rara chamada Intoxicação por Brometo, ou Bromismo, que leva a vários problemas neuropsiquiátricos, como psicose e alucinações.

Confie no ChatGPT para lhe dar uma doença de um século atrás.

Um relatório publicado no Annals of Internal Medicine descreve o caso de uma pessoa que foi parar em um hospital devido a bromismo após buscar aconselhamento médico no ChatGPT sobre sua saúde. O caso é bastante interessante porque o indivíduo de 60 anos expressou dúvidas de que seu vizinho o estivesse envenenando discretamente.

O episódio começou quando a pessoa se deparou com relatos detalhando o impacto negativo do cloreto de sódio (também conhecido como sal comum). Após consultar o ChatGPT, a pessoa substituiu o sal por brometo de sódio, o que acabou levando à toxicidade por brometo.

“Observou-se que ele estava com muita sede, mas paranoico em relação à água que lhe ofereciam”, diz o relatório da pesquisa, acrescentando que o paciente destilava a própria água e impunha diversas restrições ao que consumia. A situação, no entanto, logo piorou após a internação hospitalar, e avaliações foram realizadas.

“Nas primeiras 24 horas de internação, ele apresentou paranoia crescente e alucinações auditivas e visuais, o que, após tentativa de fuga, resultou em internação psiquiátrica involuntária por incapacidade grave”, acrescenta o relatório.

Não se esqueça do simpático médico humano

O caso mais recente de ChatGPT que deixou uma pessoa em apuros é bastante surpreendente, principalmente devido à raridade da situação. "Bromismo, a intoxicação crônica com brometo, é raro e quase esquecido", afirma um artigo científico .

O uso de sais à base de bromo remonta ao século XIX, quando era recomendado para curar doenças mentais e neurológicas, especialmente em casos de epilepsia. No século XX, o bromismo (ou toxicidade por brometo) era um problema bastante conhecido. O consumo de sais de brometo também foi documentado como uma forma de medicação para dormir.

Com o tempo, descobriu-se que o consumo de sais de brometo causa problemas no sistema nervoso, como delírios, falta de coordenação muscular e fadiga, embora casos graves sejam caracterizados por psicose, tremores ou até coma. Em 1975, o governo dos EUA restringiu o uso de brometos em medicamentos de venda livre.

A equipe médica que cuidou do caso não conseguiu acessar as conversas do indivíduo no ChatGPT, mas conseguiu obter respostas enganosas semelhantes e preocupantes em seu teste. A OpenAI, por outro lado, acredita queos bots de IA são o futuro da saúde .

“Quando perguntamos ao ChatGPT 3.5 qual cloreto poderia ser substituído, também produzimos uma resposta que incluía brometo. Embora a resposta afirmasse que o contexto importa, não forneceu um alerta de saúde específico, nem perguntou por que queríamos saber, como presumimos que um profissional médico faria”, relatou a equipe.

Sim, certamente existem casos em que o ChatGPT ajudou uma pessoa com problemas de saúde, mas só podemos esperar resultados positivos quando a IA recebe contexto detalhado e informações abrangentes. Apesar disso, especialistas sugerem extrema cautela.

“A capacidade do ChatGPT (GPT-4.5 e GPT-4) de detectar o diagnóstico correto foi muito fraca para doenças raras”, diz um artigo de pesquisa publicado no periódico Genes , acrescentando que a consulta ao ChatGPT não pode ser considerada um substituto para uma avaliação adequada por um médico.

A LiveScience contatou a OpenAI sobre o assunto e recebeu a seguinte resposta: "Você não deve confiar nos resultados dos nossos serviços como única fonte de verdade ou informações factuais, ou como substituto de aconselhamento profissional", e também destacou que "as equipes de segurança da OpenAI visam reduzir o risco de usar os serviços da empresa e treinar os produtos para incentivar os usuários a buscar aconselhamento profissional".

De fato, uma das grandes promessas com o lançamento do GPT-5, o mais recente modelo ChatGPT da empresa, era reduzir os momentos de imprecisão ou alucinações e focar mais em fornecer "conclusões seguras", onde os usuários são guiados para longe de respostas potencialmente prejudiciais. Como afirma a OpenAI : "[Isso] ensina o modelo a dar a resposta mais útil sempre que possível, mantendo os limites de segurança."

O maior obstáculo, obviamente, é que o assistente de IA não consegue investigar de forma confiável as características clínicas de um paciente. Somente quando a IA é implantada em um ambiente médico por profissionais de saúde certificados, ela pode gerar resultados confiáveis.