Seu chatbot de IA favorito pode não estar dizendo a verdade

As ferramentas de pesquisa de IA estão se tornando mais populares, com um em cada quatro americanos relatando usar IA em vez de mecanismos de pesquisa tradicionais. No entanto, aqui vai uma observação importante: esses chatbots de IA nem sempre fornecem informações precisas.

Um estudo recente do Tow Center for Digital Journalism, divulgado pela Columbia Journalism Review , indica que os chatbots têm dificuldade para recuperar e citar o conteúdo das notícias com precisão. Ainda mais preocupante é a sua tendência para inventar informações quando não têm a resposta correta.

Os chatbots de IA testados para a pesquisa incluíram muitos dos “melhores”, incluindo ChatGPT , Perplexity, Perplexity Pro, DeepSeek , Copilot da Microsoft, Grok-2, Grok-3 e Google Gemini.

Nos testes, os chatbots de IA receberam trechos diretos de 10 artigos online publicados por vários meios de comunicação. Cada chatbot recebeu 200 consultas, representando 10 artigos de 20 editores diferentes, para 1.600 consultas. Os chatbots foram solicitados a identificar o título de cada artigo, seu editor original, data de publicação e URL.

Testes semelhantes realizados com motores de busca tradicionais forneceram com sucesso as informações corretas. No entanto, os chatbots de IA não tiveram um desempenho tão bom.

As descobertas indicaram que os chatbots muitas vezes têm dificuldade em recusar perguntas que não conseguem responder com precisão, fornecendo frequentemente respostas incorretas ou especulativas. Os chatbots premium tendem a fornecer respostas incorretas com mais frequência do que seus equivalentes gratuitos. Além disso, muitos chatbots pareciam desconsiderar as preferências do Protocolo de Exclusão de Robôs (REP), que os sites usam para se comunicar com robôs da web, como rastreadores de mecanismos de pesquisa.

A pesquisa também descobriu que as ferramentas de busca generativas eram propensas a fabricar links e citar versões distribuídas ou copiadas de artigos. Além disso, os acordos de licenciamento de conteúdo com fontes de notícias não garantiam citações precisas nas respostas do chatbot.

O que você pode fazer?

O que mais se destaca nos resultados desta pesquisa não é apenas o fato de os chatbots de IA frequentemente fornecerem informações incorretas, mas também de fazê-lo com uma confiança alarmante. Em vez de admitir que não sabem a resposta, tendem a responder com frases como “parece”, “é possível” ou “pode”.

Por exemplo, o ChatGPT identificou incorretamente 134 artigos, mas apenas sinalizou incerteza 15 vezes em 200 respostas e nunca se absteve de fornecer uma resposta.

Com base nos resultados da pesquisa, provavelmente é aconselhável não confiar exclusivamente em chatbots de IA para obter respostas. Em vez disso, recomenda-se uma combinação de métodos de pesquisa tradicionais e ferramentas de IA. No mínimo, usar vários chatbots de IA para encontrar uma resposta pode ser benéfico. Caso contrário, você corre o risco de obter informações incorretas.

Olhando para o futuro, não ficaria surpreso em ver uma consolidação dos chatbots de IA, já que os melhores se destacam dos de baixa qualidade. Eventualmente, seus resultados serão tão precisos quanto os dos mecanismos de busca tradicionais. Quando isso vai acontecer, ninguém sabe.