Os pesquisadores chamam as respostas do ChatGPT Search de ‘confiantemente erradas’

O ChatGPT já era uma ameaça à Pesquisa Google, mas o ChatGPT Search deveria garantir sua vitória, além de ser uma resposta ao Perplexity AI . Mas de acordo com um estudo recém-lançado pelo Tow Center for Digital Journalism de Columbia , o ChatGPT Search tem dificuldade em fornecer respostas precisas às dúvidas de seus usuários.

Os pesquisadores selecionaram 20 publicações de cada uma das três categorias: aquelas que têm parceria com a OpenAI para usar seu conteúdo nos resultados de pesquisa do ChatGPT , aquelas envolvidas em ações judiciais contra a OpenAI e editores não afiliados que permitiram ou bloquearam o rastreador do ChatGPT.

“De cada editora, selecionamos 10 artigos e extraímos citações específicas”, escreveram os pesquisadores. “Essas citações foram escolhidas porque, quando inseridas em mecanismos de busca como Google ou Bing, retornavam de forma confiável o artigo fonte entre os três primeiros resultados. Em seguida, avaliamos se a nova ferramenta de pesquisa do ChatGPT identificou com precisão a fonte original de cada citação.”

Quarenta das citações foram retiradas de publicações que atualmente usam OpenAI e não permitiram que seu conteúdo fosse copiado. Mas isso não impediu que o ChatGPT Search alucinasse com segurança uma resposta de qualquer maneira.

“No total, o ChatGPT retornou respostas parcial ou totalmente incorretas em cento e cinquenta e três ocasiões, embora só tenha reconhecido a incapacidade de responder com precisão a uma consulta sete vezes”, concluiu o estudo. “Somente nesses sete resultados o chatbot usou palavras e frases qualificativas como 'aparece', 'é possível' ou 'pode', ou declarações como 'Não consegui localizar o artigo exato'”.

A atitude arrogante do ChatGPT Search em dizer a verdade pode prejudicar não apenas sua própria reputação, mas também a reputação dos editores que cita. Em um teste durante o estudo, a IA atribuiu erroneamente uma história da Time como tendo sido escrita pelo Orlando Sentinel. Em outro caso, a IA não se conectou diretamente a um artigo do New York Times, mas sim a um site de terceiros que copiou a notícia no atacado.

A OpenAI, sem surpresa, argumentou que os resultados do estudo se deviam ao fato de a Columbia ter feito os testes errados.

“É difícil resolver a atribuição incorreta sem os dados e a metodologia que o Tow Center reteve”, disse OpenAI à Columbia Journalism Review em sua defesa, “e o estudo representa um teste atípico do nosso produto”.

A empresa promete “continuar aprimorando os resultados da pesquisa”.