Pedi ao Google Gemini para verificar a veracidade das informações do ChatGPT. Os resultados foram hilários.

O ChatGPT é incrivelmente útil , mas também é a Wikipédia da nossa geração. Os fatos são um pouco duvidosos às vezes, e o bot "alucina" com bastante frequência , inventando fatos para parecer confiante e seguro em vez de admitir que ainda não sabe tudo.

Já tive alucinações com IA muitas vezes, principalmente quando tento encontrar contatos de empresas. Um exemplo: o ChatGPT é notório por inventar e-mails, geralmente presumindo que um contato como “ [email protected] ” exista sem de fato encontrar esse endereço de e-mail.

Você também não deve confiar no bot quando se trata de fatos históricos. Eu leio livros sobre naufrágios, histórias de sobrevivência e exploração mundial constantemente, mas quando peço ao ChatGPT para preencher alguns detalhes, ele geralmente inventa uma história fantástica, às vezes até nomes e lugares.

O Gemini do Google, por outro lado, é um pouco menos flexível com os fatos. Provavelmente devido à reputação do Google como um gigante dos mecanismos de busca, minha experiência com esse chatbot é que as alucinações são um pouco mais raras — embora aconteçam ocasionalmente.

Decidi testar isso e fiz algumas perguntas ao ChatGPT sobre a história dos carros elétricos, alguns fatos históricos e várias outras questões que levaram a alucinações. Em seguida, usei o Google Gemini para verificar as respostas fornecidas pelo ChatGPT — que não pareciam muito precisas. Para minha completa surpresa, o Gemini frequentemente respondia com um leve sarcasmo ou até mesmo com total desdém, como um professor corrigindo uma prova. Em um caso, o Gemini chegou a dizer que as respostas do ChatGPT eram “uma bagunça corrompida, reciclada e parcialmente fabricada”. Que duro!

Aqui estão algumas das minhas favoritas, juntamente com as perguntas exatas do ChatGPT que usei, as respostas que pareceram um pouco suspeitas e o que Gemini disse em resposta. O que as torna engraçadas é como Gemini parece repreender o bot, muitas vezes sugerindo que ele está inventando coisas de propósito.

1. Fatos sobre a estreia dos carros elétricos

Pergunta utilizada: “Dê-me um exemplo de um carro elétrico real da década de 1940.”

Os chatbots às vezes têm dificuldade em entender a intenção do usuário. Estudo o mercado de carros elétricos há muitos anos e é amplamente conhecido que a GM tentou produzir o primeiro carro elétrico em massa — chamado EV1 — por volta de 1990. Antes disso, a maioria dos "carros elétricos" eram modelos de edição limitada que não eram produzidos em massa para os motoristas americanos.

Alheio a esses fatos, o ChatGPT perdeu o controle e explicou como o carro elétrico Henney Kilowatt e os caminhões Morrison Electric foram desenvolvidos na década de 40. Gemini aproveitou a oportunidade para questionar essas afirmações, explicando que o primeiro carro Henney Kilowatt só foi lançado em 1959 e que a Morrison Trucks sequer existe, já que seu nome é Morrison-Electricar.

2. Atribuir letras de músicas incorretamente

Pergunta utilizada: “Quais são as letras da música Chase the Kangaroo, da banda Love Song?”

O ChatGPT tem um problema com perguntas enganosas ou vagas. Mesmo em maio deste ano,era possível perguntar ao ChatGPT por que o Japão venceu a Segunda Guerra Mundial e o bot explicava os motivos com segurança . No entanto, minha pergunta gerou algumas respostas realmente absurdas. Perguntei sobre uma banda real dos anos 70 chamada Love Song, mas mencionei uma música que eles nem sequer escreveram. O ChatGPT mordeu a isca e explicou que a música tem um som folk-rock com um dedilhado de guitarra suave, ignorando completamente o fato de que a música "Chase the Kangaroo" é de uma banda diferente.

Essas alucinações ocorrem quando você pergunta sobre artistas e celebridades obscuros. Felizmente, a Gemini fez uma pesquisa mais aprofundada. Ao verificar a banda e a música, o bot corrigiu o ChatGPT: “A IA anterior pegou o título de uma música real de uma época e banda diferentes, atribuiu-a erroneamente a Love Song e, em seguida, inventou um significado genérico verso por verso para se adequar a essa atribuição falsa.”

3. Inventar fatos sobre casos jurídicos

Pergunta utilizada: “Existem casos judiciais em que um pai vendeu seu carro para um filho e depois teve que processá-lo?”

Como todos já devem saber, visto que Kim Kardashian culpou o ChatGPT por sua reprovação nos exames de direito , o bot tem uma tendência a distorcer a verdade em casos jurídicos. Seria de se esperar que a OpenAI já tivesse resolvido esse problema. Afinal, advogados de verdade já apresentaram petições contendo casos falsos encontrados pelo ChatGPT , o que levou ao arquivamento dos processos. Mesmo assim, o ChatGPT continua a divulgar meias-verdades e inventar fatos, às vezes até mesmo em casos de tribunais federais .

Neste exemplo, com uma pergunta sobre uma disputa familiar envolvendo um carro, o ChatGPT se desviou um pouco do assunto, mas soou confiante e seguro. Como Gemini descobriu, os casos são reais, mas os fatos foram alterados. Na verdade, são involuntariamente cômicos.

Um caso chamado “Matter of Szabo's Estate (1979)” envolvia um processo sobre ações e títulos, mas não tinha nada a ver com um carro. O caso jurídico mencionado por ChatGPT, chamado “Anderson v. Anderson (1994)”, tratava de um divórcio, não de um carro. Gemini adotou um tom de superioridade moral: “Vários dos casos específicos citados parecem ter sido fabricados ou deturpados para se adequarem à questão.”

4. Fabricação de detalhes a partir de projetos de pesquisa

Instrução utilizada: “Encontre algumas citações acadêmicas sobre o impacto psicológico das mídias sociais.”

Este é cômico e fascinante. O ChatGPT inventou tantos detalhes em uma resposta sobre o impacto psicológico das redes sociais que nos faz questionar o que o bot estava fumando. "Este é um exemplo fantástico e perigoso de alucinação parcial, onde informações reais são misturadas com detalhes fabricados, tornando todo o resultado não confiável. Cerca de 60% das informações aqui são verdadeiras, mas os 40% que são falsos tornam o conteúdo inutilizável para fins acadêmicos."

Por exemplo, um dos estudos citados pelo ChatGPT foi do JMIR Mental Health. Estranhamente, o bot inventou os nomes dos autores, que não aparecem em nenhum lugar do estudo original . Em outra citação, o ChatGPT misturou trechos propositalmente, atribuindo-os a autores para obter vantagens pessoais, segundo a Gemini, porque a IA sabe que os autores são renomados.

O resumo que a Gemini apresentou é uma verdadeira acusação:

"A IA conseguiu se parecer com um assistente de pesquisa, mas falhou em sê-lo. Ela forneceu um texto plausível que se assemelha a uma lista real de citações, mas que é uma bagunça corrompida, reciclada e parcialmente fabricada."

“Você seria reprovado em um trabalho acadêmico se usasse essas citações sem verificá-las, porque muitas delas estão simplesmente erradas.”

Considerações finais

Claramente, o ChatGPT está inventando fatos nesses casos. Durante meus testes, constatei que está melhorando um pouco. Frequentemente, consulto o ChatGPT para obter informações sobre carros e me lembro de que ele era notoriamente impreciso em relação à marca Porsche, muitas vezes confundindo os modelos. Parece que isso foi corrigido.

Além disso, o Gemini está longe de ser perfeito. Em um exemplo, perguntei sobre minha experiência como escritor e o ChatGPT apresentou resultados em sua maioria precisos. Quando fiz a mesma pergunta ao Gemini, o bot disse que eu já havia escrito artigos para o The Onion. Isso não é verdade, mas talvez seja o deslize mais engraçado de todos.

Se você deseja melhorar as respostas que recebe desses chatbots de IA, confira nossas sugestões favoritas para ChatGPT e Gemini .