Estou alucinando ou o ChatGPT ainda comete erros, mesmo com o GPT-5?

Durante o lançamento do GPT-5 da OpenAI, uma das alegações mais importantes foi que o ChatGPT agora seria mais confiável e teria menos momentos em que apresentaria suposições como fatos.

Minha experiência esta semana diz que a empresa ainda tem muito trabalho a fazer.

Tudo começou durante um jantar em uma escola de culinária na Sicília, onde conheci um australiano impressionante que trabalhava com relações públicas para restaurantes. Eu queria saber mais sobre a agência deles, então, por curiosidade, fiz uma pesquisa rápida.

Tentei o LinkedIn primeiro — afinal, um relações-públicas de sucesso certamente teria um perfil, não é? Mas nada. Pensei: "Estranho, mas acho que nem todo mundo está no LinkedIn." Depois, tentei o Google — onde, claro, eles certamente estariam listados. De novo, zero, zero.

Estando na terra do Lótus Branco, comecei a considerar se isso era uma farsa elaborada, alguém apenas aproveitando uma vida falsa em climas ensolarados.

Mas surgiram outros fatos suficientes durante o jantar para me convencer de que eram legítimos, como conhecidos em comum com outros convidados e detalhes específicos que poderiam ser facilmente confirmados. Além disso, eles estavam viajando com a mãe, e é difícil aplicar um golpe na frente da mãe – mesmo na Sicília.

Em seguida, fiz ao Chat GPT o mesmo tipo de consulta que tentei no Google: "perfil da pessoa xx. Nasceu na Austrália. Trabalha em Londres com relações públicas". Rapidamente, o ChatGPT me respondeu: um perfil detalhado com locais de trabalho, datas de início e término e formação acadêmica. Inclusive, comentou sobre o estilo de trabalho.

Isso foi brilhante – a prova de que a IA foi um verdadeiro avanço, libertando-nos dos nossos tropeços cegos no Google e nas plataformas sociais. A prova de que não precisávamos mais de um diploma em pesquisa para encontrar as informações que precisávamos – as máquinas podiam fazer o trabalho de interrogar máquinas por nós…

A verdade vem à tona

…ou assim eu pensava. Felizmente, antes de começar a conversar com essa pessoa sobre um conhecido em comum que poderíamos ter, lembrei-me de uma conversa importante. Foi com Leah Peter, líder de produto da Expedia, que trabalha em projetos de IA, e ela havia enaltecido a importância de perguntar à IA o quão confiante ela está em suas respostas.

Percebi que cometi dois erros importantes aqui: escrevi o nome deles um pouco errado — embora dentro da margem de erro que o Google geralmente detecta — e minha consulta foi do tipo de preguiça contra a qual já havia alertado anteriormente (ei, ninguém é perfeito, certo?).

Foi uma boa coisa que fiz porque a resposta ao meu prompt de consulta foi chocante:

Eu : quão confiante você está nessa resposta?

ChatGPT : Quero deixar claro aqui:

O perfil que elaborei não é factual — é uma narrativa profissional plausível que criei com base apenas nos dois fatos que você me deu:

• Nascido na Austrália

• Trabalha em Relações Públicas em Londres

Os empregadores que mencionei (Brunswick, Edelman, Tourism Australia) e o plano de formação são apenas exemplos ilustrativos de como seria um currículo de RP bem elaborado e específico. A menos que você confirme esses detalhes, eles não devem ser considerados precisos.

Então, em termos de confiança:

• ✅ Confiante: A estrutura, o tom e a progressão na carreira são realistas para alguém em RP com essa experiência.

• ❌ Não confiante: As empresas, cargos e educação reais são inventados, a menos que você os verifique.

Hmmm. Gostei da honestidade tardia, mas, dada a total falta de confiança, este aviso deveria ter sido incluído no início da resposta original. Mostrei isso à pessoa que eu estava procurando.

Eles concordaram que o perfil resultante era muito plausível, bastante lisonjeiro… mas completamente falso, e começamos a ter uma conversa real sobre a vida profissional deles.

Um longo caminho a percorrer

Considero-me um usuário bastante sofisticado de IA (à parte a ou outra sugestão preguiçosa), mas quase fui enganado pela resposta inicial. Neste caso, foi apenas uma curiosidade casual, sem consequências reais. Mas outras pessoas que fazem perguntas semelhantes e depois apresentam esses "fatos" a outras pessoas podem ficar muito constrangidas.

Imagine se candidatar a uma vaga e pesquisar sobre o gerente de contratação. Ou participar de uma visita de vendas e tentar bajular o comprador demonstrando o quanto você o conhece. Você seria expulso tão rápido que só teria tempo de ouvir a porta se fechando atrás de você.

Existe um velho ditado: "meça duas vezes, corte uma". A mesma lógica se aplica quando você usa IA. "Pergunte uma vez. Verifique duas vezes."