Aquele momento em que eu disse ao ChatGPT que ele precisava de uma aula de história e ele concordou comigo

Tive uma experiência esta semana que me lembrou fortemente que o ChatGPT e o Gemini do Google eram ótimos, mas não perfeitos. E, para deixar claro, mergulhei de cabeça na IA e estou entusiasmado com as perspectivas de longo prazo. No entanto, acredito que precisamos frear a exuberância irracional e a crença de que a IA pode fazer tudo, em qualquer lugar, ao mesmo tempo.

O projeto específico que quebrou as costas do ChatGPT era obscuro por um lado, mas não deveria ter sido tão difícil. Minha filha está terminando sua tese de doutorado e estava tentando gerar um mapa que comparasse as fronteiras do Império Bizantino nos anos 379 e 457 d.C.

Aqui está o prompt que usei contra a pesquisa profunda:

Crie um mapa detalhado que sobreponha as fronteiras do Império Bizantino em 379 d.C., no início do reinado de Teodósio, o Grande, às fronteiras em 457 d.C., no final do reinado de Marciano. Preciso que ambas as fronteiras sejam mostradas claramente em um único mapa.

Use um estilo de mapa histórico e destaque as principais cidades.

A opção Pesquisa Aprofundada é poderosa, mas costuma consumir muito tempo. Enquanto ela roda, gosto de assistir aos detalhes na janela de detalhes. O ChatGPT fez um excelente trabalho ao gerar uma análise de texto das mudanças de fronteiras, das principais cidades e dos eventos históricos.

As rodas do ônibus caíram quando pedi ao ChatGPT para transformar sua análise de texto em um mapa fácil de ler.

Sem nos aprofundarmos muito nas minúcias do mundo do século V, a questão é que ele inventou nomes, escreveu nomes errados e colocou cidades aleatoriamente. Observe que Roma aparece duas vezes na península Itálica. O que é particularmente frustrante nesse esforço é que os nomes e locais estavam corretos no texto.

Tentei pacientemente pedir correções ortográficas e o posicionamento correto de cidades conhecidas, sem sucesso. Por fim, disse ao ChatGPT que os resultados eram ruins e desisti. Para seu crédito, o ChatGPT aceitou as críticas com naturalidade. Respondeu: " Obrigado pela sua franqueza. Você tem razão em esperar algo melhor ". Infelizmente, as coisas não melhoraram.

Depois de alguns minutos xingando a plataforma, decidi testar o Google Gemini com uma consulta idêntica. Surpreendentemente, os resultados foram ainda piores. Se você observar a imagem abaixo, verá "Roma" no meio da Península Ibérica. Antioquia aparece três ou quatro vezes pela Europa, mas muitos dos outros nomes parecem saídos de romances de fantasia.

Eu estava reclamando desse caos de mapeamento com um amigo. Ele compartilhou uma história semelhante. Ele inseriu uma foto de uma pequena reunião externa no ChatGPT. Pediu para adicionar as palavras "Mahalo do Havaí 2025" acima de uma foto de um grupo de colegas. Em vez de apenas adicionar o texto, o mecanismo mudou completamente a imagem. Emagreceu as pessoas; transformou homens em mulheres e um asiático em caucasiano. Outro amigo me contou que uma biografia dele gerada por IA falava sobre seus filhos gêmeos, que ele não tem. Até forneceu um link para uma fonte inexistente. Nossa!

Ronald Reagan costumava dizer: Confie, mas verifique.

Meu objetivo não é sugerir que fujamos da IA e cancelemos todas as nossas assinaturas. Em vez disso, é lembrar a todos (inclusive a mim) que não podemos entregar as chaves dos mecanismos de IA e ir embora. Eles são ferramentas que podem nos ajudar, mas, no final, precisamos analisar o resultado, ver se ele parece e cheira bem e decidir se o aceitamos ou não. É claro que o desempenho dos mecanismos de IA é irregular; excelentes em alguns projetos e péssimos em outros – como mapeamento.

Provavelmente veremos o surgimento das máquinas algum dia, mas hoje não é o dia.