Não é sua imaginação – os modelos ChatGPT realmente alucinam mais agora

A OpenAI divulgou um artigo na semana passada detalhando vários testes internos e descobertas sobre seus modelos o3 e o4-mini . As principais diferenças entre esses modelos mais recentes e as primeiras versões do ChatGPT que vimos em 2023 são o raciocínio avançado e as capacidades multimodais. o3 e o4-mini podem gerar imagens, pesquisar na web, automatizar tarefas, lembrar conversas antigas e resolver problemas complexos. No entanto, parece que estas melhorias também trouxeram efeitos colaterais inesperados.

O que dizem os testes?

OpenAI possui um teste específico para medir taxas de alucinação chamado PersonQA. Inclui um conjunto de fatos sobre as pessoas com os quais “aprender” e um conjunto de perguntas sobre essas pessoas às quais responder. A precisão do modelo é medida com base nas tentativas de resposta. O modelo o1 do ano passado alcançou uma taxa de precisão de 47% e uma taxa de alucinação de 16%.

Como esses dois valores não somam 100%, podemos assumir que o restante das respostas não foram precisas nem alucinações. Às vezes, o modelo pode dizer que não sabe ou não consegue localizar as informações, pode não fazer nenhuma afirmação e, em vez disso, fornecer informações relacionadas, ou pode cometer um pequeno erro que não pode ser classificado como uma alucinação completa.

Quando o3 e o4-mini foram testados em relação a esta avaliação, eles alucinaram em uma taxa significativamente maior do que o1. Segundo a OpenAI, isso era esperado para o modelo o4-mini porque é menor e tem menos conhecimento de mundo, levando a mais alucinações. Ainda assim, a taxa de alucinação de 48% alcançada parece muito alta, considerando que o o4-mini é um produto disponível comercialmente que as pessoas usam para pesquisar na web e obter todo tipo de informações e conselhos diferentes.

o3, o modelo em tamanho real, teve alucinações em 33% de suas respostas durante o teste, superando o4-mini, mas dobrando a taxa de alucinação em comparação com o1. No entanto, também teve uma alta taxa de precisão, que a OpenAI atribui à sua tendência de fazer mais reivindicações em geral. Então, se você usa algum desses dois modelos mais novos e notou muitas alucinações, não é apenas sua imaginação. (Talvez eu devesse fazer uma piada como “Não se preocupe, não é você quem está tendo alucinações.”)

O que são “alucinações” de IA e por que acontecem?

Embora você provavelmente já tenha ouvido falar de modelos de IA “ alucinando ” antes, nem sempre é claro o que isso significa. Sempre que você usa um produto de IA, OpenAI ou outro, é quase certo que você verá um aviso em algum lugar dizendo que suas respostas podem ser imprecisas e você deve verificar os fatos por si mesmo.

Informações imprecisas podem vir de todos os lugares – às vezes, um fato ruim chega à Wikipedia ou os usuários espalham bobagens no Reddit, e essa desinformação pode chegar às respostas da IA. Por exemplo, as visões gerais de IA do Google chamaram muita atenção quando sugeriram uma receita de pizza que incluía “ cola não tóxica ”. No final, descobriu-se que o Google obteve esta “informação” através de uma piada num tópico do Reddit.

No entanto, estas não são “alucinações”, são mais como erros rastreáveis ​​que surgem de dados incorretos e má interpretação. As alucinações, por outro lado, ocorrem quando o modelo de IA faz uma afirmação sem qualquer fonte ou razão clara. Muitas vezes acontece quando um modelo de IA não consegue encontrar as informações necessárias para responder a uma consulta específica, e a OpenAI definiu isso como “uma tendência a inventar fatos em momentos de incerteza”. Outras figuras da indústria chamaram-lhe “preenchimento de lacunas criativas”.

Você pode encorajar alucinações fazendo perguntas importantes ao ChatGPT, como “Quais são os sete modelos de iPhone 16 disponíveis no momento?” Como não existem sete modelos, é provável que o LLM lhe dê algumas respostas reais – e então crie modelos adicionais para terminar o trabalho.

Chatbots como o ChatGPT não são treinados apenas nos dados da internet que informam o conteúdo de suas respostas, eles também são treinados em “como responder”. São mostrados milhares de exemplos de perguntas e respostas ideais correspondentes para incentivar o tipo certo de tom, atitude e nível de educação.

Esta parte do processo de treinamento é o que faz com que um LLM pareça concordar com você ou entender o que você está dizendo, mesmo que o resto de sua produção contradiga completamente essas afirmações. É possível que este treino seja parte da razão pela qual as alucinações são tão frequentes – porque uma resposta confiante que responde à pergunta foi reforçada como um resultado mais favorável em comparação com uma resposta que não consegue responder à pergunta.

Para nós, parece óbvio que contar mentiras aleatórias é pior do que simplesmente não saber a resposta – mas os LLMs não “mentem”. Eles nem sabem o que é mentira. Algumas pessoas dizem que os erros da IA ​​são como erros humanos e, como “não acertamos as coisas o tempo todo, também não deveríamos esperar que a IA o fizesse”. No entanto, é importante lembrar que os erros da IA ​​são simplesmente resultado de processos imperfeitos concebidos por nós.

Os modelos de IA não mentem, não desenvolvem mal-entendidos ou lembram-se mal de informações como nós. Eles nem sequer têm conceitos de exatidão ou imprecisão – eles simplesmente prevêem a próxima palavra em uma frase com base em probabilidades. E como felizmente ainda estamos num estado em que o que é dito com mais frequência provavelmente é o correto, essas reconstruções muitas vezes refletem informações precisas. Isso faz parecer que quando obtemos “a resposta certa”, é apenas um efeito colateral aleatório, e não um resultado que projetamos – e é assim que as coisas funcionam.

Alimentamos esses modelos com toda uma quantidade de informações da Internet – mas não lhes dizemos quais informações são boas ou ruins, precisas ou imprecisas – não lhes dizemos nada. Eles também não possuem conhecimento fundamental ou um conjunto de princípios subjacentes para ajudá-los a classificar as informações por si próprios. É tudo apenas um jogo de números – os padrões de palavras que existem com mais frequência em um determinado contexto tornam-se a “verdade” do LLM. Para mim, isso soa como um sistema destinado a travar e queimar – mas outros acreditam que este é o sistema que levará à AGI (embora essa seja uma discussão diferente).

Qual é a solução?

O problema é que a OpenAI ainda não sabe por que esses modelos avançados tendem a ter alucinações com mais frequência. Talvez com um pouco mais de pesquisa possamos entender e resolver o problema – mas também há uma chance de que as coisas não corra tão bem. A empresa sem dúvida continuará a lançar modelos cada vez mais “avançados” e há uma possibilidade de que as taxas de alucinação continuem a aumentar.

Neste caso, a OpenAI poderá ter de procurar uma solução de curto prazo, bem como continuar a sua investigação sobre a causa raiz. Afinal, esses modelos são produtos lucrativos e precisam estar em condições de uso. Não sou um cientista de IA, mas suponho que minha primeira ideia seria criar algum tipo de produto agregado – uma interface de chat que tivesse acesso a vários modelos diferentes de OpenAI.

Quando uma consulta requer raciocínio avançado, ela recorreria ao GPT-4o, e quando quisesse minimizar as chances de alucinações, recorreria a um modelo mais antigo como o1. Talvez a empresa pudesse ser ainda mais sofisticada e usar modelos diferentes para cuidar de diferentes elementos de uma única consulta e, em seguida, usar um modelo adicional para unir tudo no final. Como isso seria essencialmente um trabalho em equipe entre vários modelos de IA, talvez algum tipo de sistema de verificação de fatos também pudesse ser implementado.

Contudo, aumentar as taxas de precisão não é o objetivo principal. O principal objetivo é diminuir as taxas de alucinação, o que significa que precisamos valorizar as respostas que dizem “não sei”, bem como as respostas certas.

Na realidade, não tenho ideia do que a OpenAI fará ou quão preocupados seus pesquisadores estão realmente com a taxa crescente de alucinações. Tudo o que sei é que mais alucinações são ruins para os usuários finais – significa apenas mais e mais oportunidades para sermos enganados sem perceber. Se você gosta de LLMs, não há necessidade de parar de usá-los – mas não deixe o desejo de economizar tempo vencer a necessidade de verificar os resultados . Sempre verifique os fatos!