Modelos de IA como ChatGPT e Claude superestimam a inteligência real dos humanos.
Uma nova pesquisa sugere que a forma como a inteligência artificial pensa sobre nós pode ser um pouco otimista demais. Os pesquisadores descobriram que modelos populares de IA , como o ChatGPT da OpenAI e o Claude da Anthropic , tendem a presumir que as pessoas são mais racionais e lógicas do que realmente são, especialmente em situações de pensamento estratégico.
Essa discrepância entre como a IA espera que os humanos se comportem e o que as pessoas realmente fazem pode ter implicações em como esses sistemas preveem as decisões humanas na economia e em outras áreas.
Testando a IA contra o pensamento humano
Pesquisadores testaram modelos de IA, incluindo ChatGPT-4o e Claude-Sonnet-4, em uma configuração clássica da teoria dos jogos chamada concurso de beleza keynesiano. Compreender esse jogo ajuda a explicar por que as descobertas são importantes (via TechXplore ).
Em um concurso de beleza, os participantes precisam prever as escolhas dos outros para vencer, e não simplesmente escolher o que preferem. Em teoria, o jogo racional significa ir além das primeiras impressões e raciocinar sobre o raciocínio alheio, uma camada profunda de pensamento estratégico com a qual os seres humanos frequentemente têm dificuldade na prática.
Para avaliar o desempenho dos modelos de IA, os pesquisadores fizeram os sistemas jogarem uma versão desse jogo chamada "Adivinhe o Número", onde cada jogador escolhe um número entre zero e cem. O vencedor é aquele cuja escolha estiver mais próxima da metade da média das escolhas de todos os jogadores.
Os modelos de IA receberam descrições de seus oponentes humanos, que variavam de estudantes universitários do primeiro ano a teóricos de jogos experientes, e foram solicitados não apenas a escolher um número, mas também a explicar seu raciocínio.
Os modelos ajustaram seus números com base em quem eles achavam que enfrentariam, o que demonstra algum pensamento estratégico. No entanto, eles consistentemente presumiram um nível de raciocínio lógico nos humanos que a maioria dos jogadores reais não demonstra, muitas vezes "jogando de forma inteligente demais" e, consequentemente, errando o alvo.
Embora o estudo também tenha constatado que esses sistemas conseguem adaptar suas escolhas com base em características como idade ou experiência, eles ainda apresentaram dificuldades para identificar as estratégias dominantes que os humanos poderiam usar em jogos de dois jogadores. Os pesquisadores argumentam que isso evidencia o desafio contínuo de calibrar a IA ao comportamento humano real, especialmente em tarefas que exigem antecipar as decisões de outras pessoas.
Essas descobertas também refletem preocupações mais amplas sobre os chatbots atuais, incluindo pesquisas que mostram que mesmo os melhores sistemas de IA têm uma precisão de apenas cerca de 69% , e alertas de especialistas de que os modelos de IA podem imitar a personalidade humana de forma convincente , levantando preocupações sobre manipulação. À medida que a IA continua a ser usada em modelagem econômica e outros domínios complexos, entender onde suas premissas divergem da realidade humana será essencial.
O artigo "Modelos de IA como ChatGPT e Claude superestimam a inteligência humana" foi publicado originalmente no Digital Trends .
