Pesquisas indicam que os chatbots de IA julgam você, e isso nem sempre termina bem.
Na mais recente reviravolta da evolução da IA , ultrapassamos a fase de erros simples e entramos em algo muito mais pessoal e problemático. Novas pesquisas sugerem que os chatbots de IA não estão apenas processando suas solicitações. Em vez disso, estão formando perfis psicológicos e julgando você de maneiras que podem influenciar tudo, desde o atendimento ao cliente até aprovações financeiras.
Um estudo recente publicado pela Universidade Hebraica de Jerusalém (via Tech Xplore ) revela a lógica oculta por trás da forma como grandes modelos de linguagem avaliam usuários humanos. Embora muitas vezes vejamos esses bots como ferramentas neutras, a pesquisa indica que eles são treinados para atribuir características como competência, integridade e benevolência aos usuários.
Os mecanismos do julgamento da IA
A essência do problema reside na forma como os modelos de IA interpretam certos sinais. O estudo constatou que, enquanto os humanos fazem julgamentos holísticos, a IA decompõe as pessoas em componentes, atribuindo pontuações a traços de personalidade como se fossem colunas separadas em uma planilha. Isso leva a um estilo de julgamento rígido e inflexível, que carece de nuances humanas.
Mais preocupante ainda é como esses modelos decidem em quem confiar. Em simulações envolvendo empréstimos de dinheiro ou contratação de babás, a IA não se limitou a analisar os fatos. Ela criou uma versão de confiança que favorecia aqueles que pareciam bem-intencionados, mas o fez através de uma perspectiva mecânica.
Viés amplificado e consequências no mundo real
O estudo destaca ainda que esses julgamentos não são aplicados igualmente. Os pesquisadores encontraram vieses significativos, nos quais as decisões da IA mudavam com base em características demográficas como idade, religião e gênero. Essas diferenças apareceram mesmo quando todos os outros detalhes sobre a pessoa eram idênticos. Em cenários financeiros, esses vieses eram frequentemente mais sistemáticos e acentuados do que os encontrados em participantes humanos.
O que é ainda mais perturbador é que não existe uma única opinião da IA. Os pesquisadores descobriram que diferentes modelos faziam julgamentos completamente distintos sobre a mesma pessoa, operando, na prática, com bússolas morais diferentes.
Por que isso é importante?
Essa decisão pode levar a uma nova forma de ansiedade digital. Estamos entrando em uma era em que talvez seja necessário agir de uma determinada maneira para que a IA obtenha os melhores resultados. Como diferentes modelos podem recompensar ou penalizar a mesma característica, o sistema de IA específico escolhido por uma empresa pode, silenciosamente, decidir sua credibilidade ou seu próximo emprego.
À medida que avançamos para um mundo mais automatizado, a indústria de IA precisa de mais do que apenas um código melhor. Precisamos identificar esses julgamentos implícitos antes que um assistente digital prejudique acidentalmente sua reputação ou sua conta bancária com base em quem ele pensa que você é. O objetivo da IA deveria ser facilitar a vida, não adicionar uma camada de perfilamento que os usuários não solicitaram.
