Acontece que, se você pedir para uma IA jogar como um especialista, ela se torna menos confiável.

Você provavelmente já viu essa dica circulando por aí: diga à IA para agir como um especialista em uma área e você obterá respostas melhores. É um conselho popular e, às vezes, funciona. No entanto, um novo estudo sugere que usar personas de IA pode não ser tão eficaz quanto pensávamos.

Pesquisadores da Universidade da Califórnia testaram 12 personas diferentes em seis modelos de linguagem. As personas variavam de especialistas em matemática e programação a escritores criativos e monitores de segurança. O objetivo era descobrir o desempenho da IA ​​quando instruída a agir como um especialista.

Os resultados foram mistos. Adotar uma persona fez com que a IA soasse mais profissional e seguisse melhor as regras. Mas também piorou a capacidade da IA ​​de recordar fatos. De acordo com o estudo, usar uma persona na IA a coloca em um modo de seguir instruções em vez de um modo de recuperação de conhecimento, e essa troca resulta em perda de precisão.

Qual é a solução?

Para resolver esse problema, os pesquisadores desenvolveram o PRISM, sigla para Persona Routing via Intent-based Self-Modeling (Roteamento de Persona via Automodelagem Baseada em Intenção). Em vez de usar sempre uma persona ou nunca usar uma, o PRISM ensina a IA a decidir o que é melhor para si mesma.

Ao fazer uma pergunta, o PRISM gera duas respostas: uma do seu modo padrão e outra do seu perfil personalizado. Em seguida, compara as duas e fornece a resposta que apresenta melhor desempenho para aquela consulta específica.

A resposta do especialista não é descartada mesmo quando a resposta padrão é a correta. Em vez disso, o estilo de raciocínio é salvo em um componente leve chamado adaptador LoRa, que a IA pode utilizar posteriormente quando necessário. A solução parece simples, mas é eficaz.

Qual foi o desempenho do PRISM?

O PRISM aumentou a pontuação geral da IA ​​em um ou dois pontos no MT-Bench, um teste que mede a capacidade da IA ​​de seguir instruções e se manter útil. Para tarefas de escrita e segurança, as personas foram úteis. Para questões de conhecimento básico, dispensar a persona se mostrou a melhor opção.

Os pesquisadores planejam testar o PRISM com mais perfis de usuários e aprimorar sua capacidade de fornecer respostas melhores. Ainda é cedo, mas isso pode mudar para sempre a forma como interagimos com a IA.