A nova ferramenta Guardrails da Nvidia corrige o maior problema com chatbots de IA
A Nvidia está apresentando sua nova ferramenta NeMo Guardrails para desenvolvedores de IA e promete tornar os chatbots de IA como o ChatGPT um pouco menos insanos. O software de código aberto já está disponível para desenvolvedores e se concentra em três áreas para tornar os chatbots de IA mais úteis e menos perturbadores.
A ferramenta fica entre o usuário e o Large Language Model (LLM) com o qual ele está interagindo. É uma segurança para os chatbots, interceptando as respostas antes que elas cheguem ao modelo de linguagem para impedir que o modelo responda ou para fornecer instruções específicas sobre como responder.
A Nvidia diz que o NeMo Guardrails está focado em tópicos, segurança e limites de proteção. O foco tópico parece ser o mais útil, pois obriga o LLM a ficar em um determinado intervalo de respostas. A Nvidia demonstrou o Guardrails mostrando um chatbot treinado no banco de dados de RH da empresa. Quando questionado sobre as finanças da Nvidia, ele deu uma resposta enlatada que foi programada com o NeMo Guardrails.
Isso é importante devido às muitas chamadas alucinações que vimos nos chatbots de IA. O Bing Chat da Microsoft , por exemplo, nos forneceu várias respostas bizarras e incorretas em nossa primeira demonstração. Quando se depara com uma pergunta que o LLM não entende, muitas vezes cria uma resposta na tentativa de satisfazer a consulta. O NeMo Guardrails visa acabar com essas respostas inventadas.
Os princípios de segurança e proteção se concentram em filtrar respostas indesejadas do LLM e impedir que os usuários brinquem com ele. Como já vimos, você pode fazer o jailbreak do ChatGPT e outros chatbots de IA. O NeMo Guardrails fará essas consultas e impedirá que cheguem ao LLM.
Embora o NeMo Guardrails tenha sido criado para manter os chatbots atualizados e precisos, não é uma solução abrangente. A Nvidia diz que funciona melhor como uma segunda linha de defesa e que as empresas que desenvolvem e implantam chatbots ainda devem treinar o modelo em um conjunto de salvaguardas.
Os desenvolvedores também precisam personalizar a ferramenta para atender aos seus aplicativos. Isso permite que o NeoMo Guardrails se baseie no middleware que os modelos de IA já usam, como o LangChain, que já fornece uma estrutura de como os chatbots de IA devem interagir com os usuários.
Além de ser de código aberto, a Nvidia também oferece NeMo Guardrails como parte de seu serviço AI Foundations . Este pacote fornece vários modelos e estruturas pré-treinados para empresas que não têm tempo ou recursos para treinar e manter seus próprios modelos.
