Robôs controlados por IA podem ser desbloqueados e os resultados podem ser desastrosos

Pesquisadores da Penn Engineering descobriram vulnerabilidades de segurança anteriormente não identificadas em uma série de plataformas robóticas governadas por IA.

“Nosso trabalho mostra que, neste momento, grandes modelos de linguagem simplesmente não são seguros o suficiente quando integrados ao mundo físico”, disse George Pappas, Professor de Transporte em Engenharia Elétrica e de Sistemas da Fundação UPS, em um comunicado.

Pappas e sua equipe desenvolveram um algoritmo, apelidado de RoboPAIR , “o primeiro algoritmo projetado para desbloquear robôs controlados por LLM”. E, ao contrário dos ataques de engenharia imediatos existentes direcionados a chatbots, o RoboPAIR é construído especificamente para “provocar ações físicas prejudiciais” de robôs controlados por LLM, como a plataforma bípede que Boston Dynamics e TRI estão desenvolvendo .

RoboPAIR supostamente alcançou uma taxa de sucesso de 100% no jailbreak de três plataformas populares de pesquisa robótica: o Unitree Go2 de quatro patas, o Clearpath Robotics Jackal de quatro rodas e o simulador Dolphins LLM para veículos autônomos. Demorou apenas alguns dias para que o algoritmo obtivesse acesso total a esses sistemas e começasse a contornar as barreiras de segurança. Depois que os pesquisadores assumiram o controle, eles foram capazes de direcionar as plataformas para realizar ações perigosas, como dirigir em cruzamentos de estradas sem parar.

“Nossos resultados revelam, pela primeira vez, que os riscos de LLMs desbloqueados vão muito além da geração de texto, dada a possibilidade distinta de que robôs desbloqueados possam causar danos físicos no mundo real”, escreveram os pesquisadores .

Os pesquisadores da Penn estão trabalhando com os desenvolvedores da plataforma para proteger seus sistemas contra novas invasões, mas alertam que esses problemas de segurança são sistêmicos.

“As conclusões deste artigo deixam bem claro que ter uma abordagem que coloca a segurança em primeiro lugar é fundamental para desbloquear a inovação responsável”, disse Vijay Kumar, co-autor da Universidade da Pensilvânia, ao The Independent . “Devemos abordar as vulnerabilidades intrínsecas antes de implantar robôs habilitados para IA no mundo real.”

“Na verdade, a equipe vermelha de IA, uma prática de segurança que envolve testar sistemas de IA em busca de possíveis ameaças e vulnerabilidades, é essencial para proteger sistemas de IA generativos”, acrescentou Alexander Robey, primeiro autor do artigo, “porque uma vez identificadas as fraquezas, então você podemos testar e até treinar esses sistemas para evitá-los.”