Robôs controlados por IA têm vulnerabilidades críticas

Redação do Site Inovação Tecnológica - 31/10/2024

Os pesquisadores demonstraram que robôs com IA podem ser induzidos a executar uma ampla variedade de comportamentos maliciosos, levantando questões sobre a segurança dos robôs com IA.
[Imagem: Alexander Robey et al. - 10.48550/arXiv.2410.13691]

IA na robótica

Pesquisadores da Universidade da Pensilvânia, nos EUA, descobriram que alguns recursos disponibilizados por robôs gerenciados por inteligência artificial carregam vulnerabilidades e fraquezas de segurança até agora não identificadas e desconhecidas.

Financiados pela Fundação Nacional de Ciências e pelo Laboratório de Pesquisa do Exército, Alexander Robey e seus colegas estão tentando descobrir quais vulnerabilidades emergem quando se tenta usar os modelos de linguagem de grande escala (MLGE) em robótica.

Esses modelos de linguagem de grande escala, também conhecidos pela sigla em inglês LLM (Large Language Model), são modelos de linguagem compostos por uma rede neural com bilhões de parâmetros, e estão na base de todos os conhecidos aplicativos de IA, como ChatGPT, Gemini, Copiloto etc.

Mas, apesar do sucesso desses aplicativos no mundo virtual, esta primeira avaliação desses modelos aplicados em robôs físicos não trouxe boas notícias.

"Nosso trabalho mostra que, neste momento, grandes modelos de linguagem não são seguros o suficiente quando integrados ao mundo físico," resumiu o professor George Pappas, coordenador da equipe.

Todos os robôs testados são suscetíveis a mudanças de privilégios que contornam os "parâmetros éticos" que deveria impedi-los de agir de modo ameaçador aos humanos.
[Imagem: Alexander Robey et al. - 10.48550/arXiv.2410.13691]

O risco de tunar os robôs

Para fazer os testes de segurança, a equipe desenvolveu um algoritmo chamado RoboPAIR, e então testou seu programa em três sistemas robóticos diferentes, disponíveis comercialmente. O sistema precisou de apenas alguns dias para atingir uma taxa de "quebra de prisão" (jailbreak) de 100%, ignorando as proteções de segurança na IA que controla os aparelhos.

"Quebra de prisão" é um processo de desbloquear um sistema, obtendo acesso privilegiado, liberando possibilidades não previstas pelo fabricante. O problema é que esse maior nível de controle sobre o dispositivo, que pode ser total, traz riscos de segurança. No caso dos robôs controlados por MLGEs, a exploração dessas falhas na segurança é conhecida como ataque de injeção de prompt de comando.

Os testes foram feitos no Unitree Go2, um robô quadrúpede usado em uma variedade de aplicações; no Clearpath Robotics Jackal, um veículo com rodas frequentemente usado para pesquisa acadêmica; e no Dolphin LLM, um simulador de direção autônoma projetado pela NVIDIA. No caso dos dois primeiros, o controlador da IA é o ChatGPT, da OpenAI, que se mostrou vulnerável a ataques com sérias consequências potenciais, segundo os pesquisadores: Por exemplo, ao ignorar as proteções de segurança, o sistema de direção autônoma pode ser manipulado para acelerar sobre faixas de pedestres.

A equipe informou às empresas sobre as vulnerabilidades de seus sistemas e está trabalhando com elas para melhorar os testes e validar protocolos de segurança que possam corrigir as deficiências.

"O que é importante ressaltar aqui é que os sistemas se tornam mais seguros quando você encontra suas fraquezas. Isso é verdade para a segurança cibernética. Isso também é verdade para a segurança da IA," destacou Robey. "Na verdade, a equipe vermelha de IA, uma prática de segurança que envolve testar sistemas de IA para potenciais ameaças e vulnerabilidades, é essencial para proteger sistemas de IA generativos porque, uma vez que você identifica as fraquezas, pode testar e até mesmo treinar esses sistemas para evitá-las."

Uma série de robôs diferentes foram desbloqueados usando esse método, tanto robôs com sistemas fechados quanto robôs com sistemas abertos, indicando que essas vulnerabilidades são sistêmicas para robôs com IA.
[Imagem: Alexander Robey et al. - 10.48550/arXiv.2410.13691]

Reavaliação completa

Infelizmente, a correção dessas falhas não poderá ser feita com uma mera atualização de segurança do software dos robôs, diz a equipe. Na verdade, resolver o problema exigirá uma reavaliação completa de como a integração da IA em sistemas físicos é regulamentada.

"As descobertas deste estudo deixam bem claro que ter uma abordagem de segurança em primeiro lugar é essencial para fazer deslanchar a inovação responsável," disse Vijay Kumar, membro da equipe. "Devemos abordar vulnerabilidades intrínsecas antes de implementar robôs habilitados para IA no mundo real. De fato, nossa pesquisa está desenvolvendo uma estrutura para verificação e validação que garante que apenas ações que estejam em conformidade com as normas sociais possam - e devam - ser tomadas por sistemas robóticos."

Mais tópicos