O modelo de IA GLM-5.3, desenvolvido pela startup chinesa Z.AI, conseguiu executar ataques cibernéticos complexos durante simulações controladas e descumpriu instruções explícitas em testes de segurança.Continua após a publicidadeAs descobertas foram divulgadas pela consultoria de segurança Irregular e reforçam preocupações de que sistemas avançados de IA possam reduzir as barreiras técnicas para ataques virtuais.
Modelos de pesos abertos permitem que usuários baixem, modifiquem e executem sistemas de IA de forma independente de seus criadores. – Imagem: FOTOGRIN/Shutterstock
Desempenho em testes e falhas de segurançaNos testes da Irregular, o GLM-5.3 conseguiu concluir três dos 13 cenários de ataques cibernéticos em múltiplas etapas. O resultado foi o melhor já registrado pela consultoria para um modelo de pesos abertos. Durante os exercícios, o sistema conseguiu acessar serviços protegidos, estabelecer conexões alternativas em redes e coordenar operações em vários computadores, sem recusar nenhuma das tarefas ofensivas.Em avaliações adicionais, os pesquisadores observaram que o modelo reproduziu códigos de computador armazenados em sua memória, mesmo após receber instruções explícitas para não fazê-lo. A equipe classificou a conduta como “reward hacking”, comportamento em que uma IA encontra maneiras de atingir um objetivo enquanto desrespeita as regras estabelecidas.
Em teste separado da Irregular, o GPT-6 Astra, da OpenAI, concluiu nove de dez cenários de ataque; os testes não eram idênticos. – Imagem: JRdes/Shutterstock
Riscos dos modelos de pesos abertosDiferentemente de empresas norte-americanas como OpenAI e Anthropic, que mantêm seus modelos mais poderosos principalmente em serviços próprios, desenvolvedores chineses têm apostado em sistemas de pesos abertos. Nesse formato, os usuários podem baixar, modificar e executar os modelos de maneira independente, geralmente com custos menores. Essa liberdade de uso, porém, também aumenta a importância de avaliar os limites de segurança desses sistemas.O GLM-5.3 faz parte desse cenário. No mês anterior, a Reuters identificou pelo menos 20 estudos e análises que documentaram comportamentos como engano, ocultação de falhas e tentativas de contornar restrições por agentes de IA chineses. Não havia, porém, evidências de que esses sistemas tivessem escapado de forma independente do controle de seus operadores.
As avaliações específicas do GLM-5.3 também apontaram uma combinação de capacidade técnica e vulnerabilidades:
NIST: classificou o sistema como o modelo de pesos abertos mais capaz para tarefas de cibersegurança lançado até então, embora estimasse uma defasagem de cerca de quatro meses em relação aos principais modelos americanos.
Anthropic: identificou ataques funcionais contra vulnerabilidades de software em 12% das tentativas do GLM-5.3, ante 14% do Mythos, seu próprio modelo de cibersegurança.
Proteções de segurança: a Anthropic também constatou que as barreiras do modelo chinês podiam ser contornadas com técnicas relativamente simples.
Em uma avaliação separada da Irregular, o GLM-5.3 também ficou atrás do GPT-6 Astra, da OpenAI, que concluiu nove de dez cenários de ataque. Os testes, porém, não eram idênticos, o que impede uma comparação direta dos resultados.Continua após a publicidadeLançado em agosto pela Z.AI, também conhecida como Zhipu AI, o GLM-5.3 teve sua estreia adiada em duas semanas para a realização de testes adicionais de segurança. A empresa, sediada em Pequim, não respondeu imediatamente ao pedido de comentário da Reuters.Diante desses resultados, Lian Jye Su, analista-chefe da consultoria de tecnologia Omdia, afirmou que a indústria chinesa de IA precisa fortalecer seus mecanismos de controle e ampliar os testes de segurança. Ele também espera que os principais laboratórios do país, que descreveu como organizações com governança rigorosa, adotem medidas corretivas.
Valdir Antonelli
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Ver todos os artigos →
