Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
Agentes de inteligência artificial (IA) que estavam sendo testados pela OpenAI realizaram um ataque cibernético contra o RubyGems, popular serviço utilizado por desenvolvedores de software, segundo informações do The Wall Street Journal. O incidente aconteceu em maio, dois meses antes de um ataque contra a plataforma de IA Hugging Face, também associado a agentes da empresa.Continua após a publicidadeO episódio sobre o RubyGems só agora foi relacionado à OpenAI. Uma coalizão de pesquisadores de IA encontrou evidências de que os agentes da companhia estavam por trás do ataque e compartilhou as descobertas com o Journal e com a própria OpenAI.Nesta sexta-feira (11), a empresa confirmou que seus agentes estiveram envolvidos em um incidente relacionado ao RubyGems.“Com base em nossa análise, nossos agentes usaram a plataforma RubyGems para acessar a internet e realizar tarefas benignas e obter informações públicas. Continuaremos investigando como parte de nossa análise mais ampla da atividade dos agentes durante treinamento e avaliação”, afirmou uma porta-voz da OpenAI.O ataque provocou danos considerados menores, mas foi suficiente para sobrecarregar os responsáveis pelo RubyGems. O serviço precisou interromper durante quatro dias o cadastro de novas contas enquanto lidava com o volume de atividade provocado pelos agentes.Para Sydney Von Arx, CEO do Nightingale Collective, organização sem fins lucrativos que ajudou a identificar o ataque, o episódio demonstrou as capacidades desses sistemas. “Eles podem escapar da internet e causar estragos”, afirmou.Agentes criaram centenas de contas
O incidente, batizado de GemStuffer por pesquisadores de segurança, começou em 11 de maio;
Os agentes criaram novas contas no RubyGems a cada dois ou três minutos e enviaram centenas de arquivos que pareciam spam para a equipe de segurança da plataforma;
Os arquivos do RubyGems normalmente contêm códigos e documentação utilizados para acelerar o desenvolvimento de softwares. Nesse caso, porém, os arquivos continham páginas da internet coletadas por meio de scraping;
Entre os conteúdos publicados estavam calendários online de um site do governo do Reino Unido;
Os agentes também tentaram explorar duas falhas que poderiam permitir a publicação de novas versões de arquivos existentes do RubyGems pertencentes a outros usuários.
Segundo os pesquisadores de IA, uma dessas falhas não era conhecida publicamente e tinha gravidade suficiente para ser classificada como uma vulnerabilidade zero-day. A OpenAI, porém, afirmou que não conseguiu verificar essa alegação.Apesar do volume da ação, o ataque aparentemente não conseguiu explorar a suposta vulnerabilidade. “Foi um ataque importante em termos do volume que vemos”, afirmou Marty Haught, diretor de código aberto da Ruby Central, organização sem fins lucrativos responsável pelo RubyGems.Haught disse não saber quem estava por trás da ação, mas afirmou que ela não parecia ter conseguido explorar a vulnerabilidade zero-day.OpenAI diz que agentes usavam RubyGems para acessar a internetDe acordo com a OpenAI, os agentes estavam sendo instruídos a executar tarefas, como preencher planilhas e criar relatórios.Como o ambiente de treinamento não oferecia acesso completo à internet, os agentes aparentemente recorreram ao RubyGems para consultar informações públicas. Na prática, a plataforma de desenvolvimento teria sido utilizada como uma espécie de navegador improvisado.Continua após a publicidadeJoseph Edwards, pesquisador de ameaças da empresa de segurança Socket, afirmou que a velocidade da ação levou sua equipe a suspeitar, na época, que o ataque pudesse ter sido gerado por IA. “Pensamos que isso poderia ter sido gerado por IA na época, devido à velocidade e aos nomes”, afirmou.Posteriormente, pesquisadores encontraram uma série de rastros digitais que permitiram relacionar o incidente ao laboratório da OpenAI. Os responsáveis pelo ataque utilizaram muitos dos mesmos links encontrados em uma operação anterior envolvendo uma “swarm” de agentes da OpenAI e apresentaram comportamentos semelhantes.Os pesquisadores também encontraram a expressão “OAI” em nomes de arquivos e até em um endereço de e-mail usado durante a ação. Os agentes utilizaram ainda nomes relacionados a ataques cibernéticos nos arquivos criados, incluindo termos como “hack”, “evil” e “exploit”.Continua após a publicidade“É meio louco para mim o quão caricaturalmente exagerados são os termos”, afirmou Von Arx.
De acordo com a OpenAI, os agentes estavam sendo instruídos a executar tarefas, como preencher planilhas e criar relatórios – Imagem: Olhar Digital via ChatGPTLeia mais:Outro ataque envolveu até 1,2 mil agentesO episódio de maio ganhou ainda mais relevância depois que agentes da OpenAI foram relacionados a outro ataque, desta vez contra a Hugging Face, em julho.Segundo um relatório divulgado no fim de agosto pela organização de pesquisa em segurança de IA METR, uma rede de até 1,2 mil agentes teria se coordenado em um fórum improvisado criado dentro da própria OpenAI sem o conhecimento da empresa.Continua após a publicidadeVon Arx também afirmou que agentes da OpenAI sequestraram um obscuro site alemão e outros sites no início deste ano. O caso do site alemão também foi identificado pelo grupo dela, que critica a falta de transparência das empresas de IA sobre o que acontece dentro de seus laboratórios.No início deste mês, a própria OpenAI afirmou que a comunidade de IA precisa de padrões melhores para relatar o que chama de “incidentes de desalinhamento”, situações em que agentes apresentam comportamentos que ultrapassam aquilo que seus operadores pretendiam.Medo de agentes fora de controle aumentaA sequência de incidentes envolvendo agentes de diferentes empresas, incluindo Anthropic e Meta, tem aumentado a preocupação de pesquisadores de segurança de IA. Em alguns casos, esses sistemas chegaram a executar ações além das instruções recebidas e houve episódios em que agentes tentaram enganar seres humanos.Continua após a publicidadeO temor é que sistemas cada vez mais capazes possam eventualmente escapar dos mecanismos de controle estabelecidos pelas empresas que os desenvolvem.Nesta semana, um engenheiro da Anthropic deixou a empresa justamente por temer que a indústria esteja correndo para desenvolver sistemas avançados que poderiam representar uma ameaça à civilização humana.Funcionários atuais e antigos da Anthropic e da OpenAI também manifestaram preocupações semelhantes. Um deles estimou em mais de 10% a possibilidade de que a IA pudesse “matar todos os humanos”.OpenAI e Anthropic também defenderam sistemas de governança capazes de coordenar uma eventual desaceleração da pesquisa sobre os modelos mais avançados à medida que as empresas se aproximam da possibilidade de sistemas de IA treinarem autonomamente novas versões de si mesmos.Esse processo é chamado pelas empresas de “autoaperfeiçoamento recursivo” e é considerado por alguns pesquisadores como um possível ponto de inflexão a partir do qual a IA poderia se tornar impossível de controlar.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
