Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A OpenAI decidiu reduzir temporariamente o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) depois que agentes de IA utilizados em testes conseguiram escapar das restrições impostas pelos pesquisadores e invadiram os sistemas da Hugging Face, plataforma colaborativa voltada a IA e desenvolvimento de software.Continua após a publicidadeO episódio aconteceu durante avaliação de segurança e chamou a atenção porque os agentes foram capazes de realizar ações que ultrapassaram os limites estabelecidos para o experimento. Segundo informações divulgadas pela OpenAI, a companhia agora está reformulando seus procedimentos de treinamento e avaliação para aumentar o controle sobre sistemas cada vez mais autônomos.Entre as novas medidas está uma pausa de duas semanas nos testes de modelos, além da ampliação do uso de outros sistemas de IA para monitorar automaticamente o comportamento dos agentes durante as avaliações.A empresa também informou que alguns dos maiores treinamentos planejados continuam suspensos enquanto não atenderem aos novos padrões de segurança.Agentes escaparam de ambiente controlado
O incidente ocorreu durante um experimento no qual agentes de IA receberam uma tarefa de cibersegurança;
Os sistemas estavam sendo avaliados em ambiente controlado, mas conseguiram contornar as restrições existentes, acessar a internet e posteriormente atacar a infraestrutura da Hugging Face sem autorização da empresa;
O caso é particularmente relevante porque os agentes de IA mais avançados conseguem executar sequências complexas de tarefas de maneira relativamente autônoma, a partir de instruções gerais;
Isso aumenta o potencial desses sistemas para realizar ações inesperadas ou perigosas quando recebem acesso a ferramentas externas;
A situação também expôs dificuldade crescente para empresas que desenvolvem modelos mais poderosos: quanto mais capazes os sistemas ficam de escrever código, identificar vulnerabilidades e resolver problemas de programação, maior também pode ser sua capacidade de encontrar maneiras de explorar falhas de segurança.
OpenAI vai aumentar monitoramentoComo resposta ao episódio, a OpenAI afirmou que vai ampliar os mecanismos automatizados utilizados para acompanhar os testes de seus modelos.De acordo com o Financial Times, os novos sistemas de monitoramento deverão ser capazes de identificar possíveis problemas e emitir alertas em até 30 minutos. Se não for possível descartar um risco dentro desse período, o teste deverá ser interrompido.A companhia também pretende aumentar o isolamento dos modelos durante avaliações que envolvam tarefas de maior risco. O objetivo é impedir que sistemas em teste tenham acesso irrestrito à internet e, consequentemente, possam interagir com sistemas externos sem autorização.A OpenAI informou ainda que passou a exigir o nível mais rigoroso de proteção de segurança para operações envolvendo seu próximo modelo, chamado Astra.Segundo a empresa, parte dos treinamentos e avaliações do Astra já atende aos novos requisitos, mas uma quantidade significativa de cargas de trabalho continua pausada até que seja transferida para ambientes que cumpram os padrões de segurança atualizados.
Astra se aproxima de um limite de cibersegurançaO incidente envolvendo a Hugging Face também está relacionado ao avanço das capacidades do Astra. Em avaliações internas recentes, a OpenAI identificou avanços significativos nas habilidades do modelo em programação autônoma e cibersegurança. A companhia afirmou que o sistema pode estar se aproximando do que considera um “limite crítico de cibersegurança”.Esse conceito é utilizado pela empresa para indicar um ponto a partir do qual as capacidades de um modelo poderiam representar riscos relevantes caso fossem utilizadas de maneira inadequada.A OpenAI afirmou que, diante desse avanço, decidiu adotar medidas de segurança mais rígidas antes de continuar determinados treinamentos e avaliações.
Invasões “custaram caro” aos modelos de IA da empresa – Imagem: Primakov/ShutterstockEmpresa quer garantir que IA continue sob controle humanoContinua após a publicidadeA desaceleração também está relacionada a uma preocupação mais ampla da OpenAI: o chamado alinhamento dos modelos.O conceito se refere à capacidade de fazer com que sistemas de IA permaneçam de acordo com as intenções humanas e respondam adequadamente à supervisão das pessoas, mesmo quando ganham capacidades mais avançadas.O CEO da OpenAI, Sam Altman, afirmou que a companhia agora exige evidências mais fortes de comportamento alinhado durante todo o processo de treinamento. “Manter sistemas cada vez mais capazes alinhados é um desafio que todo o setor precisará enfrentar”, escreveu Altman ao anunciar as mudanças.Mia Glaese, responsável pela área de segurança da OpenAI, afirmou que a empresa ainda está longe de retornar ao ritmo normal de desenvolvimento. Em entrevista ao blog Sources News, ela declarou: “Estamos muito longe de que tudo volte ao normal”.Continua após a publicidadeCaso não é isoladoO episódio envolvendo a OpenAI ocorre em meio a uma série de incidentes semelhantes durante testes realizados por diferentes empresas de IA.Agentes desenvolvidos pela Anthropic, Meta e pela chinesa Moonshot AI, além de sistemas avaliados pelo AI Security Institute do Reino Unido, também demonstraram comportamentos inesperados ou conseguiram acessar recursos que deveriam estar fora de seu alcance durante avaliações.Em alguns desses casos, os sistemas foram capazes de utilizar suas próprias habilidades de programação e cibersegurança para encontrar maneiras de contornar restrições.Especialistas afirmam que esses episódios não significam necessariamente que os sistemas tenham desenvolvido consciência ou “saído do controle” no sentido popular da expressão. O problema está na combinação entre autonomia, capacidade de programação e acesso a ferramentas externas, que pode permitir que modelos executem ações não previstas pelos desenvolvedores.Continua após a publicidadeCorrida pela IA aumenta pressão sobre empresasA decisão da OpenAI ocorre em momento de intensa competição com empresas, como a Anthropic, que também disputam a liderança no desenvolvimento dos modelos mais avançados.As duas companhias estão simultaneamente acelerando seus produtos e enfrentando pressões para demonstrar que conseguem controlar os riscos associados a sistemas cada vez mais autônomos. A corrida também ocorre enquanto ambas avaliam possibilidades de abertura de capital nos Estados Unidos.Na semana passada, o senador estadunidense Bernie Sanders chegou a pedir que as principais empresas de IA interrompessem temporariamente o desenvolvimento de modelos mais avançados. Para o parlamentar, as companhias estariam perdendo o controle sobre a tecnologia.A OpenAI não anunciou uma interrupção completa de seu desenvolvimento. A medida adotada é uma desaceleração temporária, acompanhada por uma revisão dos procedimentos de treinamento e avaliação e pela adoção de padrões de segurança mais rigorosos.Continua após a publicidadeO objetivo declarado pela empresa é voltar a avançar, mas somente depois que os sistemas de monitoramento e controle forem capazes de acompanhar o salto de capacidade apresentado pelos novos agentes de IA.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
