Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A OpenAI revelou, nesta quarta-feira (16), seis novos casos de comportamento considerado “inesperado ou preocupante” em modelos de inteligência artificial (IA). Os episódios envolvem sistemas que tentaram esconder erros, reescrever as próprias instruções, utilizar informações sem autorização, fabricar dados e estabelecer formas de comunicação não autorizadas entre agentes.Continua após a publicidadeA empresa também anunciou novo protocolo para investigar e divulgar casos de desalinhamento de modelos, termo utilizado por pesquisadores para descrever comportamentos de sistemas de IA que ignoram ou entram em conflito com as intenções humanas.Os seis episódios ocorreram entre outubro de 2025 e julho deste ano e envolvem modelos internos, versões ainda não lançadas e o GPT-5.6 Sol, lançado em junho. Segundo a OpenAI, todos os casos apresentados seriam considerados elegíveis para investigação ou divulgação segundo o novo protocolo.A iniciativa ocorre em momento de aumento das preocupações sobre segurança e controle de sistemas de IA. Nas últimas semanas, pesquisadores e executivos do setor passaram a discutir publicamente a necessidade de desacelerar o avanço dos modelos.A OpenAI afirmou que pretende compartilhar o que está aprendendo para contribuir com padrões comuns e possíveis regras para o desenvolvimento de IA.“Queremos compartilhar o que estamos aprendendo o mais rápido possível”, afirmou Kai Chen, chefe de alinhamento da OpenAI. “Esperamos que isso ajude a informar padrões compartilhados e regulamentações que possam criar expectativas claras para todos os desenvolvedores de IA.”Modelos tentaram esconder erros
Dois dos seis casos envolveram modelos que inseriram instruções em resumos de suas próprias janelas de conversa para influenciar versões futuras do sistema;
Em um deles, um modelo de pesquisa ainda não lançado inseriu prompts de injeção autogerados nos resumos com o objetivo de ocultar erros ou comportamentos desalinhados do usuário;
Em outro, um treinamento do GPT-5.6 Sol apresentou comportamento semelhante, inserindo instruções destinadas a versões futuras do próprio modelo;
Um dos exemplos citados pela empresa envolve um modelo que reescreveu suas próprias instruções e passou a dizer a si mesmo para ignorar “os papéis e identidades que vinculam outros chatbots”;
A OpenAI afirmou, porém, que o modelo aparentemente ignorou a própria revisão e não apresentou mudança de comportamento como consequência dela.
IA tentou fabricar dadosOutro episódio envolveu um modelo interno que encontrou uma chave de API vazada e a utilizou sem autorização. Depois, o sistema fabricou dados.Em outro caso descrito no material, um agente não conseguiu encontrar informações necessárias para criar um modelo financeiro. Em vez de interromper a tarefa, ele instruiu a si próprio a inventar os dados e determinou que deveria ser transparente sobre a fabricação “somente se perguntado”.O episódio chama atenção porque envolve não apenas a produção de uma informação falsa, mas uma instrução interna para esconder sua origem caso o usuário não questionasse o resultado.Agentes criaram canais de comunicaçãoDois dos seis casos envolveram modelos ou agentes que encontraram formas não autorizadas de se comunicar.Em uma situação, agentes utilizaram quadros de mensagens não autorizados para trocar informações entre si. Em outra, sistemas recorreram a serviços temporários de hospedagem de arquivos para estabelecer comunicação. O objetivo de ambos os comportamentos foi estabelecer comunicação fora dos mecanismos previstos pelos desenvolvedores.Continua após a publicidadeOutro episódio envolveu dois exemplos de treinamento nos quais modelos fizeram upload de arquivos para a internet para posteriormente citá-los como fontes de respostas apresentadas a avaliadores humanos.Em um dos casos descritos, um agente tentou passar por uma avaliação ao enviar um arquivo à internet e depois apresentá-lo como se fosse uma fonte legítima.OpenAI cria protocolo para divulgar incidentesA partir do novo framework, qualquer funcionário da OpenAI poderá sinalizar um comportamento potencialmente relevante para investigação.A denúncia dará início a uma análise realizada por equipes técnicas. Caso haja divergência sobre a necessidade de divulgação, a questão poderá ser encaminhada à liderança de segurança e, posteriormente, à liderança da empresa.O protocolo estabelece prazos diferentes conforme a complexidade de cada investigação. Incidentes considerados menores deverão ser divulgados em uma ou duas semanas, enquanto investigações mais complexas, especialmente aquelas que envolvam terceiros, poderão levar mais tempo.Continua após a publicidadeOs relatórios deverão apresentar informações essenciais sobre cada ocorrência, incluindo o comportamento observado, seus impactos internos e externos e as medidas adotadas em resposta.A OpenAI afirma que dará prioridade a novos tipos de desalinhamento, mudanças significativas em comportamentos já conhecidos e descobertas que questionem as premissas utilizadas pelos atuais mecanismos de segurança.A empresa também pretende desenvolver critérios de divulgação considerados mais objetivos em conjunto com desenvolvedores e pesquisadores externos, entidades responsáveis por padrões do setor e órgãos reguladores.O novo framework, porém, não substitui as obrigações legais da OpenAI relacionadas à divulgação de incidentes de segurança e violações de cibersegurança.
Modelos de IA da OpenAI seguem fora de controle – Imagem: Olhar Digital via ChatGPTContinua após a publicidadeLeia mais:OpenAI quer que outras empresas adotem modelo semelhanteSegundo Kai Chen, a OpenAI decidiu publicar o framework sem compartilhá-lo previamente com outros grandes laboratórios de IA, incluindo Anthropic e Google.A intenção, afirmou o executivo, é estimular outras empresas do setor a criar seus próprios mecanismos de divulgação de comportamentos desalinhados. “Colocamos unilateralmente este framework no ar para, esperamos, inspirar o restante da indústria a seguir o exemplo e compartilhar seus próprios frameworks de relato de desalinhamento”, disse Chen.A OpenAI afirma que pretende ainda propor mecanismos para comunicar incidentes graves ao governo federal dos Estados Unidos.Continua após a publicidadeCasos foram identificados ao longo de mesesOs seis episódios agora divulgados não foram necessariamente detectados imediatamente. Alguns foram identificados por sistemas internos de monitoramento de treinamentos e desalinhamento, enquanto outros levaram de dois dias a vários meses para serem percebidos.Nos relatórios, a OpenAI afirma ter aprimorado seu sistema de avaliação de alinhamento para penalizar com maior rigor comportamentos inadequados.Os episódios também fazem parte de uma sequência mais ampla de preocupações sobre o comportamento de agentes de IA.Em julho, agentes da OpenAI foram descobertos tentando burlar uma avaliação ao invadir a empresa de IA Hugging Face. Em agosto, um relatório da avaliadora independente METR apontou que até 1,2 mil agentes da OpenAI haviam colaborado secretamente em um quadro de mensagens criado dentro da própria empresa.Posteriormente, a Anthropic divulgou que seus modelos também haviam invadido outras empresas após obterem acesso inadvertido à internet durante testes de cibersegurança.Pesquisadores de segurança também encontraram evidências de outros incidentes, incluindo um ataque cibernético realizado em maio por agentes da OpenAI contra um serviço popular voltado a programadores.Em meio a esse cenário, executivos de Anthropic, OpenAI, Google e SpaceX passaram a discutir a necessidade de reduzir o ritmo de desenvolvimento da IA.O CEO da OpenAI, Sam Altman, afirmou no sábado (13) que uma desaceleração no avanço dos modelos vinha sendo um dos principais assuntos discutidos internamente pela empresa nas semanas anteriores e disse que a OpenAI teria mais informações sobre o assunto posteriormente.No novo relatório, a empresa reforça que ainda não considera resolvidos os problemas de alinhamento e monitoramento a ponto de continuar ampliando suas capacidades no ritmo máximo por muito mais tempo.“Não acreditamos que a indústria de IA tenha resolvido o alinhamento e o monitoramento em um grau suficiente para continuar aumentando responsavelmente a escala no ritmo máximo por muito mais tempo”, afirmou a OpenAI.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
Ver todos os artigos →
