Tudo sobre ChatGPT
Uma nova ferramenta em desenvolvimento na Nova Zelândia pretende identificar sinais de extremismo violento em usuários do ChatGPT e encaminhá-los a serviços de apoio especializados. A proposta combina inteligência artificial com atendimento humano para reduzir riscos de violência.Continua após a publicidadeA iniciativa envolve a startup neozelandesa ThroughLine, que já presta serviços para empresas como OpenAI, Anthropic e Google. O sistema atua quando há indícios de risco, incluindo automutilação, violência doméstica e transtornos alimentares, conectando usuários a redes de suporte.Pressão sobre segurança impulsiona nova iniciativaO projeto surge em meio a pressões sobre empresas de IA relacionadas à segurança, especialmente diante de processos judiciais que acusam plataformas de não impedir — ou até incentivar — episódios de violência.Em fevereiro, a OpenAI foi alvo de uma ameaça de intervenção pelo governo do Canadá, após a revelação de que o autor de um ataque em uma escola havia sido banido da plataforma sem notificação às autoridades. A empresa confirmou à Reuters a parceria com a ThroughLine, mas não detalhou a iniciativa. Anthropic e Google não responderam ao contato da agência.
OpenAI confirmou parceria com a startup neozelandesa – Imagem: Thrive Studios ID/ShutterstockParceria busca ampliar prevenção ao extremismoO fundador da ThroughLine, Elliot Taylor, afirmou à Reuters que a empresa estuda ampliar o serviço para incluir a prevenção ao extremismo violento. A startup negocia uma parceria com o The Christchurch Call, iniciativa criada após o ataque terrorista de 2019 na Nova Zelândia para combater o ódio online.“É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas”, disse Taylor. Não há prazo definido para a implementação.Atualmente, a ThroughLine mantém uma rede com 1.600 linhas de apoio em 180 países, conectando usuários a serviços locais com atendimento humano após a identificação de sinais de crise por sistemas de IA.Como funciona o sistema híbrido de apoio
A tecnologia deve operar em um modelo híbrido, com chatbots treinados para interagir com usuários em risco e encaminhá-los para serviços presenciais de saúde mental.Segundo Taylor, o sistema não utiliza dados de treinamento tradicionais de modelos de linguagem, mas sim orientações de especialistas. Hoje, o serviço ainda está restrito a algumas categorias, embora a empresa observe que o crescimento dos chatbots ampliou o tipo de problemas relatados online, incluindo o extremismo.Leia mais:Testes em andamento e desafios da implementaçãoA ferramenta segue em fase de testes e ainda não tem data de lançamento. O consultor de contraterrorismo Galen Lamphere-Englund, ligado ao The Christchurch Call, afirmou que o sistema pode ser utilizado por moderadores de fóruns de jogos e pais.Continua após a publicidadePara o pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, a proposta é relevante ao considerar não apenas o conteúdo, mas também a relação entre usuários e plataformas. Ele ressalta que o sucesso dependerá da qualidade do acompanhamento e dos serviços oferecidos.Taylor afirmou que medidas como eventuais alertas às autoridades ainda estão em definição e levarão em conta o risco de agravar comportamentos. Segundo ele, usuários em sofrimento tendem a compartilhar online questões que evitariam em interações presenciais.Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, aponta que o aumento da moderação pode levar usuários a migrar para plataformas menos reguladas, como o Telegram. Para Taylor, interromper conversas sem oferecer suporte pode deixar pessoas sem assistência.
Ana Luiza Figueiredo
Ana Luiza Figueiredo é repórter de tecnologia do Olhar Digital desde 2021
Ver todos os artigos →
