OpenAI e startup neozelandesa desenvolvem sistema híbrido de intervenção
O ChatGPT está testando um sistema capaz de detectar sinais de extremismo violento em conversas e encaminhar usuários a serviços de apoio, segundo informações divulgadas pelos responsáveis pelo projeto. A ferramenta, em desenvolvimento na Nova Zelândia pela startup ThroughLine, combina atendimento humano e respostas automatizadas para reduzir riscos de violência e oferecer suporte em situações de crise.
A ThroughLine, contratada nos últimos anos por empresas como OpenAI, Anthropic e Google, já presta serviço de redirecionamento quando a inteligência artificial identifica indícios de automutilação, violência doméstica ou transtornos alimentares. Agora a empresa estuda ampliar a atuação para casos relacionados ao extremismo violento, de acordo com o fundador Elliot Taylor.
Taylor, ex-assistente social, informou que a ThroughLine negocia com o The Christchurch Call — iniciativa lançada após o atentado mais letal da Nova Zelândia em 2019 para combater o ódio online — para receber orientações enquanto desenvolve o chatbot de intervenção. Não há prazo definido para o lançamento do recurso.
A startup, que opera a partir de áreas rurais da Nova Zelândia, oferece atualmente uma rede monitorada com 1.600 linhas de apoio em 180 países. Quando um modelo de IA detecta sinais de crise de saúde mental, a pessoa é direcionada para a ThroughLine, que procura conectar o usuário a atendimento humano local. Segundo Taylor, os casos atendidos aumentaram com a popularidade dos chatbots e passaram a incluir manifestações de extremismo.
O sistema em teste terá modelo híbrido: um chatbot treinado para interagir com usuários que exibam sinais de radicalização e, quando necessário, encaminhamentos para serviços presenciais de saúde mental. Taylor afirmou que a empresa não está usando os mesmos conjuntos de dados empregados para treinar modelos de linguagem genéricos, e que está trabalhando com especialistas na área.
OpenAI confirmou a parceria com a ThroughLine, mas não deu mais detalhes. Anthropic e Google não responderam aos pedidos de comentário. A iniciativa surge em meio a crescentes pressões legais contra empresas de inteligência artificial por não impedir ou até incentivar episódios de violência: em fevereiro, o governo do Canadá ameaçou intervenção após a revelação de que o autor de um massacre escolar havia sido banido da plataforma sem que as autoridades fossem alertadas.
Especialistas consultados disseram que a ferramenta pode ser útil para moderadores de fóruns e pais preocupados com o extremismo online, mas alertaram que o sucesso depende da qualidade do acompanhamento oferecido a quem for encaminhado. Taylor acrescentou que medidas como alertas às autoridades ainda estão sendo definidas e que qualquer ação considerará o risco de provocar comportamentos mais agressivos.
Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, apontou que maior moderação nas plataformas levou usuários a migrar para espaços menos regulados, como o Telegram, o que também é levado em conta no desenvolvimento da ferramenta.
Com informações de G1
