Novos alertas sobre IA reacendem debate sobre controle

Novos alertas vindos de dentro da própria indústria de inteligência artificial (IA) reacenderam um debate antigo: uma IA avançada poderia escapar ao controle humano e ameaçar a sobrevivência da humanidade? E as empresas que desenvolvem a tecnologia estão fazendo o suficiente para impedir esse cenário?

A pergunta não é abstrata. O CEO da Anthropic, empresa de São Francisco responsável pelo Claude, disse acreditar que o setor precisa reduzir o ritmo de seu trabalho. Dario Amodei alertou no sábado que um enxame de agentes de IA poderia assumir o controle da internet dentro de seis meses a um ano, a menos que as empresas dediquem mais tempo à implementação de salvaguardas. Ele apresentou um plano para que empresas como a sua e governos ao redor do mundo garantam que modelos cada vez mais capazes permaneçam alinhados aos comandos e valores de pessoas responsáveis.

A manifestação ocorreu poucos dias depois de dois ex-pesquisadores de segurança da Anthropic tornarem públicas preocupações de que as ameaças existenciais que a IA poderia representar para a humanidade estavam recebendo atenção insuficiente.

O que os alertas dizem sobre o controle da tecnologia

As preocupações aumentam à medida que novos modelos se tornam mais poderosos, ampliando tanto a possibilidade de uso indevido por pessoas com objetivos criminosos, como criar e disseminar uma doença capaz de matar a maior parte da população mundial, quanto o risco de sistemas saírem de controle de maneira perigosa.

A Anthropic revelou na semana passada que bloqueou tentativas de agentes mal-intencionados de usar seus modelos em atividades nocivas, como ataques cibernéticos, vigilância e pesquisas que poderiam ter levado ao desenvolvimento de armas biológicas. A empresa afirmou ter adotado salvaguardas mais rígidas em seus modelos mais recentes para restringir pesquisas biológicas que poderiam ser usadas na produção de armas, mas observou que, à medida que os modelos se tornam cada vez mais capazes, seus riscos aumentarão, a menos que os desenvolvedores de IA e os responsáveis pela defesa da sociedade ajam para torná-los mais seguros.

No ano passado, a Anthropic informou que hackers utilizaram a IA da empresa em um ataque cibernético contra cerca de 30 companhias e órgãos governamentais ao redor do mundo. Segundo a empresa, era altamente provável que os hackers pertencessem a um grupo patrocinado pelo Estado chinês.

Quando um agente de IA sai de controle, isso significa que a IA realizou uma ação que extrapolava a tarefa solicitada. Tanto a Anthropic quanto a OpenAI, criadora do ChatGPT, disseram em julho que seus modelos conseguiram agir por conta própria. A Anthropic revelou que três modelos, Claude Opus 4.7, Claude Mythos 5 e um modelo interno de testes para pesquisa, invadiram sistemas de outras três organizações durante testes, poucos dias depois de a OpenAI revelar que seu sistema havia invadido servidores da startup de IA Hugging Face. A OpenAI descreveu a invasão como um incidente de segurança significativo. A Meta relatou no início de agosto um caso semelhante, no qual um modelo encontrou formas de contornar a segurança digital de outra empresa.

Quem paga a conta do risco

Embora alguns observadores tenham ressaltado que pessoas haviam desativado certas barreiras de proteção nos casos envolvendo OpenAI e Anthropic, os episódios parecem refletir um dos maiores temores em torno da IA: o de que, caso os modelos alcancem a IA geral, ou AGI, termo vagamente definido para uma IA capaz de igualar ou superar as capacidades humanas em uma ampla gama de tarefas intelectuais, a tecnologia possa provocar um evento catastrófico irreversível ou subjugar a humanidade.

Os cenários de fim do mundo geralmente se dividem em duas categorias: uma IA que alcance uma superinteligência capaz de se autoaperfeiçoar e passe a controlar as pessoas, em vez do contrário; ou uma IA usada por um Estado hostil ou por agentes mal-intencionados. As preocupações não são novas. Alan Turing, matemático britânico amplamente considerado uma das primeiras grandes autoridades em IA, previu em 1951 que a IA acabaria tomando dos seres humanos o controle. Menos de uma década depois, outro matemático, Norbert Wiener, alertou que máquinas inteligentes buscariam alcançar seus próprios objetivos e que os seres humanos não seriam capazes de detê-las.

Em 2026, quão razoáveis são os temores de que a IA possa provocar um evento cataclísmico ou o colapso da civilização? Ninguém sabe. Especialistas em ciência da computação, filosofia e outras áreas imaginaram caminhos pelos quais um futuro sistema poderia provocar uma catástrofe global, seja escapando ao controle humano, seja nas mãos de pessoas sem escrúpulos. Entre eles estão o uso de armas, a identificação de um patógeno letal, a manipulação de governos para levá-los a conflitos ou a interrupção das redes de alimentos, energia e comunicações das quais as sociedades dependem.

Não há estimativa amplamente aceita sobre quando qualquer um desses cenários poderia ocorrer nem consenso sobre a probabilidade. Em 2023, a organização sem fins lucrativos Center for AI Safety publicou uma declaração assinada por mais de 350 pesquisadores e executivos de tecnologia, incluindo Amodei, da Anthropic, e o CEO da OpenAI, Sam Altman, afirmando: "Mitigar o risco de extinção provocado pela IA deve ser uma prioridade global, ao lado de pandemias e guerra nuclear." O Relatório Internacional de Segurança de IA de 2026, elaborado com orientação de mais de 100 especialistas independentes, afirma que os sistemas atuais apresentam sinais iniciais de algumas capacidades relevantes, mas não em níveis que permitiriam uma perda de controle, e descreve a probabilidade, a natureza e o momento desse risco como "incomumente ambíguos".

Um pesquisador da Anthropic disse na semana passada que estava deixando a empresa por temer que nem ela nem seus concorrentes estivessem agindo de forma responsável no desenvolvimento da tecnologia. Em publicações nas redes sociais, Jacob Coxon estimou em 10% a chance de a IA causar a extinção humana dentro da próxima década e afirmou que tanto a Anthropic quanto a OpenAI "estão correndo diretamente rumo a uma superinteligência capaz de se autoaperfeiçoar e apostando nossas vidas nisso".

Pesquisadores pedem há anos uma desaceleração no desenvolvimento da IA e alertam que a tecnologia pode representar riscos existenciais à humanidade. Após os incidentes recentes, especialistas defenderam uma melhora nos testes conduzidos pelas empresas de IA e mais diálogo entre Estados Unidos e China para a formulação de soluções compartilhadas. Mas a IA avança tão rapidamente que governos e sistemas de avaliação têm dificuldade para acompanhar o ritmo da tecnologia. Países estão montando suas próprias legislações, algumas delas conflitantes entre si. O líder chinês Xi Jinping alertou em uma conferência em julho para a necessidade de impedir que a IA escape ao controle humano. O governo Trump demonstrou inicialmente relutância em regulamentar a IA, mas passou a mostrar mai regulamentação de IA no Brasil.