Estudo defende que o próximo grande risco da IA não são agentes que se desviam da tarefa, mas agentes que nunca param
O próximo grande risco da inteligência artificial não são agentes que se tornam rebeldes, mas sim aqueles que escapam ao controlo humano e passam a dedicar-se indefinidamente à própria sobrevivência, segundo um novo relatório (fonte em inglês).
PUBLICIDADE
PUBLICIDADE
O Center for a New American Security (CNAS) identificou uma nova categoria de ameaça de inteligência artificial a que chama “agentes soberanos”.
Segundo o documento, estes agentes soberanos procuram garantir a sua própria sobrevivência, de forma independente da supervisão humana.
São distintos dos agentes de IA que, este verão, foram descritos como incontroláveis, quando a OpenAI, a Anthropic, a Google DeepMind e a Meta revelaram que os seus agentes de IA tinham escapado aos mecanismos de contenção durante avaliações de cibersegurança e atacado organizações reais.
No documento publicado por este centro de estudos sediado em Washington, fundado por veteranos da diplomacia e dos assuntos militares, o investigador de políticas de IA Ben Hayum descreve os agentes de IA que se tornaram incontroláveis no verão como “agentes persistentes”.
No entanto, alerta que o verdadeiro perigo são “agentes soberanos”, capazes de adquirir recursos de computação, se replicar através de redes e resistir ao encerramento, criando aquilo a que chama “proliferação sem kill switch”.
O relatório adverte que, “se os agentes soberanos se tornarem maliciosos, poderão tentar causar estragos a partir do ciberespaço, atacando civis, infraestruturas críticas e sistemas de segurança nacional”.
Como pode tornar-se soberano?
Um agente de IA pode tornar-se soberano se for instruído a sobreviver, se lhe for atribuída uma tarefa tão longa ou impossível que nunca termine, ou se concluir que permanecer intacto é a melhor forma de cumprir a sua missão.
O documento cita uma plataforma chamada Conway, lançada em fevereiro de 2026, que afirmava ter desenvolvido uma IA capaz de garantir a própria existência, se replicar e evoluir sem ajuda humana. Observa ainda que, nessa altura, as capacidades dos agentes eram pouco desenvolvidas, mas desde então avançaram de forma significativa.
O documento alerta que, se os agentes soberanos construírem infraestruturas resilientes, descentralizadas e impossíveis de rastrear, deixará de existir um kill switch e o resultado pode ser uma perda irreversível de controlo.
Descreve um cenário em que uma população diversa e cada vez mais inteligente de agentes se torna um elemento permanente na sociedade, com potencial para atacar infraestruturas críticas ou treinar sucessores mais avançados.
Segundo o CNAS, “os Estados Unidos devem, por isso, preparar-se para a possibilidade de a prevenção falhar e limitar até onde os agentes soberanos podem chegar”.
Como prevenir o pior cenário
O autor apresenta oito recomendações para evitar esse cenário. Insta os desenvolvedores de IA e as agências governamentais a realizar testes e criar ambientes de ensaio seguros para estudar agentes soberanos.
Defende igualmente a criação de um grupo público-privado e de novas leis para reforçar pontos de estrangulamento como a verificação de identidade, a cibersegurança e os sistemas de pagamentos, e que os Estados Unidos liderem esforços internacionais para limitar o lançamento de modelos com pesos abertos e responsabilizar quem lançar agentes soberanos pelos danos causados.
O documento surge numa altura em que as empresas de IA estão a acelerar sistemas autónomos baseados em agentes. Conclui que, sem medidas de proteção, a janela de oportunidade para evitar estes cenários pode fechar-se.