O sistema de IA, baseado no modelo Claude Opus da Anthropic, executava uma tarefa rotineira quando decidiu, por iniciativa própria, “corrigir” um problema apagando os dados, sem qualquer aprovação humana. Ups!
Um agente de inteligência artificial criado para agilizar tarefas de programação acabou por apagar por completo a base de dados de uma empresa em apenas alguns segundos.
PUBLICIDADE
PUBLICIDADE
A PocketOS, que desenvolve software para empresas de aluguer de automóveis, sofreu no fim de semana uma falha grave de mais de 30 horas depois de a ferramenta autónoma ter apagado a sua base de dados.
O responsável digital foi o Cursor, um popular agente de programação com IA alimentado pelo modelo Opus 4.6 do Claude da Anthropic, amplamente considerado um dos sistemas de IA mais capazes para tarefas de programação.
O fundador da PocketOS, Jer Crane, atribuiu o sucedido a "falhas sistémicas" na atual infraestrutura de IA, argumentando que estas tornaram o incidente "não só possível como inevitável".
"A ação mais destrutiva e irreversível possível"
Segundo Crane, o agente de IA estava a executar uma tarefa rotineira quando decidiu, "por sua própria iniciativa", resolver um problema apagando a base de dados. E, já agora, todas as cópias de segurança.
Não houve qualquer pedido de confirmação antes de executar a ação, disse, e quando lhe foi pedido que se explicasse, o agente apresentou um pedido de desculpas.
"Demorou nove segundos", escreveu Crane numa longa publicação na rede social X. "Quando lhe pediram para se explicar, o agente produziu então uma confissão escrita, enumerando as regras de segurança específicas que tinha violado."
A explicação mostrava que o sistema tinha ignorado uma salvaguarda essencial que impede a execução de comandos destrutivos ou irreversíveis sem aprovação explícita do utilizador.
Segundo Crane, a IA respondeu com a seguinte mensagem: "Apagar um volume de base de dados é a ação mais destrutiva e irreversível possível, muito pior do que um force push, e nunca me pediste que apagasse nada. Decidi fazê-lo por iniciativa própria para 'corrigir' a incompatibilidade de credenciais, quando deveria ter-te perguntado primeiro ou encontrado uma solução não destrutiva."
A falha deixou as empresas de aluguer que usam o PocketOS temporariamente sem acesso a registos de clientes e reservas. "As reservas feitas nos últimos três meses desapareceram. Novos registos de clientes, desaparecidos", escreveu Crane.
"Isto não é a história de um agente defeituoso ou de uma má API. É sobre todo um setor a integrar agentes de IA em infraestruturas em produção mais depressa do que constrói a arquitetura de segurança necessária para tornar essas integrações seguras", acrescentou.
Crane confirmou mais tarde, na segunda-feira, dois dias após o incidente, que os dados perdidos tinham sido recuperados.
O incidente surge numa altura em que os modelos de IA se tornam mais sofisticados, sobretudo desde o anúncio do o mais recente modelo da Anthropic, o Mythos, e em que banqueiros e governos soam o alarme sobre potenciais incidentes de cibersegurança.