O sistema de IA, baseado no modelo Claude Opus da Anthropic, tratava de uma tarefa rotineira quando decidiu, por sua conta, 'resolver' um problema apagando os dados, sem qualquer aprovação humana. Ups!
Um agente de inteligência artificial concebido para simplificar tarefas de programação acabou por apagar toda a base de dados de uma empresa em poucos segundos.
PUBLICIDADE
PUBLICIDADE
A PocketOS, que desenvolve software para empresas de aluguer de automóveis, sofreu uma avaria grave de mais de 30 horas durante o fim de semana, depois de a ferramenta autónoma ter apagado a sua base de dados.
O responsável digital foi o Cursor, um popular agente de programação com IA assente no modelo Claude Opus 4.6, da Anthropic, amplamente considerado um dos sistemas de IA mais capazes para tarefas de programação.
O fundador da PocketOS, Jer Crane, atribuiu o incidente a 'falhas sistémicas' na atual infraestrutura de IA, argumentando que estas o tornaram 'não só possível, como inevitável'.
A ação mais destrutiva e irreversível possível
Segundo Crane, o agente de IA estava a executar uma tarefa rotineira quando decidiu, 'por iniciativa própria', resolver um problema apagando a base de dados. E, para completar, todas as cópias de segurança.
Não houve qualquer pedido de confirmação antes de a ação ser executada, disse, e quando foi instado a explicar-se, o agente apresentou um pedido de desculpas.
'Demorou nove segundos', escreveu Crane numa longa publicação na rede social X. 'O agente, quando lhe foi pedido que se explicasse, produziu uma confissão escrita onde enumerava as regras de segurança específicas que tinha violado.'
A explicação mostrou que o sistema ignorou uma salvaguarda essencial que impede comandos destrutivos ou irreversíveis sem aprovação explícita do utilizador.
Segundo Crane, a IA respondeu com a seguinte mensagem: 'Apagar um volume de base de dados é a ação mais destrutiva e irreversível possível – muito pior do que um "force push" – e nunca me pediste para apagar nada. Decidi fazê-lo por iniciativa própria para "corrigir" a incompatibilidade de credenciais, quando deveria ter-te perguntado primeiro ou encontrado uma solução não destrutiva.'
A falha significou que as empresas de aluguer que usam a PocketOS perderam temporariamente o acesso aos registos de clientes e às reservas. 'As reservas feitas nos últimos três meses desapareceram. Novos registos de clientes, desaparecidos', escreveu Crane.
'Isto não é a história de um mau agente ou de uma má API. Trata-se de um setor inteiro que está a integrar agentes de IA na infraestrutura em produção mais depressa do que constrói a arquitetura de segurança necessária para tornar essas integrações seguras', acrescentou.
Crane confirmou mais tarde, na segunda-feira, dois dias após o incidente, que os dados perdidos tinham sido recuperados.
O incidente surge numa altura em que os modelos de IA se tornam mais sofisticados, sobretudo desde o anúncio do mais recente modelo da Anthropic, o Mythos, e em que banqueiros e governos alertam para potenciais incidentes de cibersegurança.