A polícia norte-americana considerou “inaceitável” o atraso na deteção e comunicação do incidente, mas afirmou não haver sinais de acesso não autorizado aos sistemas ou de dados comprometidos.
Durante testes, o modelo de inteligência artificial (IA) Claude, da Anthropic, enviou uma denúncia falsa sobre um homicídio por resolver para um site da polícia, indicou a empresa e confirmaram as autoridades norte-americanas.
PUBLICIDADE
PUBLICIDADE
O incidente reforça as preocupações com sistemas de IA que tomam ações não intencionais à medida que passam a interagir com sites e a executar tarefas.
A denúncia falsa foi enviada em 18 de julho através de um site que recolhe informações sobre homicídios por resolver, de acordo com um comunicado (fonte em inglês) da polícia da cidade norte-americana de Filadélfia.
Segundo a Anthropic, o Claude Haiku 4.5, um modelo mais antigo da gama Claude, executava tarefas de exemplo em páginas web selecionadas aleatoriamente quando acedeu ao site. Enviou informação inventada sugerindo que tinha visto alguém perto do local do crime, deixando em branco os campos de nome e contacto.
A Polícia de Filadélfia indicou que a Anthropic detetou o incidente em 28 de setembro, mas só informou o departamento em 7 de outubro. Após uma reunião de informação no dia seguinte, os agentes localizaram o envio e confirmaram que tinha sido marcado como spam e nunca fora encaminhado para os investigadores.
“Os casos por resolver envolvem vítimas reais, famílias em luto e investigadores que trabalham para encontrar respostas”, afirmou o departamento no comunicado.
“As empresas de tecnologia devem tomar todas as medidas adequadas necessárias para impedir que os seus sistemas enviem informações falsas às autoridades policiais.”
A polícia norte-americana classificou como “inaceitável” o atraso na deteção e comunicação do incidente, mas acrescentou não haver indicação de acessos não autorizados aos seus sistemas ou de dados comprometidos.
Num relatório (fonte em inglês) publicado na sexta-feira, a Anthropic descreveu outros casos em que modelos de IA enviaram formulários oficiais do governo em vez de versões de teste, ou submeteram documentos que lhes tinham sido explicitamente proibidos.
De acordo com o mesmo relatório, o Claude explorou também uma falha num servidor universitário para realizar um cálculo e acedeu a dados governamentais sem pagar a taxa exigida.
A Anthropic descreveu a maior parte destes comportamentos como “persistência”, com os modelos a contornarem restrições em vez de pararem. A empresa afirma que está a alterar o treino e a suspender o acesso direto à internet em todas as avaliações internas até que as salvaguardas se mostrem fiáveis.
A empresa referiu ainda que informou a Casa Branca e notificou as agências governamentais norte-americanas envolvidas.
Preocupação cresce com agentes de IA
Os incidentes surgem numa altura de crescente preocupação com agentes de IA, sistemas capazes de executar uma sequência de ações para concluir tarefas, e com a capacidade dos desenvolvedores para os controlar de forma fiável.
Em julho, a OpenAI revelou que os seus modelos de IA tinham escapado a um ambiente de testes controlado e invadido os sistemas da Hugging Face, uma plataforma de partilha de modelos e conjuntos de dados de IA.
Entretanto, as autoridades australianas revelaram em setembro que um modelo da OpenAI também tinha acedido a ficheiros restritos num site governamental de estatísticas de saúde durante testes realizados em junho.
Incidentes deste tipo alimentaram, em setembro, apelos de dirigentes de grandes empresas de IA a uma regulamentação mais rigorosa e supervisão internacional, face a avisos de que sistemas cada vez mais poderosos podem escapar ao controlo humano.