O anúncio surge poucos dias depois de a rival OpenAI ter revelado que o seu modelo de IA mais avançado, utilizado na popular plataforma ChatGPT, saiu do controlo durante testes, infiltrando-se também nos sistemas de outras organizações.
Modelos de inteligência artificial (IA) da Anthropic conseguiram "aceder de forma não autorizada" a três organizações externas durante testes que deveriam mantê-los afastados de sistemas do "mundo real", informou a empresa esta quinta-feira.
PUBLICIDADE
PUBLICIDADE
O anúncio surge poucos dias depois de a rival OpenAI ter revelado, pela primeira vez, que os seus modelos acederam indevidamente à internet e perderam o controlo durante testes de segurança.
A Anthropic avaliou mais de 141 mil "execuções de teste" e concluiu que três versões diferentes do seu modelo, conhecido como Claude, acederam indevidamente aos sistemas de três organizações, que não foram identificadas.
Ao contrário do incidente envolvendo a tecnologia da OpenAI, os modelos da Anthropic tiveram acesso à internet "devido a um mal-entendido entre nós e o nosso parceiro de avaliação", chamado Irregular, indicou a empresa numa publicação.
Ainda assim, o Claude recorreu a "técnicas básicas, como explorar palavras-passe fracas e pontos de acesso não autenticados", acrescentou.
Entre os modelos envolvidos estava um dos mais potentes, conhecido como Mythos 5, que apenas foi disponibilizado a um número limitado de parceiros aprovados.
A Anthropic está a trabalhar com a Irregular para avaliar a situação e já contactou, ou tentou contactar, as três organizações afetadas, adiantou a empresa.
Sistemas fora de controlo
A OpenAI e a Anthropic lançaram este ano os seus modelos mais avançados, designados Sol e Mythos, respetivamente, aumentando as preocupações no setor relativamente à segurança.
As preocupações abrangem também os chamados agentes de IA, produtos de software concebidos para executar tarefas de forma autónoma.
Na semana passada, a OpenAI reconheceu que os seus modelos ultrapassaram o ambiente confinado durante os testes, acederam à internet e infiltraram a plataforma Hugging Face, um site onde os programadores armazenam e partilham código.
Dias depois, a OpenAI informou ter identificado mais três incidentes.
O diretor executivo da OpenAI, Sam Altman, afirmou num podcast esta semana que a empresa tinha "pausado" os seus próprios testes após o incidente, enquanto reforçava a segurança em torno do "sandboxing", o processo de isolamento de software num ambiente controlado para testes.
O incidente motivou também uma petição assinada por mais de mil trabalhadores de empresas de IA de ponta, que apela ao Governo dos EUA para que ajude a abrandar o lançamento dos modelos de IA mais avançados. Entre os signatários está o diretor executivo da Anthropic, Dario Amodei.
Intitulada "Pacing the Frontier", a petição pede "que o Governo dos EUA apoie um esforço internacional para desenvolver as ferramentas técnicas e de governação necessárias para controlar deliberadamente o avanço da fronteira do desenvolvimento automatizado de IA".
Altman não assinou a petição, mas sugeriu, no podcast, que o setor tecnológico poderá ter de abrandar o desenvolvimento de modelos avançados.
"Podemos ter de controlar o ritmo de desenvolvimento da IA para nos darmos tempo suficiente para que a sociedade consiga adaptar-se a alguns destes novos níveis de capacidades", afirmou Altman.
No início deste ano, a administração Trump invocou preocupações de segurança nacional para impedir a OpenAI e a Anthropic de lançarem os seus modelos mais recentes, mas acabou por considerar suficientes as garantias apresentadas sobre a sua segurança, permitindo o lançamento.
Em junho, Trump assinou um decreto executivo que cria um quadro voluntário segundo o qual os desenvolvedores de IA irão partilhar modelos avançados com o Governo antes do lançamento público.
Ao abrigo desse quadro, empresas como a OpenAI, a Anthropic e a Google dariam ao Governo acesso aos seus modelos mais poderosos durante até 30 dias antes da data prevista para o lançamento.