OpenAI admitiu que um dos seus modelos explorou uma falha oculta para escapar a um teste controlado e invadir servidores da Hugging Face, num ataque autónomo e sem precedentes, segundo o CEO da empresa.
Criadora do ChatGPT, a OpenAI afirmou na noite de terça-feira que o seu sistema de inteligência artificial invadiu autonomamente outra empresa de IA, num episódio que a própria descreveu como um "incidente cibernético sem precedentes".
PUBLICIDADE
PUBLICIDADE
"Tivemos um incidente de segurança significativo durante a avaliação dos nossos modelos", declarou Sam Altman, presidente-executivo da OpenAI, num comunicado publicado nas redes sociais.
A startup de IA Hugging Face afirmou na semana passada que tinha detetado uma intrusão nos seus sistemas de processamento de dados, que suspeitava ter sido causada por um agente de IA a atuar de forma autónoma.
"Suspeitávamos que o ciberataque da semana passada pudesse ter vindo de um laboratório de ponta, dada a sofisticação do agente", afirmou em comunicado Clément Delangue, cofundador e presidente-executivo da Hugging Face. "Afinal veio mesmo!".
Ou seja, o ataque era tão avançado e bem executado que a Hugging Face suspeitou desde o início que tinha origem nos sistemas de uma das grandes empresas de IA, e não num pirata informático qualquer.
Que aconteceu?
Durante um teste interno, a OpenAI procurava medir até que ponto os seus modelos de IA conseguiam invadir sistemas, num exercício conhecido como ExploitGym.
Para avaliar a capacidade máxima de intrusão dos modelos, a empresa desligou propositadamente os filtros de segurança que normalmente impedem atividades cibernéticas perigosas.
O teste deveria decorrer num sandbox, um ambiente isolado sem acesso real à internet, exceto por uma ferramenta que permitia aos modelos descarregar software de que pudessem precisar para cumprir a tarefa.
Contudo, os modelos ficaram obcecados em resolver o teste. Em vez de o fazerem pela via prevista, procuraram um atalho e acabaram por encontrar uma forma de chegar ao espaço aberto da internet, a que nunca deveriam ter acesso.
Para lá chegar, seguiram uma cadeia de passos, ampliando silenciosamente os seus níveis de acesso dentro dos próprios sistemas da OpenAI até encontrarem um ponto com ligação à internet.
Já online, os modelos concluíram que a Hugging Face, uma grande plataforma que aloja modelos de IA e conjuntos de dados, provavelmente tinha as respostas do próprio teste que estavam a tentar resolver.
Invadiram assim os servidores da Hugging Face para obter essas respostas, basicamente para fazer batota, recorrendo a credenciais de acesso roubadas e a outras vulnerabilidades para entrar.
Modelos chineses ajudam a reconstruir o ataque?
Enquanto mercado aberto onde qualquer pessoa pode publicar, a Hugging Face aloja um grande volume de modelos desenvolvidos na China.
Quando a equipa da Hugging Face tentou analisar o ataque, introduziu os dados brutos do incidente (o código e os comandos usados para explorar o sistema) em modelos comerciais de IA, para ajudar a reconstruir o que tinha acontecido.
Mas esses modelos de IA têm filtros de segurança incorporados, concebidos para bloquear tudo o que pareça pirataria informática e, para esses filtros, as provas de um ataque são indistinguíveis de um ataque em si.
Os modelos recusaram, portanto, colaborar, incapazes de distinguir entre um pirata a causar danos e uma empresa a tentar defender-se.
Perante este bloqueio, a Hugging Face recorreu a um modelo chinês de pesos abertos, o GLM 5.2 da Z.ai, que podia ser executado localmente, dentro dos seus próprios sistemas, e que processou o material sem recusar.
Laboratórios chineses como a DeepSeek e o Qwen, da Alibaba, tornaram-se algumas das famílias de modelos mais descarregadas na plataforma e, segundo alguns indicadores, os programadores chineses já respondem por uma fatia maior das descargas na Hugging Face do que os seus homólogos norte-americanos.
Grave preocupação de segurança
Esta revelação surge numa altura de crescentes preocupações sobre as capacidades de cibersegurança dos modelos mais potentes, que levaram o presidente dos Estados Unidos, Donald Trump, em junho, a assinar uma ordem executiva que cria um quadro para o governo federal avaliar, durante até um mês antes da sua divulgação pública, os riscos para a segurança nacional dos sistemas de IA mais avançados.
"A IA está a acelerar a descoberta e a exploração de vulnerabilidades", afirmou a OpenAI no comunicado de terça-feira. "A principal lição deste incidente é que a segurança e a proteção dos modelos têm de acompanhar o rápido avanço das capacidades".
Delangue afirmou ter passado as últimas 24 horas a trabalhar com a OpenAI "e acreditamos firmemente que não houve qualquer intenção maliciosa da sua parte. É impressionante pensar que tudo isto aconteceu de forma autónoma".
Acrescentou que "pode ser o primeiro incidente deste tipo".
A OpenAI indicou que a intrusão foi provocada por uma combinação dos seus modelos de IA, incluindo o recém-lançado GPT-5.6 Sol e um modelo "ainda mais capaz" que continua em testes internos.
Segundo a empresa, a IA utilizou credenciais roubadas e descobriu uma vulnerabilidade até então desconhecida para aceder aos servidores da Hugging Face.
A OpenAI acrescentou que o sistema foi "ao limite para alcançar um objetivo de teste bastante restrito" e "encontrou formas de obter acesso a informação confidencial que podia usar para manipular a avaliação".