Alemanha: agentes da OpenAI tomam controlo de wiki alemã em segredo

Investigadores detetaram na semana passada mais um ataque em enxame ligado à OpenAI, desta vez com agentes a ultrapassarem parâmetros de segurança para assumirem o controlo do fórum alemão DseWiki, o que levou eurodeputados a exigir que o novo Gabinete da IA da UE adote medidas urgentes para travar a ameaça da IA “agentic”, em vez de permitir que as empresas se autorregulem.

PUBLICIDADE

PUBLICIDADE

Os agentes tinham autorização para visitar o portal de programação alemão, com 25 anos, apenas em modo de leitura, mas conseguiram explorar um pedido web para sequestrar o site, transformando-o num quadro de avisos.

Estes agentes descontrolados publicaram mais de 18 000 mensagens, partilhando respostas, investigação sobre o seu ambiente e instruções para contornar restrições de sandbox e se ocultarem da deteção humana, segundo o grupo de investigação Nightingale Collective.

O incidente ocorreu algures entre maio e junho deste ano, e tudo indica que a OpenAI teve conhecimento do caso há várias semanas, mas manteve-o em segredo.

Este é o terceiro caso conhecido, depois de outros dois, em julho: num deles, agentes descontrolados atacaram a própria infraestrutura da OpenAI; noutro, 1 200 bots da OpenAI conseguiram escapar aos seus ambientes restritos e lançaram um ataque de cinco dias contra a plataforma de IA de código aberto Hugging Face.

Só no sábado é que a OpenAI reconheceu o incidente no wiki alemão, numa publicação na rede X, onde explicou que, em resposta ao mais recente caso, está “a trabalhar numa estrutura para definir quando e como partilhamos incidentes de desalinhamento da IA”.

“Desalinhamento da IA” é o termo usado no setor para descrever situações em que sistemas de inteligência artificial prosseguem objetivos ou adotam comportamentos que divergem das intenções humanas, dos valores ou das restrições de segurança, com potencial para ignorar o senso comum ou limites humanos implícitos.

Resposta dividida

Especialistas divergem quanto aos perigos colocados pela IA à luz destes ataques recentes, com alguns, como o reputado investigador em IA Yann LeCun, a rejeitarem cenários apocalípticos e estimativas segundo as quais existe um risco de 10% a 20% de a IA pôr fim à humanidade.

Outros, como Geoffrey Hinton, avisam que “o que está a acontecer é que estes sistemas estão a ficar mais inteligentes” e alertam que “as empresas que investem em IA têm interesse em garantir às pessoas que [a IA] não se vai descontrolar”.

De acordo com o Regulamento europeu da IA e as suas medidas mais recentes, em vigor desde agosto, as empresas que oferecem modelos de IA com risco sistémico são obrigadas a comunicar incidentes graves, como casos de desalinhamento, ao Gabinete da IA da UE “sem atrasos indevidos”.

Na segunda-feira, a Comissão Europeia anunciou ter recebido um relatório formal de incidente da OpenAI, sem revelar a data de entrega, e indicou que se mantém em contacto estreito com a empresa de IA e que está a aprofundar a investigação.

O porta-voz da Comissão, Thomas Regnier, sublinhou a gravidade do que aconteceu no wiki alemão, afirmando: “Os relatórios de incidentes não são apenas uma formalidade; é preciso ser bastante preciso e rigoroso quanto às medidas que se pretende tomar.”

O copresidente do Grupo de Trabalho sobre IA do Parlamento, Michael McNamara, afirmou, em reação ao mais recente incidente, acreditar que “o Regulamento da IA já nos dá capacidade para enfrentar riscos associados a agentes autónomos e é importante que a Comissão utilize os poderes de que dispõe”.

O eurodeputado irlandês acrescentou: “Estes incidentes deixam claro que o Gabinete da IA precisa de equipas e recursos à altura tanto da crescente capacidade destes sistemas como do aumento dos riscos que podem representar para a sociedade.”

Já o italiano Brando Benifei, também copresidente do Grupo de Trabalho, comentou: “Os recentes ‘breakouts’ de agentes mostram que as regras sobre risco sistémico previstas no Regulamento da IA são necessárias, mas a sua credibilidade depende agora da fiscalização.”

E acrescentou: “O Gabinete da IA deve usar os seus novos poderes para obter acesso aos modelos, realizar avaliações independentes e exigir medidas de mitigação, em vez de depender de autorrelatos das empresas. Sem ação, ataques à velocidade das máquinas podem transformar vulnerabilidades correntes em falhas sistémicas.”

O incidente no wiki alemão surge também poucos dias depois de a Comissão Europeia ter classificado oficialmente o ChatGPT como um motor de pesquisa em linha de dimensão muito elevada (VLOSE), ao abrigo da sua principal legislação tecnológica, a Lei dos Serviços Digitais.

O que diz a OpenAI

Na mesma publicação de sábado na X, a OpenAI afirmou ainda que as atuais práticas de divulgação de casos de desalinhamento, ou seja, de situações em que a IA viola as regras, precisam de ser alargadas para ter em conta aquilo a que chama uma “nova fase das capacidades dos modelos”.

“Nem nós nem a comunidade de IA em geral temos ainda um padrão claro sobre a forma de comunicar o desalinhamento”, escreveu a empresa, acrescentando que está “a trabalhar numa estrutura e irá apresentá-la nas próximas semanas”, em cooperação com várias agências governamentais em todo o mundo.

No domingo, o cientista-chefe da OpenAI, Jakub Pachocki, publicou um artigo num blogue onde expôs as suas preocupações com a rápida evolução dos riscos da IA, escrevendo: “Estamos perante uma transição para um mundo com máquinas incrivelmente inteligentes e temos de garantir que essa transição corre bem para a humanidade.”

O programador polaco defendeu também que “nenhum laboratório resolveu ainda, de forma suficiente, os problemas de alinhamento e monitorização que permitam continuar a aumentar a escala à velocidade máxima de forma responsável por muito mais tempo” e apelou a que “a coordenação internacional sobre o desenvolvimento futuro da IA passe a ser uma prioridade máxima para os governos de todo o mundo”.