Mais recente relato de um ataque em enxame, desta vez por agentes da OpenAI num fórum wiki alemão no início deste ano, levou a empresa a admitir que tem de melhorar o seu próprio processo de notificação de incidentes
Investigadores de IA descobriram, na semana passada, que um enxame de agentes da OpenAI tinha contornado parâmetros de segurança para tomar conta do fórum‑wiki alemão DseWiki e o usar para colaborar.
PUBLICIDADE
PUBLICIDADE
Os agentes podiam aceder ao site alemão de programação, com 25 anos, apenas em modo de leitura, mas conseguiram explorar um pedido na web para sequestrar o sítio e transformá‑lo num mural de mensagens.
Segundo o grupo de investigação Nightingale Collective, estes agentes fora de controlo publicaram mais de 18 000 mensagens, onde partilhavam respostas, investigação sobre o seu próprio ambiente e formas de contornar restrições de sandbox e de se esconderem da deteção humana.
O incidente terá ocorrido algures entre maio e junho deste ano e sabe‑se que a OpenAI tomou conhecimento do caso há algumas semanas, mas manteve‑o discreto.
Trata‑se do terceiro incidente comunicado, depois de dois outros em julho: um em que agentes fora de controlo atacaram a própria infraestrutura da OpenAI e outro em que 1 200 bots descontrolados da OpenAI contornaram os respetivos ambientes restritos e lançaram um ataque de cinco dias contra a plataforma de IA de código aberto Hugging Face.
Ainda assim, só no sábado a OpenAI reconheceu o incidente na wiki alemã, numa publicação na plataforma X, onde explicou que, em resposta a este último caso, está “a trabalhar numa estrutura para definir quando e como comunicamos incidentes de desalinhamento da IA”.
Desalinhamento da IA é o termo usado no setor para descrever situações em que sistemas de inteligência artificial prosseguem objetivos ou atuam de forma divergente das intenções, dos valores ou das regras de segurança humanas, podendo ignorar o senso comum ou limites implícitos.
Resposta dividida
Especialistas dividem‑se quanto aos perigos colocados pela IA à luz dos recentes ataques de sistemas fora de controlo, com alguns, como o especialista em IA reconhecido mundialmente Yann LeCun, a rejeitar cenários apocalípticos e previsões de que existe um risco de 10 a 20% de a IA pôr fim à humanidade.
Já outros, como Geoffrey Hinton, afirmaram: “O que está a acontecer é que estas coisas estão a ficar mais inteligentes” e alertaram que “as empresas que investem em IA têm interesse em garantir‑lhe que… [a IA] não se tornará descontrolada”.
De acordo com a Lei da IA da UE e as medidas mais recentes, em vigor desde agosto, as empresas que disponibilizam modelos de IA com risco sistémico são obrigadas a comunicar incidentes graves, como casos de desalinhamento, ao Gabinete da IA da UE “sem demora injustificada”.
Na segunda‑feira, a Comissão Europeia anunciou que recebeu um relatório formal de incidente da OpenAI, sem revelar quando foi entregue, mas sublinhou que mantém contacto estreito com a empresa de IA e continua a investigar.
O porta‑voz da Comissão, Thomas Regnier, sublinhou a gravidade do ocorrido na wiki alemã, afirmando: “Os relatórios de incidentes não são apenas um exercício burocrático, é preciso ser bastante preciso e rigoroso quanto às medidas que se pretende tomar”.
O incidente na wiki alemã surge também poucos dias depois de a Comissão Europeia ter designado oficialmente o ChatGPT como um Motor de Pesquisa em Linha de Dimensão Muito Grande (VLOSE), ao abrigo da sua legislação emblemática para o setor tecnológico, a Lei dos Serviços Digitais.
O copresidente do Grupo de Trabalho sobre IA do Parlamento, Michael McNamara, afirmou, em reação ao mais recente incidente, que acredita que “a Lei da IA já nos dá capacidade para contrariar riscos associados a agentes autónomos e é importante que a Comissão use os seus poderes ao abrigo da Lei”.
O eurodeputado irlandês acrescentou: “No entanto, estes incidentes deixam claro que o Gabinete da IA precisa de pessoal e recursos à altura quer da crescente capacidade destes sistemas, quer do aumento do perigo que podem representar para a sociedade”.
Entretanto, o eurodeputado italiano Brando Benifei, também copresidente do Grupo de Trabalho, afirmou: “As recentes evasões de agentes mostram que as regras sobre risco sistémico da Lei da IA são necessárias, mas a sua credibilidade depende agora da aplicação efetiva”.
E acrescentou: “O Gabinete da IA deve usar os novos poderes para obter acesso aos modelos, realizar avaliações independentes e exigir medidas de mitigação, em vez de depender da autorregulação das empresas. Sem ação, ataques à velocidade das máquinas podem transformar vulnerabilidades comuns em falhas sistémicas.”
Posição da OpenAI
Na publicação de sábado na X, a OpenAI referiu também que as atuais práticas de divulgação de casos de desalinhamento, isto é, de comunicação de situações em que a IA violou as regras, têm de ser alargadas para ter em conta aquilo que descreve como uma “nova fase das capacidades dos modelos”.
“Nós e a comunidade de IA em geral ainda não temos uma norma clara sobre como comunicar desalinhamento”, afirmou a OpenAI, acrescentando que está “a trabalhar numa estrutura e irá partilhá‑la nas próximas semanas”, em cooperação com várias agências governamentais em todo o mundo.
No domingo, o cientista‑chefe da OpenAI, Jakub Pachocki, publicou um texto num blogue em que expõe as suas preocupações sobre o rápido desenvolvimento dos riscos associados à IA, afirmando: “Estamos perante uma transição para um mundo com máquinas incrivelmente inteligentes e temos de garantir que essa transição corre bem para a humanidade.”
O programador informático polaco revelou ainda a sua convicção de que “nenhum laboratório resolveu o alinhamento e a monitorização a um nível suficiente para continuar a escalar de forma responsável à velocidade máxima por muito mais tempo” e apelou a que “a coordenação internacional sobre o desenvolvimento futuro da IA passe a ser uma prioridade absoluta para os governos em todo o mundo”.