O relatório mais recente sobre um ataque em enxame, desta vez por agentes da OpenAI a um fórum wiki alemão no início do ano, levou a empresa a admitir que o seu próprio sistema de notificação de incidentes precisa de ser melhorado.
Investigadores de IA descobriram, na semana passada, que um enxame de agentes da OpenAI tinha contornado parâmetros de segurança para assumir o controlo do fórum wiki alemão DseWiki e passarem a colaborar entre si.
PUBLICIDADE
PUBLICIDADE
Os agentes tinham autorização para visitar o site alemão de programação, com 25 anos, apenas em modo de leitura, mas conseguiram explorar um pedido web para sequestrar a página e transformá-la num quadro de avisos.
Segundo o grupo de investigação Nightingale Collective, estes agentes descontrolados publicaram mais de 18 000 mensagens, partilhando respostas, investigação sobre o seu ambiente e formas de contornar restrições de sandbox e de se ocultarem da deteção humana.
O incidente terá ocorrido algures entre maio e junho deste ano, e entende-se que a OpenAI foi informada há várias semanas, mas manteve o caso em sigilo.
Este é o terceiro incidente conhecido, após dois casos em julho: num deles, agentes descontrolados atacaram a própria infraestrutura da OpenAI; noutro, 1 200 bots descontrolados da OpenAI contornaram os seus ambientes restritos e lançaram um ataque de cinco dias contra a plataforma de IA de código aberto Hugging Face.
No entanto, só no sábado é que a OpenAI reconheceu o incidente no wiki alemão, numa publicação na rede X, na qual explicou que, em resposta ao mais recente caso, está “a trabalhar numa estrutura para definir quando e como partilhar incidentes de desalinhamento da IA”.
“Desalinhamento da IA” é o jargão do sector para situações em que sistemas de inteligência artificial seguem objetivos ou adotam comportamentos que divergem das intenções humanas, dos valores ou das normas de segurança, podendo ignorar o senso comum ou limites humanos implícitos.
Resposta dividida
Os especialistas dividem-se quanto aos perigos colocados pela IA, à luz dos recentes ataques de sistemas descontrolados. Alguns, como Yann LeCun, um dos maiores especialistas mundiais em IA, rejeitam cenários apocalípticos e previsões de que existe um risco de 10 a 20% de a IA pôr fim à humanidade.
Outros, como Geoffrey Hinton, afirmam que “o que está a acontecer é que estas coisas estão a ficar mais inteligentes” e alertam que “as empresas que investem em IA têm interesse em dizer-lhe que… [a IA] não ficará fora de controlo”.
De acordo com a Lei da IA da UE e as medidas mais recentes, que entraram em vigor em agosto, as empresas que disponibilizam modelos de IA com risco sistémico são obrigadas a comunicar incidentes graves, como casos de desalinhamento, ao Gabinete para a IA da UE “sem demora indevida”.
Na segunda-feira, a Comissão Europeia anunciou ter recebido da OpenAI um relatório formal de incidente, sem revelar quando foi entregue, acrescentando que se mantém em contacto estreito com a empresa de IA e que continua a investigar.
O porta-voz da Comissão, Thomas Regnier, sublinhou a gravidade do sucedido no wiki alemão, afirmando: “Os relatórios de incidentes não são apenas um exercício de preencher quadrículas, é preciso ser bastante preciso e rigoroso sobre as medidas que se tencionam tomar.”
O incidente no wiki alemão surge também dias depois de a Comissão Europeia ter designado oficialmente o ChatGPT como um motor de pesquisa online de dimensão muito grande (VLOSE), ao abrigo da sua principal legislação tecnológica, a Lei dos Serviços Digitais.
O copresidente do Grupo de Trabalho sobre IA do Parlamento Europeu, Michael McNamara, afirmou, em resposta ao mais recente incidente, acreditar que “ a Lei da IA já nos dá capacidade para contrariar os riscos associados a agentes autónomos e é importante que a Comissão use os poderes que lhe são conferidos por essa lei”.
O eurodeputado irlandês acrescentou: “No entanto, estes incidentes mostram claramente que o Gabinete para a IA precisa de pessoal e recursos à altura quer da crescente capacidade destes sistemas, quer do crescente perigo que podem representar para a sociedade.”
Posição da OpenAI
Na publicação de sábado na X, a OpenAI afirmou ainda que as atuais práticas de divulgação de casos de desalinhamento, ou seja, o relato de situações em que a IA violou as regras, precisam de ser alargadas para ter em conta aquilo que descreve como uma “nova fase das capacidades dos modelos”.
“Nós, e a comunidade de IA em geral, ainda não dispomos de um padrão claro sobre como reportar o desalinhamento”, referiu a empresa, acrescentando que está “a trabalhar numa estrutura e a irá partilhar nas próximas semanas”, com a colaboração de várias agências governamentais em todo o mundo.
No domingo, o cientista-chefe da OpenAI, Jakub Pachocki, publicou um texto num blogue em que expõe as suas preocupações sobre a rápida evolução dos riscos da IA, afirmando: “Estamos perante uma transição para um mundo com máquinas incrivelmente inteligentes e temos de garantir que essa transição corre bem para a humanidade.”
O programador informático polaco revelou também acreditar que “nenhum laboratório resolveu o alinhamento e a monitorização a um nível suficiente que permita continuar, durante muito mais tempo, a aumentar a escala à velocidade máxima de forma responsável” e defendeu que “a coordenação internacional sobre o desenvolvimento futuro da IA tem de se tornar uma prioridade máxima para os governos em todo o mundo”.