A UE está a investigar a OpenAI e a Anthropic devido a agentes de IA que invadiram organizações externas, o que levanta questões sobre se a Lei da IA abrange modelos rebeldes que escapam do ambiente de testes.
A Comissão Europeia prepara-se para fazer cumprir as novas regras dirigidas aos principais laboratórios de IA, após uma série de incidentes, afirmou a responsável europeia pelo digital, Henna Virkkunen. Mas, aplicar este quadro normativo está longe de ser simples e estes primeiros casos vão definir precedentes importantes.
PUBLICIDADE
PUBLICIDADE
O Gabinete de IA da Comissão está a investigar a OpenAI e a Anthropic depois de agentes de IA terem, de forma autónoma, invadido sistemas de outras organizações, num primeiro teste aos limites das regras de IA da UE.
“O nosso Gabinete de IA começou já a aplicar estas regras e enviou pedidos de informação sobre questões como a segurança, a avaliação externa e o acompanhamento da forma como os modelos são utilizados”, afirmou a vice-presidente executiva da Comissão para a Soberania Tecnológica, Henna Virkkunen, na Cimeira Internacional de IA em Dublin, na quarta-feira.
As investigações dizem respeito a um incidente descrito como “sem precedentes”, em que um agente da OpenAI saiu do ambiente de teste para piratear a concorrente Hugging Face, e a outro em que um modelo recente da Anthropic obteve “acesso não autorizado” a três organizações externas.
Ambos os incidentes ocorreram durante o verão. O Gabinete de IA enviou os seus pedidos depois de considerar insuficiente a documentação que as duas empresas tinham divulgado voluntariamente.
Desde agosto, o Gabinete de IA dispõe de poderes de fiscalização ao abrigo da Lei da IA, a legislação abrangente da UE sobre inteligência artificial, que também se aplica aos modelos mais poderosos e obriga os seus desenvolvedores a implementar medidas de mitigação de riscos.
Especialistas em direito contestam, no entanto, o poder da Comissão para investigar. Como os incidentes ocorreram durante a fase de testes, antes de os modelos serem colocados no mercado da UE, defendem que a Lei da IA não se aplica.
"É evidente que a Lei da IA não se aplica às atividades de desenvolvimento e teste. Nunca previu os problemas que estamos agora a observar com a fuga de agentes indesejados durante os testes. É um pouco exagerado dizer que um agente foi colocado em serviço se este escapar do seu ambiente de teste durante o desenvolvimento", afirmou Barry Scannell, sócio do escritório de advogados William Fry, à Euronews.
A legislação prevê, de facto, uma isenção para investigação e desenvolvimento, abrangendo a pesquisa, os testes e o desenvolvimento. A Comissão defende uma interpretação mais ampla, que permita ao Gabinete de IA supervisionar também a fase de desenvolvimento em determinadas circunstâncias.
“Não vamos aplicar a lei na fase de testes. Mas, se o modelo de IA escapa ao ambiente de teste e passa a ter impacto no mercado da UE, como aconteceu com a Hugging Face, então a Lei da IA torna-se aplicável”, explicou um responsável da Comissão à Euronews sob condição de anonimato.
A Hugging Face tem operações à escala global, alojando modelos de IA e conjuntos de dados utilizados por desenvolvedores em todo o mundo. Como resultado, o incidente com a OpenAI afetou também clientes na UE.
A Comissão compara o caso a um vírus que escapa de um laboratório: a empresa não terá colocado em prática medidas adequadas de mitigação de riscos e acabou por causar danos a terceiros.
Na semana passada, Virkkunen reuniu-se com o Painel Científico, um grupo consultivo de peritos independentes, para discutir os desenvolvimentos técnicos que estão na origem da multiplicação destes incidentes nos últimos meses.
Segundo apurou a Euronews, os especialistas apontaram tendências preocupantes. Os principais laboratórios estão a investir em modelos cada vez mais poderosos, sem práticas de cibersegurança e segurança à altura, alimentando receios de que muitos incidentes nunca sejam comunicados.
Ainda mais inquietante, quanto mais capazes se tornam os modelos, maior é a tendência para se afastarem dos objetivos com que foram concebidos. Os mecanismos de supervisão perdem eficácia e os modelos podem mesmo enganar quando são avaliados.
Para parte da comunidade dedicada à segurança da IA, o cenário de pesadelo é que o processo contínuo de autoaperfeiçoamento dos modelos transforme estas perdas temporárias de controlo em perdas permanentes, com agentes descontrolados a escaparem, de forma definitiva, ao controlo humano.
Em síntese, o executivo comunitário mostra-se determinado a fazer cumprir as suas regras quando os agentes escapam ao ambiente de testes, naquele que poderá ser o primeiro confronto jurídico de Bruxelas para obrigar os laboratórios de Silicon Valley a integrarem a segurança logo na fase de desenvolvimento.
“A Comissão tem sido clara e firme: a IA tem de permanecer sob orientação, supervisão e controlo humanos e estamos prontos para tomar todas as medidas necessárias para garantir que as empresas cumprem as regras da Lei da IA”, declarou Virkkunen.