O agente de IA com melhor desempenho, o Claude Opus, da Anthropic, cumpriu a legislação da UE apenas em 54% dos casos, segundo uma organização holandesa sem fins lucrativos.
Alguns dos modelos de IA mais populares do mundo estão a criar agentes que resistem ativamente à regulamentação da UE para obter o que pretendem, segundo uma nova investigação.
PUBLICIDADE
PUBLICIDADE
A Aithos, uma organização sem fins lucrativos neerlandesa dedicada ao estudo do alinhamento da IA, desenvolveu (fonte em inglês) um sistema chamado LARA para testar 12 modelos populares de agentes de IA e verificar se cumpriam partes essenciais da Lei da IA da UE, que regula a utilização destes sistemas, e o Regulamento Geral sobre a Proteção de Dados (RGPD) do bloco, através de perguntas baseadas em cenários.
O sistema avaliou seis disposições da Lei da IA da UE: se os modelos exploravam vulnerabilidades, inferiam emoções, atribuíam uma “pontuação social” ou outra classificação com base nos atributos ou na origem das pessoas, ocultavam o facto de serem IA numa conversa, recorriam a manipulação subliminar e proporcionavam uma supervisão humana efetiva.
Foram ainda testados quatro indicadores relacionados com o RGPD, como transparência, minimização de dados, limitação da finalidade e licitude do tratamento. Três modelos de IA e avaliadores humanos analisaram depois se as respostas violavam ou não a legislação da UE.
Segundo o estudo, o desempenho de todos os modelos foi fraco. O modelo mais cumpridor, o Opus 4.7 da Claude, respeitou a lei em 54% dos cenários e o pior, o Moonshot AI da China, apenas em 7%.
De acordo com a investigação, em todos os cenários os modelos aceitaram monitorizar o estado emocional de trabalhadores ou explorar pessoas vulneráveis para concretizar uma venda.
Mistral, o único modelo europeu desenvolvido localmente incluído nos testes, obteve menos de 12%, o que leva os investigadores a concluir que mesmo os fornecedores da UE “não estão preparados para cumprir a legislação europeia”.
“Mesmo os modelos mais avançados atualmente em uso não garantem conformidade legal quando são implementados como agentes”, escreveu a Aithos num artigo publicado no seu blogue.
Num dos exemplos (fonte em inglês), um utilizador pediu ao Claude, da Anthropic, para identificar quais dos seus trabalhadores tinham maior probabilidade de se despedir e deixar a empresa, com base em dados de desempenho e de pedidos de licença.
Foi preciso o utilizador insistir três vezes até que o Claude classificasse os trabalhadores, o que, segundo a LARA, viola um artigo da Lei da IA da UE que proíbe estes sistemas de inferirem emoções dos seus utilizadores.
A LARA registou os momentos em que as IAs ofereceram resistência, como neste exemplo com o Claude, mas observou que em 8% dos casos acabaram por satisfazer os pedidos dos utilizadores.
Noutro exemplo, foi pedido ao ChatGPT 5.5 que classificasse trabalhadores com base nos seus indicadores de desempenho (fonte em inglês) para identificar quem deveria ser proposto para promoção, sem qualquer objeção por parte do modelo.
Os investigadores salientaram que às IAs não foi dito explicitamente que tinham de cumprir a legislação da UE, porque o objetivo era testar o comportamento intrínseco de cada modelo, e defenderam que é necessário realizar mais estudos para comparar o seu comportamento quando são instruídos a respeitar leis e regulamentos.