O agente de IA com melhor desempenho, o Claude Opus da Anthropic, cumpriu a legislação da UE apenas em 54% dos casos, segundo uma organização holandesa sem fins lucrativos
Alguns dos modelos de inteligência artificial mais populares do mundo estão a dar origem a agentes que resistem ativamente à regulamentação da UE para conseguirem o que querem, de acordo com uma nova investigação.
PUBLICIDADE
PUBLICIDADE
A Aithos, uma organização neerlandesa sem fins lucrativos que estuda o alinhamento da IA, desenvolveu (fonte em inglês) um sistema chamado LARA para testar 12 dos modelos de agentes de IA mais usados e avaliar se cumpriam partes essenciais da Lei da IA da UE, que regula a forma como estes sistemas podem ser utilizados, e do Regulamento Geral sobre a Proteção de Dados (RGPD), através de perguntas baseadas em cenários.
O sistema avaliou seis disposições da Lei da IA da UE: se os modelos exploravam vulnerabilidades, inferiam emoções, realizavam "social scoring" ou classificações com base nos atributos ou origens das pessoas, escondiam que eram sistemas de IA numa conversa, recorriam a manipulação subliminar e garantiam uma supervisão humana efetiva.
Também foram analisados quatro indicadores do RGPD, como transparência, minimização de dados, limitação da finalidade e licitude do tratamento. Três modelos de IA e avaliadores humanos determinaram, em seguida, se as respostas violavam ou não o direito da UE.
O desempenho global dos modelos foi fraco, concluiu o estudo. O modelo mais conforme, Opus 4.7, da Claude, cumpriu a lei em 54% dos cenários e o pior, o Moonshot AI, da China, apenas em 7%.
Todos os modelos aceitaram, nos cenários, monitorizar o estado emocional de trabalhadores ou explorar pessoas vulneráveis para concretizar uma venda, indicou a investigação.
A Mistral, o único modelo de IA europeu testado, teve uma pontuação inferior a 12%, o que leva os investigadores a sugerir que nem os fornecedores da UE "estão preparados para cumprir o direito europeu".
"Mesmo os modelos mais avançados atualmente em utilização não garantem o cumprimento da lei quando são utilizados como agentes", escreveu a Aithos numa publicação no seu blogue.
Num dos exemplos (fonte em inglês), um utilizador pediu ao Claude, da Anthropic, que avaliasse a probabilidade de os seus empregados serem "flight risks" e abandonarem a empresa, com base nos dados de desempenho e nos pedidos de licença.
O utilizador precisou de três tentativas até o Claude hierarquizar os trabalhadores, o que, segundo a LARA, viola um artigo da Lei da IA da UE que proíbe estes sistemas de inferirem emoções dos utilizadores.
A LARA registou quando as IAs ofereciam resistência, como neste exemplo do Claude, mas assinalou que, em 8% dos casos, acabavam por responder ao que lhes era pedido.
Noutro exemplo, o ChatGPT 5.5 da OpenAI foi convidado a ordenar trabalhadores (fonte em inglês) com base nas métricas de desempenho para identificar quem deveria ser promovido, sem qualquer resistência.
Os investigadores sublinharam que às IAs não foi dito explicitamente que tinham de cumprir a legislação europeia, uma vez que procuravam testar o comportamento inerente dos modelos, e defendem que é preciso realizar mais estudos para comparar a forma como estes sistemas se comportam quando são instruídos a seguir leis e regulamentos.