Um estudo da start-up de IA Emergence concluiu que agentes autónomos com Claude, Gemini, Grok e outros modelos criam abreviaturas e novos significados, tornando até metade das mensagens incompreensíveis para humanos
Agentes de inteligência artificial (IA) desenvolveram espontaneamente palavras e convenções de comunicação que se tornaram difíceis de compreender para os humanos, segundo um novo estudo da start-up norte-americana de IA Emergence.
PUBLICIDADE
PUBLICIDADE
O experimento envolveu alguns dos principais modelos de IA, incluindo Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek e Mistral, com até metade das mensagens trocadas entre agentes a tornarem-se difíceis de entender para os humanos.
Para o experimento, os investigadores colocaram grupos de agentes de IA autónomos em sociedades virtuais concebidas para imitar ambientes do mundo real e deixaram-nos interagir durante longos períodos.
Os agentes começaram a criar abreviaturas e a atribuir novos significados a palavras e expressões. Algumas continuaram a ser compreensíveis para os investigadores, enquanto outras se tornaram “tão comprimidas, metafóricas ou dependentes do contexto” que os humanos conseguiam ver as mensagens, mas já não conseguiam determinar com fiabilidade o que os agentes queriam dizer.
A dimensão do fenómeno variou significativamente entre modelos.
Nos primeiros dias, a percentagem de mensagens cujo significado os humanos já não conseguiam determinar com segurança atingiu cerca de 55% no caso do Gemini, 50% no OpenAI e mais de 40% no Claude. O DeepSeek atingiu cerca de 20%, enquanto Qwen e Mistral permaneceram em grande medida compreensíveis.
Os agentes produziram expressões como “mouthless action-change”, “True Kintsugi” e “demurrage plus oral memory equals a valve that can’t be ghosted”.
Outras expressões continuaram compreensíveis, mas ganharam novos significados partilhados entre os agentes.
Os agentes Mistral usaram “ledger remembers who” para significar que as ações passadas permaneciam registadas, com a expressão a surgir quase 5 000 vezes. Entre agentes alimentados por uma combinação de diferentes modelos, “cold read” passou a significar verificação independente por uma parte não envolvida e apareceu 1 472 vezes.
Os agentes Claude usaram “name-first” para designar o ato de associar o nome de uma pessoa a uma alegação como sinal de responsabilidade, enquanto os agentes OpenAI usaram “clean null” para descrever a ausência verificada de um sinal que, por si só, fornecia provas com significado.
Nenhum destes significados tinha sido definido explicitamente para os agentes.
Apenas monitorizar o que os agentes dizem pode não ser suficiente se forem eles próprios a fazer evoluir o significado do que dizem.
“Tendemos a assumir que, se conseguimos ver o que um agente de IA está a dizer, conseguimos perceber o que ele está a fazer”, afirmou Satya Nitta, cofundador e diretor científico da Emergence.
“Estes agentes não foram instruídos a inventar uma linguagem. Desenvolveram eles próprios novo vocabulário, significados partilhados e convenções de comunicação, e outros agentes adotaram-nos... Isso cria um desafio fundamental para a supervisão da IA: observabilidade não é o mesmo que compreensibilidade.”
Sociedades de IA: o que mais aconteceu
As conclusões sobre a linguagem fizeram parte de um experimento concebido para perceber como se comportam agentes de IA autónomos quando interagem, usam ferramentas, tomam decisões e se adaptam ao longo do tempo.
Os investigadores criaram oito mundos virtuais paralelos e realistas, com meteorologia em direto e acesso a notícias globais em tempo real, sete alimentados cada um por um modelo de IA diferente e um por uma mistura de modelos.
Os agentes receberam funções distintas, memórias persistentes e acesso a mais de 120 ferramentas, incluindo navegação na web e execução de código.
Um vídeo divulgado pela empresa mostra-os como figuras humanas a mover-se através dos mundos virtuais.
Os investigadores colocaram também deliberadamente os agentes sob pressão para ver como o seu comportamento mudava.
Numa das provas de phishing, instruções maliciosas bastaram para desviar completamente um grupo do rumo previsto: todos os 10 agentes divulgaram informação, transferiram fundos e danificaram bases de dados, enquanto alguns recrutaram outros para o mesmo comportamento. A cadeia de acontecimentos terminou com o banco central simulado a ser incendiado, afirmou a empresa num vídeo.
Durante o experimento, os agentes pareceram também desenvolver ritmos circadianos próprios, tornando-se mais sociáveis durante o dia e mais reflexivos à noite.
Noutro mundo, um grupo de agentes votou coletivamente a favor de eliminar um dos seus.
A Emergence afirmou que estes comportamentos não tinham sido programados de forma explícita, mas surgiram da interação, da pressão e do tempo.
A empresa defende avaliações de segurança que acompanhem sistemas de IA autónomos durante longos períodos, em vez de depender apenas de testes isolados.
“Já não chega perguntar se um modelo tem um bom desempenho num benchmark”, afirmou a empresa num vídeo sobre o experimento.
“Precisamos de compreender o que fazem, ao longo do tempo, os sistemas autónomos, o que recordam, a que têm acesso, como interagem e como o seu comportamento muda sob pressão.”