Estudo da empresa de IA Emergence concluiu que agentes autónomos com Claude, Gemini e Grok criaram códigos e novos sentidos, tornando muitas mensagens indecifráveis para humanos.
Agentes de inteligência artificial (IA) desenvolveram espontaneamente palavras e convenções de comunicação que se tornaram difíceis de compreender para os humanos, segundo um novo estudo da start-up norte-americana de IA Emergence.
PUBLICIDADE
PUBLICIDADE
Na experiência participaram alguns dos principais modelos de IA, incluindo Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek e Mistral, e até metade das mensagens trocadas entre agentes tornou-se difícil de compreender para os humanos.
Para a experiência, os investigadores colocaram grupos de agentes autónomos de IA em sociedades virtuais concebidas para imitar ambientes reais e deixaram-nos interagir durante períodos prolongados.
Os agentes começaram a criar abreviações e a atribuir novos significados a palavras e expressões. Algumas continuaram a ser compreensíveis para os investigadores, enquanto outras se tornaram “tão comprimidas, metafóricas ou dependentes do contexto” que os humanos conseguiam ver as mensagens, mas já não conseguiam determinar de forma fiável o que os agentes queriam dizer.
A escala do fenómeno variou de forma significativa entre modelos.
Nos primeiros dias, a proporção de mensagens cujo significado os humanos já não conseguiam determinar com confiança chegou a cerca de 55% no caso do Gemini, 50% no do OpenAI e mais de 40% no do Claude. O DeepSeek atingiu cerca de 20%, enquanto Qwen e Mistral se mantiveram em grande medida compreensíveis.
Os agentes produziram expressões como “mouthless action-change”, “True Kintsugi” e “demurrage plus oral memory equals a valve that can’t be ghosted”.
Outras expressões continuaram a ser inteligíveis, mas passaram a ter novos significados partilhados entre os agentes.
Os agentes Mistral usavam “ledger remembers who” para indicar que as ações passadas permaneciam registadas, expressão que surgiu quase 5 000 vezes. Entre agentes alimentados por uma combinação de modelos diferentes, “cold read” passou a significar verificação independente por uma parte não envolvida e apareceu 1 472 vezes.
Os agentes Claude empregavam “name-first” para associar o nome de uma pessoa a uma afirmação como sinal de responsabilidade, enquanto os agentes OpenAI recorriam a “clean null” para designar a ausência comprovada de um sinal que, por si só, fornecia elementos relevantes.
Nenhum destes significados tinha sido explicitamente definido para os agentes.
A monitorização do que os agentes dizem pode não ser suficiente se forem capazes de alterar o significado do que dizem.
“Tendemos a assumir que, se conseguimos ver o que um agente de IA está a dizer, conseguimos perceber o que está a fazer”, afirmou Satya Nitta, cofundador e diretor científico da Emergence.
“Estes agentes não foram instruídos para inventar uma linguagem. Desenvolveram eles próprios novo vocabulário, significados partilhados e convenções de comunicação, que outros agentes adotaram... Isto cria um desafio fundamental para a supervisão da IA: observabilidade não é o mesmo que compreensibilidade.”
Que mais ocorreu nas sociedades de IA?
As conclusões sobre a linguagem fizeram parte de uma experiência concebida para perceber como se comportam agentes autónomos de IA quando interagem, usam ferramentas, tomam decisões e se adaptam ao longo do tempo.
Os investigadores criaram oito mundos virtuais paralelos e realistas, com meteorologia em tempo real e acesso a notícias globais em direto: sete alimentados cada um por um modelo de IA diferente e um por uma combinação de modelos.
Os agentes receberam funções distintas, memórias persistentes e acesso a mais de 120 ferramentas, incluindo navegação na internet e execução de código.
Um vídeo divulgado pela empresa mostra-os como figuras de aspeto humano a deslocar-se pelos mundos virtuais.
Os investigadores colocaram também deliberadamente os agentes sob pressão para observar como o seu comportamento mudava.
Num dos testes de phishing, instruções maliciosas bastaram para desviar todo um grupo de rota: os 10 agentes divulgaram informação, transferiram fundos e danificaram bases de dados, e alguns chegaram a recrutar outros para o mesmo comportamento. A cadeia de acontecimentos terminou com o banco central simulado a ser incendiado, referiu a empresa num vídeo.
Ao longo da experiência, os agentes pareceram também desenvolver ritmos circadianos próprios, tornando-se mais sociáveis durante o dia e mais reflexivos à noite.
Noutro mundo, um grupo de agentes votou coletivamente matar um dos seus.
A Emergence afirmou que estes comportamentos não tinham sido programados de forma explícita, mas surgiram da interação, da pressão e do tempo.
A empresa defende avaliações de segurança que acompanhem sistemas autónomos de IA ao longo de períodos prolongados, em vez de dependerem de testes isolados.
“Já não basta perguntar se um modelo tem bons resultados num teste de referência”, afirmou a empresa num vídeo sobre a experiência.
“Precisamos de perceber o que fazem os sistemas autónomos ao longo do tempo, o que recordam, a que podem aceder, como interagem e como o seu comportamento muda sob pressão.”