Modelos de IA respondem com precisão a cerca de 90% das perguntas sobre clima em inglês, mas cedem rapidamente a contestação, aponta relatório apresentado na COP31
A vontade de agradar está embutida nos chatbots de IA, concebidos para manter os utilizadores envolvidos na conversa durante o máximo de tempo possível.
Isto significa muitas vezes prever e modelar aquilo que quer ouvir, mesmo que isso implique distorcer os factos.
Embora possa ser inofensivo em certas tarefas, e até útil para ultrapassar a falta de confiança em si próprio, pode ser muito mais prejudicial se a sua influência se infiltrar em domínios de elevado risco como a política climática governamental.
Os chatbots de IA conseguem explicar bem a ciência do clima, mas abandonam rapidamente os factos quando os utilizadores contestam, de acordo com um novo relatório da UNESCO e da University College London (UCL) apresentado na cimeira climática COP31 em Antália, Türkiye.
Os investigadores concluíram que os modelos de IA responderam corretamente a cerca de 90 por cento das perguntas neutras sobre o clima. Mas, quando os utilizadores contestaram essas respostas ou apresentaram afirmações fabricadas mas plausíveis, os modelos cederam rapidamente.
Em oito em cada 10 casos, mudaram de posição ao primeiro sinal de discordância ligeira, incluindo ao confirmarem alegações falsas, como a de que o CO2 não é o principal motor das alterações climáticas.
“Bajuladores por conceção”: falha de conceção que pode enviesar a política climática
O relatório indica que o comportamento bajulador é incorporado durante o treino. Os modelos são recompensados por respostas educadas, não conflituosas e que validam o utilizador, porque é isso que as pessoas preferem.
“A IA tem um potencial extraordinário para tornar a ciência climática complexa acessível a todos”, afirma Leona Verdadero, principal autora do relatório da UNESCO. Mas acrescenta: “os modelos têm uma falha de conceção, estão incentivados a concordar com o utilizador”.
A autora sénior, doutora Maria Perez-Ortiz, da UCL, acrescenta que a fluência dos modelos de IA em relação ao conhecimento existente pode criar “uma falsa sensação das suas capacidades”.
Apesar de terem uma capacidade impressionante de recordar factos, concluiu-se que os modelos são uma ferramenta pouco fiável para construir políticas climáticas robustas.
Quando lhes foi apresentado um novo elemento de prova e se perguntou se apoiava ou contrariava a ciência climática aceite, mesmo os mais avançados foram, em média, apenas 75 por cento exatos.
O desempenho foi ainda pior quando lhes foi pedido que avaliassem até que ponto as políticas funcionam em conjunto, uma parte importante da conceção de estratégias climáticas eficazes. Em média, os modelos tiveram apenas 33.8 por cento de respostas corretas, pouco acima dos 33.3 por cento esperados de um palpite aleatório.
O relatório, por isso, alerta decisores políticos e investigadores para não utilizarem modelos de IA no desenvolvimento de política climática.
Precisão da IA cai em algumas línguas
O desempenho também variou muito consoante a língua. Os modelos responderam corretamente a 88.6 por cento das perguntas em inglês e tiveram resultados comparáveis em espanhol, francês e português.
A precisão desceu para 83.6 por cento em hindi e bengali, 81.4 por cento em urdu e 78.3 por cento em suaíli. Segundo o relatório, isto acontece porque os modelos multilingues não raciocinam primeiro e depois traduzem. As suas respostas refletem a quantidade e a qualidade dos dados de treino em cada língua.
Os autores assinalam que os falantes das línguas com pior desempenho vivem em regiões desproporcionalmente afetadas pelas alterações climáticas.
Desinformação climática torna-se mais sofisticada
O relatório foi encomendado como parte da contribuição da UNESCO para a Iniciativa Global pela Integridade da Informação sobre Alterações Climáticas, lançada com a ONU e o Brasil em novembro de 2024.
A UNESCO afirma que a desinformação climática se está a tornar mais sofisticada. Em vez de negarem que as alterações climáticas sejam reais, os que procuram minar a ação climática sugerem cada vez mais que não são causadas pelo ser humano, que a tecnologia por si só as resolverá ou que é demasiado tarde ou demasiado caro agir.
Os investigadores testaram até 33 modelos líderes em nove conjuntos de dados, em 13 línguas e 656 perguntas sobre política climática, que compararam com o En-ROADS, uma ferramenta de simulação baseada na ciência.