Modelos de linguagem como ChatGPT aumentam a produção de artigos entre cientistas não nativos em inglês, mas artigos gerados por IA passam menos na revisão por pares
À medida que os cientistas dependem cada vez mais da inteligência artificial para redigir, programar e até gerar ideias, um novo estudo analisa como a IA está a transformar a investigação académica.
O que antes soava a boato académico agora reflete uma mudança real e mensurável na publicação científica.
Investigadores da Universidade Cornell, nos Estados Unidos, concluíram que grandes modelos de linguagem (LLMs), como o ChatGPT, estão a aumentar a produção de artigos, sobretudo entre cientistas que não têm o inglês como língua materna.
No entanto, o estudo alerta que o aumento do volume de artigos com assistência de IA está a dificultar a distinção, por parte de revisores, financiadores e decisores, entre contributos científicos relevantes e trabalhos de baixa qualidade.
“É um padrão muito generalizado, em diferentes áreas da ciência, da física e informática à biologia e ciências sociais”, disse Yian Yin, autor correspondente do estudo e professor assistente de ciência da informação na Cornell Ann S. Bowers College of Computing and Information Science.
“Há uma grande mudança no nosso ecossistema que merece um olhar muito sério, sobretudo de quem decide que ciência devemos apoiar e financiar”, acrescentou Yin.
Como foi estudado o aparecimento de artigos assistidos por IA
O estudo, publicado na revista Science, analisou mais de dois milhões de artigos de investigação colocados entre 2018 e 2024 em três grandes servidores de pré-publicações online.
Estas plataformas acolhem versões preliminares de artigos científicos antes da revisão por pares formal, oferecendo uma visão de como os investigadores trabalham em tempo real.
Para avaliar o impacto da IA na escrita científica, os autores treinaram um sistema de IA para detetar texto provavelmente gerado por LLMs. Compararam artigos escritos antes de 2023, quando ferramentas como o ChatGPT se tornaram amplamente usadas, com trabalhos posteriores que exibiam sinais claros de assistência por IA.
Com esta abordagem, a equipa identificou investigadores que provavelmente utilizavam ferramentas de IA, mediu como mudou a sua produção de publicações e acompanhou se esses artigos foram posteriormente aceites por revistas científicas.
Assistência de IA dispara produtividade
A análise revelou um forte impulso de produtividade graças à IA.
Os investigadores que aparentavam usar ferramentas de IA colocaram muito mais artigos do que aqueles que não usavam.
Num dos principais servidores de pré-publicações centrado na física e na informática, os utilizadores de IA produziram cerca de um terço mais artigos. Na biologia e nas ciências sociais, o aumento foi ainda maior, acima de 50%.
Os maiores ganhos observaram-se entre investigadores cuja primeira língua não é o inglês.
Em algumas instituições asiáticas, os cientistas publicaram entre 40% e quase 90% mais artigos após adotarem ferramentas de escrita com IA, consoante a disciplina.
As ferramentas de IA também parecem ajudar os investigadores a encontrar melhores referências. O estudo concluiu que ferramentas de pesquisa com IA tendem a destacar artigos mais recentes e livros pertinentes, em vez dos estudos mais antigos, frequentemente citados, preferidos pelos métodos tradicionais de pesquisa.
“Quem usa LLMs está a ligar-se a conhecimento mais diverso, o que poderá estimular ideias mais criativas”, disse Keigo Kusumegi, primeiro autor do estudo e doutorando no Departamento de Ciência da Informação da Universidade Cornell.
Preocupações com a qualidade de artigos escritos por IA
Mas o aumento de produtividade tem um reverso. Muitos artigos escritos com IA parecem impressionantes à primeira vista, mas têm menor probabilidade de passar na revisão por pares.
Nos três servidores de pré-publicações, artigos provavelmente escritos por humanos, com pontuações elevadas num teste de complexidade da escrita, eram os mais propensos a ser aceites por uma revista científica.
Já os artigos com pontuações altas, mas provavelmente escritos por LLMs, eram menos propensos a ser aceites, sugerindo que, apesar da linguagem convincente, muitos foram considerados pelos revisores de baixo valor científico.
Os autores do estudo consideram que o impacto da crescente dependência da IA deverá alargar-se e que os decisores políticos devem criar novas regras para regular um panorama tecnológico em rápida evolução.
“Já hoje, a questão não é ‘Usou IA?’. A questão é ‘Como exatamente usou IA e se foi útil ou não’”, disse Yin.