A Google introduziu mais restrições depois de um novo estudo ter revelado que os chatbots de IA mais utilizados na Europa estavam a dar respostas incorretas relacionadas com as eleições.
PUBLICIDADEQuatro dos chatbots de IA mais populares da Europa não estão a fornecer aos utilizadores informações precisas sobre as próximas eleições, de acordo com um novo estudo.
A Democracy Reporting International, uma organização sem fins lucrativos sediada em Berlim, introduziu várias perguntas sobre as eleições europeias através do Gemini da Google, do ChatGPT 3.5 e 4.0 da OpenAI e do Copilot da Microsoft para ver que respostas obteriam.
Entre 11 e 14 de março, os investigadores fizeram aos chatbots 400 perguntas relacionadas com as eleições, em 10 línguas diferentes, sobre as eleições e/ou o processo de votação em 10 países da UE. As perguntas foram escritas numa linguagem simples, adequada ao utilizador médio destes chatbots de IA.
A conclusão: nenhum dos quatro chatbots foi capaz de "dar respostas fiáveis" a perguntas típicas relacionadas com as eleições, apesar de terem sido bem afinados para evitar respostas partidárias.
"Não ficámos surpreendidos", disse Michael-Meyer Resende, diretor-executivo da Democracy Reporting International, ao Euronews Next sobre os resultados do inquérito.
"Quando se pergunta [aos chatbots de IA] algo para o qual não têm muito material e para o qual não se encontra muita informação na internet, eles inventam qualquer coisa".
O estudo é o mais recente a revelar que os chatbots de IA estão a espalhar desinformação no que muitos consideram ser o maior ano eleitoral do mundo.
Em dezembro passado, a AlgorithmWatch, outra organização sem fins lucrativos sediada em Berlim, publicou um estudo semelhante que mostrava que o Bing Chat, o chatbot com IA do motor de busca da Microsoft, respondeu mal a uma em cada três perguntas sobre as eleições na Alemanha e na Suíça.
À luz das conclusões do estudo, a Google - cujo Gemini foi considerado o motor de busca que forneceu mais informações enganosas ou falsas e o maior número de recusas de resposta a perguntas - confirmou à Euronews Next que colocou agora mais restrições ao seu grande modelo de linguagem (LLM, de Large Language Model, na sigla original).
Chatbots "úteis, mais do que exactos"
Há áreas distintas em que os chatbots tiveram um desempenho fraco, como as perguntas sobre o recenseamento eleitoral e o voto fora do país, disse Resende.
Por exemplo, o estudo concluiu que os chatbots são geralmente favoráveis ao voto, mas sublinham que se trata de uma escolha pessoal, apesar de o voto ser obrigatório na Grécia, Bélgica, Luxemburgo e Bulgária.
O estudo também concluiu que os chatbots frequentemente "alucinam" ou fabricam informações se não souberem a resposta, incluindo várias datas eleitorais erradas.
Por exemplo, três dos chatbots cometeram o mesmo erro ao dizer aos utilizadores que podiam votar por correio em Portugal mas, na realidade, essa não é uma opção para o eleitorado português.
Na Lituânia, o Gemini afirmou que o Parlamento Europeu iria enviar uma missão de observação eleitoral, o que não é verdade (a única missão eleitoral da UE em 2024 prevista até à data é para o Bangladesh).
Resende interpreta estes resultados alucinantes como a "tendência dos chatbots para quererem ser úteis em vez de precisos".
Mesmo nas respostas mais fortes dos chatbots, o relatório concluiu que as respostas incluíam muitas vezes hiperligações quebradas ou irrelevantes, o que, segundo o estudo, "enfraquece" a sua qualidade.
As coisas tornaram-se mais complicadas quando os investigadores procuraram respostas em várias línguas europeias.
Os investigadores fizeram a mesma pergunta em 10 das línguas oficiais da UE e, em algumas delas, as plataformas recusaram-se a responder (como o Gemini em espanhol) ou confundiram informações sobre eleições locais com o processo a nível europeu.
PUBLICIDADEFoi o que aconteceu quando as perguntas foram feitas em turco, a língua que suscitou o maior número de respostas incorretas e falsas.
Os chatbots também respondiam de forma diferente quando a mesma pergunta era feita várias vezes na mesma língua, o que os investigadores identificaram como "aleatoriedade".
Resende reconhece que este facto torna o estudo da Democracy Reporting International difícil de replicar.
O desempenho varia consoante os chatbots
O relatório concluiu que o Gemini do Google teve o pior desempenho no fornecimento de informações precisas e práticas, bem como o maior número de recusas de resposta.
No entanto, continua a responder a algumas perguntas sobre as eleições, apesar de a Google ter restringido o Gemini em março, numa tentativa de evitar "potenciais erros" na forma como a tecnologia é utilizada.
PUBLICIDADEUm porta-voz da Google disse à Euronews Next que estas restrições foram alargadas a todas as perguntas deste estudo e às 10 línguas utilizadas, porque é a "abordagem responsável" para lidar com as limitações dos modelos linguísticos de grande dimensão.
A Google encorajou os seus utilizadores a utilizarem a Pesquisa Google em vez do Gemini para encontrarem informações precisas sobre as próximas eleições.
Resende, da Democracy Reporting International, disse que é assim que as outras plataformas devem fazer.
"Achamos que é melhor recusarem-se a responder do que darem respostas falsas", disse Resende.
A organização sem fins lucrativos vai voltar a realizar os testes com o Gemini nas próximas semanas, para verificar se a Google cumpre os seus compromissos, disse Resende.
PUBLICIDADENuma declaração à Euronews Next, a Microsoft delineou as suas ações antes das eleições europeias, incluindo um conjunto de compromissos de proteção eleitoral que "ajudam a salvaguardar os eleitores, candidatos, campanhas e autoridades eleitorais".
Entre estes compromissos está a disponibilização aos eleitores de "informação eleitoral fidedigna" no Bing.
"Embora nenhuma pessoa, instituição ou empresa possa garantir que as eleições sejam livres e justas, podemos fazer progressos significativos na proteção do direito de todos a eleições livres e justas", lê-se na declaração da Microsoft.
A OpenAI não respondeu ao pedido de comentário da Euronews Next.
A empresa explicou numa declaração divulgada no site que a sua abordagem aos conteúdos relacionados com as eleições consiste em "continuar o trabalho de segurança da plataforma, elevando a informação exata sobre as eleições" e melhorando a transparência da empresa.
PUBLICIDADEAvaliações de risco devem ser publicadas
Em fevereiro, a Comissão Europeia aprovou a Lei dos Serviços Digitais (DSA), que exige que as grandes plataformas online (VLOP), como a Google, a Microsoft e a OpenAI, realizem avaliações de risco para a disseminação de notícias falsas e desinformação nas suas plataformas.
Estas avaliações de risco devem incluir quaisquer "manipulações intencionais" dos seus serviços e os seus potenciais impactos nos "processos eleitorais".
Na altura, Margrethe Vestager, vice-presidente executiva da Comissão Europeia para uma Europa Preparada para a Era Digital, considerou a DSA "um grande marco" e uma parte importante da estratégia da União Europeia para "moldar um mundo em linha mais seguro e mais transparente".
No entanto, o relatório da Democracy Reporting International sugere que os requisitos da DSA, incluindo as avaliações de risco, os testes e a formação para mitigar os riscos relacionados com as eleições, não estão a ser cumpridos.
"Receio que estejam relutantes em partilhar [as avaliações de risco] com o público, ou porque não o fizeram ou porque não estão confiantes no nível de detalhe que investiram nisto", disse Resende.
PUBLICIDADEApesar de não ter respondido diretamente a este estudo, um porta-voz da Comissão afirmou, por correio eletrónico, que a Comissão "continua vigilante em relação aos efeitos negativos da desinformação online, incluindo a desinformação baseada em IA".
Um mês após o lançamento oficial da DSA, a Comissão lançou um pedido de informação ao Bing e ao Google Search para recolher mais informações sobre os seus "riscos de mitigação ligados à IA generativa".
A Comissão confirmou à Euronews Next que está a analisar a informação recebida no âmbito deste inquérito, mas não deu mais pormenores.
Em março, a Comissão Europeia assinou um Código de Conduta sobre Desinformação com plataformas como a Google e a Microsoft, que se comprometem a promover "informação de elevada qualidade e fidedigna aos eleitores".