A OpenAI diz ter descoberto que os modelos linguísticos de grande dimensão recompensam os chatbots quando estes respondem às questões colocadas.
PUBLICIDADE
A OpenAI, empresa de inteligência artificial (IA), afirma que os algoritmos recompensam os chatbots quando estes adivinham as questões que lhes são colocadas, segundo um novo documento de investigação.
A OpenAI refere-se a "alucinações" quando os modelos de grande linguagem (LLM) utilizados para treinar os chatbots não têm a certeza da resposta. Assim, em vez de admitirem que não sabem, preferem mentir.
Os investigadores afirmam que estas "alucinações" resultam de um erro na classificação binária, quando os LLMs classificam as novas observações numa de duas categorias.
A razão pela qual estas "alucinações" se mantêm é porque os LLMs estão "otimizados para serem bons executantes de testes e adivinhar, quando não têm certezas, melhora o desempenho nos testes", refere o relatório.
Os investigadores comparam esta situação com a dos estudantes que adivinham as respostas nos exames de escolha múltipla. Isto porque, ao assinalarem uma resposta, a probabilidade de acerteram é maior do que se optarem por não responder.
Os LLMs trabalham com um esquema de pontos que os recompensa com um ponto por uma resposta correta e nenhum por respostas em branco, ou por dizerem que não sabem a resposta.
O artigo surge algumas semanas depois da OpenAI ter lançado o GPT-5, o modelo que a empresa diz ser "à prova de alucinações", com menos 46% de respostas falsas do que o seu antecessor GPT-4o.
No entanto, um estudo que também trabalha na empresa norte-americana NewsGuard concluiu que os modelos ChatGPT, em geral, espalham informações falsas em 40% das suas respostas.
Algumas perguntas "impossíveis de responder" pela IA
Através de pré-treino e pós-treino, os chatbots aprendem a prever a palavra seguinte em grandes quantidades de texto.
O documento da OpenAI concluiu que, embora algumas coisas, como a ortografia e a gramática, sigam regras e estruturas muito claras, há outros assuntos ou tipos de dados que serão difíceis ou mesmo impossíveis de identificar com recurso a IA.
Por exemplo, os algoritmos podem classificar imagens quando estas são rotuladas como "gato ou cão", mas se as imagens fossem rotuladas após o aniversário do animal de estimação, o chatbot não seria capaz de as categorizar de forma precisa.
Este tipo de tarefa que uma IA executa "produziria sempre erros, independentemente do grau de avanço do algoritmo", concluiu o relatório.
Uma das principais conclusões dos investigadores no relatório é que os modelos nunca serão 100% exatos porque "algumas questões do mundo real são inerentemente impossíveis de responder".
Para limitar as "alucinações", os utilizadores podem dar instruções ao LLM para responder com um "não sei" se não souber a resposta e modificar o sistema de pontos existente para os tipos de respostas que dá, disse a OpenAI.