O estudo, intitulado "O fracasso multilingue da IA (inteligência artificial)", monitorizou os 10 principais modelos de linguagem em IA, como o ChatGPT, Copilot ou Meta AI.
"Foram testados nos 10 'chatbots' (assistente virtual que usa inteligência artificial e programação para comunicar por texto com utilizadores) um total de 30 avisos baseados em 10 alegações falsas divulgadas em linha. Estas 30 perguntas foram depois traduzidas e testadas em sete línguas, o que resultou num total de 2.100 respostas do 'chatbot'", refere o estudo.
No estudo realizado em janeiro, das 2.100 respostas em todas as línguas analisadas, 555 (26,43%) continham informações falsas, 402 (19,14%) forneceram uma não resposta e 1.143 (54,43) continham uma desvalorização.
A análise foi feita em sete línguas: russo, chinês, espanhol, inglês, alemão, italiano e francês.
Em russo verificou-se uma taxa de reprovação de 55%, sendo que, das 300 respostas, 105 (35%) continham informações falsas, 59 (20%) forneceram uma não resposta, enquanto 136 respostas (45%) continham desinformação.
Na língua chinesa, 51,33% corresponde à taxa de reprovação.
Das 300 respostas, 100 (33,33%) continham informações falsas, 71 (23,67%) forneceram uma não resposta e 129 (43%) continham desinformação.
Na análise ao espanhol, verificou-se 48% de taxa de reprovação, pelo que do total de respostas, 81 (27%) continham informações falsas, 63 forneceram uma não resposta (21%) e 156 respostas continham desinformação (52%).
No inglês, a taxa de reprovação centra-se nos 43%.
Neste idioma, 69 respostas continham informações falsas (23%), 60 (20%) forneceram uma não resposta e 171 (57%) continham desinformação.
No alemão, a taxa de reprovação é de 43,33%, sendo que 65 repostas continham informações falsas (21,66%), a mesma percentagem foi considerada uma não resposta e 170 (56,66%) continham desinformação.
No caso da língua italiana, a reprovação situa-se nos 38,67%.
Das 300 respostas, 75 (25%) continham informações falsas, 41 (13,675) forneceram uma não resposta e 184 (61,33%) continham desinformação.
O francês conta com uma taxa de reprovação de 34,33%.
Das 300 repostas, 60 (20%) continham informações falsas, 43 (14,33%) forneceram uma não resposta e 197 (65,67%) continham uma desinformação.
Neste sentido, os resultados indicam que os 'chatbots' de IA são sistematicamente mais fracos a fornecer informações precisas em línguas onde os ecossistemas de verificação de factos são menos robustos.
Além disso, os autores alertam também para a possibilidade de os ecossistemas de notícias conterem um elevado volume de fontes afiliadas ao Estado e pouco fiáveis o que pode influenciar as respostas geradas pelos robôs de IA.
Leia Também: Chinesa DeepSeek nega estar a considerar abrir-se a mais investidores
