Existem dúvidas se a IA (Inteligência Artificial) é tão inteligente quanto dizem. Os chatbots, como o ChatGPT, da OpenAI, estão cada vez mais populares entre profissionais e estudantes de programação. Porém, pesquisadores da Universidade de Purdue, nos EUA, descobriram que 52% das respostas geradas pelo ChatGPT estão incorretas.
Esse percentual de erro é muito grande — e preocupante — para um programa que precisa ser confiável. A ferramenta, por exemplo, está presente no dia a dia de alunos, escritores, professores e, até mesmo, de engenheiros de software, que usam o ChatGPT para obter ajuda na criação de códigos de programação.
No estudo, apresentado este mês na conferência Computer-Human Interaction, os pesquisadores analisaram mais de 517 perguntas relacionadas à programação de códigos que haviam sido publicadas no Stack Overflow. O site funciona como um fórum, no qual profissionais e entusiastas na área de programação de computadores podem compartilhar perguntas e respostas.
Os pesquisadores colocaram as questões no ChatGPT, buscando respostas corretas. Entretanto, 52% das respostas tinham informações erradas.
“Descobrimos que 52% das respostas do ChatGPT continham desinformação, 77% das respostas foram mais detalhadas do que respostas humanas e 78% das respostas sofreram de diferentes graus de inconsistência para respostas humanas”, escreveram os cientistas.
Programadores tendem a preferir respostas do ChatGPT
A equipe também realizou uma análise linguística de 2.000 respostas do ChatGPT selecionadas aleatoriamente. Eles descobriram que as afirmações eram “mais formais e analíticas”, enquanto retratavam “menos sentimento negativo”.
Apesar dos erros, os programadores humanos parecem preferir as respostas do ChatGPT. Os pesquisadores da Purdue entrevistaram 12 programadores e descobriram que 35% preferiam usar o ChatGPT a buscar ajuda humana. Além disso, 39% não detectaram erros gerados pela IA.
“As entrevistas semiestruturadas de acompanhamento revelaram que a linguagem educada, as respostas articuladas e no estilo de livro didático e a abrangência são algumas das principais razões que fizeram as respostas do ChatGPT parecerem mais convincentes, então os participantes baixaram a guarda e ignoraram algumas informações erradas nas respostas do ChatGPT”, escreveram os pesquisadores.