Quando confiar e quando desconfiar das respostas do ChatGPT

Estudo recente mostra que o ChatGPT não é tão bom assim em escrever códigos, uma das funções mais buscadas por usuários
Brasil é um dos mais afetados em vazamento de dados do ChatGPT
Imagem: Focal Foto/Flickr/Reprodução

As respostas do ChatGPT, no geral, parecem bem convincentes. Mas é fato que essa plataforma, assim como outros chatbots, não tem capacidade analítica — e, frequentemente, pode fornecer dados fora de contexto ou até informações equivocadas.

Por isso, é importante saber quando desconfiar das respostas e sempre verificar as informações. Um estudo recente mostra que o ChatGPT não é tão bom assim em escrever códigos de computador, por exemplo.

A pesquisa da Universidade de Purdue (EUA) obteve resultados desanimadores para quem costuma contar com o chatbot para acelerar a programação. Os pesquisadores fizeram 517 perguntas à plataforma. Eles constataram que 52% das respostas do ChatGPT tinham imprecisões e 77% delas eram prolixas.

Ainda mais preocupante: o estudo apontou que 54% dos erros cometidos pela plataforma pareciam resultar do fato de ele não entender o conceito da pergunta que estava sendo feita. Nos casos em que ele entendia a pergunta, muitas vezes tinha dificuldade em fornecer uma resposta correta, o que destaca a importância de verificar os fatos nas respostas do ChatGPT.

“Em muitos casos, vimos o ChatGPT dar uma solução, código ou fórmula sem prever ou pensar no resultado”, disseram os pesquisadores. Vale ressaltar que o artigo foi publicado no arXiv, um site de preprints, e ainda não foi revisado por pares.

Mas o chatbot não é completamente inútil em codificação. Neste ano, um engenheiro da Amazon usou o ChatGPT para responder às perguntas da entrevista para uma vaga de codificação de software na empresa, e o bot acertou todas elas, conforme o site Insider noticiou.

Outro problema recorrente nos chatbots que usam inteligência artificial é a chamada “alucinação de IA”. Trata-se de quando a plataforma mente “sem querer”. Ou seja, às vezes, ferramentas como o ChatGPT podem inventar informações. Por isso, é importante checar os dados obtidos na plataforma e garantir que são baseados na realidade.

Assine a newsletter do Giz Brasil

fique por dentro
das novidades giz Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas