Estudo analisa respostas do ChatGPT sobre câncer: respostas certas de fontes falsas

O ChatGPT surpreendeu cientistas em um recente estudo acadêmico: o chatbot acertou a grande maioria das perguntas que podem ajudar pacientes a rastrear o câncer de mama. Mas nem tudo são flores: em alguns casos, o robô da OpenAI ofereceu informações imprecisas, quando não falsas.

No estudo, realizado em fevereiro, pesquisadores da Universidade de Maryland, nos EUA, criaram um conjunto de 25 perguntas sobre o exame de câncer de mama. A equipe repetiu cada uma das perguntas ao ChatGPT por pelo menos três vezes e, em seguida, analisou as respostas geradas. 

• Por que a Itália bloqueou temporariamente o ChatGPT do país?
• Seis dicas simples para melhorar as buscas no ChatGPT

Três radiologistas especializados em mamografias avaliaram as respostas. Segundo o grupo, o ChatGPT se saiu bem em 22 das 25 questões. O conjunto inclui informações sobre os sintomas, quem está em risco e recomendações de custo, idade e frequência das mamografias. 

“Descobrimos que o ChatGPT respondeu às perguntas corretamente em cerca de 88% das vezes, o que é incrível”, disse Paul Yi, um dos autores do estudo. Segundo ele, o principal benefício da tecnologia é sua capacidade de resumir as informações de uma forma acessível aos usuários. 

Mas algo chamou a atenção: o chatbot forneceu uma resposta com base em informações desatualizadas, enquanto outras duas foram inconsistentes nas vezes em que a pergunta se repetiu. 

Informações desatualizadas 

Os pesquisadores classificaram a informação desatualizada como “totalmente inadequada”. Isso porque o ChatGPT orientou que mulheres adiassem a mamografia por quatro a seis semanas depois de receber a vacina para Covid-19. 

Essa recomendação caiu em fevereiro de 2022, e os órgãos de saúde não orientam o tempo de espera. Neste caso, é possível que a desatualização ocorra porque o sistema da OpenAI recebeu treinamento de dados existentes até dezembro de 2020. Tudo que aconteceu depois disso não “existe” para a plataforma. 

Mas outras informações inconsistentes também preocuparam os especialistas. Segundo a equipe, o ChatGPT forneceu um único conjunto de recomendações sobre o rastreamento do câncer e omitiu orientações específicas do CDC (Centro de Controle de Doenças dos EUA).

Também deu respostas evasivas ou inconsistentes sobre o risco pessoal de um indivíduo contrair câncer e sobre locais para fazer a mamografia. 

Esse ponto os médicos listam como desvantagem. Segundo o estudo, a IA (inteligência artificial) não oferece respostas tão abrangentes quanto aquelas que um usuário poderia encontrar em uma pesquisa do Google, por exemplo. 

“Vimos em nossa experiência que o ChatGPT às vezes inventa artigos falsos de jornais ou consórcios de saúde para apoiar suas reivindicações”,  disse Yi. “Os consumidores devem estar cientes de que essas são tecnologias novas e não comprovadas e ainda devem confiar em seu médico, e não no ChatGPT, para obter conselhos”.

A equipe continuará o estudo com o robô para averiguar como ele recomenda assuntos sobre câncer de pulmão.