Estudo analisa respostas do ChatGPT sobre câncer: respostas certas de fontes falsas
Na pesquisa, o ChatGPT acertou a maioria das perguntas, mas inventou fontes e periódicos para reafirmar suas posições sobre o câncer de mama. Veja os detalhes
O ChatGPT surpreendeu cientistas em um recente estudo acadêmico: o chatbot acertou a grande maioria das perguntas que podem ajudar pacientes a rastrear o câncer de mama. Mas nem tudo são flores: em alguns casos, o robô da OpenAI ofereceu informações imprecisas, quando não falsas.
No estudo, realizado em fevereiro, pesquisadores da Universidade de Maryland, nos EUA, criaram um conjunto de 25 perguntas sobre o exame de câncer de mama. A equipe repetiu cada uma das perguntas ao ChatGPT por pelo menos três vezes e, em seguida, analisou as respostas geradas.
Três radiologistas especializados em mamografias avaliaram as respostas. Segundo o grupo, o ChatGPT se saiu bem em 22 das 25 questões. O conjunto inclui informações sobre os sintomas, quem está em risco e recomendações de custo, idade e frequência das mamografias.
“Descobrimos que o ChatGPT respondeu às perguntas corretamente em cerca de 88% das vezes, o que é incrível”, disse Paul Yi, um dos autores do estudo. Segundo ele, o principal benefício da tecnologia é sua capacidade de resumir as informações de uma forma acessível aos usuários.
Mas algo chamou a atenção: o chatbot forneceu uma resposta com base em informações desatualizadas, enquanto outras duas foram inconsistentes nas vezes em que a pergunta se repetiu.
Informações desatualizadas
Os pesquisadores classificaram a informação desatualizada como “totalmente inadequada”. Isso porque o ChatGPT orientou que mulheres adiassem a mamografia por quatro a seis semanas depois de receber a vacina para Covid-19.
Essa recomendação caiu em fevereiro de 2022, e os órgãos de saúde não orientam o tempo de espera. Neste caso, é possível que a desatualização ocorra porque o sistema da OpenAI recebeu treinamento de dados existentes até dezembro de 2020. Tudo que aconteceu depois disso não “existe” para a plataforma.
Mas outras informações inconsistentes também preocuparam os especialistas. Segundo a equipe, o ChatGPT forneceu um único conjunto de recomendações sobre o rastreamento do câncer e omitiu orientações específicas do CDC (Centro de Controle de Doenças dos EUA).
Também deu respostas evasivas ou inconsistentes sobre o risco pessoal de um indivíduo contrair câncer e sobre locais para fazer a mamografia.
Esse ponto os médicos listam como desvantagem. Segundo o estudo, a IA (inteligência artificial) não oferece respostas tão abrangentes quanto aquelas que um usuário poderia encontrar em uma pesquisa do Google, por exemplo.
“Vimos em nossa experiência que o ChatGPT às vezes inventa artigos falsos de jornais ou consórcios de saúde para apoiar suas reivindicações”, disse Yi. “Os consumidores devem estar cientes de que essas são tecnologias novas e não comprovadas e ainda devem confiar em seu médico, e não no ChatGPT, para obter conselhos”.
A equipe continuará o estudo com o robô para averiguar como ele recomenda assuntos sobre câncer de pulmão.
Jornalista e mestre em Linguística. Antes trabalhei no Poder360, A Referência e em jornais e emissoras de TV no interior do RS. Curiosa, gosto de falar sobre o lado político das coisas - em especial da tecnologia e cultura. Me acompanhe no Twitter: @juliamzps
fique por dentro das novidades giz
Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas
