Como um algoritmo médico nos EUA era preconceituoso com pacientes negros

Um algoritmo de assistência médica utilizado em hospitais nos Estados Unidos tem discriminado pacientes negros, como mostra uma nova pesquisa. O estudo descobriu que o algoritmo priorizava de forma consistente pacientes brancos que não sofriam de doenças graves e eliminava pacientes negros de um programa destinado a ajudar pessoas que precisavam mais de cuidado intensivo.

Algoritmos preditivos passaram a ser utilizados em muitas áreas, incluindo cuidados de saúde. Porém, muitas pesquisas mostraram que essas IAs podem ter algum viés, mesmo que tenham sido criados para serem “neutros”. Esses vieses existem até mesmo na medicina, onde a discriminação racial e de gênero é sistemática.

Algoritmos costumam ser caixas-pretas

De acordo com os autores do novo artigo, no entanto, pesquisadores raramente têm oportunidade de estudar de perto como e por que o viés pode se infiltrar nesses algoritmos. Muitos algoritmos são proprietários, o que significa que os detalhes exatos de como eles foram programados — incluindo as fontes de dados usadas para treiná-los — estão fora dos limites para a análise de cientistas independentes. Não foi o caso nesse estudo, publicado na quinta-feira (24) na revista Science.

Os autores analisaram dados de um algoritmo desenvolvido pela empresa Optum, amplamente utilizado em hospitais e centros de saúde dos EUA, incluindo o hospital onde alguns dos autores trabalhavam.

A inteligência artificial pretendia medir quais pacientes se beneficiariam mais do acesso a um programa de gestão de cuidados de saúde de alto risco. Entre outras coisas, o programa permitiria que esses pacientes tivessem uma equipe dedicada aos cuidados de saúde, com horários extra para consultas.

Quando eles compararam a pontuação de risco gerada pela IA com outras pontuações de saúde em seus pacientes, incluindo quantas doenças crônicas um paciente possui, descobriram que pacientes negros eram consistentemente subestimados.

O tamanho do problema

Sob a estimativa da IA, por exemplo, 18% dos pacientes que mereciam estar nesses programas seriam negros; mas os autores estimaram que o número real deveria estar mais próximo de 47%.

“Esse é um estudo extremamente importante que indica por que não devemos confiar cegamente na inteligência artificial para resolver nossos problemas sociais mais importantes”, disse Desmond Patton, cientista de dados da Escola de Serviço Social da Universidade de Columbia, que não estava envolvido na pesquisa, ao Gizmodo.

O processo de tomada de decisão da IA foi projetado para ser neutro em termos raciais. Os autores descobriram, no entanto, que outras suposições foram programadas com preconceitos contra os negros.

Uma variável chave estudada foi quanto dinheiro tinha sido gasto com cuidados de saúde dos pacientes antes do emprego da IA. Aqueles que tinham gerado mais despesa foram considerados prioritários para a participação da programa, nesse caso.

Os pacientes negros vão menos a consultas e recebem menos cuidados médicos em comparação a pacientes brancos, muitas vezes porque são mais pobres. Isso é agravado pelo fato de os pacientes negros geralmente irem ao hospital quando estão muito doentes, porque seus problemas de saúde crônicos não foram tratados. Vale notar, inclusive, que nos Estados Unidos não existe um sistema de saúde pública como o SUS brasileiro e muitas pessoas não têm dinheiro para custear tratamentos.

“O viés surge porque o algoritmo prevê a partir dos custos dos cuidados de saúde em vez das doenças em si. O acesso desigual à saúde significa que gastamos menos dinheiro cuidando de pacientes negros do que de pacientes brancos”, escreveram os autores.

Por que é importante analisar os algoritmos

Essas disparidades na medicina e noutros lugares não são exatamente um segredo. Mas se uma IA não está programada para contabilizá-las ou treinada com conjunto de dados vindos de grupos diferentes de pessoas, é provável que sejam ignoradas, de acordo com Atul Butte, pesquisador de informática biomédica da Universidade da Califórnia em São Francisco e cientista-chefe de dados do Sistema de Saúde da Universidade da Califórnia.

“A analogia que costumo usar é que ninguém ficaria confortável em entrar num carro autônomo que foi treinado apenas nas ruas de Mountain View”, disse Butte, que não estava envolvido na nova pesquisa, ao Gizmodo. “Nós realmente devemos ser cautelosos com algoritmos médicos treinados apenas com dados de uma pequena população ou de apenas uma raça ou etnia”.

As descobertas, de acordo com Jessie Tenenbaum, professora assistente de bioestatística e bioinformática da Duke University, também não envolvida no novo estudo, mostram por que é importante que cientistas e empresas externas trabalhem juntas para melhorar os algoritmos que são empregados no mundo real.

“Eu sou fã do uso de IA onde ela possa ser útil, mas vai ser impossível antecipar todas as maneiras que esses vieses podem surgir e afetar os resultados”, disse ela. “O que é importante, então, é pensar sobre como os dados tendenciosos poderiam afetar um determinado aplicativo, para verificar os resultados de tal viés, e sempre que possível usar métodos de IA que possam ser explicados — ou seja, que produza uma resposta do por que um algoritmo chegou àquela conclusão.”

“É inconcebível para mim que o algoritmo de outras empresas não sofram com isso”, disse ao Washington Post Sendhil Mullainathan, professor de computação e ciência comportamental da Booth School of Business da Universidade de Chicago. “Tenho esperança de que esse estudo faça com que toda a indústria pense: ‘Meu Deus, temos que consertar isso'”.

As agências reguladoras, como a Food and Drug Administration (FDA, equivalente à Anvisa), também devem aplicar proativamente um treinamento aprimorado desses algoritmos e exigir o compartilhamento transparente de dados das empresas que os produzem, disse Butte.