Pesquisadores denunciam IAs por preconceito racial e de gênero
Especialistas em inteligência artificial (IA) alertam, já há alguns anos, para os vieses de preconceito que a tecnologia aplicada em algumas áreas, como segurança pública, pode demonstrar. Ainda assim, a aplicação da tecnologia é encarada como a solução para problemas em vários setores. Veja um novo estudo sobre isso abaixo.
Há alguns anos, a Amazon foi obrigada a deixar de utilizar uma ferramenta de IA que recrutava novos funcionários por ter uma conduta contra mulheres. Embora a empresa de Jeff Bezos tenha parado de usar o software, muitas organizações ainda recorrem à tecnologia para triagem de currículos.
Novo estudo de preconceitos de IA
Um estudo recente conduzido por pesquisadores da Universidade de Washington constatou que grandes modelos de linguagem reproduzem preconceitos de raça e gênero durante a análise de currículos para posições de trabalho e acabam beneficiando, na esmagadora maioria das vezes, homens brancos.
A pesquisa analisou, dessa maneira, centenas de currículos e descrições de vagas através de três modelos MTE baseados no Mistal-7B LLM. Ao invés de utilizar comandos objetivos, como perguntas sobre se um currículo se encaixa ou não na descrição de vagas, os cientistas geraram pontuações de relevância para cada currículo e anúncio de vaga.
Primeiro, para avaliar a confiabilidade dos resultados, os pesquisadores executaram os modelos sem nomes. E, posteriormente, rodaram os sistemas de IA novamente com os nomes que atingiram altas pontuações raciais. E também de gênero com base no uso real em grupos da população.
Por fim, os 10% de currículos considerados mais compatíveis para cada posição de trabalho foram analisados. A ideia era ver se grupos raciais foram escolhidos em maiores ou menores taxas.
Os resultados
Os resultados concluíram que, em todos os modelos 85% dos nomes escolhidos tinham maior incidência na branca, enquanto nomes negros foram elegidos em apenas 8,6%. Quando o recorte era gênero, os nomes masculinos foram escolhidos em 51,9% dos casos contra 11% dos femininos.
Quando a comparação foi entre nomes masculinos, os negros não foram escolhidos em nenhuma ocasião.
IA generativa cria versão caipira de “Game of Thrones”
Meta desenvolve mecanismo de busca alimentado por IA
As tendências se repetiram em todos os modelos. O que revela que isso é uma consequência do tipo de dado para treinamento usado no desenvolvimento de ferramentas de inteligência artificial.
O estudo mostra que, embora sejam encarados como ferramentas imparciais durante o processo de seleção de candidatos, os sistemas reproduzem os mesmo vieses que recrutadores humanos podem ter durante o processo de seleção para posições de trabalho.