A rede de farmácias Rite Aid, dos EUA, foi proibida de utilizar a tecnologia de reconhecimento facial por cinco anos. O banimento ocorreu após uma onda de falsos positivos, especialmente, contra pessoas não brancas.
A empresa foi acusada de usar software baseado em IA (Inteligência Artificial) em centenas de lojas para identificar pessoas que poderiam se “envolver em furtos ou outros comportamentos criminosos”. Isso teria feito, por exemplo, funcionários expulsar ou impedir pessoas de cor de entrar em suas lojas, segundo a CNN.
De acordo com a FTC (Comissão Federal de Comércio dos Estados Unidos), a empresa aplicou a tecnologia sem considerar as consequências. Ela resultou em um número elevado de acusações falsas de furto e comportamento inadequado nas unidades da rede.
A denúncia diz que, com base nos falsos alertas, funcionários fizeram acusações, seguiram clientes, fizeram revistas e os submeteram a situações constrangedoras com autoridades policiais. Além disso, a empresa não revelou que estava utilizando a tecnologia e orientou trabalhadores a esconder a informação.
“O uso imprudente de sistemas de vigilância facial pela Rite Aid deixou seus clientes enfrentando humilhações e outros danos, e suas violações de ordens colocaram em risco as informações confidenciais dos consumidores”, afirmou a FTC.
O projeto de segurança da empresa foi baseado em um banco de dados com imagens de baixa resolução capturadas por câmeras de monitoramento interno. Inclusive, também era usado imagens gravadas dos smartphones pessoais dos próprios funcionários. Na prática, os clientes que faziam parte do conjunto de dados eram rotulados como “pessoas de interesse”.
A FTC exigiu que as imagens sejam deletadas. Além disso, a empresa deverá notificar as pessoas que fizeram parte do banco de dados.
IA reproduz preconceitos
A ação judicial analisou reclamações colhidas em um período de 2012 a 2020 e citou que os incidentes ocorreram em “centenas” de lojas da Rite. A empresa implementou o software de reconhecimento, principalmente, em drogarias localizadas em bairros de maioria negra, latina ou asiática.
Tratada como solução milagrosa para a identificação de criminosos, a tecnologia de reconhecimento facial é frequentemente implementada sem a consideração dos riscos. As pessoas que mais são afetadas pelos erros destes sistemas são as já historicamente marginalizados.
Isso acontece porque os bancos de dados para treinamento dos algoritmos são de baixa qualidade. Por isso, acabam reproduzindo preconceitos predominantes das sociedades contemporâneas, porque durante o processo de treinamento, não é possível precisar o que o algoritmo de fato “aprendeu”.
fique por dentro das novidades giz
Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas
