A tecnologia de reconhecimento de emoções, na melhor das hipóteses, promete ler a angústia mental de passageiros e ajustar as condições da cabine do metrô de acordo com elas. No pior dos cenários, ela coloca microscópios mentais tendenciosos e cheios de erros nas mãos das pessoas mais poderosas das grandes empresas. Em um novo relatório, o centro de pesquisa AI Now, da New York University pede que os reguladores proíbam a tecnologia.

O AI Now ressalta que o reconhecimento de emoções ou de afetos — que alega detectar traços de personalidade e emoções e avaliar a saúde mental — é cientificamente suspeito e permite que as instituições façam um ajuste fino de seus dados biométricos.

O relatório argumenta que essas instituições poderiam potencialmente usar os dados para tomar decisões sobre nossa aptidão para contribuir com a sociedade, como “quem deve entrevistado ou contratado para um emprego, o preço do seguro, as avaliações de dor de um paciente ou o desempenho de um aluno na escola”.

A ideia de um entrevistador de emprego lendo sua mente é bem esquisita, de fato, mas não é só isso: na verdade, o relatório diz que essa porcaria nem funciona. Ele cita um artigo do ProPublica que constata que os “detectores de agressão” desenvolvidos pela Sound Intelligence — que foram implementados em escolas, prisões, hospitais e bancos — consideram a tosse como um sinal de agressão.

Essa tecnologia também é comprovadamente tendenciosa. O relatório também menciona um estudo que processou um conjunto de fotos dos jogadores da NBA por meio do Face++ e da API Face da Microsoft. As duas tecnologias deram pontuações emocionais mais negativas aos jogadores negros do que a todos os outros. De acordo com o estudo, o Face++ considerou os jogadores negros mais “agressivos”, e o Face API da Microsoft os classificou como tendo mais “desprezo”, apesar dos sorrisos.

Além disso, em novembro, a Harvard Business Review falou sobre o uso de reconhecimento emocional nas escolas da China para rastrear o foco dos alunos e sobre como a tecnologia é inadequada: “Pense em diferentes estilos de aprendizagem: algumas pessoas são aprendizes visuais. Alguns aprendem fazendo. Outros preferem intensa concentração solitária. Mas um algoritmo, talvez projetado por um aluno visual, pode errar completamente ou interpretar mal essas dicas.”

“Portanto, há pouca ou nenhuma evidência de que esses novos produtos de reconhecimento de afetos tenham validade científica”, escreve o AI Now.

O relatório também endossa pedidos de longa data para que governos e empresas interrompam o uso do reconhecimento facial “em contextos sociais e políticos sensíveis” até que a tecnologia seja melhor compreendida. Eles pedem que o setor leve a sério o racismo e a misoginia nas práticas de contratação das empresas, pois elas distorcem os algoritmos, já que eles acabam extraindo os dados problemáticos e aprendem a partir deles.

O AI Now gostaria de ver mais regulamentações parecidas com a Lei de Privacidade de Informações Biométricas de Illinois (BIPA), que permite que as pessoas abram processos judiciais em caso de coleta não consensual e uso de dados biométricos por agentes privados para fins como rastreamento, vigilância e criação de perfis psicológicos a partir de reconhecimento facial.

Eles também procuram empoderar os trabalhadores para que eles possam se opor à vigilância exploradora (ou seja, através da sindicalização). Eles também pedem que os funcionários de tecnologia sejam informados quando estiverem criando ferramentas de espionagem e que os governos obriguem as empresas de IA a enviar relatórios de impacto climático.

Essa última parte não é insignificante: eles estimam que “um modelo de IA para processamento em linguagem natural pode emitir até 270 toneladas de dióxido de carbono”.

Prevê-se que a indústria de análise de emoções, que em grande parte não está regulamentada, irá receber US$ 25 bilhões em 2023 e se espalhará por todas as áreas da vida cotidiana.

A Disney a usou para rastrear as respostas da plateia aos seus filmes, os pesquisadores se voltaram para ela para diagnosticar condições de saúde mental, e as empresas a utilizaram para examinar as conversas dos representantes de atendimento ao cliente.

Em 2016, a Apple adquiriu a Emotient, uma startup de reconhecimento facial, que desenvolveu o “Facet”, uma ferramenta que alega capturar microexpressões subconscientes e processar imagens de baixa resolução.

As autoridades da China já estão usando o reconhecimento facial para identificar e rastrear minorias muçulmanas e (muito provavelmente) manifestantes de Hong Kong. O reconhecimento emocional adicionaria outra camada distópica a essa realidade, cujo escopo não se limita a países fora dos EUA.

Se não houver resposta da sociedade, o reconhecimento facial inevitavelmente estará nos postos de controle da TSA (órgão responsável pela segurança dos aeroportos nos EUA) e nas câmeras que os policiais carregam no corpo.