Como a tecnologia manipula as pessoas: audiência nos EUA discute poder de persuasão de algoritmos

Em uma audiência preliminar do Senado, nos EUA, na última terça-feira (25) sobre potencialmente colocar limites legislativos na capacidade de persuasão da tecnologia – uma maneira diplomática de dizer o modelo de dependência que a internet usa para manter as pessoas engajadas e clicando – Tristan Harris, diretor executivo do Center for Humane Technology, disse aos legisladores que, embora as regras sejam importantes, o que precisa acontecer primeiro é a conscientização pública.

Não é uma tarefa fácil. Algoritmos e machine learning são aterrorizantes, confusos e, de certa forma, tediosos de se pensar. No entanto, “uma coisa que aprendi é que se você disser às pessoas ‘isso é ruim para você’, elas não vão ouvir”, afirmou Harris, “se você disser às pessoas ‘é assim que você está sendo manipulado’, ninguém quer se sentir manipulado”.

• Lei nos EUA quer exigir que empresas de tecnologia revelem quanto valem seus dados
• Acordos de dados do Facebook com gigantes da tecnologia estão sob investigação criminal
• Por que as empresas começaram a se importar com vício tecnológico

Tristan Harris ocupava o cargo de Design Ethicist no Google quando começou a estudar sobre tecnologias persuasivas. Em 2018, Harris e outros funcionários da empresa criaram o Center for Humane Technology, uma organização sem fins lucrativos com o objetivo de advogar contra os impactos negativos do vício em tecnologia.

Dado que ele foi a Stanford especificamente para estudar a capacidade de persuasão (no caso, em um ambiente tecnológico), vamos experimentar a hipótese de Harris, a partir do relato das testemunhas da audiência de ontem, na qual ele basou grande parte do discurso.

Vamos começar com algo simples que fazemos centenas de vezes por dia, a ponto de ser completamente automático e aparentemente inofensivo. Segundo Harris:

Começa com técnicas como ‘puxe para atualizar’, então você puxa para atualizar seu feed de notícias. Isso funciona como uma slot machine (caça-níquel). Tem o mesmo tipo de características viciantes que mantêm as pessoas em Las Vegas entretidas. Outro exemplo é remover elementos que indicam o momento de parar. Ou seja, se eu tirar o fundo desse copo e eu continuar enchendo com água ou vinho, você não saberá quando parar de beber. É o que acontece com os feeds de rolagem infinita.

É claro que essas características que causam vício também são resultado dos efeitos de rede, que faz com que as plataformas aumentem seu poder de forma exponencial com base em quantas pessoas já estão nelas:

[Com a introdução de curtidas e seguidores] ficou muito mais barato – em vez de chamar sua atenção – deixá-lo viciado em atrair a atenção de outras pessoas.

[…]

Há um botão de “seguir” em cada perfil. Isso não parece tanto [como algo sombrio], e é por isso que é tão traiçoeiro – você está dando às pessoas um jeito de seguir o comportamento uma das outras – quando, na realidade, a plataforma está tentando fazer com que você volte a cada dia porque você quer ver se ‘eu tenho mais seguidores do que eu tinha ontem.’

Quanto mais tempo você gasta nesses ecossistemas, mais os sistemas de machine learning podem se otimizar em relação às preferências do usuário.

[N]o momento em que você entra no jogo, é ativado um avatar, que se parece com uma versão de boneco vodu seu dentro de um servidor do Google. E esse avatar, baseado em todos os cliques e curtidas e tudo que você já fez – eles têm o mesmo corte de cabelo e unhas iguais aos seus para que o avatar se pareça e aja mais e mais como você – então dentro de um servidor do Google eles podem simular inúmeras possibilidades sobre “se eu te prender com este vídeo, se eu te prender com este vídeo, quanto tempo você ficaria?” E o modelo de negócios é simplesmente o que maximizou o tempo de visualização.

Como descobrimos por meio de pesquisas, relatórios e experiências individuais, há algumas externalidades negativas associadas à solução apenas para engajamento:

É calcular o que é a coisa que pode ser mostrada a você que obtém o maior engajamento, e acontece que o ódio, a indignação moral, obtém o maior engajamento. Foi revelado em um estudo que, para cada palavra de ódio que você adiciona a um tuíte, ele aumenta sua taxa de retuíte em 17%. Em outras palavras, a polarização de nossa sociedade é, na verdade, parte do modelo de negócios. […] Há apenas um mês atrás, no YouTube, se você fizesse um mapa dos 15 verbos ou palavras-chave mais citados nos vídeos recomendados, eles eram: odeia, desmascara, elimina, destrói […] é com esse tipo de coisa que estamos alimentando dois bilhões de pessoas.

[…]

Se você imaginar um espectro no YouTube. Do meu lado esquerdo, há a calma seção Walter Cronkite (jornalista da CBS) do YouTube. Do meu lado direito tem algo completamente maluco: OVNIs, teorias da conspiração, pé grande, o que quer que seja. […] se eu sou o YouTube e quero que você assista mais, para qual direção eu vou mandar você? Eu nunca vou mandar você para a seção calma; Eu vou sempre mandá-lo para a seção maluca. Agora imagine dois bilhões de pessoas, como uma colônia de formigas da humanidade, e o campo está inclinado para as coisas malucas.

O pior de tudo é que funciona incrivelmente bem. O YouTube, em particular, recebe cerca de 70% de seu tráfego de recomendações, que são alimentadas por esses tipos de algoritmos. E alterar as informações que as pessoas obtêm é catastroficamente ruim por si só, a implementação de algoritmos não se limita a tuítes e vídeos do YouTube, como afirmou o diretor de pesquisa política da AI Now Institute, Rashida Richardson:

O problema de muitos desses sistemas é que eles são baseados em conjuntos de dados que refletem todas as nossas condições atuais, o que também significa quaisquer desequilíbrios […] em nossas condições […] descobriu-se que o algoritmo de contratação da Amazon apresenta resultados díspares e isso porque ele aprendeu com práticas de contratação anteriores.

[…]

Eles determinam onde nossos filhos vão estudar, se alguém vai receber assistência médica, quem é encaminhado para a prisão antes do julgamento, quais artigos de notícias nós vemos e quais candidatos a emprego são convocados para uma entrevista […] eles são principalmente desenvolvidos e implantados por algumas empresas poderosas, portanto, moldadas pelos valores, incentivos e interesses dessas empresas. […] Embora a maioria das empresas de tecnologia prometa que seus produtos trarão amplos benefícios sociais, há poucas evidências que apoiem ​​essas afirmações e, na realidade, as evidências existentes apontam para o contrário.

O abandono desses sistemas também é dificultado ao máximo. Harris dá o exemplo do Facebook:

Se você disser “Quero excluir minha conta do Facebook”, ela exibirá uma tela que diz “você tem certeza de que deseja excluir sua conta do Facebook, os seguintes amigos sentirão sua falta” e exibirá as fotos de algumas pessoas da sua rede. Agora, eu estou pedindo para saber quais amigos sentirão minha falta? Não. O Facebook pergunta a esses amigos se eles vão sentir minha falta se eu for embora? Não. Eles estão calculando quais são os cinco rostos mais propensos a fazer com que você clique em “cancelar”. 

E muitos dos dados necessários para alimentar esses sistemas, novamente de acordo com Harris, nem sequer exigem o consentimento indiscutivelmente desconhecido para permitir que nossos dados sejam coletados:

Sem nenhum dos seus dados, posso prever características crescentes sobre você usando inteligência artificial. Recentemente foi divulgado um artigo em que, com 80% de precisão, posso prever seus mesmos cinco traços de personalidade que o Cambridge Analytica extraiu de você sem nenhum dos seus dados. Tudo o que tenho que fazer é analisar os movimentos do seu mouse e padrões de cliques […] baseados somente no texto do tuíte, podemos saber sua afiliação política com cerca de 80% de precisão. Um computador pode calcular que você é homossexual antes de você mesmo saber que é homossexual. Eles podem prever com 95% de precisão que você vai largar seu emprego, de acordo com um estudo da IBM. Eles podem prever que você está grávida.

Stephen Wolfram – cujo nome você pode reconhecer do “motor do conhecimento” Wolfram Alpha – também apresentou seu testemunho, explicando aos legisladores que toda a premissa de transparência algorítmica fundamentalmente não compreende como essa tecnologia funciona:

Se você for analisar esses programas, geralmente há vergonhosamente pouco que nós humanos possamos entender lá dentro. E aqui está o verdadeiro problema: é um fato da ciência básica que, se você insistir na explicabilidade, não conseguirá obter o poder total de um sistema computacional ou de uma IA. […] não vejo uma solução puramente técnica.

Resumindo o quão ruim as coisas foram e até que ponto, Harris comparou as gigantes de tecnologia a uma espécie de líder religioso:

Temos um nome para esse relacionamento de poder assimétrico, e é um relacionamento de confiança ou um relacionamento de dever de cuidar – o mesmo padrão que aplicamos aos médicos, aos padres, aos advogados. Imagine um mundo em que os padres só ganham dinheiro vendendo o acesso ao confessionário para outra pessoa, exceto que, neste caso, o Facebook ouve as confissões de dois bilhões de pessoas, tem um supercomputador próximo a eles e está calculando e prevendo confissões que você vai fazer antes mesmo que você saiba que vai fazê-las. 

Houve uma outra citação que foi particularmente marcante na audiência de terça, mas não veio de nenhum especialista em tecnologia. Veio do senador de Montana Jon Tester, dirigindo-se às testemunhas:

Eu provavelmente estarei morto e provavelmente estarei agradecido por isso quando toda essa merda se concretizar.

Embora Harris, Richardson e Wolfram possam ser capazes de listar dezenas de exemplos de abuso massivo da confiança do usuário ou citar estudos mostrando os impactos negativos que essas tecnologias tiveram sobre a vida de americanos comuns e desavisados, o que chama a atenção é que um senador em exercício prefere a morte ao futuro que estamos construindo atualmente.