Mark Zuckerberg posa de forma dissimulada como um amigável crítico dos algoritmos. É assim que ele contrasta o Facebook com seus rivais no Google. Na casa de Larry Page, o algoritmo é um rei, um frio e calculista regente. Não há um traço de vida nas recomendações dele, além de pouco entendimento aparente da pessoa que faz consultas na ferramenta. O Facebook, por sua vez, é um alívio neste mundo cada vez mais automatizado e atomístico. “Todo produto que você usa é melhor com os seus amigos”, diz ele.

Ele se refere ao feed de notícias do Facebook. Aqui segue uma breve explicação para a minúscula porção da humanidade que consegue resistir ao Facebook: O feed de notícias providencia um índice inversamente cronológico de todos as atualizações de status, artigos, e fotos que seus amigos postaram no Facebook. O feed de notícias é destinado a ser divertido, mas ao mesmo tempo voltado para solucionar um dos problemas essenciais da humanidade – nossa inabilidade de filtrar pelos crescentes amontoados de informação. Quem melhor, diz a teoria, para lhe recomentar o que você deveria ler e ver do que seus amigos? Zuckerberg gaba-se que o feed de notícias transformou o Facebook em um “jornal personalizado”.

Infelizmente, nossos amigos podem fazer este trabalho para nós até certo ponto. Porque, pelo visto, eles gostam de compartilhar muito. Se apenas lermos suas contemplações e links para artigos, talvez fiquemos um pouco menos sobrecarregados que antes, ou não. Então o Facebook faz as próprias escolhas do que deveria ser lido. O algoritmo da companhia organiza as milhares de coisas que um usuário da rede poderia ver em pequenos lotes de itens da escolha dele. E então, dentro destes poucos itens, ele decide o que gostaríamos de ler primeiro.

Algoritmos são, por definição, invisíveis. Mas geralmente podemos sentir sua presença – que estamos interagindo com uma máquina de algum lugar distante. É isso que faz o algoritmo do Facebook tão poderoso. Muitos usuários – 60%, de acordo com pesquisas – não tem a menor noção de sua existência. Mas nada disso importaria mesmo que soubessem de sua existência. O algoritmo do Facebook não poderia ser mais opaco. Quando a companhia concede sua existência a repórteres, ela conduz uma maneira de esconder o algoritmo ainda mais profundamente em descrições impenetráveis. Sabemos, por exemplo, que o algoritmo já foi chamado de EdgeRank. Mas o Facebook não usa mais este termo. É apropriado que ele não tenha um nome. Ele cresceu e se tornou quase um desconhecido emaranhado de dispersão. O algoritmo interpreta mais de 100.000 “sinais” para tomar decisões sobre o que os usuários veem. Alguns destes sinais se aplicam para todos os usuários do Facebook; alguns refletem os hábitos particulares de usuários e os hábitos de seus amigos. Talvez o Facebook não entenda mais por completo o próprio alcance de seus algoritmos – o código, todas as 60 milhões de linhas dele, é um palimpsesto, onde engenheiros adicionam camada sobre camada de novos comandos (Essa é dificilmente uma condição exclusiva do Facebook. Jon Kleinbrg, cientista da computação da Universidade de Cornell, é coautor de um artigo que argumenta, “Nós temos, talvez, pela primeira vez, construído máquinas que não entendemos… A algum nível nós não compreendemos como elas produzem os comportamentos que observamos. Essa é a essência da incompreensibilidade”. O que é alarmante nessa frase é que o “nós”  na frase se refere aos criadores do código).

Para ponderar a abstração deste algoritmo, imagine um daqueles primeiros computadores cujas luzes piscavam nervosas e eram repletos de discos e alavancas. Para ajustar o algoritmo, os engenheiros entornavam puxadores uma ou duas vezes. Eles faziam constantes pequenos ajustes, aqui e ali, para que as máquinas funcionassem de forma satisfatória. Até com o mais gentil dos toques, o Facebook muda o que seus usuários veem e leem. Ele pode fazer as fotos dos nossos amigos menos presentes; ele pode punir postagens repletas de mensagens de auto-apreciação e banir o que acreditar se tratar de hoaxes; ele pode promover vídeo em vez de texto; ele pode favorecer artigos do New York Times ou do Buzzfeed, se assim ele desejar. Ou, se quisermos ser melodramáticos, podemos dizer que o Facebook está constantemente ajustando a maneira com que seus usuários veem o mundo – sempre alterando a qualidade das noticias e opiniões que podem quebrar o ruído, ajustando a qualidade do diálogo cultural e político para manter a atenção dos usuários por mais alguns momentos.

Mas como os engenheiros sabem quanto é necessário fazer estes ajustes? Existe toda uma disciplina, dados científicos, para guiar a escrita e a revisão dos algoritmos. O Facebook tem uma equipe, retirada de universidades, para conduzir experimentos em usuários. É o sonho molhado do estatístico – alguns dos maiores dados sobre humanos da história e a habilidade de conduzir testes correligionários com bases matemáticas. Quando Cameron Marlow, antigo chefe da equipe científica do Facebook, descreveu a oportunidade, ele começou a ter pequenos espasmos de felicidade. “Pela primeira vez”, disse Marlow, “temos um microscópio que não apenas nos permite examinar comportamentos sociais com um grande nível de aproximação, como também executar experimentos que milhões de usuários estão expostos”.

O Facebook gosta mais de falar do fato que seus experimentos existem do que de detalhes dos ditos experimentos. Mas existem exemplos que escaparam dos confinamentos dos laboratórios. Sabemos, por exemplo, que o Facebook buscou descobrir se emoções são contagiosas. Para conduzir esse teste, a rede tentou manipular o estado mental de seus usuários. Para um grupo, o Facebook removeu palavras positivas dos posts do feed de notícias; para um outro grupo, removeu as negativas. Cada grupo, foi concluído, escreveu postagens que reproduziam o tom dos posts que foram reescritos. O estudo foi vastamente condenado como invasivo, mas ele não é tão incomum. Como um membro da equipe de dados do Facebook confessou: “Qualquer um na equipe pode executar um teste. Eles sempre estão tentando alterar o comportamento das pessoas”.

Não há duvidas do poder sobre as emoções e o psicológico que o Facebook tem – pelo menos a rede não duvida disso. Ela já se gabou em como aumentou o número de cidadãos que votaram (e de doações de órgãos) ao apenas subitamente ampliar as pressões sociais que compelem a tais comportamentos. O Facebook já até veiculou o resultado destes experimentos em publicações científicas: “É possível que mais de 60% do crescimento de usuários votantes entre 2006 e 2010 tenha sido graças a uma única mensagem no Facebook”. Nenhuma outra companhia já se gabou por sua habilidade de modelar a democracia como o Facebook – e por uma boa razão. É muito poder para se confiar em uma corporação.

Os muitos experimentos do Facebook são somatórios. A companhia acredita ter desbloqueado a psicologia social e adquirido um  entendimento aprofundado de seus usuários maior do que eles tem sobre si mesmos. O Facebook pode prever a raça, orientação sexual, estado civil e o uso de drogas de um usuário baseado em suas “curtidas”. É a fantasia de Zuckerberg que estes dados sejam analisados para revelar a mãe de todas as revelações, “ uma lei fundamentalmente matemática de relações sociais humanas que governa o equilíbrio de quem e o que nos importamos”. Isso é, é claro, um objetivo a longo prazo. Enquanto isso, o Facebook vai sondar, constantemente testando o que queremos ver e o que ignoramos, uma campanha sem fim para melhorar a capacidade da rede em nos dar o que queremos e o que nem sabemos que queremos. Seja a informação verdade ou invenção, relator autoritários ou opiniões conspiratórias não parecem fazer muita importância ao Facebook. O público recebe o que quer e o que merece.

A automação do pensamento

Estamos nos primeiros dias da revolução, é claro. Mas já podemos ver para onde estamos indo. Algoritmos aposentaram muitas das tarefas burocráticas efetuadas por humanos – e em breve eles vão também começar a substituir algumas criativas. No Netflix, algoritmos sugerem gêneros de filmes. Alguns portais de notícia usam algoritmos para escrever histórias sobre crimes, jogos de baseball e terremotos, as mais rotineiras das tarefas jornalísticas. Algoritmos produziram artes e compuseram música sinfônica, ou pelo menos aproximações destas.

É uma trajetória aterrorizante, especialmente para aqueles de nós nesses ramos de trabalho. Se algoritmos podem replicar o processo criativo, então temos pouca razão para nutrir a criatividade humana. Por que se importar com o tortuoso e ineficiente processo de escrever e pintar se um computador pode produzir algo tão bom quanto em um piscar de olhos? Por que nutrir o inflacionado mercado da alta cultura, se ele pode ser tão abundante e barato? Nenhuma empreitada humana resistiu a automação, então porque empreitadas criativas devem ser diferentes?

A mentalidade da engenharia tem pouca paciência por fetichizar palavras e imagens, para o místico da arte, para a complexidade moral e emocional da expressão. Ela vê isso como dados, componentes de um sistema, abstrações. É por isso que o Facebook tem tão poucas dúvidas sobre fazer experimentos em seus usuários. Todo o seu esforço é para tornar os humanos previsíveis – antecipar seus comportamentos, tornando-os mais manipuláveis. Com esse tipo de pensamento frio, tão distante de contingência e o mistério da vida humana, é fácil ver quando valores pessoais começam a parecer um incômodo – porque um conceito como privacidade teria um peso tão pequeno no cálculo de um engenheiro, porque as ineficiências de editoras e jornalismo parecem tão iminentemente disruptivas.

O Facebook nunca colocaria dessa forma, mas algoritmos são feitos para erodir o livre-arbítrio, para livrar os humanos do peso da escolha, para encaminhá-los ao caminho certo. Algoritmos impulsionam um senso de onipresença, o condescendente crer que nosso comportamento possa ser alterado sem nem mesmo percebemos na mão que nos guia. Isso sempre tem sido um perigo na mentalidade da engenharia, conforme ela avança da construção de coisas inanimadas para a projeção de um mundo social perfeito. Somos apenas os parafusos e rebites de um grande projeto.

De WORLD WITHOUT MIND: The Existential Threat of Big Tech por Franklin Foer.