A crescente realidade para as redes sociais é que elas serão perpetuamente exploradas de maneiras novas e aterrorizantes, e pode não haver uma solução abrangente para os usuários mal-intencionados. A esperança é que as soluções superem os abusadores. Essa corrida pôde ser vista de forma perturbadora durante o fim de semana, quando um vídeo horrível de um terrorista abrindo fogo contra adoradores em duas mesquitas na Nova Zelândia viralizou, e o principal serviço de compartilhamento de vídeos do mundo lutou para eliminar o dilúvio de uploads das imagens.

O atirador está agora sob custódia, pelo menos 50 pessoas estão mortas, e muitas outras estão hospitalizadas com ferimentos. Mas outra faceta fundamental do massacre foi a divulgação de um manifesto de 74 páginas cheio de ódio e de imagens em primeira pessoa dos tiroteios que foram capturados em uma câmera usada pelo perpetrador. As imagens perturbadoras começaram imediatamente a se espalhar, e o YouTube foi removendo todas as imagens que encontrava.

Tradicionalmente, o conteúdo viral se espalha por pessoas que o compartilham de sua fonte original e, se for capturado cedo o suficiente, cortar a cabeça da cobra pode ser muito importante para pará-la. Mas, nesse caso, trolls e aliados ideológicos do terrorista começaram imediatamente a encher os servidores do YouTube com novos uploads das fortes imagens.

“Toda vez que uma tragédia como essa acontece, aprendemos algo novo, e neste caso foi o volume sem precedentes” de vídeos, disse Neal Mohan, diretor de produtos do YouTube, ao Washington Post. Afirmando o óbvio, Mohan disse que eles “gostariam de ter um controle sobre isso antes”.

Mohan também disse ao jornal que o ataque de Christchurch “foi uma tragédia que quase foi projetada com o propósito de se tornar viral”, acrescentando que o YouTube “fez progressos, mas isso não significa que não tenhamos muito trabalho pela frente, e esse incidente mostrou que, especialmente no caso de vídeos mais virais como este, há mais trabalho a ser feito”.

O vídeo publicado durante o fim de semana não foi único em suas filmagens de um tiroteio em massa, mas, sim, em seu ponto de vista: o terrorista transmitiu o vídeo a partir de uma câmera corporal. E Mohan disse que o vídeo teve um upload por segundo instantes após o tiroteio. O YouTube não divulgou números exatos sobre quantos uploads houve do ataque, mas os números que foram disponibilizados em outras plataformas sociais são surpreendentes — o Facebook disse que derrubou 1,5 milhão de vídeos do ataque nas primeiras 24 horas após o massacre.

Mohan está correto em sua afirmação de que o YouTube é a plataforma modelo para uma viralidade horrível como essa. O site é a plataforma de compartilhamento de vídeos mais poderosa do mundo. A plataforma também tem uma reputação muito forte de sugerir vídeos centrados em teorias da conspiração e supremacia branca. Para os nazistas, que melhor maneira de espalhar suas ideologias e incitar a violência odiosa do que explorar essa plataforma facilmente explorada e potente?

O YouTube tem certos sistemas em vigor para sinalizar e remover conteúdos de ódio e violência. Ele pode usar um sistema de hashing para identificar vídeos que correspondam ao conteúdo original, detectando e apagando automaticamente quaisquer cópias que sejam posteriormente carregadas. Infelizmente, esse sistema não é eficaz quando se trata de todos os tipos de manipulações sutis feitas em um vídeo. Como o Washington Post apontou, os usuários que subiram vídeos da filmagem de Christchurch fizeram alguns ajustes no conteúdo original, incluindo marcas d’água, logos, alterações de tamanho e animações.

“Muitos grupos extremistas violentos, como o Estado Islâmico, usam filmagens e imagens comuns”, escreveu o YouTube em um post no Twitter na segunda-feira (18). “Estes também podem ser sinais para nossos sistemas de detecção que nos ajudam a remover conteúdo em escala.” A empresa acrescentou: “No entanto, cada evento de última hora é único, e não há arquivos de referência fornecidos com antecedência. E há também um fluxo constante de novas imagens e inúmeras variações de imagens conhecidas publicadas nas horas imediatamente após um evento. Esses fatores representam um desafio significativo, mas estamos trabalhando continuamente para melhorar nossos sistemas de detecção”.

Quando entramos em contato com o YouTube com algumas perguntas para esclarecer sobre como funciona seu sistema de filtragem, um porta-voz simplesmente nos redirecionou para este post no Twitter que dá as linhas gerais de sua funcionalidade.

No tuíte, o YouTube se refere parcialmente ao seu sistema de Content ID, que permite que os proprietários de direitos autorais enviem preventivamente arquivos para a plataforma. Então, esses arquivos serão cruzados com quaisquer vídeos que sejam enviados para o serviço.

Esses criadores podem então acompanhar quando um vídeo que corresponda ao seu conteúdo é publicado. Embora isso se aplique a um material mais inofensivo, como música e filme, também levanta a questão de se esse mesmo sistema pode se aplicar a vídeos como o de Christchurch. Mas as imagens do massacre inundando as redes sociais durante o fim de semana são diferentes da mídia existente nos bancos de dados do YouTube, e por isso seu sistema é incapaz de sinalizá-lo preventivamente. E, como mencionado anteriormente, ele foi publicado com diferentes variações, de forma a driblar o sistema. Isso, combinado com o volume impressionante de uploads, criou uma espécie de viralidade sem precedentes.

“Como qualquer software de aprendizado de máquina, nossa tecnologia de correspondência segue melhorando, mas, sinceramente, é um trabalho em andamento”, disse Mohan ao Washington Post.

Considerando que o sistema em seu estado atual é incapaz de detectar certas variações, e como mesmo milhares de humanos não são suficientes para olhar com urgência e rever os vídeos sinalizados, Mohan escolheu permitir que a decisão final fosse tomada pelas máquinas. Como já vimos com outras falhas de moderação orientada por inteligência artificial, vídeos inofensivos são frequentemente removidos acidentalmente. Esse foi provavelmente o caso aqui, mas, por fim, a equipe escolheu conveniência em vez de precisão. Criadores cujo conteúdo foi injustamente removido podem fazer uma apelação.

A questão que atormenta o YouTube é que os trolls e extremistas têm um incentivo para aprimorar seus esforços em sua plataforma — seu conteúdo quase certamente terá mais visualizações que outros e, consequentemente, mais compartilhamentos. E o YouTube é conhecido por recomendar conteúdo relacionado a discurso de ódio, o que significa que o site está exacerbando o mesmo problema que está tentando erradicar. O conteúdo está vindo de dentro de casa. Na esteira de uma tragédia filmada, se os extremistas empurrarem esse conteúdo com força para uma plataforma dominante (ao mesmo tempo em que também manipulam ligeiramente algumas das versões), é inevitável que alguns vídeos vão passar pelas rachaduras do sistema e encontrar seu caminho nas recomendações.

Como o YouTube mencionou em seu post no Twitter na segunda-feira, a plataforma está sempre trabalhando em maneiras de detectar melhor o conteúdo violento. E, como mencionamos anteriormente, nossa única salvação é que aqueles que constroem as plataformas podem ficar pelo menos um passo à frente daqueles que tentam abusar delas.

É uma realidade perturbadora e que pode fazer as redes sociais levarem em consideração seu papel como catalisadoras desse novo tipo preocupante de viral.

[The Washington Post]