O problema de vídeos impróprios para crianças no YouTube é pior do que imaginávamos

O YouTube diz ter removido anúncios de cerca de 2 milhões de vídeos em mais de 50 mil canais que publicavam conteúdo impróprio destinado para crianças. Alguns destes vídeos chegava até mesmo a abusar de crianças. E enquanto sabemos que o YouTube tem dificuldades para manter conteúdo malicioso fora de sua plataforma, o fato que dezenas de milhares de canais estavam envolvidos com este tipo de vídeo para crianças é assustador.

• YouTube diz que vai reprimir vídeos impróprios com crianças como público-alvo

O protesto público contra estes estranhos vídeos começou há algumas semanas. Diversas notícias destacaram conteúdo aparentemente voltados para crianças que retratavam cenas de personagens da Disney em biquínis flertando com outros populares personagens de desenhos infantis, além de outros temas tipicamente impróprios. O problema era composto de perturbantes vídeos de personagens de desenhos lidando com temas como tortura e suicídio aparecendo no app YouTube Kids. Havia ainda muitos vídeos que mostravam crianças amarradas, aparentemente machucadas ou em situações de abuso.

O YouTube rapidamente lidou com a situação anunciando planos para restringir e demonetizar este tipo de vídeo. A companhia foi além e explicou a Vice News que “encerrou mais de 270 contas e removeu mais de 150 mil vídeos” e também “fechou os comentários de mais de 625 mil vídeos visados por pedófilos”. Ademais, o YouTube diz ter “removido anúncios em cerca de 2 milhões de vídeos em mais de 50 mil canais mascarados de conteúdo familiar”.

A iniciativa da rede contra os perturbadores vídeos chegou junto de uma diferente (mas de alguma forma relacionada) controvérsia. Durante o fim de semana, um número de pessoas reportou que ao digitar “como fazer” na barra de busca do YouTube, a função de auto completar sugeria frases como “como fazer s*xo com crianças” e “como fazer s*xo na escola”. Essas buscas levavam a vídeos com títulos como “Games impróprios que você jogou quando criança”, cuja thumbnail era uma provocativa imagem de jovens se beijando e “A escola é dura e o seu professor de matemática também” com a imagem de uma garota chorando enquanto era tocada por um homem mais velho. Estes vídeos possuíam 23 milhões e 117 milhões de visualizações respectivamente, então não é difícil entender porque eles eram mostrados como a primeira opção do auto preenchimento na busca.

O YouTube diz ter removido essas sugestões de buscas, o que é ótimo. Mas a persistência deste tipo de problema gera questões sobre a capacidade do YouTube de moderar este tipo de conteúdo. Não me refiro a vídeos deliberadamente bobos e engraçados com um leve toque de humor negro. Refiro-me a vídeos dirigidos para crianças que apelam para pessoas mal intencionadas, como pedófilos.

O problema destes vídeos é quão indistinto eles parecem ser – até para humanos. E ainda assim, o YouTube depende primordialmente de algoritmos e filtros para manter esse conteúdo perturbador longe da plataforma. Vídeos e canais são removidos por moderadores humanos, mas apenas depois de serem denunciados por usuários. Enquanto isso, a rede sugere buscas como “como fazer s*xo na escola” para todos os usuários, além de vídeos de conteúdo questionável como resultado destas buscas. Remover todas essas sugestões e vídeos parece ser uma tarefa impossível, especialmente com o YouTube recebendo 400 horas de conteúdo a cada minuto.

O problema é que algoritmos são inerentemente imperfeitos. Computadores têm problemas para identificar ‘o vale da estranheza’ que separa um inócuo vídeo de um vídeo inteiramente impróprio. Claro, vídeos que violam os termos de serviço – conteúdo protegido por direitos autorais, mórbido, ilegal, com nudez explícita, exploração infantil, etc – pode ser denunciado e removido. O YouTube também usa filtros de algoritmos para encontrar alguns destes vídeos antes mesmo deles serem publicados. O sistema não é perfeito, mas a rede parece estar comprometida.

É inevitavelmente difícil identificar culpados. É culpa de uma empresa de tecnologia que humanos são terríveis e abusivos? Claro que não. Mas o YouTube carrega uma tremenda responsabilidade ao decidir quais são os vídeos certos para entrar na rede e quais são os errados para mantê-los fora. Poucos se surpreendem quando a plataforma não consegue capturar todo vídeo perturbador ou de conteúdo questionável. Mas estes vídeos ainda são um problema. Ainda teremos que aprender se isso diz mais sobre as limitações do YouTube ou nossas próprias perversões.