Como o Facebook está repensando a infraestrutura online usada por um bilhão de pessoas

Data centers não são os lugares mais animados do mundo. E tem que ser assim: esses espaços são controlados, consistentes, seguros. Você não espera muita criatividade dentro de estruturas tão reguladas – muito menos experimentos improvisados envolvendo sistemas robóticos com Blu-rays e milhares de Mac Minis.

>>> Como é construída a parte do Facebook que ninguém vê

Mas dentro desses prédios aparentemente monótonos, há uma indústria cheia de mudanças e experimentos, em grande parte graças ao crescimento exponencial de dados que produzimos atualmente. Os data centers são uma grande infraestrutura invisível, mas essencial para nossas vidas conectadas à internet. E existe uma parte grande do Facebook – ofuscada pelas iniciativas mais públicas da empresa – trabalhando em sistemas de infraestrutura que movem seu site.

O Facebook vem encarando diretamente os problemas de engenharia em seus data centers, em parte devido ao seu tamanho: há 1,3 bilhão de usuários ativos mensalmente criando petabytes de dados. E como esses números só aumentam, o Facebook corre para construir a infraestrutura necessária. A empresa contratou arquitetos para projetar data centers inspirados em mobília modular, que podem ser montados de maneira mais rápida, barata e eficiente do que os convencionais; e está construindo fazendas eólicas para gerar a própria energia.

E temos, claro, os computadores dentro dos prédios. Eles são o sistema nervoso do segundo site mais acessado da internet (atrás só do Google), os neurônios básicos que mantêm o sistema inteiro estável e seguro. Essas máquinas são, sem dúvida, a parte mais importante de toda a operação e onde o Facebook se impõe. A empresa evita hardware comercial, preferindo montar suas próprias máquinas – e torna tudo isso aberto para quem quiser copiá-lo.

Os cientistas malucos de hardware do Facebook

Diferente de muitas empresas, o Facebook controla seus próprios data centers. Graças a isso, ele tem um incrível poder de experimentação ao projetar seu sistema nervoso. Essa tarefa fica por conta do Diretor de Engenharia de Hardware, Matt Corddry, líder da equipe que cria o hardware usado nos data centers do Facebook.

Corddry e seu time estão lá para garantir que o sistema nervoso rode fluidamente, mas também ficam de olho em problemas centrais e tentam soluções novas – e às vezes bizarras. Armados com um laboratório no campus do Facebook, o grupo consegue criar protótipos das suas ideias e mergulhar nos problemas de design em um data center. Para isso, eles usam máquinas de dobrar placas de metal, impressoras 3D, e até placas de madeira para modelagem.

Quando um rack de armazenamento para discos rígidos mostrou-se muito alto para ser acessado com facilidade, um dos engenheiros de Corddry sugeriu um rack articulado, inspirado em um mecanismo de abertura de garagens. Em seguida, eles construíram um protótipo da ideia no laboratório que permitia aos funcionários trazer para baixo os racks mais altos, facilitando o acesso.

Para criar a infraestrutura necessária para desenvolver e testar o app do Facebook para iOS, a equipe comprou milhares de Mac Minis. O acervo de Minis é agora um conhecido projeto pelo seu uso de hardware Apple direto da caixa, uma raridade em data centers ou na engenharia de software.

“Eu acredito que você precisa remover todas as camadas de abstração entre o engenheiro e o problema que ele esteja resolvendo,” disse Corddry em uma recente entrevista por telefone. Isso significa que, dentro do data center, todo mundo da equipe passa pela experiência de fazer reparos de manutenção, estudar a cadeia de suprimentos e visitar na Ásia as fabricantes do hardware que usam. Isso também significa trabalhar próximo dos desenvolvedores de software, para evitar a situação comum de que os dois lados, soft e hard, existam em um vácuo até que “você misture os dois e torça que funcione”, como diz Corddry.

Armazenamento para o fim do mundo (ou 20 anos, o que vier primeiro)

Se você usa o Facebook, é bem provável que tenha enviado fotos ao site. Mas isso não significa que você as observe com frequência. Mais de 80% do tráfego do Facebook vem de apenas 8% das imagens no site – essas são as fotos “quentes”, geralmente envios recentes que ainda recebem visualizações. Mas a maioria das 240 bilhões de fotos do Facebook são “frias”, raramente acessadas – ainda assim, elas precisam ser guardadas.

Fotos “quentes” são armazenadas em discos rígidos que compõem o hardware mais convencional dentro de um data center. Mas e as fotos “frias”, imagens que ninguém acessa em anos? O Facebook ainda precisa arquivá-las – é parte do serviço que ele oferece –, mas não tem motivo para mantê-las em racks de discos rígidos, que são mais caros para resfriar e manter do que outras formas de armazenamento. Corddry e sua equipe tiveram outra ideia: por que não criar uma hierarquia de sistemas de armazenamento para manter as fotos “frias” em hardware mais barato e mais simples do que as fotos “quentes”?

A solução normal para armazenamento frio é fita magnética: muitas outras empresas armazenam seus dados arquivados em fitas, cuja densidade de dados está sempre aumentando. Mas Corddry descreve a fita como “algo operacionalmente feio” e difícil de espalhar pelos quatro data centers do Facebook. Então ele foi atrás de outra solução para 92% das fotos que não são acessadas com frequência, e ficou surpreso ao descobrir que existe um crescente interesse pelo uso de discos Blu-ray para arquivamento.

Embora o Blu-ray tenha chegado na hora errada para os consumidores, ele ainda é uma tecnologia útil e bem poderosa: os discos aguentam flutuações na temperatura e umidade melhor do que os sensíveis discos rígidos, por exemplo, e costumam ter a garantia de 50 anos de armazenamento. Isso intrigou Corddry, e sua equipe no Facebook começou a armazenar fotos frias em Blu-ray. Eles firmaram parceria com uma empresa de robótica que os ajudou a construir um rack capaz de armazenar e acessar centenas de discos usando um braço robótico, e fizeram as contas para saber quando um rack do tipo custaria à operação.

Seus Blu-ray não são apenas 50% mais baratos; eles usam 80% menos energia e são mais resilientes do que discos rígidos. E eles são mais seguros de uma forma mais conceitual. “Do ponto de vista do preço, é uma tecnologia bastante tentadora, mas ela também é muito boa em relação à diversidade”, diz Corddry. Diversidade se refere a quantos diferentes sistemas de armazenamento uma empresa usa – se uma delas falha ou se perde, é bom ter outro sistema distinto esperando para entrar em ação.

E 50 anos de duração parece ser o suficiente. “Precisamos pensar a longo prazo em termos da durabilidade que damos aos nossos clientes”, diz Corddry. “Assim, o tempo de vida da tecnologia e a retenção dos dados são duas coisas diferentes.”

Em outras palavras, em dez anos a tecnologia de armazenamento terá melhorado tanto que não fará sentido usar a engenhoca de Blu-rays que a equipe criou, mesmo que ela seja ótima hoje.

O enigma do armazenamento a longo prazo

Isso nos leva ao coração do enigma que confronta o Facebook com outros gigantes da internet. Os dados que geramos crescem exponencialmente; no entanto, os sistemas capazes de armazená-los não evoluem a passos tão largos. As empresas, desafiadas pela necessidade de planejar uma infraestrutura no mundo real para todos esses dados, têm que escolher seus sistemas de armazenamento com cuidado, equilibrando custos e longevidade com um olho no que pode substituir seus racks em alguns anos.

Nesse sentido, Corddry e sua equipe passam a parecer mais importantes do que apenas “os caras que fazem hardware para data centers”. Com inúmeros petabytes para armazenar, pequenas decisões sobre hardware passam a ser responsabilidades enormes. Isso explica por que sua equipe faz tudo, da análise da cadeia de suprimentos à impressão 3D. “A tecnologia evolui muito a cada ano, geralmente não é economicamente efetivo rodar um equipamento que tenha mais do que 10 ou 20 anos”, diz. “Ele ficará obsoleto em relação ao que podemos comprar no mercado na mesma época.”

Já é possível ver esse tipo de atitude nos data centers do Facebook. Normalmente, utilizam-se baterias convencionais de carro como uma fonte de energia alternativa para manter os servidores rodando se a luz cair. No entanto, o Facebook evitava há muito tempo essas baterias de lítio por serem caras.

Mas, após estudar profundamente como as baterias de lítio evoluíram nos carros elétricos na última década – incluindo viagens a fábricas de baterias – a equipe decidiu testar baterias menores, mais leves e mais caras. Assim, descobriu-se que elas eram na verdade mais baratas para o Facebook, porque reduziam a necessidade de cabines de armazenamento e outras infraestruturas para as baterias veiculares.

Então, em vez de reagir às mudanças na tecnologia de armazenamento enquanto elas ocorrem, o Facebook toma uma posição ativa no desenvolvimento dessa tecnologia, o que transforma a equipe de hardware em um híbrido – uma mistura de analistas de mercado e engenheiros. E isso pode se refletir em outros serviços online, já que a rede social libera seus projetos internos de data center para todo mundo.

O trabalho que eles fazem hoje talvez nem seja mais relevante daqui a dez anos; mas se as suas fotos – do Facebook ou qualquer outro serviço – ainda estiverem acessíveis em 2025, você já sabe a quem agradecer.

Foto inicial: Fileiras de servidores em Prineville, Oregon/Facebook.