Migração dos data centers exigiu reformulação completa da infraestrutura tradicional da companhia
Em seus 20 anos de história, a Netflix cresceu de um site de aluguel de DVD com 30 funcionários para um serviço global de streaming com mais de cinco mil títulos, 130 milhões de assinantes e receita anual de US$ 11 bilhões que transformou drasticamente a indústria de entretenimento.
Na Consumer Electronics Show, em janeiro de 2016, o CEO da Netflix, Reed Hastings, lançou o serviço em mais de 130 países.
“Enquanto você me ouve falando, o serviço da Netflix entra em operação em quase todos os países do mundo”, anunciou ele no palco do Las Vegas Convention Center. “Hoje, neste momento, você está testemunhando o nascimento de uma rede global de TV.”
Tudo isso foi possível graças a uma transformação radical de uma operação de TI anteriormente tradicional, conforme Dave Hahn, engenheiro sênior da equipe de operações e confiabilidade em nuvem da Netflix, explicou.
A jornada começou quando a Netflix decidiu migrar de seus próprios data centers para a nuvem pública.
Migrando com microservices
Em 2008, a Netflix estava executando bancos de dados relacionais em seus próprios data centers quando ocorreu um desastre. Uma falha paralisou todo o serviço e interrompeu as remessas de DVD por três dias.
Os proprietários da empresa enfrentaram uma escolha: transformar a Netflix em uma empresa de operações de data center de classe mundial ou transferir o serviço para a nuvem pública.
A Netflix estava crescendo rapidamente. Os milhares de vídeos e dezenas de milhões de clientes já estavam gerando uma enorme quantidade de dados. A empresa teria dificuldades para agrupar os servidores em seus próprios datacenters com velocidade suficiente para lidar com volumes cada vez maiores, mas a nuvem permitiria que eles adicionassem milhares de servidores virtuais e petabytes de armazenamento em questão de minutos.
Uma migração para a nuvem foi a melhor escolha. Eles logo se tornaram clientes-alvo da Amazon Web Services (AWS), escolhendo a empresa por sua escala e amplo conjunto de serviços e recursos.
A mudança exigiria uma reformulação completa da infraestrutura tradicional da companhia. Eles poderiam ter retirado todos os seus sistemas corporativos monolíticos do data center e colocado na AWS, mas isso só teria trazido todos os seus antigos problemas para a nuvem. Em vez disso, eles decidiram reconstruir a tecnologia Netflix na AWS e mudar fundamentalmente a maneira como a empresa operava.
“O software é como qualquer outra coisa; se você puder projetá-lo para o ambiente em que ele estará, ele fará mais coisas que você quer, com mais velocidade e maior frequência”, disse Hahn.
Benefícios da nuvem
A Netflix levou sete anos para concluir a migração para a nuvem. Em 2016, os últimos data centers restantes usados pelo serviço de streaming foram desativados. Em seu lugar estava uma nova infraestrutura de nuvem executando todas as necessidades de computação e armazenamento da Netflix, desde informações do cliente até algoritmos de recomendação.
A migração melhorou a escalabilidade e a disponibilidade de serviços da Netflix e a velocidade com que a empresa pôde lançar novos conteúdos, recursos, interfaces e interações. Também liberou a capacidade dos engenheiros, reduziu os custos de transmissão, aumentou drasticamente a disponibilidade e agregou a experiência e o conhecimento da AWS.
“A outra coisa é que o modelo de custo é realmente bom para nós”, acrescentou Hahn. “Você paga pelo que usa. Isso nos permite fazer muitas experimentações”. Isso proporciona maior liberdade para testar novos recursos e melhorar os existentes, como as linhas de recomendações de conteúdo personalizadas diariamente.
Entrega de conteúdo
A nuvem é apenas uma parte da experiência do usuário do Netflix. O conteúdo de vídeo vem de um sistema separado: o Netflix OpenConnect, a rede proprietária de entrega de conteúdo (CDN) da empresa. Os appliances OpenConnect armazenam o conteúdo de vídeo e o entregam aos dispositivos.
Os CDNs são projetados para fornecer conteúdo baseado na Internet para os espectadores, aproximando-o de onde eles estão assistindo. A Netflix originalmente terceirizou a entrega de streaming de vídeo, mas à medida que a empresa cresceu, precisava de mais controle sobre o serviço e a experiência do usuário.
Hoje, os appliances OpenConnect armazenam e fornecem conteúdo dentro dos data centers do provedor de serviços de Internet (ISP) local, o que isola o serviço Netflix da Internet em geral. Algoritmos de popularidade e técnicas de armazenamento ajudam a distribuir o conteúdo de maneiras que maximizam a eficiência do descarregamento. O sistema reduz a demanda da capacidade de rede upstream e ajuda a Netflix a trabalhar mais de perto com as redes ISP que hospedam seu tráfego.
“Projetamos as caixas de cache do OpenConnect para armazenar nosso conteúdo e, onde quer que possamos instalá-las dentro da rede do provedor de serviços de Internet, quando os bits de vídeo são usados, não estão realmente saindo da rede da operadora”, disse Hahn.
O novo sistema cortou grande parte das aparências do buffered repulsivo. Também permitiu que a Netflix tornasse o software CDN mais inteligente. Agora, sempre que um cliente pressiona a reprodução, seu dispositivo pode obter seu conteúdo de vários lugares na Internet.
O investimento foi compensado quando um incêndio em um data center de ISP no Brasil incendiou todas as máquinas da Netflix. Os clientes que vinham transmitindo do ISP não tiveram nenhuma alteração na experiência do usuário.
Cultura de engenharia do caos
Os desenvolvedores da Netflix são bem conhecidos por sua abordagem única à cultura de engenharia. Uma ferramenta de engenharia de caos de autoatendimento chamada Chaos Automation Platform foi pioneira para testar problemas em seus ambientes de produção para que eles possam ter certeza de que seu software se comportará como querem durante uma falha.
“As pessoas apertam o botão play no Netflix milhares de vezes por segundo”, frisa Hahn. “Se os sistemas não puderem ser recuperados automaticamente, se eles não puderem lidar com situações ruins, se eles não puderem se auto-reparar, no momento em que uma pessoa tiver que ser envolvida, no melhor dos cenários, minutos se passaram”.
Eles usam o método para garantir que a Netflix possa sobreviver a uma falha em uma das três regiões da AWS que ele usa. Todo mês, eles desligam uma das regiões e testam se podem mover todos os clientes que estavam usando a que falhou para outra em seis minutos.
Para abraçar o caos sem causar destruição, a Netflix teve que criar uma cultura corporativa que apoiasse tais ideias. Os princípios centrais foram formalizados no Netflix Culture Deck, que a diretora de operações do Facebook, Sheryl Sandberg, disse que “pode muito bem ser o documento mais importante a sair do Vale”.
Um princípio central da política é equilibrar a liberdade com responsabilidade. As equipes recebem a propriedade de seu microsserviço e são encorajadas a agir de forma independente, mas não imprudentemente.
“Os gerentes da Netflix não definem tarefas para seus funcionários para desenvolver seus projetos. O trabalho deles é dar o contexto apropriado para que os colaboradores possam tomar as decisões, contratar excelentes colegas e se manter fora do caminho deles”, comenta Hahn.
A empresa evita fazer muitas regras além de um conjunto de princípios fundamentais, como nunca tocar nos dados do cliente. Hahn descreve a abordagem como construção de grades de proteção, mas não de portões, e afirma que pode contar em uma mão o número de vezes que teve de dizer a um engenheiro exatamente o que fazer.
