Plataforma de vídeos UOLMais

Transcrição

1

2 Plataforma de vídeos UOLMais Load Balacing + Proxy + Cache de Arquivos George Vieira Jr gvieira@uolinc.com

3 Agenda O que é o UOLMais Problemas do passado Soluções avaliadas Premissas e desafios para o sistema Solução UOL Resultados Croupier Balaio

4 UOLMais Plataforma de conteúdo multimídia do UOL Vídeo, Fotos, Áudio, Slides, Texto mais.uol.com.br Administração/visualização do conteúdo Usuários comuns (assinantes e visitantes) Usuários editoriais (internos e parceiros) tvuol.uol.com.br Conteúdo editorial do UOL Parceiros UOL band.com.br, folha.com, TV Caras, TV Trama, etc.

5

6 Arquitetura antiga Apache + Squid

7 Características do Sistema Variações de tamanhos de arquivos de 5 MB a 4 GB Acesso em grande parte do acervo diariamente Longtail Perfil de clientes por tipo de mídia Banda dos usuários heterogênea Conexões de longa duração em um protocolo sem suporte inerente a falhas de conexão Thundering herd - Vídeos repentinamente populares Interface com o storage é HTTP / DAV

8 O slide obrigatório sobre Longtail

9 Problemas Longtail 73% 27% Longtail acentuado 64% das mídias são chamadas apenas 1 vez por dia 73% dos requests se concentram nas 350 mídias mais vistas.

10 Problemas Imprevisibilidade sazonal Quantidade de Requests Quantidade de Mídias Meses

11 Soluções Avaliadas Nginx Disk Cache grava em hash Arquivo precisa ser copiado inteiro antes de ser lido Seek não funciona com proxy Lighttpd Seek não funciona com proxy Apresentou degradação na taxa de transferência com proxy Content-Lenght falhava com proxy Varnish Bom Boa experiência com cache de imagens Na versão 3 só faz 1 fetch com backend Ruim Não performa em disco Vídeos entram todos em arquivos binários (heap)

12 Premissas e Desafios Cache eficiente (hit-rate) Aliviar carga no storage (uso máximo 60% capacidade) Seek Vídeos HD (720p, 1080p) Melhorar experiência do usuário Não deixar vídeo quente sair do cache Concluir os pontos acima com o menor custo possível

13 Solução UOL Por que não agrupar as boas características de cada solução em uma única?

14 Resultados Resultados Queda de IO nos storages Início da migração -> (Fevereiro 2012) Hoje ->

15 Resultados Resultados Hit Rate Alto Antes da migração -> (Agosto 2011) Hoje ->

16 Resultados Resultados Clientes Assistem a todos os tipos de mídia com qualidade Produção Melhor aproveitamento dos hardwares Redução de incidentes (~2.000 mensais para 0) Crescimento de tráfego em mais de 120% Melhor uso da capacidade de storage Flexibilidade para lidar em tempo real com balanceamento e thundering herd

17 Olhando debaixo do capô Revelando a mágica

18 Roteiro croupier

19 Cenário Inicial storage.mais.uol.com.br browser DNS round robin DNS Squid 1 Storage 1 Storage 1 (Spare) Squid 2... Storage 2 Storage 2 (Spare) Request pelo id da midia Autorização e distribuição Squid 3 Storage N * Tradução de mídia por file * Validação de visibilidade * Distribuição e esparsamento no file system Storage N (Spare) Proxy reverso dos files nos storages

20 Croupier Mudança na arquitetura browser API do player requisita qual servidor de cache a mídia se encontra. Usando a regra de distribuição, informa diretamente o domínio do servidor a ser acessado. videon.mais.uol.com.br Cache 1 Storage 1 Storage 1 (Spare) Cache 2... Storage 2 Storage 2 (Spare) Cache N Storage N Storage N (Spare) Autorização e distribuição Croupier

21 Regra de distribuição Permite configurar distribuição da carga por máquina (nó) Busca estatísticas de carga de cada servidor Permite segmentar tipo de vídeo x hardware específico Máquinas com muita capacidade de disco, recebem cache heterogêneo Máquinas capacidade de CPU recebem seek e SSL Máquinas com muita RAM e rede 10G recebem os vídeos bombados Capacidade de reação Vídeos populares se espalham em vários nós Vídeos longtail são estimulados a ir sempre no mesmo nó Remoção de servidores em estado crítico

22

23 Roteiro balaio

24 -Problema do cobertor curto com as demais soluções tentadas Experiência para combinar o que funciona em 1 único server -Aumento da média de tamanho individual dos vídeos (vídeos HD) -Limite de banda de cada máquina (1Gb) Limite de download por cliente / evasive. Bloqueio de user-agents / referers. -Regras específicas para lidar com longtail e thundering herd. Níveis de cache conforme a audiência do vídeo. -Minimização de chamadas de fetch para o backend Segmentação de arquivos Fetch colapsado / download preventivo do segmento. -Foco em vídeos (conexões longas e arquivos grandes) -Ponto fraco do Java (CPU + GC) não exerce fator limitante (zero-copy). -Toda arquitetura da aplicação é assíncrona: Java NIO.2 + Netty. -Balanceamento / Monitoração.

25 Balaio Níveis de cache video.mp4.seg1 video.mp4.seg1 1 hit x hits Young Old RAMDISK HD RAMDISK y hits Popular

26 Balaio Segmentação de arquivos Internet HTTP GET video.mp4 file server (apache) balaio video.mp4.seg1 video.mp4.seg2 video.mp4.segn HTTP GET (Range-Request) video.mp4

27 Balaio Screenshot Balaio Interface de monitoração (por máquina)

28 Balaio Screenshot Balaio Vantagens Requests de cliente colapsados pro backend Seek com custo de processamento muito baixo Primeiro acesso cria tabela de keyframes Demais acessos remontam header e custo de CPU é o custo de um http range-request Redirect (HTTP 302) pra outro server, em caso de servidor em estado critico, ou servidor vir direto via Round-Robin DNS Baixa latência novo paradigma + arquivos pequenos Alta escalabilidade horizontal Quanto maior o thundering heard, melhor Controle de banda adaptativo por bitrate

29 Perguntas?