Os Desafios de Entregar Conteúdo na Internet

Transcrição

1 Os Desafios de Entregar Conteúdo na Internet Tom Leighton Cientista Responsável Akamai Technologies

2 Tópicos Como a Web Funciona Serviços da Akamai Visão Geral da Tecnologia Desafios Tecnológicos O Futuro

3 A Web: Simples por Fora Provedores de Conteúdo Usuários Finais Internet

4 Mas Problemática por Dentro Provedores de Conteúdo Pontos de Rede Não-hierárquica Provedores de Rede Usuários Finais NAP UUNet Qwest NAP AOL

5 O Gargalo Inicial Agora, o provedor de conteúdo tem um público espalhado por todo o mundo; a centralização não funciona 400 milhões de usuários em potencial = um enorme problema de infra-estrutura

6 Os Problemas com Redes Não- hierárquicas A Internet é formada por mais de 7000 redes Nenhuma rede controla um grande percentual de tráfego de acesso a maior delas tem 6% de compartilhamento % de Tráfego de Rede 6% Worldcom Provedores de Serviços de Internet (7.000)

7 Os Problemas com Redes Não- hierárquicas (continuação) Questões econômicas limitam a capacidade de redes não- hierárquicas, o que resulta na perda de rotas e em congestionamento Algoritmos de roteamento (BGP) ignoram congestionamento! Os algoritmos de roteamento também estão sujeitos à perda acidental de rotas ou à introdução de rotas incorretas

8 Implicações dos Gargalos Downloads lentos - O conteúdo deve atravessar vários backbones e percorrer longas distâncias Desempenho não-confiável - O conteúdo pode ser bloqueado devido a problemas de congestionamento ou de backbone em redes não- hierárquicas Não-escalável - Uso limitado pela largura de banda disponível no site principal Qualidade inferior de streaming - Perda de pacotes, congestionamento e pipes estreitos prejudicam a qualidade do stream Banda larga não ajuda - À medida que a banda larga se torna cada vez mais presente,, o desastre de soluções centralizadas se torna mais óbvio e não melhor

9 Tópicos Como a Web Funciona Serviços da Akamai Visão Geral da Tecnologia Desafios Tecnológicos O Futuro

10 A Solução da Akamai Provedores de Conteúdo Servidores Akamai na Ponta da Rede Usuários Finais NAP NAP

11 Implantação da Rede Akamai Mais de de Servidores Mais de 1000 de Operadoras de Pont Hospedagem, Acesso, Backbones, Satélite e Banda larga Mais de 60 Países

12 Centenas de Sites da Web Aderiram à Akamai

13 Vantagens Rapidez - O conteúdo é distribuído de locais próximos aos usuários finais Confiança - Sem um único ponto de falha - Recuperação automática de falhas Escalabilidade - O site principal não precisa mais de uma enorme largura de banda disponível

14 Desempenho do Site da Web Melhoria Típica com Akamai 15 de maio, à tarde 16 de maio, à tarde 17 de maio, à tarde 18 de maio, à tarde 19 de maio, à tarde 20 de maio, à tarde 21 de maio, à tarde 22 de maio, à tarde 23 de maio, à tarde 24 de maio, à tarde 25 de maio, à tarde 26 de maio, à tarde 27 de maio, à tarde Resultados do Keynote Objeto da Web entregue sem Akamai Objeto da Web object entregue por Akamai

15 Ofertas de Serviços da Akamai FreeFlow: entrega objetos (gifs( gifs, jpgs,, etc.) e gráficos sofisticados para usuários finais da ponta da Internet FreeFlow Streaming: entrega de conteúdo de streaming para visualizadores em todas as partes do mundo,, com melhorias significativas no que diz respeito à qualidade e à confiabilidade Akamai Conference: um serviço oferecido pelo revendedor que usa mídia de streaming para aumentar o alcance e a funcionalidade das chamadas em conferência convencionais Akamai Forum: permite que empresários produzam Webcasts ao vivo e interativos

16 Akamai Forum Nenhum software cliente especial Vídeo de Streaming ao Vivo ou por Demanda Suporrte a Alto-falante (ex.: PowerPoint) Outros Recursos: Ask a Question Live Audience Phone-in Viewer Registration promotion Download Slides Searchable Content Pesquisas Dinâmicas e Uso de Perfil Programa de Agenda Indexada

17 Ofertas de Serviços da Akamai FirstPoint: serviço de gerenciamento de tráfego global para provedores de conteúdo com servidores de Web distribuídos geograficamente EdgeScape: permite a customização de conteúdo com base na largura de banda e na localização geográfica do usuário Reporter e Traffic Analyzer: fornece dados históricos e em tempo real da utilização do site da Web

18 Reporter e Traffic Analyzer Reporter: Para exibição de logs históricos Data-mining customizado de tráfego dos clientes Traffic Analyzer: Exibição do tráfego dos clientes em tempo real Informa a distribuição geográfica do tráfego

19 Ofertas de Serviços da Akamai ACS: serviço de gerenciamento de armazenamento que armazena, de modo persistente, o conteúdo entregue para usuários finais através da rede Akamai Digital Parcel Service: uma solução abrangente de gerenciamento de direitos e distribuição digital EdgeSuite: permite a montagem dinâmica de conteúdo personalizado em servidores de ponta Akamai

20 Tópicos Como a Web Funciona Serviços da Akamai Visão Geral da Tecnologia Desafios Tecnológicos O Futuro

21 Baixando de xyz.com à Moda Antiga DNS O usuário digita O navegador solicita o endereço IP de O DNS retorna o endereço IP O servidor Web do cliente retorna a HTML O navegador solicita a HTML 4 7 Servidor Web do Cliente O navegador obtém o endereço IP do domínio de objetos incorporados da página O navegador solicita objetos incorporados O servidor Web do cliente retorna objetos incorporados

22 Encontrando o Endereço IP de xyz.com à Moda Antiga.net Root (InterNIC) 10 1 Cache do Navegador Servidor de Nomes Local OS TTL: 1 Dia 5 TTL: 30 Minutos xyz.com Servidores DNS

23 Baixando de xyz.com com o Akamai EdgeSuite DNS Servidor Web do cliente O usuário digita O navegador solicita o endereço IP de O DNS retorna o endereço IP do servidor Akamai ótimo O navegador solicita a HTML O servidor Akamai monta a página e, se necessário, entra em contato com servidor Web do cliente O servidor Akamai ótimo retorna a HTML da Akamai O navegador obtém o endereço IP de servidores Akamai ótimos para objetos incorporados O navegador obtém objetos de servidores Akamai ótimos

24 Principais Componentes Resolução DNS: localizando o endereço IP de xyz.com Montagem de Página Conectando da ponta à origem

25 Localizando o Endereço IP: com Akamai Servidor de nomes de xyz.com a212.g.akamai.net Usuário Final xyz.com Servidor de Nomes Local 3 akamai.net g.akamai.net a212.g.akamai.net net Root (InterNIC) Servidores DNS Akamai de Nível Superior Servidores DNS Akamai de Nível Inferior Cache do Navegado r 2 15 SO

26 Mapas DNS e Tempo de Vida (TTL) Mapas criados usando informações sobre o seguinte: - Congestionamento na Internet - Cargas do sistema - Demandas do usuário - Status do servidor Os mapas são constantemente recalculados: - A cada poucos minutos para HLDNS - A cada poucos minutos para LLDNS TTL Raiz HLDNS LLDNS TTL de respostas DNS diminuem à medida que descem na hierarquia 1 dia 30 min. 30 seg.

27 Montagem de Página Página Recipiente [TTL = 5 d] [TTL = 8 h] [TTL = 15 m] [Notícias, conteúdo, promoções, etc. de XYZ TTL = 5 d] [Manchetes TTL = 2 h] Proprietários de sites criam páginas recipientes que podem ser preenchidas com conteúdo variável

28 Montagem de Página Se gênero = masculino e localização = New York, é mostrado artigo sobre NY Giants Sportswear [TTL = 8 h] [TTL = 15 m] [Notícias, conteúdo, promoções, etc. de XYZ TTL = 5 d] [Manchetes TTL = 2 h] OEdgeSuite permite que os sites da Web construam e entreguem conteúdo customizado na ponta

29 Exemplo de Sintaxe Por ser semelhante à SSI, é facilmente compreendido mas também rompe gargalos de desempenho quando distribuído em servidores Usado como API para aplicativos de outros fabricantes em uma rede Akamai <html> <asi version = 1.0 > <head><title>akamai Weather Forecast </title></head> <asi if= $geo == dc include= dcwthr.htm /> <asi else-if= $geo == boston include= bostonwthr.htm /> <asi else if = $geo == nyc include= nycwthr.htm /> <asi else == include= uswthr.htm /> </asi> </html>

30 Conectando da Ponta à Origem Usuário Final Servidor de Origem

31 Conectando da Ponta à Origem Usuário Final X Servidor de Origem Mantém dados de desempenho de caminho para que o caminho ótimo possa ser usado para alcançar a localização ótima do cliente (Akarouting)

32 Conectando da Ponta à Origem Usuário Final Akamai ACS X Servidor de Origem Mantém dados de desempenho de caminho para que o caminho ótimo possa ser usado para alcançar a localização do cliente Se não for possível acessar o site, recupera informações padrão confiáveis do serviço Akamai ACS

33 Diferenças para Live Streaming Uplink por Satélite 1 x2 3 4 Downlink por Satélite CodificaçãoPonto de Entrada X 1 X 2 X 3 X4 x Refletores de nível superior Regiões

34 Tópicos Como a Web Funciona Serviços da Akamai Visão Geral da Tecnologia Desafios Tecnológicos O Futuro

35 Desafios Tecnológicos 1) Mapeamento e Atribuição de Servidor Altíssima escala - Centenas de milhões de usuários - Dezenas de milhares de servidores - Milhares de localizações - Milhares de clientes É preciso monitorar condições da Internet e responder instantaneamente a mudanças - Congestionamento e falhas na Internet são freqüentes e imprevisíveis É preciso equilibrar tipos de tráfego altamente variáveis, otimizar diversos tipos de recursos e minimizar diversos custos É preciso tolerar um número muito grande de falhas de componentes sem nunca interromper o serviço Algoritmos de controle devem ser distribuídos e devem trabalhar com informações inexatas Respostas DNS devem ser dadas em questão de milessegundos

36 Desafios Tecnológicos 2) Fazendo logon, Produzindo relatórios e Gerando cobranças Vários bilhões de acessos por dia e um crescimento rápido Geração de relatórios de dados em tempo real para clientes com perfil de usuário e data mining customizado Monitoramento do sistema em tempo real para NOCC com avisos descritivos e medições de desempenho Suporte a consultas SQL em tempo real para o sistema

37 Desafios Tecnológicos 3) Operações Rede altamente distribuída que não pode apresentar falha apesar de freqüentes alterações de software e de um crescimento constante O sistema precisa estar protegido contra ataques, bem como contra softwares defeituosos de terceiros

38 Desafios Tecnológicos 4) Atualidade e Exatidão de Conteúdo Conteúdo inadequado nunca deve ser distribuído Procedimentos de rápida correção para serem usados em caso de erros do cliente Flexibilidade e facilidade de controle de conteúdo para o cliente

39 Desafios Tecnológicos 5) Gerenciamento de Live Streaming e Webcasting Difusão de informações para lidar com perda de pacotes Troca automática em conexões para melhorar o desempenho Suporte à transmissão de mensagens interativas e personalizadas (ex.: P&R) Agregação de dados em tempo real para pesquisa, etc. Entrega sincronizada de áudio, vídeo e slides

40 Tópicos Como a Web Funciona Serviços da Akamai Visão Geral da Tecnologia Desafios Tecnológicos O Futuro

41 BET.com O Principal Portal Afro-americano Na segunda-feira, nosso tráfego dobrou e, por isso, incluímos dois novos servidores. Mas esse procedimento não surtiuefeito. Na terça-feira, ligamos para a Akamai. Nesse mesmo dia à noite já fazíamos parte da Akamai e nos tornamos, de uma hora para outra, de 6 a 10 vezes mais rápidos. Craig Maccubbin CTO da BET.com Graças à Akamai, a BET.com melhorou 90% de cada página da Web com o FreeFlow: Melhorou o desempenho dos sites (de 6 a 10 vezes) Quadruplicou a capacidade de exibição de páginas Adiou a construção do 2 o data center Preservou design de página rico em gráficos Melhorou a experiência do usuário Obteve lucro líqüido de US$1,3 milhão no primeiro ano

42 Perguntas?