06.01 Redes de Distribuição de Conteúdos

Transcrição

1 06.01 Redes de Distribuição de Conteúdos Redes de Serviços e Comunicações Multimédia RSCM/ISEL-DEETC-SRC/2004 1

2 Distribuição de ficheiros/notícias/software Distribuição de conteúdos: Websites populares como o Slashdot Notícias de ultima hora de sites como a CNN Distribuição de software on-line por exemplo nova versão de um sistema operativo Todas as descargas são feitas a partir de um servidor central que criam problemas de performance Como então distribuir o conteúdo a milhões de utilizadores com largura de banda limitada? RSCM/ISEL-DEETC-SRC/2004 2

3 Atrasos no acesso Web Atraso na transmissão devido a ligações lentas, próximas à periferia da rede (last mile) Atraso de transmissão devido a ligações congestionadas (atrasos de queuing e pacotes descartados ao longo do caminho) Servidores sobrecarregados Backend sobrecarregado (ex.: bases de dados) RSCM/ISEL-DEETC-SRC/2004 3

4 Meios de distribuição de conteúdos Pelos fornecedores de conteúdos Replicação, sites distribuídos pela Internet Através dos consumidores de conteúdo Reduzir o consumo de largura de banda de uma organização através de caching Web caching Por um terceiro Rede de distribuição de conteúdos RSCM/ISEL-DEETC-SRC/2004 4

5 Replicação de sites Fornecedores de conteúdo constroem um conjunto de sites distribuídos pela Internet O servidor de DNS responde com o endereço IP do site mais perto do cliente Utilizado também para balanceamento de carga Servidor em África Servidor na América do Norte Servidor na Europa Servidor na Ásia Pedido DNS Endereço IP do servidor europeu Servidor de DNS autoritário Cliente na Europa RSCM/ISEL-DEETC-SRC/2004 5

6 Replicação Local Também conhecido como server farm Cria uma impressão que um grupo de servidores é apenas um Faz balanceamento de carga Encaminha pedidos apenas para servidores que estejam em funcionamento Tem a noção das sessões de clientes para encaminhá-las sempre para o mesmo servidor Web Server Pedido HTTP Resposta HTTP L4-L7 Switch Pedido HTTP Resposta HTTP Web Server Web Server Pedido HTTP Resposta HTTP Pedido HTTP Resposta HTTP Cliente Cliente RSCM/ISEL-DEETC-SRC/2004 6

7 Web caches (servidor proxy) Instalada e partilhada por utilizadores (universidade, empresa, ISP residencial) Objectivo: Satisfazer os pedidos dos clientes sem envolver o servidor de origem O utilizador configura o seu acesso Web através da Web Cache Objecto em cache: A cache retorna o objecto Caso contrário a cache pede o objecto ao servidor de origem e depois retorna este ao cliente Pode utilizar-se uma arquitectura hierárquica Cliente Web Server Pedido HTTP Resposta HTTP Pedido HTTP Resposta HTTP Web Cache RSCM/ISEL-DEETC-SRC/2004 7

8 Distribuição por terceiros Content Distribution Network Motivação Escala de replicação limitada pelos produtores de conteúdos Perca de controlo do conteúdo pelo caching Yahoo.com CNN.com CDN é um serviço os clientes são os fornecedores de conteúdos Uma empresa de CDN instala servidores ao longo da Internet quando o fornecedor de conteúdos actualiza o conteúdos, a CDN actualiza os servidores Servidor CDN Na Europa Nó de distribuição da CDN Servidor CDN Na Ásia Servidor CDN Na América RSCM/ISEL-DEETC-SRC/2004 8

9 CDN em funcionamento Fornecedor de conteúdos Yahoo.com CDN Aponta os seus servidores autoritários de DNS para os servidores da CDN 1 Yahoo.com Replica o conteúdo dos servidores originais para os seus servidores Usa o seu servidor de DNS para redireccionar os pedidos para o servidor mais próximo do cliente Cliente na Europa 2 3 Servidor de DNS autoritário para a CDN Servidor CDN Mais próximo do cliente RSCM/ISEL-DEETC-SRC/2004 9

10 Obter o servidor mais próximo A CDN cria um mapa indicando as distâncias entre os ISPs e os nós da CDN Usa dados como as tabelas de encaminhamento do BGP e estimativas de RTT Esta informação é usada para configurar o servidor DNS autoritário Quando um pedido chega ao servidor de DNS autoritário: O servidor determina o ISP que originou o pedido Usa o mapa para escolher o melhor servidor CDN RSCM/ISEL-DEETC-SRC/

11 Mecanismos de encaminhamento de pedidos e medida de próximidade RSCM/ISEL-DEETC-SRC/

12 Introdução Existem vários mecanismos para encaminhamento de pedidos (Request-Routing Mechanisms) Cada empresa de CDN implementa os seus mecanismos Objectivo: Redireccionar os utilizadores para os servidores mais próximos sem ter de alterar protocolos (ex.: HTTP,RTP) ou clientes (ex.:web Browser) RFC 3568 RSCM/ISEL-DEETC-SRC/

13 Baseados em DNS (1) Baseia-se na inserção de um servidor de DNS especializado Capaz de retornar diferentes respostas baseadas em politícas de utilizadores, métricas ou ambos. Single Reply O Servidor de DNS é autoritário para o domínio inteiro O Servidor retorna um endereço IP do melhor servidor da CDN Multiple Replies O servidor retorna múltiplas respostas para vários servidores O servidor circula por várias respostas (Round-Robin) Anycast O cliente envia um pedido para um endereço de anycast, e a rede é responsável por fornecer uma entrega best-effort a pelo menos um (e apenas um) servidor que aceite datagramas par aquele endereço anycast Simplifica a tarefa de encontrar o servidor correcto, o mais próximo normalmente RSCM/ISEL-DEETC-SRC/

14 Baseados em DNS (2) Multi-Level Resolution Múltiplos servidores DNS envolvidos num único pedido DNS Serve para distribuir carga entre servidores DNS visto que estes têm de desempenhar funções especializadas Usa redireccionamento através dos registos NS ou CNAME Limitações: O DNS apenas permite resoluções ao nível do domínio devia ser ao nível do objecto O TTL do DNS deve ser baixo para permitir reacções a alterações do conteúdo ou rede Problemas com implementações de DNS que não cumprem os standards Clientes que partilham o mesmo servidor de DNS vão parar sempre ao mesmo servidor durante o TTL RSCM/ISEL-DEETC-SRC/

15 Baseados no nível de transporte O sistema de encaminhamento de pedidos inspecciona a informação disponível no primeiro pacote do pedido do cliente Endereços IP, Porto e informação Nível 4 Os dados em combinação com as politicas de utilizadores e outras métricas são usadas para determinar o melhor servidor da CDN Devido ao overhead de processamento associado este tipo de técnica está mais virado para sessões com maior duração RSCM/ISEL-DEETC-SRC/

16 Baseados no nível de aplicação Inspeccionam o conteúdo dos pacotes para além da camada de transporte Header Inspection específico para aplicações que fornecem informação das sessões nos cabeçalhos Ex.: HTTP, RTSP ou SSL URL-Based Aplicações que descrevem o pedido através de URLs normalmente suficiente para tomar decisões 302 Redirection O pedido é inicialmente resolvido para um servidor CDN virtual e encaminhado através de códigos específicos a aplicação (302 no HTTP e RTSP) In-Path Element Fornece uma intercepção transparente da ligação do cliente Header Based Envolve o uso de cabeçalhos específicos para a escolha do servidor correcto (Ex.: Cookie, Language, User-Agent) Site-Specific Identifiers Usado a partir do SSL Session Identifier (gerado pelo servidor Web e usado sempre a partir daí) Content Modification Implica que o fornecedor de conteúdos tome decisões sobre qual o servidor CDN a usar URL Rewriting O fornecedor de conteúdos altera o conteúdo HTML de forma a apontar outros conteúdos para outros servidores (por exemplo imagens) Pode ser feito à priori ou on-demand RSCM/ISEL-DEETC-SRC/

17 Medidas de proximidade As medidas podem ser usadas pelo mecanismo de encaminhamento de pedidos para direccionar os utilizadores para o servidor CDN mais próximo A proximidade é em função do RTT Num mecanismo baseado em DNS as medidas são feitas até ao servidor de DNS local ao cliente Quando o endereço IP do cliente está disponível este pode ser utilizado para obter medidas mais precisas Active Probing ICMP ECHO Limitações: As medidas são periódicas As firewalls e NATs podem não permitir os probes Os probes podem causar alarmes de segurança em sistemas de detecção de intrusões RSCM/ISEL-DEETC-SRC/

18 Tipos de métricas Latência Usadas para calcular qual o servidor com menos atraso até ao cliente Usado com o active probing Número de saltos Saltos entre o servidor da CDN e o cliente Informação do BGP Informação baseada no caminho entre o servidor da CDN e o cliente Não funciona entre redes no mesmo sistema autónomo A métrica do BGP pode não ser a melhor baseia-se no número de saltos entre sistemas autónomos O mecanismo de encaminhamento de pedidos tem de ter acesso às tabelas de encaminhamento BGP (implica conhecer a Internet toda!!) RSCM/ISEL-DEETC-SRC/