Georrefenciamento da Distribuição de Conteúdo GPL

Transcrição

1 Georrefenciamento da Distribuição de Conteúdo GPL De onde viemos? O que somos? Para onde vamos? Pedro R. Torres Jr. pedro.torres@ufpr.br Ricardo Rojo Bonfin ricardo@pop-pr.rnp.br Aramis Fernandes aramis@pop-pr.rnp.br UNIVERSIDADE FEDERAL DO PARANÁ LACNIC XVII NAPLA 2012 Quito Equador

2 Agenda Sobre o espelho de conteúdo GPL da UFPR Informações de georreferenciamento Fluxos de Rede Análise de Georreferenciamento do Tráfego Conclusões

3 O que somos? De onde viemos? Espelho de conteúdo da Universidade Federal do Paraná - UFPR Mantido pelo Centro de Computação Científica e Software Livre C3SL: Mantém diversos conteúdos Software Livre:

4 Localização do Espelho Brasil No estado do Paraná Na cidade de Curitiba

5 Backbone da Rede Nacional de Ensino e Pesquisa

6 Panorama de tráfego da RNP

7 Um dia de tráfego no Espelho

8 Uma semana de tráfego no Espelho

9 Impacto de Softwares Releases: Flash Crowd Verde: Tráfego com o provedor de trânsito acadêmico: RNP Azul: Tráfego trocado no PTT de Curitiba + trânsito acadêmico com a RNP Identificado por volume de tráfego: Flash Crowd!

10 Para onde vamos? Será que o tráfego é consumido apenas no Brasil? Será que a distribuição do conteúdo leva em consideração informações de roteamento (BGP)? Será que estamos bem conectados com o destino desse tráfego? Para onde todo esse tráfego vai? Temos Netflow/sFlow habilitado nos equipamentos de backbone. Sabemos o IP e ASN de destinos. Não sabemos para qual continente, país, estado ou cidade o tráfego vai. Não sabemos com precisão por qual link um tráfego para uma determinada região sai. Solução: Desafio: Adicionar nos fluxo de tráfego de rede informações de georrefenciamento! Adicionar nos fluxos de tráfego informações do roteamento! Terabytes de dados! Bilhões de fluxos! Computadores modestos! Storage barato! Como fazer isso?

11 Informações de Georreferenciamento Com resolução de país podem ser obtidas nos RIR s: Com resolução de país ou cidade podem ser obtidas via ferramenta GeoIP by MaxMind: This product includes GeoLite data created by MaxMind, available from:

12 NFSEN/NFDUMP Nossos fluxos de rede são armazenados através da ferramenta: NFDUMP Temos armazenado mais de 2 anos de tráfego! Gráficos e relatórios são obtidos através da ferramenta NFSEN Suporte a RRD, perfis, alertas, plugins etc. Como inserir as informações de roteamento nos arquivos que seguem o padrão do nfdump? Como fazer isso de maneira rápida? Solução: Criar ferramenta para editar todos os arquivos armazenados

13 NFFIX NFFIX é um editor de arquivos do nfdump feito por nós! Escrito em C com diversas estruturas de dados para deixa-lo rápido de executar Utiliza bases de dados para fazer a consulta de alguma informação Acrescenta informações de georreferenciamento em campos que estavam sem uso: Exemplo 1: Prefix MPLS Label /18 BR Exemplo 2: ASN MPLS Label BR Exemplo 3: Prefix MPLS Label /18 LACNIC Exemplo 4: Prefix MPLS Label / :1200

14 Trabalho pesado Conteúdo anual: 365 dias 288 arquivos por dia (um arquivo a cada 5 minutos) Aprox. 40GB por dia. Cada arquivo com até de fluxos! Total de fluxos editados apenas 2012: * 288 * 120 = > aprox. 210GFluxos Cada fluxo fez pelo menos 5 consulta em bases diferentes e alterou 10 campos! Cada base tinha até ~ 400k entradas para ser consultada! Ok... Não levou tanto tempo assim... :)

15 Análise de entrada e saída Efetividade do Espelho: Média de 13Mbps de entrada -> 2.5Gbps de saída! Muito efetivo! > 1:150 Salva recursos de entrada de tráfego! Gasta muito de recursos para saída de tráfego!

16 Análise de Entrada Apenas algumas rajadas Outra ordem de grandeza (Mbps)

17 Análise de Entrada e Saída IPv6 Espelho tem IPv6 nativo Tráfego ainda é modesto A saída é 1:175 comparado com IPv4!

18 Análise de Entrada e Saída IPv6 Prova de conteúdo IPv6:!! ;; ANSWER SECTION:! ufpr.dl.sourceforge.net. 254!IN!CNAME!sourceforge.c3sl.ufpr.br.! sourceforge.c3sl.ufpr.br. 300!IN!AAAA!2801:82:80ff:8000::3!! ;; ANSWER SECTION:! ftp.br.debian.org.!3600!in!cname!debian.c3sl.ufpr.br.! debian.c3sl.ufpr.br.!300!in!aaaa!2801:82:80ff:8000::4!!! ;; ANSWER SECTION:! ubuntu.c3sl.ufpr.br.!300!in!aaaa!2801:82:80ff:8000::5!!!

19 Tráfego de Saída por Região Base de dados: RIR consulta em prefixos alocados/designados. Em qual região este tráfego é consumido? Conclusão: Quase todo tráfego é consumido na região do LACNIC > 90%

20 Consumo do Tráfego bps - Bits Consulta prefixos alocados/designados base de dados dos RIR s: Maior parte do tráfego consumida no Brasil Consulta prefixos base de dados GeoIP_Country by MaxMind: 55% Brasil 45% Outros Resolução de país: RIR = GeoIP

21 Consumo do Tráfego fps - Fluxos Consulta prefixos alocados/designados base de dados dos RIR s: Maior parte dos fluxos consumida FORA do Brasil Consulta prefixos base de dados GeoIP_Country by MaxMind: 47% Brasil 53% Outros Tráfego é independente de língua: PT e ES!

22 Consumo de Tráfego na Região do LACNIC Consulta prefixos alocados/designados base de dados dos RIR s: Aprox. 85% do tráfego é destinado a América do Sul Consulta prefixos base de dados GeoIP_Country by MaxMind: > 50% Brasil > 35% Outros na América do Sul! México, América Central e Caribe consomem pouco deste espelho.

23 Consumo de Tráfego na América do Sul Consulta prefixos alocados/designados base de dados dos RIR s: Exceto o Brasil: Consulta prefixos base de dados GeoIP_Country by MaxMind: AR CL CO VE PE EC BO PY UY GY GF SR e FK

24 Estimativa de Saída do Tráfego O tráfego de saída é influenciado pela distância de roteamento ou pela distância geográfica? Entregamos esse conteúdo por circuitos baratos ou caros? Solução: Incluir nos fluxos de rede informações de roteamento Utilizamos o Local Preference BGP $ - Saída por cliente e PTT s no Brasil $$$ - Saída por peering Acadêmico: RedClara ou Internet2 $$$$$$$$$ - Saída por provedor comercial

25 Estimativa de Saída do Tráfego RNP participa de todos os PTT s em capitais brasileiras RNP possui peering mesmo com as grandes operadoras brasileiras RNP participa da RedClara (rede acadêmica!) RNP NÃO compra trânsito comercial no Brasil (ou nas fronteiras)! Todo o tráfego não trocado no Brasil vai obrigatoriamente para Miami.

26 NAP-MIA - RNP Contribuímos principalmente com o tráfego de saída (azul) O tráfego de entrada (verde) é alto, mas o espelho da UFPR tem pouca influência Sempre contratamos circuitos simétricos!

27 Topologia RedClara

28 Tráfego com Destino Brasil - Roteamento > 95% dos dados é entregue via PTTs + Clientes! O que preocupa são os dados nacionais que passam por Miami.

29 Tráfego com Destino Brasil - Roteamento O problema é que vemos isso também: > traceroute to ( ), 64 hops max, 52 byte packets 1 * * * 2 * * *! 3 mxpr-lanpr-10g-int.bkb.rnp.br ( ) ms ms ms 4 pr-sp-10g-oi.bkb.rnp.br ( ) ms ms ms 5 sp-ampath-10g-gblx.bkb.rnp.br ( ) ms ms ms 6 te7-3.ccr02.mia03.atlas.cogentco.com ( ) ms ms! 7 te4-1.ccr01.mia03.atlas.cogentco.com ( ) ms ( ) ms 9 sl-st30-mia sprintlink.net ( ) ms ms ms 10 sl-embra sprintlink.net ( ) ms ms ms 11 ebt-bundle-pos1114-tcore01.spo.embratel.net.br ( ) ms ms ms 12 ebt-t tcore01.cta.embratel.net.br ( ) ms ms ms 13 ebt-t tcore01.pae.embratel.net.br ( ) ms ms ms 14 ebt-c1-gacc03.pae.embratel.net.br ( ) ms ms ms 15 netservicos-g ngacc02.pae.embratel.net.br ( ) ms ms ms 16 bd virtua.com.br ( ) ms ms ms! > 90% disso acontece com um único ASN brasileiro: NET Serviços > 5% disso acontece com o ASN: Intelig

30 Tráfego com Destino América do Sul - Roteamento > 97% dos dados são enviados via Miami!

31 Destino em cada país... Argentina: Chile: Colombia 70% do tráfego é destinado a 3 ASN: 7303 Telecom Argentina 26% Prima S.A. 25% Telefonica de Argentina 19% 60% do tráfego é destinado a 2 ASN: 7418 Telefonica Chile 30% VTR Banda Ancha 30% 71% do tráfego é destinado a 4 ASN: Telmex Colombia 20% EPM Telecomuniciones 18% 3816 Colombia Telecomunicaciones 17% ETB Colombia 16%

32 Destino em cada país... Bolívia: Paraguai: Uruguai: 79% do tráfego é destinado a 4 ASN: 6568 ADSIB/Entel 32% COTAS 20% AXS 17% CONTECO 10% 95% do tráfego é destinado a 4 ASN: Telecel S.A. 41% CO.PA.CO 30% Núcleo S.A. 15% CO.PA.CO 9% 95% do tráfego é destinado a 1 ASN: 6057 Antel 95%

33 Destino em cada país... Venezuela: Peru: Equador: 77% do tráfego é destinado a 1 ASN: AS8048 CANTV Servicios 77% 82% do tráfego é destinado a 1 ASN: AS6147 Telefonica del Peru 82% 70% do tráfego é destinado a 3 ASN: CNT Corporacion Nacional de Telecomunicaciones 42% Telconet S.A. 17% Satnet 11% e no Brasil: 74% do tráfego é destinado a 6 ASN: 7738 Oi 19% NET 14% GVT 14% Telefonica 12% 8167 Oi/Brt 12% 4230 EMBRATEL 3%

34 Cidades de Destino em cada país... Utilizamos como base de dados o GeoIP_City by MaxMind????? = Cidade Indeterminada na base de dados! Ver imprecisão por país: Os valores são aproximados! Argentina: 35% Buenos Aires 8%????? Chile: 5,4% Rosário 4,7% Cordoba 64% Santiago 12%????? Colombia 4% Concepcion 46% Bogotá 14% Medellin 9% Cali 8%?????

35 Cidades de Destino em cada país... Bolívia: 36% La Paz 30%????? Paraguai: 20% Santa Cruz de La Sierra 10% Cochabamba 58% Asunción 13% Fernando de La Mora 12%????? Uruguai: 4% Villarrica 4% Luque 80% Montevideo 3%????? 2,5% Maldonado

36 Cidades de Destino em cada país... Venezuela: Peru: 45% Caracas 8% Valencia 7% Maracaibo 69% Lima 5% Arequipa 5%????? Equador: 41% Quito 20%????? 18% Guayaquil 3% Cuenca e no Brasil: 17%????? 11% São Paulo 6,5% Rio de Janeiro ~3,0% para cada uma das seguintes cidades: Curitiba, Salvador, Brasília, Belo Horizonte, Fortaleza e Porto Alegre

37 Conclusão O destino do tráfego GPL mantido pela UFPR é destinado a América do Sul Informações de roteamento não são levadas em consideração para a distribuição do tráfego GPL Diferente de caches de CDN Considerando este tráfego apenas uma amostra, há interesse de tráfego entre os países da América do Sul O tráfego GPL é independente de língua: Português ou Espanhol Todos os grandes provedores nacionais estão pagando para esse tráfego vir dos Estados Unidos da América Precisamos Interconectar melhor a América do Sul, vide RedClara Poucos sistemas autônomos de cada país detém a maior parte do tráfego (via Miami) Apenas lembrando: Copa do Mundo 2014 e Jogos Olímpicos Rio 2016 Vocês vão pegar esses conteúdos nos Estados Unidos?

38 Perguntas?