PTT.br Sistema de Quarentena

Transcrição

1 Sistema de Quarentena PTT Fórum Ailton Soares da Rocha <[email protected]> Julimar Lunguinho Mendes <[email protected]> Equipe de Engenharia <[email protected]> PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 1

2 Objetivo A apresentação visa expor o sistema de quarentena utilizado para ativação e testes de suporte no PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 2

3 Definições PIX Ponto de Interconexão Pontos de conexão espalhados por região onde o existe Participante AS conectado a uma das diferentes localidades do Transporte Enlace físico do router do participante até o PIX PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 3

4 Referência IXP - Internet exchange Point PTT Ponto de Troca de Tráfego PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 4

5 O que é Quarentena? Significado de Quarentena segundo o dicionário online de português s.f. Número exato ou aproximado de quarenta: uma quarentena de amigos. Marinha Isolamento imposto a um navio que transporta pessoas, animais ou mercadorias provenientes de país em que grassa moléstia contagiosa. Isolamento de certas pessoas, lugares e animais que podem acarretar perigo de infecção. O período de quarentena depende do tempo necessário como proteção contra a propagação de uma doença determinada. O nome quarentena provém do fato de outrora, quando as autoridades de um porto suspeitavam que houvesse portadores de infecção entre os passageiros ou tripulantes de um navio, esse ter de ficar 40 dias ao largo do porto, sem atracar. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 5

6 O que é a Quarentena no? Quarentena é um período de tempo no qual o participante estará em uma área isolada do Análise e validação Conexão física Enlace Se participar do Acordo de Troca de Tráfego Multilateral IP BGP Política de roteamento externo Desempenho PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 6

7 O que é a Quarentena no? Quarentena é um período de tempo no qual o participante estará em uma área isolada do Análise e validação Conexão física Enlace Se participar do Acordo de Troca de Tráfego Multilateral IP BGP Política de roteamento externo Desempenho Duração: horas, dias ou meses. Depende normalmente do participante e do PIX/Transporte PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 7

8 Histórico de Quarentena Para garantir que a ativação de novos participantes não interfira na estabilidade das conexões dos participantes já ativos, se fez necessário criar áreas isoladas onde são feitos vários testes dos novos participantes antes que eles entrem na área de Baseado no modelo adotado no AMS-IX Amsterdam Internet Exchange, em 2009 o iniciou a utilização de Quarentenas para validação de conexão de novos participantes Em um primeiro momento somente era possível o teste de um AS por vez Em 2011 as máquinas foram ampliadas para 10 áreas de testes devido ao aumento de ativações e suporte Em 2012 novas funcionalidades foram implementadas (testes de quantidade de MACs) e a ampliação permitiu o teste de até 50 participantes simultâneos PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 8

9 Topologia Quarentena PIX-Central PIX-A ASN Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN RS1 RS2 LG Validação da configuração do ASN PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 9

10 Topologia Quarentena PIX-Central PIX-A ASN Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN RS1 RS2 LG Validação do Transporte/Operadora PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 10

11 Topologia Quarentena PIX-Central PIX-A ASN Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN RS1 RS2 LG Validação da conexão física no PIX PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 11

12 Topologia Quarentena PIX-Central PIX-A ASN Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN RS1 RS2 LG Interligação do PIX A ao PIX Central PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 12

13 Topologia Quarentena PIX-Central PIX-A ASN Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN RS1 RS2 LG Configuração das sessões em uma vlan diferente da vlan de PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 13

14 Topologia Quarentena PIX-Central PIX-A ASN Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN RS1 RS2 LG Após os testes de quarentena, as sessões são configuradas nos Routers Servers de PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 14

15 A importancia dos testes em Quarentena A ideia principal é evitar que configurações e tráfego inadequados possam afetar os participantes ativos e possibilita também o diagnóstico de problemas de participantes já em operação, mantendo segura a estrutura atual. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 15

16 A importancia dos testes em Quarentena Os testes de quarentena são importantes para validação de conexão física, enlace, protocolos IPv4 e IPv6, acertos de capacidade, testes de conectividade, verificação de tráfego inadequado e recomendações referente a política de boas práticas BGP para IXP. Grande parte dos testes e verificações são realizados através de scripts o que agiliza o processo. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 16

17 Passos para testes de Quarentena Consulta do MAC no site do IEEE O MAC informado necessita ter uma OUI válida PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 17

18 Passos para testes de Quarentena PIX-Central PIX-A ASN Interligação óptica Transporte Operadora Router ASN MAC A Como forma de proteção o MAC é filtrado na porta do switch no PIX. É permitido apenas o MAC informado pelo participante no exemplo o MAC A PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 18

19 Passos para testes de Quarentena PIX-Central PIX-A ASN Interligação óptica Transporte Operadora Router ASN MAC A Consulta do MAC no switch central Caso seja uma ativação ele não deve existir no switch central PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 19

20 Passos para testes de Quarentena Testes iniciado em Mon Aug 19 10:55:24 BRT 2013 Teste de conectividade e MTU O enlace deve permitir MTU de 1472 ASN: Nome: Teste_Quarentena IPv4: IPv6: 2001:14f9::123:123 sem fragmentação ping c 5 -M do -s PING ( ) 1472(1500) bytes of data bytes from : icmp_req=1 ttl=64 time=0.739 ms 1480 bytes from : icmp_req=2 ttl=64 time=0.778 ms 1480 bytes from : icmp_req=3 ttl=64 time=0.836 ms 1480 bytes from : icmp_req=4 ttl=64 time=0.682 ms 1480 bytes from : icmp_req=5 ttl=64 time=0.778 ms ping statistics packets transmitted, 5 received, 0% packet loss, time 3997ms rtt min/avg/max/mdev = 0.682/0.762/0.836/0.059 ms *** teste ok - circuito de transito suporta pacotes maiores que 1472 bytes PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 20

21 Problemas com MTU Problemas com a sessão TCP Problemas com tags de vlan Problemas de intermitência na sessão Problemas de convergência Problemas com atualizações BGP PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 21

22 Passos para testes de Quarentena Teste de verificação de Proxy ARP habilitado O Proxy ARP deve estar desabilitado na interface conectada ao PTT arping -c 5 -I eth ARPING statistics packets transmitted, 0 packets received, 100% unanswered (0 extra) *** teste ok - participante nao respondendo arping arping -c 5 -I eth ARPING statistics packets transmitted, 0 packets received, 100% unanswered (0 extra) *** teste ok - participante nao respondendo arping PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 22

23 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C Proxy ARP Habilitado MAC D Imagine uma situação onde um o Router A com MAC A pergunte através de um ARP Request quem é o Router B PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 23

24 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C Proxy ARP Habilitado MAC D O Router B responderá com seu MAC B PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 24

25 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C Proxy ARP Habilitado MAC D Além do Router B, o Router C por estar com o Proxy ARP habilitado também responderá. Esta é uma situação ruim para um ambiente de troca de tráfego IP. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 25

26 Passos para testes de Quarentena Verificação do tráfego broadcast Deve estar limitado somente a resolução ARP Executando o tcpdump por 5 minutos na vlan quarentena... 10:55: f8:c0:01:1d:b8:a8 > ff:ff:ff:ff:ff:ff, ethertype ARP (0x0806), length 60: Request who-has tell , length 46 10:56: f8:c0:01:1d:b8:a8 > ff:ff:ff:ff:ff:ff, ethertype ARP (0x0806), length 60: Request who-has tell , length 46 10:56: f8:c0:01:1d:b8:a8 > 5c:e0:f6:00:10:93, ethertype IPv4 (0x0800), length 85: > : Flags [P.], seq : , ack , win 16384, options [nop,nop,ts val ecr ], length 19: BGP, length: 19 Protocolos de descoberta de vizinhaça como CDP e MNDP devem ser desabilitados PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 26

27 Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C MAC D Frames permitidos com Ethertypes: 0x0800 IPv4 0x0806 ARP 0x86dd IPv6 PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 27

28 Passos para testes de Quarentena sh ip bgp summ BGP router identifier , local AS number RIB entries 61, using 5856 bytes of memory Peers 4, using 18 KiB of memory Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd :10:36 2 Total number of neighbors sh ip bgp ipv4 unicas BGP table version is 0, local router ID is Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale, R Removed Origin codes: i - IGP, e - EGP,? - incomplete Network Next Hop Metric LocPrf Weight Path *> / i *> / i Total number of prefixes 2 Verificação das sessões e anúncios de prefixos PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 28

29 Passos para testes de Quarentena PIX-Central PIX-A ASN Servidor de testes de MAC quarentena Interligação óptica Transporte Operadora Router ASN No teste de limitação de MACs, são criadas centenas de conexões simultâneas com MACs diferentes para o router em teste. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 29

30 Passos para testes de Quarentena Verificação da quantidade MACs permitidos Teste 100: 1003 macs permitidos Teste 101: 1008 macs permitidos Teste 102: 1005 macs permitidos Teste 103: 1006 macs permitidos Teste 104: 1004 macs permitidos Teste 105: 1005 macs permitidos Teste 106: 1005 macs permitidos Teste 107: 1000 macs permitidos Teste 108: 1007 macs permitidos Teste 109: 1004 macs permitidos Teste 110: 1004 macs permitidos Obs.: para o PTT-SP o transporte deve permitir 1024 MACs por se tratar de um /22 PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 30

31 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D MAC B MAC A Transporte Operadora MAC C MAC D PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 31

32 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D MAC B MAC A Transporte Operadora Limitado a 2 MACs MAC C MAC D Suponhamos que o transporte permita apenas dois MACs PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 32

33 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC C MAC D MAC B Sem resposta MAC A Transporte Operadora Limitado a 2 MACs MAC C MAC D Neste caso não existirá comunicação com um dos routers PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 33

34 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC B MAC D MAC A Transporte Operadora Limitado a 2 MACs MAC C Sem resposta MAC D Ocorrerá uma intermitência na Comunicação entre os routers PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 34

35 Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC B MAC A Transporte Operadora Limitado a 2 MACs MAC C MAC D Sem resposta Ora perde comunicação com um router, ora perde comunicação com outro router PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 35

36 Finalização de Quarentena Migrar as sessões para Execução da configuração nos Router Servers de pela equipe do Neste momento os testes de quarentena são finalizados e o AS passa a troca tráfego com os outros participantes PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 36

37 Tempo mínimo de Quarentena Observação: caso esteja tudo certo nos testes de quarentena o participante será migrado para depois de um prazo mínimo de 4 horas após os testes de MAC PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 37

38 Problemas encontrados durante a quarentena - MAC inválido - Tráfego inadequado - Erros de negociação de interface - Taxas de erros - Problemas de conectividade - Problemas de transporte com MTU menor que Anúncios de prefixos não válidos - Alterações de Next Hop - AS Path não consistente - Vazamento de Full Routing - Proxy ARP habilitado - Identificação da necessidade de filtros - Problemas com o limite MAC Adrress no transporte - Transparência a tags de s - Vazamento de tráfego IGP nas sessões BGP PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 38

39 Fluxograma Quarentena Conexão Física PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 39

40 Fluxograma Quarentena Conexão Física Teste Enlace PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 40

41 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Não Fim da quarentena PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 41

42 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Não Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 42

43 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 43

44 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 44

45 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Política de roteamento Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 45

46 Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Política de roteamento Fim da quarentena Desempenho Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 46

47 Justificativas dos testes de quarentena O projeto está presente em 25 localidades até o momento Possuímos 614 ASNs únicos conectados Média de 150Gbps de troca de tráfego diária na soma de todas as localidades Picos de 252Gbps de troca de tráfego na soma de todas as localidades O PTT-SP é a maior localidade com 448 ASNs conectados com média de tráfego de 127Gbps e Picos de 215Gbps Dos 2225 ASNs brasileiros aproximadamente 29% estão conectados a uma localidade do Os PTTs pelo mundo utilizam quarentenas para validar novos participantes: AMS-IX, LINX, France-IX, MSK-IX entre outros PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 47

48 Justificativas dos testes de quarentena Existe uma diversidade muito grande de equipamentos no. CISCO SYSTEMS, INC. Juniper Networks Routerboard.com Outros Intel Corporate Dell Inc BROADCOM CORPORATION Brocade Communications Systems, Inc Hewlett-Packard Company Extreme Networks Esse gráfico representa os diferentes tipos de equipamentos que estão conectados ao PTT-SP na Troca de Tráfego Multilateral PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 48

49 Justificativas dos testes de quarentena Dados extraídos do PTT-SP Participantes da Troca de Tráfego Multilateral Vendor Quantidade Porcentagem CISCO SYSTEMS, INC ,64% Juniper Networks 88 19,64% Routerboard.com 88 19,64% Outros 56 12,50% Intel Corporate 47 10,49% Dell Inc 36 8,04% BROADCOM CORPORATION 14 3,13% Brocade Communications Systems, Inc 13 2,90% Hewlett-Packard Company 11 2,46% Extreme Networks 7 1,56% Total 448 PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 49

50 Hoje x futuro Hoje estamos com 26 ASNs em quarentena Temos uma capacidade de 50 testes simultâneos Teste de limite de Broadcast será implementado em breve Devido ao crescimento de demanda por testes, temos planos de aumentar para 100 quarentenas PTTMetro Interconexão de AS Julimar Lunguinho Mendes <[email protected]> NIC.br 50

51 Contato Equipe de Engenharia PTTMetro Interconexão de AS Julimar Lunguinho Mendes NIC.br 51