Sistema de Quarentena PTT Fórum 7 2013 Ailton Soares da Rocha <ailtonsr@nic.br> Julimar Lunguinho Mendes <julimar@nic.br> Equipe de Engenharia <eng@ptt.br> PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 1
Objetivo A apresentação visa expor o sistema de quarentena utilizado para ativação e testes de suporte no PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 2
Definições PIX Ponto de Interconexão Pontos de conexão espalhados por região onde o existe Participante AS conectado a uma das diferentes localidades do Transporte Enlace físico do router do participante até o PIX PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 3
Referência IXP - Internet exchange Point PTT Ponto de Troca de Tráfego PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 4
O que é Quarentena? Significado de Quarentena segundo o dicionário online de português s.f. Número exato ou aproximado de quarenta: uma quarentena de amigos. Marinha Isolamento imposto a um navio que transporta pessoas, animais ou mercadorias provenientes de país em que grassa moléstia contagiosa. Isolamento de certas pessoas, lugares e animais que podem acarretar perigo de infecção. O período de quarentena depende do tempo necessário como proteção contra a propagação de uma doença determinada. O nome quarentena provém do fato de outrora, quando as autoridades de um porto suspeitavam que houvesse portadores de infecção entre os passageiros ou tripulantes de um navio, esse ter de ficar 40 dias ao largo do porto, sem atracar. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 5
O que é a Quarentena no? Quarentena é um período de tempo no qual o participante estará em uma área isolada do Análise e validação Conexão física Enlace Se participar do Acordo de Troca de Tráfego Multilateral IP BGP Política de roteamento externo Desempenho PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 6
O que é a Quarentena no? Quarentena é um período de tempo no qual o participante estará em uma área isolada do Análise e validação Conexão física Enlace Se participar do Acordo de Troca de Tráfego Multilateral IP BGP Política de roteamento externo Desempenho Duração: horas, dias ou meses. Depende normalmente do participante e do PIX/Transporte PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 7
Histórico de Quarentena Para garantir que a ativação de novos participantes não interfira na estabilidade das conexões dos participantes já ativos, se fez necessário criar áreas isoladas onde são feitos vários testes dos novos participantes antes que eles entrem na área de Baseado no modelo adotado no AMS-IX Amsterdam Internet Exchange, em 2009 o iniciou a utilização de Quarentenas para validação de conexão de novos participantes Em um primeiro momento somente era possível o teste de um AS por vez Em 2011 as máquinas foram ampliadas para 10 áreas de testes devido ao aumento de ativações e suporte Em 2012 novas funcionalidades foram implementadas (testes de quantidade de MACs) e a ampliação permitiu o teste de até 50 participantes simultâneos PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 8
Topologia Quarentena PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN 65001 RS1 RS2 LG Validação da configuração do ASN PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 9
Topologia Quarentena PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN 65001 RS1 RS2 LG Validação do Transporte/Operadora PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 10
Topologia Quarentena PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN 65001 RS1 RS2 LG Validação da conexão física no PIX PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 11
Topologia Quarentena PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN 65001 RS1 RS2 LG Interligação do PIX A ao PIX Central PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 12
Topologia Quarentena PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN 65001 RS1 RS2 LG Configuração das sessões em uma vlan diferente da vlan de PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 13
Topologia Quarentena PIX-Central PIX-A ASN 65001 Router Servers de Quarentena RS1 RS2 LG quarentena Interligação óptica Transporte Operadora Router ASN 65001 RS1 RS2 LG Após os testes de quarentena, as sessões são configuradas nos Routers Servers de PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 14
A importancia dos testes em Quarentena A ideia principal é evitar que configurações e tráfego inadequados possam afetar os participantes ativos e possibilita também o diagnóstico de problemas de participantes já em operação, mantendo segura a estrutura atual. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 15
A importancia dos testes em Quarentena Os testes de quarentena são importantes para validação de conexão física, enlace, protocolos IPv4 e IPv6, acertos de capacidade, testes de conectividade, verificação de tráfego inadequado e recomendações referente a política de boas práticas BGP para IXP. Grande parte dos testes e verificações são realizados através de scripts o que agiliza o processo. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 16
Passos para testes de Quarentena http://standards.ieee.org/develop/regauth/oui/public.html Consulta do MAC no site do IEEE O MAC informado necessita ter uma OUI válida PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 17
Passos para testes de Quarentena PIX-Central PIX-A ASN 65001 Interligação óptica Transporte Operadora Router ASN 65001 MAC A Como forma de proteção o MAC é filtrado na porta do switch no PIX. É permitido apenas o MAC informado pelo participante no exemplo o MAC A PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 18
Passos para testes de Quarentena PIX-Central PIX-A ASN 65001 Interligação óptica Transporte Operadora Router ASN 65001 MAC A Consulta do MAC no switch central Caso seja uma ativação ele não deve existir no switch central PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 19
Passos para testes de Quarentena Testes iniciado em Mon Aug 19 10:55:24 BRT 2013 Teste de conectividade e MTU O enlace deve permitir MTU de 1472 ASN: 65001 Nome: Teste_Quarentena IPv4: 192.168.123.123 IPv6: 2001:14f9::123:123 sem fragmentação ---------------------------------------------------------------------- --------------------ping 192.168.123.123 -c 5 -M do -s 1472------------------- PING 192.168.123.123 (192.168.123.123) 1472(1500) bytes of data. 1480 bytes from 192.168.123.123: icmp_req=1 ttl=64 time=0.739 ms 1480 bytes from 192.168.123.123: icmp_req=2 ttl=64 time=0.778 ms 1480 bytes from 192.168.123.123: icmp_req=3 ttl=64 time=0.836 ms 1480 bytes from 192.168.123.123: icmp_req=4 ttl=64 time=0.682 ms 1480 bytes from 192.168.123.123: icmp_req=5 ttl=64 time=0.778 ms --- 192.168.123.123 ping statistics --- 5 packets transmitted, 5 received, 0% packet loss, time 3997ms rtt min/avg/max/mdev = 0.682/0.762/0.836/0.059 ms *** teste ok - circuito de transito suporta pacotes maiores que 1472 bytes PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 20
Problemas com MTU Problemas com a sessão TCP Problemas com tags de vlan Problemas de intermitência na sessão Problemas de convergência Problemas com atualizações BGP PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 21
Passos para testes de Quarentena Teste de verificação de Proxy ARP habilitado O Proxy ARP deve estar desabilitado na interface conectada ao PTT --------------------arping -c 5 -I eth0 189.16.219.254---------------- ARPING 189.16.219.254 --- 189.16.219.254 statistics --- 5 packets transmitted, 0 packets received, 100% unanswered (0 extra) *** teste ok - participante nao respondendo arping --------------------arping -c 5 -I eth0 172.16.1.1-------------------- ARPING 172.16.1.1 --- 172.16.1.1 statistics --- 5 packets transmitted, 0 packets received, 100% unanswered (0 extra) *** teste ok - participante nao respondendo arping PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 22
Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C Proxy ARP Habilitado MAC D Imagine uma situação onde um o Router A com MAC A pergunte através de um ARP Request quem é o Router B PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 23
Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C Proxy ARP Habilitado MAC D O Router B responderá com seu MAC B PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 24
Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C Proxy ARP Habilitado MAC D Além do Router B, o Router C por estar com o Proxy ARP habilitado também responderá. Esta é uma situação ruim para um ambiente de troca de tráfego IP. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 25
Passos para testes de Quarentena Verificação do tráfego broadcast Deve estar limitado somente a resolução ARP Executando o tcpdump por 5 minutos na vlan quarentena... 10:55:59.971470 f8:c0:01:1d:b8:a8 > ff:ff:ff:ff:ff:ff, ethertype ARP (0x0806), length 60: Request who-has 192.168.123.20 tell 192.168.123.123, length 46 10:56:11.166091 f8:c0:01:1d:b8:a8 > ff:ff:ff:ff:ff:ff, ethertype ARP (0x0806), length 60: Request who-has 192.168.123.20 tell 192.168.123.123, length 46 10:56:24.671168 f8:c0:01:1d:b8:a8 > 5c:e0:f6:00:10:93, ethertype IPv4 (0x0800), length 85: 192.168.123.123.179 > 187.16.216.253.43387: Flags [P.], seq 2859886168:2859886187, ack 4127368643, win 16384, options [nop,nop,ts val 1113193787 ecr 22669039], length 19: BGP, length: 19 Protocolos de descoberta de vizinhaça como CDP e MNDP devem ser desabilitados PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 26
Passos para testes de Quarentena Participantes PIX-Central Participantes MAC B MAC A MAC C MAC D Frames permitidos com Ethertypes: 0x0800 IPv4 0x0806 ARP 0x86dd IPv6 PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 27
Passos para testes de Quarentena --------------------sh ip bgp summ------------------------------------ BGP router identifier 192.168.123.253, local AS number 65002 RIB entries 61, using 5856 bytes of memory Peers 4, using 18 KiB of memory Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 192.168.123.123 4 65001 48 26 0 0 0 00:10:36 2 Total number of neighbors 1 --------------------sh ip bgp ipv4 unicas----------------------------- BGP table version is 0, local router ID is 192.168.123.253 Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale, R Removed Origin codes: i - IGP, e - EGP,? - incomplete Network Next Hop Metric LocPrf Weight Path *> 192.168.125.0/20 192.168.123.123 0 65001 65001 65001 65004 i *> 192.168.125.0/21 192.168.123.123 0 65001 65001 65001 65004 i Total number of prefixes 2 Verificação das sessões e anúncios de prefixos PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 28
Passos para testes de Quarentena PIX-Central PIX-A ASN 65001 Servidor de testes de MAC quarentena Interligação óptica Transporte Operadora Router ASN 65001 No teste de limitação de MACs, são criadas centenas de conexões simultâneas com MACs diferentes para o router em teste. PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 29
Passos para testes de Quarentena Verificação da quantidade MACs permitidos Teste 100: 1003 macs permitidos Teste 101: 1008 macs permitidos Teste 102: 1005 macs permitidos Teste 103: 1006 macs permitidos Teste 104: 1004 macs permitidos Teste 105: 1005 macs permitidos Teste 106: 1005 macs permitidos Teste 107: 1000 macs permitidos Teste 108: 1007 macs permitidos Teste 109: 1004 macs permitidos Teste 110: 1004 macs permitidos Obs.: para o PTT-SP o transporte deve permitir 1024 MACs por se tratar de um /22 PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 30
Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D MAC B MAC A Transporte Operadora MAC C MAC D PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 31
Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC D MAC B MAC A Transporte Operadora Limitado a 2 MACs MAC C MAC D Suponhamos que o transporte permita apenas dois MACs PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 32
Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC C MAC D MAC B Sem resposta MAC A Transporte Operadora Limitado a 2 MACs MAC C MAC D Neste caso não existirá comunicação com um dos routers PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 33
Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC B MAC D MAC A Transporte Operadora Limitado a 2 MACs MAC C Sem resposta MAC D Ocorrerá uma intermitência na Comunicação entre os routers PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 34
Problemas com limitação de MAC Participantes PIX-Central Participantes Tabela MAC MAC B MAC C MAC B MAC A Transporte Operadora Limitado a 2 MACs MAC C MAC D Sem resposta Ora perde comunicação com um router, ora perde comunicação com outro router PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 35
Finalização de Quarentena Migrar as sessões para Execução da configuração nos Router Servers de pela equipe do Neste momento os testes de quarentena são finalizados e o AS passa a troca tráfego com os outros participantes PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 36
Tempo mínimo de Quarentena Observação: caso esteja tudo certo nos testes de quarentena o participante será migrado para depois de um prazo mínimo de 4 horas após os testes de MAC PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 37
Problemas encontrados durante a quarentena - MAC inválido - Tráfego inadequado - Erros de negociação de interface - Taxas de erros - Problemas de conectividade - Problemas de transporte com MTU menor que 1472 - Anúncios de prefixos não válidos - Alterações de Next Hop - AS Path não consistente - Vazamento de Full Routing - Proxy ARP habilitado - Identificação da necessidade de filtros - Problemas com o limite MAC Adrress no transporte - Transparência a tags de s - Vazamento de tráfego IGP nas sessões BGP PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 38
Fluxograma Quarentena Conexão Física PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 39
Fluxograma Quarentena Conexão Física Teste Enlace PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 40
Fluxograma Quarentena Conexão Física Teste Enlace É ATM Não Fim da quarentena PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 41
Fluxograma Quarentena Conexão Física Teste Enlace É ATM Não Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 42
Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 43
Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 44
Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Política de roteamento Fim da quarentena Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 45
Fluxograma Quarentena Conexão Física Teste Enlace É ATM Sim Teste IP Não Teste BGP Política de roteamento Fim da quarentena Desempenho Migração para PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 46
Justificativas dos testes de quarentena O projeto está presente em 25 localidades até o momento Possuímos 614 ASNs únicos conectados Média de 150Gbps de troca de tráfego diária na soma de todas as localidades Picos de 252Gbps de troca de tráfego na soma de todas as localidades O PTT-SP é a maior localidade com 448 ASNs conectados com média de tráfego de 127Gbps e Picos de 215Gbps Dos 2225 ASNs brasileiros aproximadamente 29% estão conectados a uma localidade do Os PTTs pelo mundo utilizam quarentenas para validar novos participantes: AMS-IX, LINX, France-IX, MSK-IX entre outros PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 47
Justificativas dos testes de quarentena Existe uma diversidade muito grande de equipamentos no. CISCO SYSTEMS, INC. Juniper Networks Routerboard.com Outros Intel Corporate Dell Inc BROADCOM CORPORATION Brocade Communications Systems, Inc Hewlett-Packard Company Extreme Networks Esse gráfico representa os diferentes tipos de equipamentos que estão conectados ao PTT-SP na Troca de Tráfego Multilateral PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 48
Justificativas dos testes de quarentena Dados extraídos do PTT-SP Participantes da Troca de Tráfego Multilateral Vendor Quantidade Porcentagem CISCO SYSTEMS, INC. 88 19,64% Juniper Networks 88 19,64% Routerboard.com 88 19,64% Outros 56 12,50% Intel Corporate 47 10,49% Dell Inc 36 8,04% BROADCOM CORPORATION 14 3,13% Brocade Communications Systems, Inc 13 2,90% Hewlett-Packard Company 11 2,46% Extreme Networks 7 1,56% Total 448 PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 49
Hoje x futuro Hoje estamos com 26 ASNs em quarentena Temos uma capacidade de 50 testes simultâneos Teste de limite de Broadcast será implementado em breve Devido ao crescimento de demanda por testes, temos planos de aumentar para 100 quarentenas PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 50
Contato http://ptt.br/ Equipe de Engenharia <eng@ptt.br> PTTMetro Interconexão de AS Julimar Lunguinho Mendes <julimar@nic.br> NIC.br http://ptt.br/ 51