Levantamento e Avaliação da Resiliência da Infraestrutura Internet em Portugal

Transcrição

1 Levantamento e Avaliação da Resiliência da Infraestrutura Internet em Portugal Agenda 09:30 Abertura Apresentação de Estudo 09:35 Enquadramento da Temática de Estudos sobre Segurança Engº Manuel Pedrosa de Barros, ANACOM 10:00 Apresentação Convidada Drª. Luísa Gueifão, Engº. Assis Guerreiro, Associação DNS.pt 10:30 Intervalo 10:50 Apresentação do Estudo Prof. José Brázio, Instituto de Telecomunicações 11:40 Período de Discussão 12:45 Encerramento 1

2 Sessão de Trabalho Levantamento e Avaliação da Resiliência da Infraestrutura Internet em Portugal Apresentação de Estudo José Brázio Carlos Salema António Rodrigues 2005, it - instituto de telecomunicações. Todos os direitos reservados.

3 Apresentação do Estudo 1. Objectivos 2. Enquadramento à problemática da resiliência 3. Abordagem e metodologia 4. Caracterização do sistema de interconexões e sua resiliência 5. Resiliência das componentes lógicas DNS e BGP 6. Conclusões e recomendações preliminares 3

4 Objectivos Levantamento t das interconexões nacionais i e internacionais i i dos ISP em operação em Portugal» Recebida colaboração da RCTS Identificação e caracterização dos IXP em operação em Portugal Identificação dos nós críticos para a funcionalidade da Internet em Portugal Avaliação da resillência da infra-estrutura Internet em Portugal, tendo ainda presente as questões de segurança e de resiliência nomeadamente com DNS, BGP e TCP/IP 4

5 Enquadramento da Problemática da Resiliência (I) Resiliência: o capacidade de um sistema fornecer e manter um nível aceitável de serviço quando sujeito a falhas ou outras perturbações à sua normal operação Em sentido lato, engloba: o Configurações o Mecanismos o Procedimentos Ciclo Avaliação de riscos Preparação e planeamento Operação Redução de vulnerabilidades e/ou [Incidente:] Resposta e recuperação 5

6 Enquadramento da Problemática da Resiliência (II) Tipos de mecanismos operacionais o Configurações/mecanismos i que evitam certo tipo de perturbações p.ex., mecanismos de autenticação, controlo de acessos, etc. o Mecanismos de reacção rápida, com accionamento automático ou manual, que reduzem impacte de perturbações p.ex., reconfiguração rápida de anéis ópticos, Routing Black Holes, etc. o Mecanismos de acção de maior escala temporal, para recuperação de elementos afectados p.ex., reparação de condutas, substituição/reconfiguração (manual) de sistemas, etc. Mecanismos organizacionais subjacentes o Gestão de stocks de equipamento de substituição o Planos e equipas de contingência o Decisões estratégicas Sobre rede interna Sobre interacção com outros ISP Incluindo políticas/estratégicas comerciais/de mercado 6

7 Resiliência Disciplinas Técnicas Tolerância a disrupções Avaliação de confiabilidade 7

8 Enquadramento da Problemática da Resiliência (III) [1] Áreas de desafio ( challenge areas ): o Infraestruturas t o Tecnologia o Processos operacionais e recursos humanos o Continuidade organizacional o Comercial e regulatória Áreas de actividade o Organizacionais o Continuidade de negócio o Gestão de risco [1] Guidelines for Enhancing the Resilience of Communication Networks: Providers Measures, ENISA (2009) 8

9 Enquadramento da Problemática da Resiliência (IV) Actores e actividades o Investigação académica Publicações na literatura peer-reviewed: conceptualizações; propostas e análises de técnicas específicas o Fabricantes de equipamento Whitepapers: Soluções de configurações e equipamentos para resiliência Análise e linhas de orientação para aspectos organizacionais o Associações profissionais, entidades governamentais ou equiparadas Promoção oção de estudos e seminários Inquéritos e levantamentos de situação Documentos sobre boas práticas e linhas de orientação ( guidelines ) Actividades de avaliação de resiliência Estudos, exercícios 9

10 Enquadramento da Problemática da Resiliência (V) Actividades e iniciativas internacionais o Centre for the Protection ti of National Infrastructure t (CPNI), UK Guias de boas práticas o ENISA, UE Iniciativa i sobre resiliência i Levantamentos e avaliação de tecnologia, guias de boas práticas, suporte à realização de exercícios o FCC, USA Iniciativa sobre resiliência (Abril/2011) Portal Network Reliability and Interoperability Best Practices o Internet Society Deploy360 Programme IPv6, DNSSEC, Routing Resiliency/Security o National Institute of Standards (NIST), USA Guias de boas práticas, de planeamento de emergências, etc 10

11 Enquadramento da Problemática da Resiliência (VI) Actividades e iniciativas internacionais o Autoridade d Reguladora das Comunicações (RRT), Lituânia i Iniciativa sistemática, desde 2007, de caracterização da infraestrutura Internet e avaliação da sua resiliência Levantamento e caracterização das interconexões entre ISP» Através de inquéritos aos ISP Identificação de elementos críticos Iniciativa recente de desenvolvimento de sistema de monitorização da infraestrutura Internet lituana Em tempo real Baseada em informação publicamente disponível Com capacidade d de colecção automática de informação e de identificação de acontecimentos críticos 11

12 Estudo Abordagem e Metodologia Componentes do estudo o Levantamento dos IXP e das interconexões entre ISP o Avaliação da resiliência da infraestrutura Sistema de interconexões Subsistemas DNS e BGP o Identificação de elementos críticos Levantamento dos IXP e das interconexões entre ISP o Através de questionário dirigido aos ISP Opções para avaliação da resiliência da infraestrutura o Dois tipos de indicadores Operacionais (p.ex., níveis de degradação e tempo de recuperação após perturbações específicas) Pesado, requer informação muito detalhada ( exercícios ) Indicadores macroscópicos / estatísticos Mais simples, fornecem pontos de referência para comparação 12

13 Opções Adoptadas Escolha: o 2º tipo de indicadores o Sistema de interconexões Indicadores de conectividade entre ISP capacidade de transmissão instalada número de circuitos número de ISP a que se interliga redundância de Points of Presence o Componente lógica (DNS, BGP) Levantamento e caracterização estatística da utilização de mecanismos de resiliência disponíveis nas configurações dos subsistemas de DNS e BGP Base de informação o Questionário distribuído aos ISP em operação em Portugal 13

14 Questionário Suportado em folha de cálculo Enviado pela ANACOM aos ISP registados Contém 4 secções o Identificadores e Interligações: Características das interconexões dos ISP em operação no espaço nacional com outros ISP nacionais ou internacionais relevantes para suporte do serviço Internet em Portugal o Questões sobre DNS: Equipas de administração e resposta a incidentes; configurações do subsistema de DNS relevantes para resiliência o Questões sobre BGP: Equipas de administração e resposta a incidentes; configurações do subsistema de BGP relevantes para resiliência o Outras questões: Aspectos respeitantes à camada IP; questões abertas sobre resiliência 14

15 Questionário Secção Identificadores e Interligações Solicitado, para cada link entre ISP respondente e outro ISP interligado: o Tipo de circuito o Proprietário da Infraestrutura o Localização Física do Router de Terminação o Taxa de Transmissão o Capacidade de Comutação o Volume Mensal de Dados o ASN/Nome do outro ISP, Papel ( Role ), Nacionalidade o IXP utilizado, em caso de peering público Objectivo: o Elaboração de mapa de conectividade id d para caracterização do emalhamento e redundância existente no sistema de interconexões dos ISPs operando em Portugal 15

16 Questionário Secção DNS Solicitada informação sobre: o Redundância dâ dos servidores com autoridade d para o domínio do ISP o Dimensão e prontidão da equipa de administração/resposta a incidentes o Utilização no serviço de nomes de restrição de lookups recursivos a clientes mecanismos de autenticação da origem e/ou verificação de integridade dos dados recebidos mecanismos de verificação de validade de respostas NXDOMAIN DNSSEC ou previsões de futura utilização Objectivo: o Obtenção de indicadores para comparação com indicadores internacionais i i 16

17 Questionário Secção BGP (I) () Solicitada informação sobre: o Dimensão e prontidão da equipa de administração/resposta i t a incidentes o Utilização de mecanismos e configurações do subsistema de BGP Mecanismos de intervenção operacional Mecanismos de Validação na Importação/Exportação de Prefixos Desagregação de Prefixos Mecanismos de melhoria de desempenho Mecanismos S-BGP, so-bgp, etc Objectivo: o Obtenção de indicadores para comparação com indicadores internacionais 17

18 Questionário Secção BGP (II) Mecanismos de intervenção operacional : o Equipas de resposta a incidentes id o Routing Black Holes o Routing Sink Holes Mecanismos de Validação na Importação/Exportação de Prefixos o Fortes BGP egress filtering, BGP ingress filtering, autenticação de conteúdo das mensagens, verificação de 1ª AS em AS_Path o Menos Fortes Max prefix feature, limitação do comprimento de AS_Path, Generalized TTL Security Hack Desagregação de Prefixos o Realização/rejeição de anúncios desagregados 18

19 Questionário Secção BGP (III) Mecanismos para melhoria de desempenho o No-Export Community o Route Refresh Capability o Route Flap Damping [2] Mecanismos S-BGP, so-bgp, etc [2] Presentemente e e e desaconselhado se ado peo pelo IETF 19

20 Questionário Outras Questões (I) Solicitada informação sobre: o Utilização de rede de gestão fora-de-banda d o Utilização de ip Ingress Filtering o Obtenção e utilização de endereços IPv4/IPv6 Colocadas questões abertas sobre o Aspectos considerados importantes na abordagem ao estudo da resiliência o Temas considerados de interesse para discussão em eventual sessão de trabalho sobre tópico da resiliência 20

21 Respostas Caracterização o 35 ISP registados junto da ANACOM o 18 ISP e a FCCN forneceram respostas completas ao questionário o 10 ISP informaram que são apenas revendedores de acesso, sem infraestrutura t própria o 3 ISP informaram de que a sua componente de rede em Portugal é parte integrante da sua rede internacional, sem relações de peering ou de trânsito com qualquer outro ISP em Portugal Globalmente, respostas recebidas permitem obter imagem válida do sistema de interconexões entre ISP Sneak preview : o Indicadores obtidos revelam que configurações dos sistemas existentes estão genericamente em linha com padrões internacionais e que os sistemas de interconexão entre ISP são robustos, estatisticamente falando o Existem contudo elementos críticos para o fornecimento de conectividade 21

22 Conteúdo do Estudo Caracterização do sistema de interconexões o Por tipo de relação comercial, discriminandoi i d Capacidade de transmissão instalada Número de circuitos físicos Diversidade de locais de interligação ISP envolvidos o Caracterização dos pontos de interconexão (IXP, Interconnection Facilities) emtermosde ISP presentes Número de circuitos físicos e capacidade de transmissão instalada o Identificação de elementos críticos para o serviço Internet em Portugal Indicadores sobre configurações dos subsistemas DNS e BGP e comparação internacional i Conclusões e recomendações 22

23 Interconexões de Trânsito Diagrama Indicativo RIPE RIS Transits (Upstreams BGP) [Informação pública] 23

24 Caracterização do Sistema de Interconexões (I) ISP e Sistemas Autónomos o 35 ISP, 25 AS (16 contidas em território i nacional) Interconexões o Total: 178 circuitos (1 090 Gbit/s) Forn. Trânsito Internacionais: 38 (374 Gbit/s) Forn. Trânsito Nacionais: 18 (52 Gbit/s) Peering Internacional: 16 (133 Gbit/s) Peering Público Nacional: 22 (134 Gbit/s) Peering Privado Nacional: 46 (135 Gbit/s) Cl. Trânsito Nacionais: 18 (61 Gbit/s) 24

25 Caracterização do Sistema de Interconexões (II) Capacidade de transmissão instalada (Gbit/s) P/ Fornecedor P/ Fornecedor Peering Peering Clientes Peering Trânsito Trânsito Público Privado Trânsito Internacional Internacional Nacional Nacional Nacional Nacional Total Média aritmética 19,7 2,7 7,0 7,0 7,1 3,2 46,8 Média ponderada 64,9 2,2 26,3 9,8 16,5 11,6 131,3 Número de circuitos instalados P/ Fornecedor P/ Fornecedor Trânsito Trânsito Internacional Nacional Peering Internacional Peering Peering Clientes Público Privado Trânsito Nacional Nacional Nacional Total Média aritmética 20 2,0 09 0,9 08 0,8 12 1,2 24 2,4 09 0,9 83 8,3 Média ponderada 5,2 0,3 3,1 1,4 3,4 2,8 16,2 TOTAL TOTAL Nota: Ponderação por capacidade instalada para fornecedores de trânsito e peers 25

26 Caracterização do Sistema de Interconexões (III) Número de outros ISP interligados P/ Fornecedor P/ Fornecedor Peering Clientes Peering Trânsito Trânsito Privado Trânsito Internacional Internacional Nacional Nacional Nacional TOTAL Total Média aritmética 1,2 0,6 0,7 1,2 0,6 5,1 Média ponderada 2,4 0,2 2,8 1,5 1,2 8,9 Nota: Ponderação por capacidade instalada para fornecedores de trânsito e peers 26

27 Caracterização do Sistema de Interconexões (IV) Peering nacional o Público: GigaPIX Lx Presentes 14 ISP Capacidade total de transmissão para GigaPIX Lx = 132 Gbit/s GigaPIX Porto o Privado: Presentes 2 ISP Por links directos, ou em outras instalações de interconexão Capacidade de transmissão instalada = 175 Gbit/s Peering internacional o Público/Privado: Menor capacidade instalada do que trânsito internacional Concentrado num pequeno número de ISP 27

28 Caracterização do Sistema de Interconexões (V) Elementos críticos o Conectividade id d internacional i ISP internacionais Listados 12 ISP internacionais fornecendo trânsito a ISP nacionais 2 ISP internacionais, em conjunto, suportam 50% da capacidade de transmissão de trânsito internacional instalada 1 ISP internacional serve 7 ISP nacionais ISP nacionais 3 ISP nacionais detêm 75% da capacidade de trânsito internacional instalada Infraestruturas de interligação Possível identificar uma infraestrutura crítica para suporte à conectividade internacional 28

29 Caracterização do Sistema de Interconexões (VI) Conectividade nacional o Passível de obtenção através de fornecedor nacional de trânsito comum pouco frequente peering nacional 1 fornecedor(es) internacional(is) de trânsito o Peering vs. trânsito internacional Capacidade instalada de peering nacional (pub. + priv.) capacidade instalada para fornecedores internacionais de trânsito o Pode ser suportada +/- igualmente, em termos de capacidade, por peering nacional ou trânsito internacional o Elementos críticos GigaPIX Lx preponderante para peering público Contudo, não constitui single point of failure para conectividade nacional 1 ISP nacional concentra fracção substancial do peering privado ISP críticos para conectividade internacional são-no também para conectividade nacional 29

30 Resiliência das Componentes Lógicas DNS Redundância dos authoritative servers Servidores com autoridade para o domínio.pt o 8 servidores em 7 localizações geográficas mundiais Servidores com autoridade para os ISP registados em Portugal o Maioria i dos ISP possui servidores de zona com redundância dâ geográfica ou contemplam a sua instalação a curto prazo 30

31 Resiliência das Componentes Lógicas DNS (I) () Redundância geográfica de servidores Não ponderado Ponderado Equipas próprias de administração e resposta a incidentes Não ponderado Ponderado 31

32 Resiliência das Componentes Lógicas DNS (II) Restrição de lookups recursivos a clientes Não ponderado Ponderado Mecanismos de autenticação de origem dos dados Não ponderado Ponderado 32

33 Resiliência das Componentes Lógicas DNS (III) Mecanismos de verificação de integridade de dados recebidos Não ponderado Ponderado Mecanismos de verificação de validade de respostas NXDOMAIN Não ponderado Ponderado 33

34 Resiliência das Componentes Lógicas DNS (IV) Serviço de nomes de domínios baseado em DNSSEC Não ponderado Ponderado Participação em WGs internacionais sobre securização de DNS Não ponderado Ponderado 34

35 Resiliência das Componentes Lógicas DNS (V) Indicadores o Redundância dâ geográfica A grande maioria (> 70 %) dos ISP possui servidores com redundância geográfica ou planos para a sua instalação o Equipas de resposta a incidentes A quase totalidade dos ISP possui equipas próprias 24 x 7 x 365 de dimensão adequada o Lookups recursivos A maioria (> 80 %) restringe-os aos seus clientes ou usa mecanismos alternativos Valor comparável com situação internacional o Utilização de mecanismos de protecção como os incluídos em DNSSEC Utilizados apenas por % dos ISP o Utilização de DNSSEC Idem Fracções de respostas comparáveis com situação internacional a P.ex., Ann Arbor Worldwide Infrastructure Security Report 35

36 Resiliência das Componentes Lógicas BGP (I) Mecanismos de Intervenção Operacional Equipa de resposta a incidentes Não ponderado Ponderado Capacidade de Criação de Routing Black Holes Não ponderado Ponderado 36

37 Resiliência das Componentes Lógicas BGP (II) Mecanismos de Intervenção Operacional Utilização de Sink Holes para Controlo/Monitorização de Ataques Não ponderado Ponderado 37

38 Resiliência das Componentes Lógicas BGP (III) Mecanismos de Validação na Importação/Exportação t ã de Prefixos Fortes BGP Egress Filtering Não ponderado Ponderado BGP Ingress Filtering Não ponderado Ponderado 38

39 Resiliência das Componentes Lógicas BGP (IV) Mecanismos de Validação na Importação/Exportação t ã de Prefixos Fortes Autenticação de Conteúdo das Mensagens Não ponderado Ponderado Verificação de 1ª AS em AS_Path Não ponderado Ponderado 39

40 Resiliência das Componentes Lógicas BGP (V) Mecanismos de Validação na Importação/Exportação t ã de Prefixos Fracos Utilização de Max Prefix Feature Não ponderado Ponderado Limitação do comprimento de AS_Path Não ponderado Ponderado 40

41 Resiliência das Componentes Lógicas BGP (VI) Mecanismos de Validação na Importação/Exportação t ã de Prefixos Fracos Utilização de Generalized TTL Security Hack Não ponderado Ponderado 41

42 Resiliência das Componentes Lógicas BGP (VII) Desagregação de Prefixos Realização de Anúncio de Prefixos Desagregados Não ponderado Ponderado Rejeição de Anúncios de Prefixos Desagregados Não ponderado Ponderado 42

43 Resiliência das Componentes Lógicas BGP (VIII) Mecanismos de melhoria de desempenho da operação do protocolo Utilização de No-Export Community Não ponderado Ponderado Utilização de Route Refresh Capability Não ponderado Ponderado 43

44 Resiliência das Componentes Lógicas BGP (IX) Mecanismos de melhoria de desempenho da operação do protocolo Utilização de Route Flap Damping Não ponderado Ponderado Outros Utilização de Mecanismos S-BGP, so-bgp, etc Não ponderado Ponderado 44

45 Resiliência das Componentes Lógicas BGP (II) Indicadores o Grupo I Mecanismos de Intervenção Operacional Equipas de resposta a incidentes, Routing Black Holes, Routing Sink Holes muito elevada cobertura positiva ( 90 %) o Grupo II Mecanismos de Validação na Importação/Exportação de Prefixos Fortes BGP egress filtering, BGP ingress filtering, autenticação de conteúdo das mensagens, verificação de 1ª AS em AS_Path» muito elevada cobertura positiva ( %) Menos Fortes Max prefix feature, limitação do comprimento de AS_Path, Generalized TTL Security Hack» menor cobertura positiva ( %) 45

46 Resiliência das Componentes Lógicas BGP (III) Indicadores o Grupo III Desagregação de Prefixos Realização/rejeição de anúncios desagregados representa um factor de vulnerabilidade mas pode ter utilização legítima» média cobertura positiva ( 50 %), comparável com situação internacional o Grupo IV Mecanismos de melhoria de desempenho No-Export Community, Route Refresh Capability principalmente para tornar mais eficiente a operação do protocolo» elevada cobertura positiva ( %) Route Flap Damping» presentemente desaconselhado, não utilizado ou em vias de remoção o Grupo V Mecanismos S-BGP, so-bgp, etc Em fase muito incipiente a nível internacional» sem expressão significativa 46

47 Resiliência das Componentes Lógicas Outras (I) () Rede de Gestão com Operação Fora de Banda Não ponderado Ponderado IP Ingress Filtering Não ponderado Ponderado 47

48 Resiliência das Componentes Lógicas Outras (I) () Utilização de Endereços IPv4 o Respostas não conclusivas o Alguns ISP reportam utilização de ~ 75 % do espaço de endereços atribuído 48

49 Respostas às Questões Abertas do Questionário (I) Questões Consideradas Relevantes para a Resiliência o Redundância dâ nos e dos pontos de peering público (GigaPIX); o Importância da consideração da redundância existente internamente aos Sistemas Autónomos (infraestruturas e equipamentos, procedimentos, continuidade de negócio, etc); o Controlo de políticas de troca de prefixos (BGP); o Influência de um mercado altamente competitivo na capacidade de um ISP realizar investimentos t para fins de resiliência i o Factores internos aos ISP para resiliência (redundância interna, factores operacionais) o Planeamento de capacidade, d engenharia de tráfego, disaster recovery 49

50 Respostas às Questões Abertas do Questionário (II) Temas Considerados de Interesse para Discussão o Resiliência i geográfica nacional, arquitectura t de interligação entre operadores, arquitectura actual do GigaPIX e pontos de troca de tráfego fora de Lisboa o Políticas de peering para incremento de peering público o Valorização da resiliência do serviço na formação de preços dos serviços enquadrados pelo mercado 5 o Desenvolvimentos ao nível do RIPE e IETF para securização / autorização respeitante à troca de prefixos públicos e utilização da base de dados do RIPE para a construção de políticas de BGP o Casos práticos de segurança e engenharia de tráfego, boas práticas de implementação 50

51 Conclusões (I) () Sistema de interconexões entre ISP o Estudo fornece levantamento t e obtém indicadores d macroscópicos para comparação com indicadores internacionais e identificação de elementos críticos Topologia, capacidade instalada, número de circuitos, diversidade geográfica dos pontos de interconexão Infraestruturas públicas de interconexão o Identificado um conjunto de sistemas críticos em termos do suporte de tráfego o Indicadores obtidos são comparáveis com valores internacionais e sugerem níveis de resiliência estatisticamente adequados o Geografia dos circuitos de interconexão essencial para avaliação de resiliência Infraestruturas públicas de interconexão o Estudo fornece levantamento de ISP presentes e capacidades instaladas e identifica elementos críticos 51

52 Conclusões (II) Componentes lógicas DNS e BGP o Estudo faz levantamento t da utilização de configurações DNS e BGP relevantes para resiliência o Indicadores obtidos estão em linha com valores de referência internacionais, indicando adopção marioritária dos mecanismos mais importantes Mecanismos de camada IP/plano de gestão o Estudo mostra adopção generalizada de Redes de gestão fora de banda IP Ingress Filtering o Elementos não conclusivos sobre utilização de endereços IP 52

53 Recomendações Consideração de aspectos geográficos das infraestruturas físicas (cadastro e georeferenciação) Consideração de outros elementos externos relevantes para resiliência (pressão do mercado, regulação/regulamentação, etc) Criação de infraestrutura para automatização simples de actualizações regulares (anuais/bienais) do estudo, permitindo: A quem responde, a actualização incremental da informação fornecida A quem processa, o processamento automático da informação incremental recebida Realização de exercícios referentes a cenários específicos 53

54 Outros Tópicos para Discussão Impacte para a resiliência da alteração de paradigma trazida pelos CDN/CPN A cloud e os requisitos de resiliência da infraestrutura Internet Factores técnicos vs. políticos/de gestão na construção de resiliência 54