Science DMZ: Experiências no desenvolvimento e implantação do modelo de DMZ Científica!

Transcrição

1 Science DMZ: Experiências no desenvolvimento e implantação do modelo de DMZ Científica!

2 Agenda Introdução DMZ Cien1fica da RNP Resultados em laboratório Problemas enfrentados Considerações Finais

3 Introdução Profa. Tereza CrisCna de Melo Brito Carvalho Fernando Frota Redigolo Dino Raffael CristofoleC Magri

4 DMZ Científica da RNP Projeto Science DMZ da RNP Desenvolver um protó9po do modelo de DMZ Cien=fica para ser implementado em insctuições brasileiras. Especificação e implantação dos equipamentos da DMZ Cien=fica em 7 ins9tuições USP, INPE, UFPE, IFPE, UFRJ, ON, RNP- RJ Kits de baixo custo com capacidade de 1G e 10G. Podem ser adquiridos no Brasil. Disseminar o conceito e promover implantações da DMZ Cien1fica

5 Introdução Projeto SD² - So#ware Defined Science DMZ Coordenadores: Tereza CrisCna M. B. Carvalho (carvalho@larc.usp.br) Fernando Frota Redigolo (fernando@larc.usp.br) Equipe: Dino R. C. Magri (dino@larc.usp.br) Luís Felipe de Almeida da Silva (lsilva@larc.usp.br) Rafael Augusto Brandão (rbrandao@larc.usp.br) Marco Antonio Torrez Rojas (matrojas@larc.usp.br)

6 Introdução E- Science e transferência de dados E- Science requer pesquisa colabora9va, transferência de volume de dados crescente e tem como requisitos: Baixo tempo de Transferência e Banda larga de transmissão Pesquisadores realizam trabalhos cien1ficos colaboracvos e compar9lham recursos computacionais e dados. Com essa colaboração é necessário movimentar grandes volumes de dados, da ordem de gigabytes ou até mesmo terabytes por dia.

7 Introdução E- Science e transferência de dados As redes de comunicação tornam- se fundamentais para viabilizar e fomentar a e- science. Por exemplo, o tempo mínimo para transferência de 1TB (em condições ideais): 30 horas (100 Mbps) 3 horas (1 Gbps) 20 minutos (10 Gbps) Porém nem sempre as coisas acontecem como no mundo ideal...

8 Introdução E- Science e transferência de dados Experimento 1: cluster de emulação de redes (Emulab/ ProtoGENI) Servidores bsicos dedicados sem ocmização Transferência disco- a- disco: 3 tamanhos de arquivos: 1G, 10G e 50GB 3 ferramentas: scp, ep, xrootd Enlaces de 1Gbps, com roteamento Testes com enlaces (iperf) indicaram 914 Mbps disponível para transferência de A para B Servidor A" Roteador Linux" Servidor B"

9 Introdução E- Science e transferência de dados Ferramentas com diferentes vazões Mesma ferramenta com diferentes vazões dependendo o tamanho do arquivo. Vazão (Mbps) SCP FTP XrootD 50G 10G 1G SCP FTP XrootD 50G G G

10 Introdução E- Science e transferência de dados E a questão se segurança? Transferência de arquivos com e sem firewall Experimento 2: Emulab/ProtoGENI Servidores bsicos dedicados sem ocmização Transferência disco- a- disco: 1 tamanho de arquivo: 1GB 1 ferramenta: xrootd Enlaces de 1Gbps, com roteamento Testes com ou sem regras no firewall 6324 regras iptables Firewall " Linux" Servidor A" Servidor B"

11 Introdução E- Science e transferência de dados Vazão Xrootd - Arquivo 1G (Mbps) Vazão (Mbps) Sem Firewall Com Firewall Vazão (Mbps)

12 Introdução E- Science e transferência de dados Por que isso acontece? Como invescgar esta questão? Como resolver esta questão?

13 Introdução E- Science e transferência de dados Fluxos Tradicionais Grande número de ﬂuxos consumindo pouca banda Pequena taxa de perda de pacotes não afeta desempenho de forma signiﬁcacva. Filtragem complexa h2p smtp erp Fluxos Tradicionais VoIP h2p h2p p2p imap h2p VoIP imap erp

14 Introdução E- Science e transferência de dados Fluxos Cien=ficos Pequeno número de fluxos consumindo muita banda Pequena taxa de perda de pacotes afeta desempenho de forma significacva Controle simples Transferência Cien?fica Fluxos Cien=ficos

15 Introdução E- Science e transferência de dados A segregação das aplicações cien1ficas permite: Simplificar as tarefas de ocmização da rede para fluxos cien1ficos Analisar problemas de desempenho Implementar mecanismos de segurança apropriados para não comprometer o desempenho das aplicações Essa segregação pode ser realizada aplicando uma DMZ Cien1fica

16 DMZ Cien=fica da RNP Profa. Tereza CrisCna de Melo Brito Carvalho Fernando Frota Redigolo Dino Raffael CristofoleC Magri

17 DMZ Científica da RNP Modelo de DMZ Cien=fica Modelo DMZ Cien=fica foi proposto pela ESnet para mi9gar os problemas encontrados nos ambientes de pesquisa com aplicações de e- Science. Conceito DMZ Cien=fica: Segmento especializado da rede de um laboratório ou campus Próximo ao perímetro da rede Projetado para aplicações cien=ficas de alta desempenho

18 Rede de Campus sem DMZ Científica Rede" Acadêmica" Roteador" de borda" Firewall! Sistema científico para Armazenamento/ Computação " Rede" Produção" Campus"

19 Rede de Campus com DMZ Científica Rede" Acadêmica" Roteador" de borda" Firewall! Otimizações / Políticas para! Acesso Externo! Otimizações / Políticas para! Acesso Interno! Sistema científico para Armazenamento/ Computação " Rede" Produção" Campus"

20 Validação da Arquitetura Iperf scp ep AWS - EUA Processador 64 bits Xeon 7,5 GB CentOS 6.5 ~ 140 ms ~ 142 ms DTN- USP dtn.sciencedmz.usp.br Processador Intel E GB RAID- 0 (7 discos de 1 TB) CentOS 6.5 SIM- LARC- USP sim.larc.usp.br Processador Xeon GB 1 TB Red Hat 6

21 Validação da Arquitetura Benefício de 20+ % iperf scp ep 0.00 Amazon - Lab Amazon - DTN

22 DMZ Científica da RNP Componentes de uma DMZ Cien=fica 1. Sistemas dedicados e o9mizados para transferências de dados em alta velocidade a longa distância (DTN Data Transfer Node), 2. Mecanismos de monitoramento e testes de rede interins9tucionais (PerfSonar); 3. Arquitetura de rede projetada para as necessidades de desempenho das aplicações cien=ficas; 4. Mecanismos e polí9cas de segurança próprios para aplicações cien1ficas de alto desempenho, diferenciadas das existentes na rede de produção

23 DMZ Científica da RNP Arquitetura de uma DMZ Cien=fica A arquitetura de uma DMZ Cien=fica NÃO é fixa, devendo ser adequada à rede da insctuição e à necessidade de suas aplicações. Para facilitar a implantação da DMZ Cien1fica nas insctuições parceiras do projeto foi definida uma arquitetura genérica que pudesse ser usada como base para implantação. A Arquitetura foi baseada no modelo da ESnet

24 DMZ Científica da RNP Arquitetura genérica adotada no projeto DTN" Rede" Acadêmica" perfsonar Banda" perfsonar Atraso" Switch" Roteador" de borda" DMZ Científica Firewall! Servidor Caso de Uso" Rede" Produção" Campus" Alternativas de conectividade interna e externa "

25 DMZ Científica da RNP Equipamentos de Rede Selecionados Kit 10G Deep Buffer Switch Tamanho do buffer (> 60MB para RTT de 50 ms) Q- in- Q ou MPLS Grande número de VLANs OpenFlow em modo híbrido Cabo 10G Coaxial Kit 10G: Brocade CES 2024C- 4X Placa Mellanox 10G MCX311A- XCATc/ Openflow e RDMA

26 Resultados em laboratórios Profa. Tereza CrisCna de Melo Brito Carvalho Fernando Frota Redigolo Dino Raffael CristofoleC Magri

27 DMZ Científica da RNP Experimento 1: Sem o9mização e enlaces de 1 Gbps Tamanhos de arquivo: 1G, 10G e 100G Ferramentas: scp wget gridftp com 1, 2, 4, 8 e 16 fluxos em paralelo

28 Resultados em Laboratório G - Sem O9mização G 10G 100G scp wget sshep 1 sshep 2 sshep 4 sshep 8 sshep 16 ep 1 ep 2 ep 4 ep 8 ep 16 Fluxo Fluxos Fluxos Fluxos Fluxos Fluxo Fluxos Fluxos Fluxos Fluxos 1G G G

29 DMZ Científica da RNP Experimento 1: Com o9mização e enlaces de 1 Gbps Tamanhos de arquivo: 1G, 10G e 100G Ferramentas: scp, wget, gridftp com 1,2,4,8 e 16 fluxos OCmizações: BIOS: habilitar o turbo boost e desabilite o hyper- threading e node interleaving NIC: aumentar tamanho da fila e MTU = 9000 Algoritmos de congesconamento: htcp ou cubic I/O Scheduler: algoritmo deadline Sistema de arquivos: cache de leitura e parâmetro associados à escrita em disco

30 Resultados em Laboratório G - Com O9mização G 10G 100G scp wget sshep 1 sshep 2 sshep 4 sshep 8 sshep 16 ep 1 ep 2 ep 4 ep 8 ep 16 Fluxo Fluxos Fluxos Fluxos Fluxos Fluxo Fluxos Fluxos Fluxos Fluxos 1G G G

31 DMZ Científica da RNP Experimento 2: Sem o9mização e enlace de 10Gbps Tamanhos de arquivo: 1G, 10G e 100G Ferramentas: scp, gridftp com 1,2,4,8 e 16 fluxos

32 Resultados em Laboratório G - Sem O9mização Arquivos 1G Arquivos 10G Arquivos 100G scp sshep 1 Fluxo sshep 2 Fluxos sshep 4 Fluxos sshep 8 Fluxos sshep 16 Fluxos Arquivos 1G Arquivos 10G Arquivos 100G

33 DMZ Científica da RNP Experimento 2: Com o9mização e enlace de 10Gbps Tamanhos de arquivo: 1G, 10G e 100G Ferramentas: scp, gridftp com 1,2,4,8 e 16 fluxos OCmizações Controladora RAID PolíCca de leitura: read ahead, PolíCca de escrita: Always Write Back Strip Size: 1MB Sistema de arquivos data=writeback para uclizar journaling apenas em metadados, commit=300 tempo para sincronizar os metadados, noacme e nodiracme para não gravar data e hora

34 Resultados em Laboratório G - Com O9mização Arquivos 1G Arquivos 10G Arquivos 100G scp sshep 1 Fluxo sshep 2 Fluxos sshep 4 Fluxos sshep 8 Fluxos sshep 16 Fluxos Arquivos 1G Arquivos 10G Arquivos 100G

35 Problemas enfrentados Profa. Tereza CrisCna de Melo Brito Carvalho Fernando Frota Redigolo Dino Raffael CristofoleC Magri

36 Problemas Enfrentados No kit de 10G Possíveis Problemas? Driver da placa de rede? Controladora RAID? Sistemas de arquivos? Discos?

37 Problemas Enfrentados Arquitetura dos Discos Discos Seagate ConstallaCon ES 1TB, 7.2k, 6Gb/s SATA III, e taxa de transferência de 140 MB/s Testes: 8 discos onboard EXT4 8 discos onboard ZFS 8 discos onboard XFS 8 discos onboard + 1 SSD para cache - ZFS 7 discos + 1 SSD para cache na controladora XFS

38 Problemas Enfrentados Escrita Discos 140 MB/s Taxa (MB) Arquivos de 1G Arquivos de 10G 8 discos onboard - EXT4 (MB) discos onboard - ZFS (MB) Discos Onboard + 1 Cache SSD ZFS discos onboard XFS Discos + 1 SSD Controladora XFS

39 Problemas Enfrentados Arquitetura dos Discos Discos Seagate ConstallaCon ES.3 1TB, 7.2k, 6Gb/s SATA III, e taxa de transferência de 175 MB/s Testes: 8 discos onboard EXT4 8 discos onboard ZFS 8 discos onboard XFS 8 discos onboard + 1 SSD para cache - ZFS 7 discos + 1 SSD para cache na controladora XFS

40 Problemas Enfrentados Escrita Discos de 175 MB/s Taxa (MB) Arquivos de 1G Arquivos de 10G 8 discos onboard - EXT4 (MB) discos onboard - ZFS (MB) Discos Onboard + 1 Cache SSD ZFS discos onboard XFS Discos + 1 SSD Controladora XFS

41 Problemas Enfrentados Arquitetura dos Discos Resultados de aproximadamente 8 Gbps uclizando o sistema de arquivos XFS, 7 discos ligados na controladora em RAID- 0 e 1 disco SSD para cache Para alcançar o valor próximo do iperf (9,2 Gbps) ainda é possível o9mizar alguns parâmetros do sistema de arquivos Dependendo do conjunto de dados a serem transferidos é possível ajustar as o9mizações de leitura e escrita para melhorar o desempenho.

42 Problemas Enfrentados Condições da rede Para transferência de alto desempenho é importante que o caminho fim a fim esteja em boas condições e livre de perda Iden9ficar possível problemas nesse caminho é essencial para que seja possível realizar as transferências O soeware perfsonar possibilita agendar testes de latência e banda para que seja possível avaliar as condições da rede

43 Problemas Enfrentados Medições do perfsonar

44 Problemas Enfrentados Medições do perfsonar

45 Problemas Enfrentados Condições da rede Teste com Ohio State University Chamada FAPESP- OSU USP parccipa com o projeto de interligação de sua DMZ Cien1fica com a DMZ da Ohio State University ObjeCvo Estabelecimento de pesquisas colabora9vas entre as duas ins9tuições que envolvam a transferência de grandes volumes de dados nas áreas de telemedicina, veterinária, artes e entretenimento, clima, astronomia e bsica de alta energia, entre outros.

46 Problemas Enfrentados Condições da rede Teste com Ohio State University

47 Problemas Enfrentados Condições da rede Teste com Ohio State University

48 Problemas Enfrentados Segurança A DMZ Cien1fica demanda uma nova abordagem de segurança Houve 2 9pos de incidentes (todos em servidores 10G) Vulnerabilidade no NTP (NTP AmplificaGon AHack) Permissões no SSH Necessário que a equipe de segurança da insctuição esteja ciente desta nova abordagem e trabalhe em conjunto para garancr a segurança da DMZ Cien1fica PolíCca de segurança da DMZ Cien1fica alinhada com a polícca de segurança da insctuição

49 Considerações Finais Profa. Tereza CrisCna de Melo Brito Carvalho Fernando Frota Redigolo Dino Raffael CristofoleC Magri

50 Considerações Finais E- Science requer: Pesquisa Colabora9va Transferência de Volume de dados crescente. Requisitos: Banda larga de transmissão. Baixo tempo de transferência.

51 Considerações Finais Sistemas atuais com baixa vazão: Ferramentas inadequadas. Sistemas de segurança de proposito geral. Protocolos de transporte com suporte a controle de congesconamento para aplicações não ciencficas. Servidor de armazenamento com baixa taxa de transferência. Sistemas de DMZ Cien1fica Sistemas de segurança customizados para aplicações ciencficas. Protocolo de transporte adequado. Arquitetura com componentes de alto desempenho.

52 Considerações Finais Desafios Futuros DMZ Cien1fica com suporte a SDN/OpenFlow Controlar o compar9lhamento de recursos da DMZ entre aplicações de maneira a se minimizar a interferência entre elas Solucionar alguns problemas de integração (e.g., para se integrar um serviço de circuitos dinâmicos como o SE- CIPÓ da RNP até a interface do DTN ou para se integrar equipamentos especializados na rede da insctuição à DMZ).

53 Agradecimentos

54

55 Contatos Coordenadores: Tereza CrisCna M. B. Carvalho Fernando Frota Redigolo Dino R. C. Magri