Infraestrutura de mnitrament da rede LHCONE d grid WLCG d experiment LHC d CERN Pedr Diniz, Niltn Alves Jr., Márci Prtes, Renat Santana phds@cbpf.br, naj@cbpf.br, mpa@cbpf.br, rsantana@cbpf.br 29/05/2015, GTER 39 CEFET- RJ 1
LARGE HADRON COLLIDER (LHC) Aceleradr de partículas circular 4 grandes experiments 50-175 metrs de prfundidade 27 km de circunferência Partículas aceleradas a 99,9999991% da velcidade da luz (11.245 vltas pr segund) 2
LARGE HADRON COLLIDER (LHC) 600 milhões de clisões a cada segund 1 em um milhã de clisões é de interesse Rápida pré- seleçã eletrônica aprva 1 de 10.000 events e armazena em memória (100 GB/s) 15.000 núcles de prcessament selecinam 1 de cada 100 ds events pré- selecinads 3
WORLDWIDE LHC COMPUTING GRID Mdel de cmputaçã hierárquic TIER 0 73.000 cres Agregaçã de dads Recnstruçã inicial de dads Cópia ds dads para fita Distribuiçã de dads TIER 1 (11 centrs) Armazenament permanente Reprcessament Análise TIER 2 (140 centrs) Simulaçã Análise de usuári final 4
PARTICIPAÇÃO BRASILEIRA NO LHC Pesquisadres brasileirs participam em tds s experiments d LHC: Desenvlviment de dispsitivs eletrônics Análise de experiments Física teórica Sites Tier2 d WLCG WLCG sites n Brasil: CBPF LHCb (700 cres / 300 TB) USP (SAMPA) ALICE (1680 cres / 300 TB) UNESP (SPRACE) CMS (1200 cres / 800 TB) UERJ (HEPGRID) CMS (600 cres / 150 TB) 5
PAPEL DAS REDES NO WLCG As redes de cmputadres sã um cmpnente essencial d WLCG 6
REDES NO WLCG Duas redes de dads privadas e dedicadas: LHC Optical Private Netwrk (Tier0 - Tier1s) LHC Open Netwrk Envirnment (Tier1s - Tier2s) 7
LHC OPTICAL PRIVATE NETWORK Rede privada que cnecta Tier0 e Tier1s Enlace de alta largura de banda dedicada Arquitetura altamente resiliente (estrela e mesh-parcial) Rteament BGP: cmmunities sã utilizadas para engenharia de tráfeg Segurança: smente s prefixs IP declarads pdem trcar tráfeg 8
LHC OPEN NETWORK ENVIRONMENT Nv mdel de cmputaçã Us de strage mais dinâmic Carga reduzida ns Tiers1 Necessidade de rede mais rápidas e previsíveis para cnexã entre Tier1s e Tier2s 9
LHC OPEN NETWORK ENVIRONMENT Cnceits Principais: Cmpartilhament de cust e utilizaçã de recurss cars (enlaces transceânics) Esfrç clabrativ entre diversas redes de educaçã e pesquisa pr td mund (e.g. GÈANT, ESnet, Internet2) Segregaçã de tráfeg: nã há disputa cm utrs tips de tráfeg, recurs alcad e financiad pela cmunidade de física de altas energias Carga reduzida ns Tiers1 10
LHC OPEN NETWORK ENVIRONMENT O que é? Rede privada sbrepsta à Internet através de VRFs, suprtada pr: Ø Mais de 15 redes de educaçã e pesquisa nacinais e internacinais Ø Intercnectada através de Pnts de Trca de Tráfeg pel mund, incluind NetherLight, StarLight, MANLAN, Internet2, ESnet, entre utrs Rteament multi-dmíni cm IP nrmal, mas cm restrições ns prefixs IP advertids, cm enlaces de acess transatlântics dedicads Mais de 50 sites cnectads Ø 10 Tier 1s Ø 45 Tier 2s Em peraçã desde 2012 11
12
LHC OPEN NETWORK ENVIRONMENT Exempl LHCONE na Eurpa: Tráfeg agregad de tdas as redes de pesquisa eurpeias e s peers: Ø Tráfeg médi: ~25 Gbps Ø Tráfeg de pic sustentad: ~35 Gbps Ø Tráfeg transatlântic: ~25 Gbps 13
LHC OPEN NETWORK ENVIRONMENT Serviçs: L3VPN: Virtual Private Netwrk rteada (em prduçã) P2P: enlaces pnt-a-pnt, garantia de banda (em desenvlviment) PerfSONAR: infraestrutura de mnitrament (em prduçã) 14
Arquitetura L3VPN LHC OPEN NETWORK ENVIRONMENT TierX se cnectam às VRFs-Nacinais u VRFs-Cntinentais VRFs-Nacinais sã intercnectadas através das VRFs-Cntinentais VRFs-Cntinentais sã intercnectadas através de enlaces transcntinentais e/u transceânics VRF = Virtual Ruting Frwarding (virtual ruting instance) 15
LHC OPEN NETWORK ENVIRONMENT Participaçã Brasileira: GÈANT Prjet pilt de cnexã d CBPF Esfrç crdenad entre diverss grups: REDCLARA Ø GÈANT Ø RedCLARA Ø RNP Ø RedeRi/FAPERJ Ø CBPF ANSP Sã Paul RNP Brazil RedeRi Ri de Janeir SPRACE (UNESP) SAMPA (USP) HEPGRID (UERJ) CBPF 16
LHC OPEN NETWORK ENVIRONMENT REDCLARA GÈANT RNP Brazil Participaçã Brasileira Prjet pilt de cnexã d CBPF Esfrç crdenad entre diverss grups: Ø GÈANT Ø RedCLARA Ø RNP Ø RedeRi/FAPERJ Ø CBPF 10 Gbps RedeRi Ri de Janeir 10 Gbps CBPF 17
Exempl de cnexã LHC OPEN NETWORK ENVIRONMENT 18
LHC OPEN NETWORK ENVIRONMENT Pr que testar s sites pertencentes a LHCONE? Identificar prblemas ns paths entre s sites Encntrar a lcalizaçã ds prblemas Caracterizar a utilizaçã da rede Definir expectativas sbre que é pssível e esperad Frnecer métricas de utilizaçã da rede para serviçs existentes e futurs 19
LHC OPEN NETWORK ENVIRONMENT Mnitrament de Desempenh WLCG Netwrk and Transfer Metrics Wrking Grup Ø Objetivs ü Encntrar e islar prblemas ü Caracterizar utilizaçã da rede ü Prver fntes de métricas de rede para utilizaçã de serviçs de mais alt nível ü Crdenar cmissinament e manutençã d mnitrament de rede d WLCG v Finalizar a implementaçã d perfsonar v Garantir que tds s enlaces sejam mnitrads e crretamente cnfigurads v Otimizar s parâmetrs de rede Ø Criaçã: Setembr de 2014 20
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament Pr que? Ø Amplamente suprtad em redes de educaçã e pesquisa Ø Prvê medições prgramadas de métricas de rede padrã Ø Simples implantaçã ( netinstall, CD-ROM u pendrive) Ø Suprta testes sb demanda Ø Ferramentas imprtantes para verificaçã das métricas ü Banda: bwctl s <surce> -c <destinatin> ü Latência: wping <destinatin> Ø Útil para: ü Debug ü Verificar mudanças em cnfiguraçã de firewall ü Verificar mudanças em serviçs 21
Infraestrutura de Mnitrament Históric LHC OPEN NETWORK ENVIRONMENT Ø LHCOPN adtu perfsonar-ps tlkit em Junh de 2011; implementad em setembr de 2011 Ø WLCG iniciu a implementaçã d PS tlkit em tds s sites em Abril de 2014 Ø LHCONE necessitava de mnitrament específic: ü Utilizand mesm Sistema d WLCG para cas específic ü Utilizand s sites existentes e instrumentand s PPs d LHCONE Nã diretamente vinculads a WLCG 22
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament hfp://grid- mnitring.cern.ch/perfsnar_reprt.txt Fnte: Integra)ng netwrk and transfer metrics t p)mize transfer efficiency and experiment wrkflws. SHAWN, M. et al. CHEP 2015 23
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament Interface de Cnfiguraçã perfsonar basta ser cnfigurad uma única vez, cm uma aut- URL http://mysg.grid.iu.edu/pfmesh/ hstname/<nde_id> Interface de cnfiguraçã e a aut- URL permite a recnfiguraçã dinâmica de tdas as instâncias perfsonar Fnte: Integra)ng netwrk and transfer metrics t p)mize transfer efficiency and experiment wrkflws. SHAWN, M. et al. CHEP 2015 24
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament Interface de Cnfiguraçã 25
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament Atualmente existem 12 sites realizand testes de banda e latência (http:// maddash.aglt2.rg/maddash-webui/index.cgi?dashbard=lhcone%20mesh%20cnfig) Banda (BWCTL) Latência (OWAMP) 26
Infraestrutura de Mnitrament v Cnfiguraçã LHC OPEN NETWORK ENVIRONMENT Ndes lcalizads mais próxim pssível d strage ds sites (garante a mediçã d mesm caminh de/para strage destin) Duas instâncias de mediçã e uma verificaçã sã realizadas Ø Latência ü Mede ne way delay enviand 10 pactes/s para tds s alvs Ø Banda ü Mede a banda alcançável em testes de 25 segunds a cada 6 hras Ø Tracerute ü Testes realizads a tds s parceirs a cada 20 minuts Verifica qual caminh está ativ durante s testes 27
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament v Platafrma de Mnitrament Objetiv: garantir a cnfiabilidade de tdas as métricas 28
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament v Platafrma de Mnitrament Sumáris pr mesh 29
LHC OPEN NETWORK ENVIRONMENT Infraestrutura de Mnitrament v Platafrma de Mnitrament Sumári de serviçs 30
Infraestrutura de Mnitrament v Plans (WG) LHC OPEN NETWORK ENVIRONMENT Integrar as infrmações de latência e tracerutes cm as infrmações de thrughput ds sistemas de transferência (FTS, PhEDEx, XRtD...) Prver um mapeament entre s sites (strages) e s snares Garantir um acess unifrme a mnitrament de rede Prver uma platafrma que integre métricas de rede e de transferências 31
OBRIGADO! Api: 32