Serviços de Computação Distribuída

Transcrição

1 Serviços de Computação Distribuída Jornadas FCCN de Fevereiro de 2013

2 e-science

3 e-science e-science (or escience) is computationally intensive science that is carried out in highly distributed network environments, or science that uses immense data sets that require grid computing; the term sometimes includes technologies that enable distributed collaboration Wikipedia o o o Termo criado por John Taylor director do Office of Science and Technology no Reino Unido em Nos Estados Unidos o termo Cyberinfrastructure tem sido usado com o mesmo significado. Suporte à investigação cientifica com vista a novas descobertas: através da analise de vastas quantidades de dados armazenados em diversas localizações acessíveis através de redes de comunicação e usando recursos computacionais igualmente distribuídos.

4 Novas descobertas CERN experiments observe particle consistent with long-sought Higgs boson Geneva, 4 July At a seminar held at CERN today as a curtain raiser to the year s major particle physics conference, ICHEP2012 in Melbourne, the ATLAS and CMS experiments presented their latest preliminary results in the search for the long sought Higgs particle. Both experiments observe a new particle in the mass region around GeV

5 Novas descobertas A computação grid desempenhou um papel fundamental na descoberta do bosão de Higgs. As experiências do LHC geram grandes quantidades de dados que são processados e analisados de forma distribuída.

6 Computação e Física de Altas Energias Os físicos querem sempre ir mais longe. A computação é uma área tecnológica fundamental para a física de altas energias. Tim Berners-Lee, a scientist at CERN, invented the World Wide Web (WWW) in The Web was originally conceived and developed to meet the demand for automatic information sharing between scientists working in different universities and institutes all over the world. CERN is not an isolated laboratory, but rather a focus for an extensive community that now includes about 60 countries and about 8000 scientists., they usually work at universities and national laboratories in their home countries. Good contact is clearly essential.

7 Fundamental Physics Questions Why do particles have mass? Newton could not explain it - and neither can we What is 96% of the Universe made of? We only observe 4% of it! Why is there no antimatter left in the Universe? Nature should be symmetrical What was matter like during the first second of the Universe, right after the "Big Bang"? A journey towards the beginning of the Universe gives us deeper insight The Large Hadron Collider (LHC) allows us to look at microscopic big bangs to understand the fundamental laws of nature.

8 LHC LEP Our Universe is expanding and cooling... CloudViews, Porto,... since May billion years 8

9 LHC 27 Km perimeter m buried 600M collisions/s º C atm 135 MW max Cross section of an LHC dipole in the tunnel.

10 Acelerador e detectores Experiências no LHC

11

12 Colisões e eventos no LHC o Luminosidade : 1034cm -2 s -1 o Frequência: 40 MHz cada 25 ns

13 Aquisição de dados

14 Worldwide LHC Computing Grid Volume de dados 4 experiências 15 PetaBytes por ano Complexidade Dados complexos Mais de utilizadores Mais de CPUs modernos Escala global Recursos distribuídos Centenas de laboratórios Analise e simulação distribuída Computação grid o O paradigma da computação grid foi adoptado para a integração dos recursos computacionais. o A comunidade da física de altas energias tem sido uma grande impulsionadora da computação grid.

15 WLCG arquitectura CERN Tier-0 PIC Tier-1 NCG Tier-2

16 Worldwide LHC Computing Grid Middleware grid permite integração à escala global 4 experiências 36 países 170 centros de cálculo 12 grandes centros 38 federações de centros mais pequenos (Tier-2) EGI, OSG, etc PT-LIP-Tier-2

17

18 WLCG - Tempo de processamento LHCB CMS ATLAS ALICE o De Janeiro de 2009 a Dezembro de 2012

19 WLCG Castor Tape Storage Datawritten: Total ~22 PB in 2012 (LHC data) Close to 3.5 PB/month now Expect close to 30 PB in 2012 Expect close to 30 PB in 2012 (15, 23, in 2010,11) Data rates in Castor increased 3-4 GB/s input ~15 GB/s output 19

20 Evolução dos requisitos do LHC Processamento (HEPSPEC06) Armazenamento Online (TB) LHCB ALICE CMS ATLAS LHCB ALICE CMS ATLAS Armazenamento Offline (TB) LHCB ALICE CMS o o O LHC vai estar parado para upgrade durante No final de 2014 vai voltar com mais energia o Requisitos para %

21 WLCG PT Tier-2

22 Laboratório de Instrumentação e Partículas o LIP instituição de investigação cientifica: Física Experimental de Altas Energias Criado em 1986 quando Portugal aderiu ao CERN Estatuto de laboratório associado Polos: Lisboa, Coimbra, Braga o Participa em diversas experiências cientificas internacionais de grande dimensão: Entre as quais ATLAS, CMS no CERN o Outras actividaes: Construção de sistemas de aquisição de dados e detectores, I&D em detectores, física medica, software de simulação Geant4 Computação, electrónica, mecânica de precisão CERN - LHC

23 WLCG PT Tier-2 o Os paises que participam no programa experimental do LHC têm de contribuir para o esforço de processamento dos dados: MoU para a computação no LHC MoU do WLCG é assinado pelo CERN, pelos governos e laboratórios Assinado pelo GRICES Contribuição nacional é um Tier-2 ATLAS CMS Disco (TB) CPU (HS06)

24 WLCG PT Tier-2 o Tier-2 federado o A capacidade é disponibilizada por 3 centros: NCG: ATLAS e CMS 60% LIP Lisboa: ATLAS e CMS 28% LIP Coimbra: ATLAS 12% LIP Coimbra LIP Lisbon Centro nacional NCG

25 WLCG PT Tier-2 - Rede LNEC Nó Central Grid 3 Gbps FCCN Layer 3 10 Gbps LIP 10 Gbps 10 Gbps Lisboa Layer 2 LIP Coimbra Excelente conectividade fornecida pela FCCN! Nada teria sido possivel sem uma boa rede.

26 WLCG PT Tier-2 - Fluxo em CMS

27 LIP WLCG Tier-2 Tempo de CPU cms atlas Tier-2 Europeus Tempo de CPU fornecido HEP Specs 2006 * horas Entre os 33 países/tiers-2 que suportam ATLAS e/ou CMS Portugal é o 13º fornecedor de tempo de CPU (desde 2009)

28 WLCG PT Tier-2 - Utilização desde 2009 NCG-INGRID-PT LIP-Lisbon LIP-Coimbra Os três centros que contribuem para o Tier-2 Tempo de CPU normalizado em HEP Specs 2006 * hora

29 LIP WLCG Tier-2 - Na região Ibérica PT-LIP-Tier-2

30 Computação grid

31 Computação Grid o Um paradigma de computação distribuída o Federação de recursos: Heterogéneos Distribuídos geograficamente Pertencentes a diversas entidades o Fonte universal de recursos computacionais: o Permitir: Acesso uniforme e seguro Protocolos abertos Partilha de recursos Utilização combinada dos recursos Optimização dos recursos

32 Computação Grid A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities. The Grid: Blueprint for a New Computing Infrastructure (1998) Ian Foster, Carl Kesselman Grid Checklist: coordinates resources that are not subject to centralized control using standard, open, general-purpose protocols and interfaces to deliver nontrivial qualities of service What is the Grid? Three Point Checklist Ian Foster

33 Computação Grid e Ciência o É cada vez mais difícil que uma única instituição de investigação consiga disponibilizar os meios computacionais necessários para a investigação cientifica moderna. o Alguns domínios de utilização da computação grid: Física/Astronomia: processamento de dados de diferentes tipos de instrumentos Medicina: imagiologia, diagnostico e tratamento Bioinformática: estudo do genoma e proteoma compreender as doenças genéticas Nanotecnologia: concepção de novos materiais à escala molecular Engenharia: desenho, concepção, simulação, analise de falhas, instrumentação remota e controlo Ambiente e recursos naturais: meteorologia, observação da terra, modelação de sistemas complexos: rios, inundações, tremores de terra

34 Computação Grid e Ciência Os investigadores querem realizar as suas actividades independentemente da sua localização. Para isso precisam de interagir com os seus colegas e partilhar dados e informação distribuídos por todo o mundo GRID: centros de processamento de dados distribuídos e software para integrar os recursos middleware Instrumentos científicos e experiências produzem gigantescas quantidades de dados armazenados em diferentes locais e que apenas podem ser processados através da combinação de recursos computacionais.

35 Como funciona O middleware grid permite que as aplicações dos utilizadores possam aceder a recursos de cálculo, e armazenamento em rede. o Acesso uniforme o Autenticação/autorização o Segurança o Catalogar recursos o Encontrar recursos o Gerir dados o Executar programas

36 Organização virtual (VO) o Conjunto dinâmico de utilizadores o Conjunto de políticas de uso o Conjunto de recursos o Varia em tamanho, estrutura, duração, âmbito, etc B C D A E

37 Organização virtual (VO) o Infraestrutura grid como BUS: Serviços Recursos Utilizadores o Comunidades de investigadores: Organizam-se e criam uma VO ou aderem a uma VO existente Integram os seus recursos na infraestrutura Partilham os seus recursos entre os membros da VOs Poderão partilhar capacidade não utilizada com outras VOs Operações Recursos VO Serv. centrais Helpdesk Suporte às VOs Treino Disseminação EGEE / EGI - Grid Infraestrutura (bus) Recursos VO VO Recursos VO Recursos Recursos VO VO Recursos VO Middleware Recursos

38 Organização virtual (VO) o Um utilizador pode ser membro de múltiplas VOs o Um recurso pode suportar múltiplas VOs o Autenticação: Utilizadores e recursos são autenticados via certificados X.509 Uma rede de autoridades de certificação acreditadas pelo International Grid Trust Federation (IGTF) emite os certificados o Autorização: Cada VO possui o seu serviço de autenticação e gestão da VO onde os utilizadores se devem registar (VOMS, VOMSRS) Dentro de cada VO podem existir grupos de utilizadores Dentro de cada VO um utilizador pode ter múltiplas funções

39 Infraestruturas

40 Infraestruturas grid na Europa e EUA Europa Estados Unidos Projectos EU Projectos nacionais European Grid Initiative Regional Grid Federations National Grid Initiatives Open Science Grid Extreme Science and Engineering Discovery Environment

41 Computação grid na Europa European Grid Initiative Grids para e-ciência Sustentabilidade na Europa: Novo modelo organizacional: National Grid Initiatives (NGIs) European Grid Initiative (EGI) Sede do EGI em Amesterdão Sustentabilidade da infraestrutura grid Europeia

42 European Grid Initiative (EGI)

43 European Grid Initiative (EGI) o e-science o Computação distribuída para investigação científica o Sustentabilidade Afastamento do modelo baseado em projectos o Criação de uma organização egi.eu Sediada em Amesterdão Fundação de direito Holandês Coordenação da grid Europeia o Novo modelo organizacional: National Grid Initiatives (NGIs) European Grid Initiative (EGI)

44 EGI in numbers o Federated Infrastructure Resource Providers: 351 centres federated into NGIs Resources: 470,000 CPU cores, 143PB disk, 138PB Tape Resource centre autonomy in resource allocation to VOs o Distributed research communities Users: 21,700 grouped into 233 Virtual Organisations (VOs)

45 National Grid Initiatives (NGIs) o Entidades criadas pelos países para gerir as suas infraestruturas nacionais de computação distribuída o Entidades com existência a longo termo com vista à sustentabilidade o Obedecem a uma estrutura operacional comum o Podem ter modelos bastante diferentes: Organização nacional com existência legal Projecto de iniciativa governamental Projecto ou consórcio de instituições académicas e de investigação Iniciativa ou programa governamental o Integrar e gerir recursos computacionais: Unidades de investigação, universidades e centros de computação Para beneficio da comunidade científica Participação em projectos e infraestruturas internacionais

46 National Grid Initiatives (NGIs) o NGI International Liason Policy and strategy User communities Virtual teams interface Outreach Training o User support Helpdesk Consultancy Prospective users o Operations Core services Accounting Monitoring Site coordination Site support Security Network support Authentication Middleware coord/rollout

47 National Grid Initiatives (NGIs) o 32 NGIs in Europe Belgium Bulgaria Croatia Cyprus Czech Republic Denmark Estonia Finland France Germany Greece Hungary Ireland Israel Italy Latvia Lithuania Macedoni Moldova Montenegro The Netherlands Norway Poland Portugal Romania Serbia Slovakia Slovenia Spain Sweden Switzerland Turkey United Kingdom

48 Iniciativa Nacional Grid

49 Projectos grid DataGrid CrossGrid LCG EGEE- I EELA EGEE -II Int.Eu.Grid EGEE- III EGI Inspire Participação do LIP em projectos grid (EU) Iniciativa Nacional Grid

50 Primeiros passos o A existência de uma infraestrutura grid para cálculo científico remonta a 2005 o Participação no projecto EGEE o Adesão de diversos centros e Universidades o Colaboração Ibérica o Desde então a infraestrutura manteve-se sempre activa Actual infraestrutura grid nacional

51 Iniciativa Nacional Grid o Iniciativa governamental Lançada em Abril de 2006 Coordenação pela UMIC que passou para a FCT em 2012 o Objectivos principais Suporte ao desenvolvimento da computação grid para a resolução de problemas complexos Apoiar desenvolvimento de competências no domínio da computação grid Integrar Portugal em infraestruturas grid internacionais

52 Iniciativa Nacional Grid Projectos G-Cast: Application of GRIDcomputing in a coastal morphodynamics nowcast-forecast system GridClass - Learning Classifiers Systems for Grid Data Mining PoliGrid - distributed policies for resource management in Grids Collaborative Resources Online to Support Simulations on Forest Fires (CROSS-Fire): a Grid Platform to Integrate Geo-referenced Web Services for Real-Time Management GRID for ATLAS/LHC data simulation and analysis GERES-med: Grid-Enabled REpositorieS for medical applications BING Brain Imaging Network Grid GRITO A Grid for preservation PM#GRID - GRID Platform Development for European Scale Satellite Based Air Pollution Mapping AspectGrid: Pluggable Grid Aspects for Scientific Applications P-found: GRID computing and distributed data warehousing of protein folding and unfolding simulations

53 Iniciativa Nacional Grid - Infraestrutura Infra-estrutura grid nacional autónoma Recursos Centrais Nó Central Grid Recursos Existentes (EGEE, int.eu.grid, EELA, projectos INGRID...) Outros recursos Integração/suporte em infraestruturas internacionais EGI IBERGRID WLCG... Utilizadores: o Grid (Organizações virtuais) nacionais internacionais o Outros utilizadores nacionais (com elevados requisitos)

54 Iniciativa Nacional Grid - Infraestrutura o Nó Central Grid no Campus do LNEC o IEETA em Aveiro o Universidade do Porto o Universidade do Minho o Centro de Física de Plasmas no IST o LIP em Lisboa o LIP em Coimbra o Capacidade actual: 2126 cores de processamento 700 Terabytes

55 Iniciativa Nacional Grid - Infraestrutura o 4 milhões de trabalhos o 11 milhões de horas de processamento (1255 anos)

56 Sala Grid e Nó Central Grid

57 NCG - Sala Grid o Alojamento do núcleo da infraestrutura nacional de computação grid. o Os acordos com o CERN para LHC foram um dos grandes motores do projecto o Resultado de um projecto entre: FCCN, LIP, LNEC o Localizado: Campus do LNEC em Lisboa Perto do NOC da FCCN o Objectivos principais: Alojar os serviços centrais grid Fornecer capacidade para o LHC Fornecer capacidade para a comunidade científica

58 NCG - Sala Grid Excelentes condições de alojamento Posto de transformação próprio Alimentação ininterrupta Gerador diesel para sistemas críticos Arrefecimento a agua por chillers Detecção e extinção de incêndios FCCN: gestão da sala LIP: gestão dos meios de cálculo Excelente fiabilidade!

59 NCG - Arquitectura Infiniband Laminas de cálculo (blades)... Serviços de apoio Laminas CORE CORE Core 10gigabit Ethernet switch net... ~1250 CPU cores ~ 620 TB raw Armazenamento (direct attachment)

60

61 NCG - Serviço HTC o High Throughput Computing o Blades 2x quad core AMD Opteron x quad core Intel Xeon E5420 2x quad core Intel Xeon X5550 Em cada blade: 3GB RAM por p/ core (24GB p/ blade) Gigabit Ethernet ~ 200GB SAS local disk o (Sun) Grid Engine batch scheduler o Scientific Linux 5 (RHEL 5 compatible)

62 NCG - Serviço HPC (A) o High Performance Computing o Blades 2x quad core AMD Opteron 2356 Em cada blade: 4GB p/ core (32GB por blade) Infiniband (baixa latencia) 2x146GB SAS local disk stripe Message Passing Interface (MPI) MPICH OpenMPI o (Sun) Grid Engine batch scheduler o Scientific Linux 5 (RHEL 5 compatible)

63 NCG - Serviço HPC (B) o High Performance Computing o Blades 2x quad core AMD Opteron 2356 Em cada blade: 3GB p/ core (24GB por blade) 2x Gigabit Ethernet 2x146GB SAS local disk stripe Message Passing Interface (MPI) MPICH OpenMPI o (Sun) Grid Engine batch scheduler o Scientific Linux 5 (RHEL 5 compatible)

64 NCG - Medusa o O cluster Medusa do LNEC está alojado no NCG o LNEC HPC cluster 244x cores AMD Opteron 280 1GB RAM p/ core 2x Gigabit Ethernet o (Sun) Grid Engine batch scheduler o Scientific Linux 5 (RHEL 5 compatible) o Totalmente integrado no cluster do NCG

65 NCG - Serviço armazenamento o Lustre Distributed High Performance Filesystem Ideal para acesso a grandes ficheiros Posix compliant 10x servers (4x arrays p/ servidor) ~620Terabytes (1TB SATA disks) 10Gbase-SR HTC RAID 5 HPC Lustre stripe RAID 10

66 NCG - Serviço NFS o NFS 2x servidores 4x arrays 48x discos 450GB SAS SOFTWARE Central mantido pela equipa de gestão Mantido pelos próprios utilizadores HOME directories

67 NCG - Core Services o Plataforma de virtualização 24x blades 2x quad core AMD Opteron GB RAM 2x Gigabit Ethernet Mini SAN 72TB Tecnologia Uso KVM e Xen Suporta os serviços Testbeds de cloud com OpenStack e OpenNebula

68 NCG - Rede o Core switch Force10 C300 Storage servers 10Gbase-SR Blade enclosures 10Gbase-SR iscsi SAN Gigabit Ethernet

69 NCG - Capacidade utilizada O NCG entrou em funcionamento no verão de 2009 Capacidade utilizada em tempo de CPU e está próxima da capacidade maxima do nó central

70 NCG - Tempo de CPU o Desde Julho de 2009 até Novembro de 2012: > de trabalhos > de horas de processamento (~2780 anos num único processador)

71 NCG - Utilização LHC vs não LHC NÃO LHC Uma das missões do NCG é o suporte do Tier-2 do LHC Desde 2009 o processamento e analise de dados do LHC consumiu em média ~ 60% da capacidade utilizada

72 NCG - Utilização por disciplina

73 NCG - Utilização por disciplina Tempo de CPU horas de processamento Information Technologies High Energy Physics Engineering Multidisciplinary Physics Oceanography Space Sciences Life Sciences

74 NCG - HTC vs HPC Tempo de CPU horas de processamento Other HPC Embora de pequena dimensão o serviço HPC forneceu mais de 10% da capacidade utilizada. O serviço encontra-se quase sempre 100% ocupado e com fila de espera

75 NCG - Utilizadores exemplos Utilizadores(origem) Univ do Algarve (CIMA) Univ do Algarve (CCMAR) FCT UNL (CITI) Área e/ou aplicação Simulação de derrames petrolíferos (hidrodinâmica) Formação da estrutura das proteínas LNEC LNEC IST IST Univ de Evora Modelos hidrodinâmicos costeiros Engenharia civil Simulation of turbulent plane jets Non-Linear Dynamics Computação modelos paralelos para problemas combinatórios (ICT) Univ de Lisboa FC (BioFIG) Estudo do genoma de micro-organismos FCT UNL Classical Molecular Dynamics Metadynamics (Chemistry and Material Science)

76 NCG - Utilizadores exemplos Organização Virtual (VO) CMS ATLAS AUGER BIOMED Descrição da VO Suporte computacional à experiência CMS no acelerador LHC no CERN Suporte computacional à experiência ATLAS no acelerador LHC no CERN Suporte computacional ao observatório internacional de raios cósmicos Pierre Auger. Estudo de raios cósmicos de muito alta energia VO temática que reúne investigadores em ciências da vida a nível internacional. Incorpora utilizadores de origens muito diversas e que trabalham em áreas muito diversas. ENMR VO temática para uma infraestrutura computacional de NMR biomolecular ICT PHYS SNOP VO Ibérica (IBERGRID) para investigação em ciências da computação VO Ibérica (IBERGRID) para investigação em Física Suporte computacional à experiência SNOplus no observatório internacional de neutrinos SNOLAB. TUTIB LIFE Desktopgrids DTEAM BING SWETEST e IBER VO Ibérica (IBERGRID) para formação, demonstrações, testes etc VO Ibérica (IBERGRID) para ciências da vida VO multidisciplinar que suporta a execução de trabalhos que usam tecnologia de computação peer-topeer VO que incorpora as equipas de ICT dos centros de recursos grid VO da rede de imagiologia cerebral VOs Ibéricas multidisciplinares

77 IBERGRID

78 IBERGRID - Origem o IBERGRID tem origem: Acordos de cooperação cientifica e tecnológica entre Portugal e Espanha em Novembro de 2003 Memorandos de Entendimento sobre computação grid e redes de I&D em Novembro de 2005 Diversos areas: grid, supercomputação, redes, repositórios, etc o Planos para uma infra-estrutura comum Infra-estruturas grid comuns PT+ES existiram no âmbito de diversos projectos EGEE, EELA, int.eu.grid, etc Em 2007 estudo para uma infra-estrutura comum Em foi estabelecido um piloto

79 IBERGRID - Actualmente o IBERGRID Federação das infraestruturas grid Portuguesa e Espanhola Permite a partilha de recursos entre os dois países Permite a participação conjunta no European Grid Initiative

80 IBERGRID - Objectivos o Partilha de responsabilidades e esforço Tarefas globais do EGI executadas em parceria Operação da infraestrutura Ibérica em parceria Suporte comum Monitorização e accounting comuns Partilha de serviços centrais (core services) Serviço de comunidades virtuais comum o Coordenação Videoconferencia com todos os sites todas as segundas feiras Uma única representação no PMB do EGI-Inspire Estratégia comum como infraestrutura regional -> EGI council

81

82 IBERGRID - VOs o Organizações virtuais Ibéricas temáticas: chem.vo.ibergrid.eu life.vo.ibergrid.eu tut.vo.ibergrid.eu earth.vo.ibergrid.eu phys.vo.ibergrid.eu ict.vo.ibergrid.eu social.vo.ibergrid.eu eng.vo.ibergrid.eu iber.vo.ibergrid.eu hpc.vo.ibergrid.eu o Utilizadores nacionais podem pedir acesso o Suportadas por recursos em Portugal e Espanha o Outras VOs podem ser criadas e/ou suportadas

83 IBERGRID - VOs o Outras organizações virtuais suportadas em alguns sites: alice dca magic edges atlas enmr eela ifisc auger esr snoplus paus biomed fusion t2k UP cms ific agata bing compchem lhcb cta o Projectos, comunidades, experiências etc. o Outras VOs podem ser suportadas a pedido.

84 IBERGRID - Mapa

85 IBERGRID - Tempo de CPU em % da capacidade EGI para VOs não LHC 11% dos trabalhos executados no EGI em VOs não LHC

86 IBERGRID - Tempo de CPU em 2012 xxx VOs com mais utilização no IBERGRID incluindo LHC

87 IBERGRID - Tempo de CPU em 2012 xxx VOs com mais utilização no IBERGRID excluindo LHC

88 IBERGRID - Tempo de CPU em 2012 Tempo de CPU (horas) 01-Jan 01-Fev 01-Mar 01-Abr 01-Mai 01-Jun 01-Jul 01-Ago 01-Set 01-Out 01-Nov 01-Dez 01-Jan 01-Fev 01-Mar 01-Abr Tempo de CPU no Ibérico desde 2009

89 European Grid Initiative

90 European Grid Initiative (EGI) o EGI.eu Stitching European Grid Initiative Foundation established under Dutch law Not yet an ERIC (European Research Infrastructure Consortium) o Objectives: To create an maintain a pan-european scientific grid computing Infrastructure in collaboration with National Grid Initiatives (NGIs) In order to guarantee the long-term availability of a generic pan- European e-infrastructure For all European research communities and their international collaborators.

91 EGI

92 EGI - Infraestrutura Europeia EGI Operações/coordenação Europeia Grid Cloud etc NGIs e-infraestruturas Redes Infraestruturas nacionais Computação grid glite, ARC, UNICORE NRENs, Géant Fornecedores de recursos Recursos físicos (HPC, HTC, etc) Universidades Institutos, NGIs Cálculo armazenamento Os NGIs não se limitam à computação grid e-science

93 EGI - Estrutura Organizacional EGI council EGI.eu Executive Board EGI-InSPIRE Other projects... National Grid Initiatives (NGIs)

94 EGI - Centros de Recursos Membros NGIs Infraestruturas associadas 351 centres 470,000 logical CPUs 143PB disk 138PB Tape 21,700 users 233 Virtual Organisations

95 EGI - Budget Total Activity Cost (338M ) Activity Cost over 4 years (ME); Running Costs; 37,2; 11% Activity Cost over 4 years (ME); National Tasks; 111,2; 33% Activity Cost over 4 years (M ) Activity Cost over 4 years (ME); NGI Tasks; 89,1; 26% Activity Cost over 4 20% years (ME); Other; 69; 20% Activity Cost over 4 years (ME); Hardware; 32,1; 10% Activity Cost over 4 years (ME); General Tasks; 6,7; 2% Hardware EGI-InSPIRE Project Cost (69M ) 10% 65% 25% 25M EC contribution Running Activity Costs Cost over 4 National years Tasks (ME); NGI International Tasks; NGI Tasks 45,1; 13% General Tasks NGI International Tasks EGI Global Activity Tasks Cost over 4 years (ME); EGI Global Tasks; 17,2; 5%

96 EGI - Portugal o A iniciativa nacional grid Portuguesa é membro do EGI: Adesão formal através da UMIC em 2010 Recentemente a FCT assumiu as responsabilidades da UMIC Representação no EGI council o No contexto operacional Portugal e Espanha funcionam como uma única infraestrutura integrada no EGI ao abrigo do IBERGRID. Infraestrutura comum Tarefas e responsabilidades partilhadas

97 EGI - Tempo de CPU por país

98 EGI- Tempo de CPU por país Tempo de CPU em horas desde 2010 Argentina

99 EGI - Tempo de CPU por disciplina de 1 Jan a 16 Dez de 2012 mais de de horas

100 EGI - Vantagens o Integração de recursos para grandes projectos: o Ex. ATLAS, CMS, ALICE, LHCB, AUGER, SNO+, AGATA, etc o Comunidades de investigadores: o Ex. BIOMED, FUSION, ENMR, COMPCHEM, etc o Acesso a recursos da comunidade e/ou projecto o Acesso a recursos de forma oportunistica o Uso integrado e optimizado dos recursos o Suporte, formação, gestão dos recursos

101 e-science outros casos

102 Casos - LNEC o o Marta Rodrigues and Anabela Oliveira, together with colleagues from National Laboratory for Civil Engineering, Portugal (LNEC), applied a three-dimensional computational model called ECO-SELFE to the Aveiro Lagoon scenario. The idea was to determine how the different ecological input parameters are interconnected and which ones are the most likely to affect the health of the lake. The results, published in the Journal of Coastal Research, show that the variable most affected by playing around with the different inputs was the concentration of phytoplankton.

103 Casos engenharia mecanica Instituto de Engenharia Mecanica UTL o o o Pjet this software does parallel DNS simulation of turbulent plane jets. The parallel code allows the existance of DNS simulations for plane jets extending farther than previous published simulations or reaching higher Reynolds numbers. Better insight into dynamics of turbulent fields in transition and fully developed turbulent flow. The use of spatial evolving simulations allows more realistic simulations of these flows in regard to temporal DNS simulations.

104 Casos Dutch genome Mapping the genome of the Netherlands Plan to sequence the genomes of 750 Dutch people Currently 30TB of data Will generate 20 times that amount Analysis time reduced by 80% On-demand analysis

105 Casos - climate Bulgarian researchers have ported three applications to the grid 1. Study the impact of climate change on air quality 2. Model atmospheric composition 3. Investigate emergency responses to the release of harmful substances into the atmosphere

106 Casos - ASTRA Ancient instruments Sound/Timbre Reconstruction Application Has recreated 4 instruments so far Held concerts using these instruments Allow multi-disciplinary collaboration, musicians and historians

107 Casos - ITER Investigating viability of fusion as a power source Modelling and simulating the reactor Used 6 million CPU hours in the grid

108 Casos - CTA The Cherenkov Telescope Array Future ground-based high energy gamma-ray instrument 132 institutes in 25 countries Using applications and grid technology provided by the European grid

109 Casos - DECIDE Neurosciences and medical community Brain data analysis using grid computing Diagnostic Enhancement of Confidence by an International Distributed Environment Diagnostic tools for the medical community Example: A Statistical Parametric Mapping application can help doctors to diagnose Alzheimer s disease in its early stages and track the progress of the symptoms over time.

110 Casos - ozone Climate scientist based at the Aristotle University of Thessaloniki (AUTh) in Greece, have used grid computing to simulate the effect of climate change on ozone concentrations in Europe and over the next 100 years. The research, suggests that the concentration of ground level ozone is likely to increase towards the end of the century, especially in south-west Europe.

111 Casos - AmB Infecções por fungos são perigosas para pacientes debilitados Antibióticos poderosos são necessários Amphotericin B (AmB) é o antibiótico de eleição O AmB é extremamente toxico e causa danos nos tecidos Investigadores Polacos usaram a grid para compreender ao nivel molecular porque razão o AmB é toxico Simulações de dinâmica molecular Permitiu compreender os mecanismo de afinidade do AmB com células humanas e fungos Abre caminho para o desenvolvimento de alternativas menos tóxicas

112 Casos - virus Infecções respiratórias virais são a maior cause de idas ao hospital para crianças com menos de 5 anos Em 40% dos casos o agente não é identificado Existem imensos vírus que não são conhecidos Identificar os virus é importante para o tratamento e epidemiologia Investigadores Holandeses desenvolveram um método para identificar novos vírus a partir de sequencias genéticas não identificadas (VIDISCA) O uso da grid permite reduzir o tempo de cada analise de semanas para apenas 24H

113 Casos - Pierre Auger Studies ultra-high energy cosmic rays, the most energetic and rarest of particles in the universe. When these particles strike the earth's atmosphere, they produce extensive air showers made of billions of secondary particles. Extremely high energies remain mysterious. 500 physicists from more than 90 institutions in 19 countries 1600 surface detectors, 1,5 km apart, covering 3000 km2 Is one of largest grid consumers following the LHC!

114 Estados Unidos

115 EUA- Open Science Grid o Infra-estrutura multidisciplinar o Federação de recursos para as comunidades académica e de investigação o Suportada pelo DoE e NSF LHC Química Biologia Clima Física

116 EUA - Open Science Grid

117 EUA- Extreme Science and Engineering Discovery Environment (XSEDE) o o o o o o o o o Grid focada na Super-computação Infra-estrutura multidisciplinar Parceria de diversas instituições Suportada pela NSF 12 serviços HPC 2 serviços HTC 6 serviços de armazenamento 3 serviços de visualização Sucessor do TeraGrid

118 EUA - Extreme Science and Engineering Discovery Environment (XSEDE) Wispy Purdue Cluster Gordon ION SDSC Cluster Ranger TACC Cluster Kraken-XT5 NICS MPP Mason Indiana U Cluster Lonestar4 TACC Cluster Keeneland- KIDS Georgia Tech Cluster Steele Purdue U Cluster Gordon Compute Cluster SDSC Cluster Trestles SDSC Cluster Quarry Indiana U SMP Stampede UT Austin Cluster Blacklight PSC SMP Keenland Georgia Tech Cluster

119 Extreme Science and Engineering Discovery Environment (XSEDE)

120 Extreme Science and Engineering Discovery Environment (XSEDE)

121 Middleware

122 MW - Implementações Existem múltiplas implementações do conceito usando diversas tecnologias e aproximações.

123 MW - Implementações

124 Implementações xxx

125 Implementações xxx

126 Implementações xxx

127 Implementações xxx

128 Implementações xxx

129 Implementações xxx

130 Implementações xxx

131 o o MW : SciencePAD (sciencepad.org) Iniciativa para software cientifico aberto promovida pelo EMI em colaboração: European Grid Initiative (EGI) CERN European Molecular Biology Laboratory (EMBL) European Bioinformatics Institute (EBI) Institute Laue-Langevin (ILL) StatusLab, Imarine, OpenAIRE etc Objectivos: Explorar possibilidades e vantagens de uma comunidade open source para software cientifico Recolher requisitos das comunidades, propor soluções realísticas Tornar as actividades de desenvolvimento e uso de software cientifico opensource mais transparente e colaborativo entre comunidades e projectos Implementar um modelo de negocio sustentável baseado em exemplos de sucesso (Apache, Eclipse, Drual, SourceForge, etc)

132 MW : Globus ( o Globus Alliance The Globus Alliance is an international collaboration that conducts research and development to create fundamental Grid technologies. The Grid lets people share computing power, databases, and other on-line tools securely across corporate, institutional, and geographic boundaries without sacrificing local autonomy. Argonne National Laboratory University of Southern California's Information Sciences Institute University of Chicago University of Edinburgh Swedish Center for Parallel Computers National Center for Supercomputing Applications (NCSA)

133 MW : Globus ( o Globus Toolkit The Globus Toolkit is an open source software toolkit used for building grids. It is being developed by the Globus Alliance and many others all over the world. A growing number of projects and companies are using the Globus Toolkit to unlock the potential of grids for their cause.

134 MW EGI - UMD o Unified Middleware Distribution (UMD): Junta componentes de diversas origens A esmagadora maioria é originária do EMI e IGE o Conceito: Definir capabilities que são necessárias Especificar requisitos para cada capability Poder escolher: componentes de diversas origens fornecedores de tecnologias (middleware) Verificar os componentes contra os requisitos Adicionar o componente à distribuição UMD

135

136 MW - EGI - UMD

137 MW EGI UMD - exemplos PC x86 EMI - UMD PC x86 BATCH UI PC x86 CE PC x86 SE serviços grid PC x86 PC x86 PC PC PC Conjunto de PCs arquitectura x86 Sistema operativo Linux Sistema de batch Firewall PC x86 PC x86 PC x86 PC x86 PC x86 PC x86 PC x86 LRMS PC PC Firewall CE SE PC x86 PC x86 PC x86 PC x86 PC x86 PC x86 PC x86 LRMS PC PC Firewall CE SE

138 MW EGI UMD - exemplos o CREAM : Computing Element: Permite receber jobs para execução num sistema batch local Expõe um Web Service através do qual é possível submeter jobs Sistema de informação permite publicar capacidades, estado, etc Interface p/ diversos sistemas batch: Torque, SGE,LSF, SLURM, etc Series 1; torque; 1322; 35% Series Series 1; 1; sge; slurm; 184; 24; 1% 5% Series condor 1; condor Series ; 277; lsf 1; lsf; 7% pbs 701; sge 19% slurm Series 1; pbs; torque 1224; 33%

139 MW EGI UMD - exemplos o StoRM : Storage Element: Permite acesso a um filesystem Expõe um web service conforme com a especificação SRM usada na grid (Storage Resource Manager) O StoRM funciona sobre filesystems Posix Lustre, GPFS, EXT3, XFS, etc Transportes GridFTP, RFIO, file:/// Sistema de informação permite publicar capacidades e estado

140 MW : EGI - UMD o Serviços centrais (core) Information (Top BDII) Scheduling (WMS) Metadata (LFC, AMGA, RLS) Credential Mgmt (MyProxy) Authority (VOMS) Authorization (ARGUS) o Serviços locais (site) Compute (CREAM, GRAM, ARC CE) Storage (DPM, dcache, StoRM, GridFTP) Information (Site BDII) Authorization (ARGUS Client level Core level Site level TopBDII LDAP cache SITE A CE SE CE SE Worker nodes UI SiteBDII LDAP cache WMS UI LFC MetaDB SITE B Worker nodes UI VOMS AuthDB SiteBDII LDAP cache

141 Evolução

142 Evolução - adesão à computação grid o A grid tem tido muito sucesso em muitas comunidades Grande comunidades Boas capacidades técnicas Muito organizadas e estruturadas Com objectivos comuns Grandes requisitos de processamento e armazenamento Partilha da mesma informação o Nem todas a comunidades são iguais Pequenas comunidades Comunidades pouco estruturadas e/ou em competição intensa Comunidades com poucos recursos e capacidades técnicas

143 Evolução - e as limitações da grid o Queixas comuns: Infraestrutura orientada sobretudo para processamento batch Curva de aprendizagem íngreme Complexidade na instalação e manutenção Operação pode requerer esforço significativo Diversos stacks de middleware e interoperabilidade Gostaria de ter a liberdade de instalar o software que eu quero o O custo pode ser: Pesado para pequenas comunidades Pesado para utilizadores com necessidades modestas

144 Evolução clouds e grids o A utilização de virtualização é hoje banal nas grids o Projectos a investigar a integração entre clouds e grids

145 Evolução clouds e grids o The 48 month EGI-InSPIRE (Integrated Sustainable Pan-European Infrastructure for Researchers in Europe) project will sustain support for Grids of high-performance and high-throughput computing resources, while seeking to integrate new Distributed Computing Infrastructures (DCIs), i.e. Clouds, SuperComputing, Desktop Grids, etc. o Future technologies will include the integration of cloud resources (from either commercial or academic providers) into the production infrastructure offered to the European research community. o Exploratory work to see how cloud computing technologies could be used to provision glite services is already taking place within EGEE-III between the EC FP7 funded RESERVOIR project and the StratusLab collaboration.

146 Evolução clouds possiveis vantagens o Disponibilizar um serviço mais genérico: Para os utilizadores que não se encaixam na computação grid Mais flexibilidade e controlo para os utilizadores Para suportar um maior leque de requisitos Eg. Utilizadores que precisam de ambientes de software específicos Eg. Suportar múltiplos middlewares Eg. Utilizadores que precisam de instanciar serviços não grid Eg. Para aplicações antigas e para preservação de dados e processos o Interessante para mais instituições e comunidades

147 Evolução comercial vs académico o Factores a considerar: Existe financiamento para pagar serviços cloud comerciais? Talvez exista financiamento hoje e amanhã? Custos de serviços cloud IaaS? Existe financiamento para pagar o hardware? Existe financiamento para pagar os recursos humanos? Existe financiamento para pagar a manutenção? Existe financiamento para pagar a electricidade? o Modelo cloud comercial requer: Estimativa cuidada de custos para não haver surpresas Financiamento sustentado

148 Evolução comercial vs academico

149 Evolução comercial vs academico

150 e-fiscal results compared with EC2 reserved instances (all amounts in ) Costs refer to 2011 Prices refer to 1/2013 Standard Reserved Instances (L-XL)* Cluster Compute Quadruple XL** e-fiscal findings (median-avg.) e-fiscal results compared with EC2 on-demand instances (all amounts in ) Costs refer to 2011 Prices refer to 1/2013 Preços p/ 3 anos EC2 Custos de rede excluídos EC2 Custos de armazenamento excluídos Standard Reserved Instances (L-XL)* Cluster Compute Quadruple XL** e-fiscal findings (median-avg.)

151 Evolução comercial vs academico

152 Evolução comercial vs académico o Factores a considerar: Caixa preta, não sabemos qual a arquitectura e escalabilidade das clouds comerciais Falta de standards (provider lock-in) Privacidade, segurança e disponibilidade Considerações legais Largura de banda para conectividade académica Qualidade de serviço Gerir maquinas virtuais também tem um custo o Sociologia: As iniciativas de e-ciência académicas têm um efeito estruturante nas comunidades e promovem a colaboração internacional Inovação

153 Evolução cloud académica o Convergência entre clouds, computação grid e outros modelos o Sinergias e vantagens em combinar as tecnologias: Muitos dos blocos necessários já existem Diversos cenários demonstrados Clouds muito atractivas para aplicações interactivas, e como complemento à computação grid etc Muitas das preocupações diluem-se se os fornecedores de serviço forem instituições académicas CLOUD ACADÉMICA CIENTIFICA

154 Evolução cloud académica

155 Evolução cloud académica o x

156 Evolução cloud académica o x

157 Evolução cloud académica o x

158 Evolução cloud académica o x

159 Evolução cloud académica o x

160 Evolução cloud académica o x

161 o CERN and Helix Nebula What we want to achieve: Evaluating the use of cloud technologies for ATLAS data processing, Transparent integration of cloud computing resources with ADC software and services, Implementation of the ATLAS cloud computing model within DDM, Panda, and related tools an services. o What we would like to know: What are the financial costs of network transfers of data into and out of the cloud resources, short and long-term data storage in the cloud, and CPU resources for running the various ATLAS use cases? What are appropriate Service Level Agreements and how can they be defined for broader use? What are the policy and legal constraints in moving scientific data across academic networks into commercial resources and back again?

162 CERN o o o o o Tier-0 do WLCG vai ter um segundo centro na Hungria Wigner Research Centre for Physics O Tier-0 actual no CERN tem cores e 30PB online 1a fase cores e 5.5PB online A duplicar em 3 anos o o Aumento de capacidade Redundância o Até o Tier-0 pode ser remoto

163 Evolução - IBERGRID => IBERCLOUD

164 Evolução - IBERGRID => IBERCLOUD

165 Evolução - IBERGRID => IBERCLOUD

166 Evolução - IBERGRID => IBERCLOUD

167 Evolução - IBERGRID => IBERCLOUD

168 Serviços

169 Serviços EGI Infraestrutura Grid Europeia IBERGRID Infraestrutura Grid Ibérica Infraestrutura Grid Nacional NCG - Nó Central Grid Acesso a VOs Internacionais Acesso a VOs Ibéricas Acesso a VOs nacionais Seed grid resources Acesso local HPC e HTC

170 Serviços

171 Serviços uixxxx.ncg.ingrid.pt

172 Serviços Autoridade de Certificação Grid Consultadoria e Treino Adaptação da Infraestrutura Adaptação de Aplicações Helpdesk User Interface Login

173 Serviços grid NCG cloud? UI UI UI Modo batch Mais recursos Software da VO Batch cluster local Mais simples Serviço HPC IaS Flexibilidade Interactivo

174 Obrigado!

175 Google trends

176 Jornadas RCTS