iniciativa de Cloud para eciência. Hermes Senger

Transcrição

1 iniciativa de Cloud para eciência Hermes Senger

2 UFSCar e Possui 4 Campi Buri

3 UFSCar em Números Cursos de Graduação (dados de 2010) alunos em 57 cursos presenciais alunos em 5 cursos a distância Cursos de Pós-Graduação (dados de 2013) alunos em 48 programas Total de alunos:

4 Corpo Docente Numero de professores: 1093 (Dez/2013) Grupos de pesquisa no Diretório do CNPq: 451 Docentes com doutorado: 1022 (93%) Bolsistas de produtividade (PQ+DT) do CNPq (dados de janeiro de 2014): 229 (24%)

5 Grupos de Pesquisa

6 Publicações Indexadas na Web of Science

7 Publicações da UFSCar e do Brasil -Web of Science,

8 Situação Atual Mais de 451 grupos de pesquisa Menos de 5% têm acesso a recursos computacionais (servidores, clusters) para pesquisa Algumas iniciativas isoladas Alguns grupos têm seus próprios clusters Genética, Materiais, Física, Química, Engenharia Química, Bioinformática, etc Áreas com grande demanda:

9 Grupos de Pesquisa A maioria dos grupos não tem recursos para aquisição de máquinas Poucos grupos possuem, mas: Não o bastante para atender momentos de pico Recursos ficam ociosos na maior parte do tempo Há desperdício de energia Rápida obsolescência

10 Grupos de Pesquisa Falta de espaço físico adequado Segurança física dos equipamentos Falta de recursos humanos especializados Problemas com energia elétrica falta capacidade, rede limpa, no-break, gerador, refrigeração Segurança dos dados

11 Infraestrutura de TI Secretaria Geral de Informática Sin Órgão vinculado à Reitoria Presta serviços para toda a comunidade Sistemas acadêmicos e administrativos espaço físico, elétrica, ar-condicionado, etc ~ 70 VMs Prédio com infraestrutura completa Data center virtualizado # de aplicações e serviços crescendo rápido volume de dados aumentando

12 Objetivos da Prover amplo acesso a recursos computacionais para pesquisa científica Colocar a universidade na era da eciência Modernizar a infraestrutura de pesquisa da universidade Potencializar a capacidade de pesquisa Em termos de quantidade e impacto

13 eciência (escience) O termo eciência (escience) tem sido empregado para referenciar a maneira de se fazer ciência, com forte ênfase no uso de infra-estruturas computacionais e-science is about global collaboration in key areas of science and the next generation of infrastructure that will enable it. John Taylor (1999), Director General of Research Councils in the UK Office of Science and Technology (OST)

14 eciência Fazer ciência com uso intensivo da computação Usa data sets imensos que necessitam de muito pode computacional para processar Infraestrutura: clusters, grids, redes com banda larga, etc Software: portais web para domínios específicos, execução de jobs, workflows científicos, etc Várias áreas de aplicação física de particulas, bioinformática, earth sciences, engenharia (materiais, naval, química, etc), simulações sociais, etc

15 Exemplo: LHC Worldwide LHC Computing Grid (WLCG) store, distribute and analyze the ~25 Petabytes/Year (25 million Gigabytes) of data generated by the Large Hadron Collider (LHC) at CERN. 170 computing >= centres 36 countries

16 Exemplo Bioinformática: Bases de dados disponíveis: Ex: NCBI Gene bank, GenePept, Genomas, etc Blast, etc Ferramentas Equipamentos de sequenciamento gerando enormes quantidades de dados com grande rapidez

17 Por que Nuvem? Quanto custa montar um datacenter? Máquinas, licenças de software, infra-estrutura física, mão-de-obra, manutenção, redundâncias, planos de contingência, depreciação dos ativos, seguros, etc.

18 Vantagens Economia de escala Dificilmente um grupo isolado conseguiria manter uma grande infraestrutura atualizada e operante Custo de gerenciamento pode ser até 20 a 40 x menor Compartilhamento de recursos Computadores, nobreaks, geradores, prédio, recursos humanos, etc Ocupação de servidores aumenta de ~5% para ~ 80% Economia de energia de até 70%

19 Benefícios Escalabilidade, Elasticidade Reduzir quando não for mais necessário Automação - usuário possui interfaces para: Requisitar novos servidores quando a demanda aumentar Replicar servidores/serviços sob demanda Em menos de 5 minutos é possível replicar um servidor completo e tê-lo funcionando!

20 Formas de Implementação Public cloud Applications, storage, and other resources are made available to the general public by a service provider; For free or offered on a pay-per-use model; Ex: Amazon AWS, Microsoft, Google, uol Cloud, etc. Private cloud Cloud infrastructure operated solely for a single organization, whether managed internally or by a third-party and hosted internally or externally. Community cloud Shared infrastructure between several organizations from a specific community with common concerns, whether managed internally or by a third-party and hosted internally or externally. Hybrid cloud Is a composition of two or more clouds (private, community or public) that remain unique entities but are bound together, offering the benefits of multiple deployment models.

21 Exemplos de Uso Preciso de uma máquina (VM) para hospedar um serviço importante para o meu projeto que vai durar 2 anos Desktops virtuais para ensino Laboratórios passaria a ter apenas clientes, o desktop executa na nuvem Gerência centralizada, economia de escala, etc

22 O que precisamos ter? Equipamentos: servidores, storage de dados, switches, etc Infraestrutura física Espaço físico Energia, nobreaks, gerador Refrigeração Controle de acesso Recursos humanos A SIn dispõe!!

23 Infraestrutura de Rede Novos links de acesso à Internet nos três campi da UFSCar: Novas possibilidades São Carlos: 10 Gbps Sorocaba: 3 Gbps Araras: 1 Gbps Melhorias na interconexão entre os campi Diminuirá instabilidades e interrupções na transmissão Melhoria da distribuição dentro dos campi (FAPESP)

24 1ª Etapa - Aquisição dos Equipamentos FINEP CT-Infra 2007 CT-Infra mil para datacenter conteiner Orçamento aprovado ~ 2.4 M R$ Aquisição de equipamentos Software Serviço de terceiros instalação e configuração do software Outras fontes: JP Fapesp de ~ 1.7 M R$

25 1ª Etapa - Aquisição dos Equipamentos Proposta CT-Infra Aquisição de equipamentos (2014) Racks/Nó Tipo 1: Muitos núcleos (centenas) Executar VMs com 1 ou 2 núcleos, até 4 GB memória: serviços web, software específico, ferramentas, etc Rack/Nó Tipo 2: Aplicações de Alto Desempenho. Ex: MPI, OpenMP, Hadoop, etc VMs com 8 ou 16 núcleos, 128 GB memória Interconexão rápida entre servidores: Infiniband ou 10 GE Rack/Nó Tipo 3: Recursos a serem adquiridos: SMP com 256 nucleos, shared mem. 4 TB (NUMA), etc. > 1000 núcleos ~ 200 TB de armazenamento

26 Ao final da 1ª Etapa

27 2ª Etapa Implantação do Software de Gerência da Nuvem ~ 3 meses Camada de Virtualização: Xen, VMWare, KVM, bare metal Gerência da Nuvem Eucalyptus, OpenStack, Cloud Stack. Open Nebula, etc OpenStack parece ser bastante promissora Ferramenta para reserva/alocação das máquinas OAR, etc?

28 Ao Final da 2ª Etapa O que teremos ao final desta etapa?

29 3ª Etapa Preparação do Ambiente para Usuário Final (VMs) A nuvem está operando. E agora? Temático FAPESP? É preciso preparar os ambientes (VMs) com software adequado Diferentes perfis: bioinformática, dinâmica molecular, etc. Material online: tutoriais, documentação, etc Treinamento dos usuários Vamos precisar de recursos humanos RH, RH, RH...

30

31 Fase de Produção Ferramentas para alocação doe recursos Reserva de uso mediante solicitação Quem usa? Quando? Quantas VMs? Por quanto tempo? critérios? Prioridades?

32 Modelo de Governança Comitê Gestor da Cloud Maioria constituída por pesquisadores Políticas de uso, prioridades, regulamentação... Novas demandas...

33 FAQs Meu lab já tem um cluster. Para que preciso de uma Nuvem? Como posso apoiar a iniciativa? Temos um cluster parado. Podemos ceder para a cloud? Alguém vai se lembrar disso quando eu precisar utilizar?

34 A médio prazo Sustentabilidade: Continuidade Manutenção, reposição de componentes Atualização das máquinas Ampliação Novos projetos FAPESP: RH, bolsas, etc Novos recursos computacionais: novo CT-Infra?

35 Possibilidade Futura Federação de recursos inter-universidades Paulistas Melhoria da infraestrutura de pesquisa no Estado de SP Desafios Modelo de federação/compartilhamento Regulação Quem garante que não vou apenas doar recursos?

36 Algo Assim Já Existe Massachusetts Open Cloud (MOC) - Iniciativa conjunta: Boston University, Northeastern University, Harvard, MIT e UMASS Faz uso da infraestrutura do Massachusetts Green High Performance Computing Center (MGHPCC) datacenter criado em consórcio entre as mesmas universidades, governo do estado de Massachusetts e algumas empresas como Cisco e EMC.

37 Open Cirrus Cloud Computing Testbed Shared: research, applications, infrastructure (11K cores), data sets Global services: sign on, monitoring, store. Open src stack (prs, tashi, hadoop) Sponsored by HP, Intel, and Yahoo! (with additional support from NSF) 37 9 sites currently, target of around 20 in the next two years.

38 Palavras Finais Fazer ciência com o apoio de infraestrutura computacional (eciência) já virou realidade em muitas universidades mundo afora Queremos tornar isto realidade na UFSCar!

39 Perguntas?