Implementação de Estrutura de Cloud Privada para Investigação e Serviços da UAlg Serviços de Computação Adriano Pinto ajpinto@ualg.pt 2016-04-06
AGENDA A UAlg; Recursos de IT na Ualg e evolução da infraestrutura; A equipa; Apoio ao ensino e investigação - Problemas encontrados; Solução de cloud privada; Infraestrutura implementada; Disponibilização do serviço; Números do projeto; Vantagens e problemas; Feedback dos utilizadores; Evolução do projeto. 18/04/2016 Jornadas 2016 @ UAlg 2
A EQUIPA Administração de Sistemas Adriano Pinto Dino Sousa Nuno Costa Redes e Infraestruturas Julio Fernandes Luís Pisco Rodrigues 18/04/2016 Jornadas 2016 @ UAlg 3
A UALG 5 campi (Gambelas, Penha, Saúde, Portimão e Ramalhete) 7 centros de investigação 12 centros de estudo e desenvolvimento 131 investigadores e bolseiros 165 projetos de investigação em 2015 10000 alunos 1500 funcionários docentes e não docentes 18/04/2016 Jornadas 2016 @ UAlg 4
RECURSOS DE IT NA UALG 2 Centros de dados Campus de Gambelas e Campus da Penha 2 Polos técnicos Campus da Saúde e Portimão 3 Blade Systems 55 Servidores físicos (29 Hosts de Virtualização em Hyper-V e Vmware) 506 Máquinas Virtuais (293 Desktops Virtuais) Armazenamento SAN com uma capacidade total de 165TB 24 servidores de projetos investigação Servidores e outros recursos computacionais dispersos por Centros de Investigação e Unidades Orgânicas 18/04/2016 Jornadas 2016 @ UAlg 5
RECURSOS DE IT NA UALG EVOLUÇÃO DA INFRAESTRUTURA Concentração dos recursos nos centros de dados de Gambelas e Penha Servidores Rack -> Blade System Virtualização Posto de trabalho físico -> Posto de trabalho virtual Disponibilização de serviços de cloud para apoio ao ensino e investigação 18/04/2016 Jornadas 2016 @ UAlg 6
APOIO AO ENSINO E INVESTIGAÇÃO - PROBLEMAS ENCONTRADOS Dispersão de recursos físicos e financeiros Micro gestão de recursos; Escalabilidade e partilha de recursos reduzida; Rápida inadequação dos recursos às necessidades crescentes dos centros de investigação e projetos em cursos. 18/04/2016 Jornadas 2016 @ UAlg 7
SOLUÇÃO DE CLOUD PRIVADA Objetivos do Projeto Fornecer a clientes internos acesso a um conjunto de recursos computacionais Centros e projetos de Investigação; Unidades Orgânicas; Departamentos. Libertar os utilizadores da gestão do hardware; Possibilitar a implementação de soluções à medida dos utilizadores; Auto provisionamento; Centralizar os recursos de computação. 18/04/2016 Jornadas 2016 @ UAlg 8
INFRAESTRUTURA IMPLEMENTADA (1/6) Recursos Físicos 5 Blades IBM x240 2 CPUs Intel Xeon com 10 cores e Hyper-Threading a 2,2GHz 128GB RAM 5TB de espaço em disco Networking Vlans individualizadas por Cloud, com serviço de DHCP. 18/04/2016 Jornadas 2016 @ UAlg 9
INFRAESTRUTURA IMPLEMENTADA (2/6) Solução de Virtualização Hyper-V 2012 R2 Solução de Cloud e Gestão System Center Virtual Machine Manager 2012 R2 Gestão centralizada dos Hosts Hyper-V e Vmware Gestão de recursos de rede virtuais Gestão integrada da storage 18/04/2016 Jornadas 2016 @ UAlg 10
INFRAESTRUTURA IMPLEMENTADA (3/6) Networking Redes Lógicas e Pools de IP; Switches Lógicos; Uplink Ports. Clusters de Virtualização Definição das redes de gestão e live migration; Definição dos mecanismos de otimização(migração automática de VM, alocação de queues para trafego de rede de VM a diferentes CPUs, CSV Caching); Atribuição de recursos de armazenamento (multi-tier storage pools, LUNs). 18/04/2016 Jornadas 2016 @ UAlg 11
INFRAESTRUTURA IMPLEMENTADA (4/6) Templates Templates com perfis de hardware Templates de máquinas virtuais Bibliotecas de Recursos Só de leitura com ISOs de Sistemas Operativos Para os administradores da cloud Para os utilizadores da cloud 18/04/2016 Jornadas 2016 @ UAlg 12
INFRAESTRUTURA IMPLEMENTADA (5/6) Criação da Cloud Atribuição de recursos de rede, tipo de storage pools, capacidade (vcpus, RAM, armazenamento e n.º de VMs) Criação de perfis de utilização, com atribuição dos recursos disponíveis, na cloud ou clouds que estão atribuídas 18/04/2016 Jornadas 2016 @ UAlg 13
INFRAESTRUTURA IMPLEMENTADA (6/6) 18/04/2016 Jornadas 2016 @ UAlg 14
DISPONIBILIZAÇÃO DO SERVIÇO RemoteApp com a consola de gestão do SCVMM 18/04/2016 Jornadas 2016 @ UAlg 15
NÚMEROS DO PROJETO (1/2) 7 Centros de Investigação 3 Unidades Orgânicas (Apoio às aulas da FCT) 1 Serviço Recursos Disponibilizados: 18/04/2016 Jornadas 2016 @ UAlg 16
NÚMEROS DO PROJETO (2/2) Performance 18/04/2016 Jornadas 2016 @ UAlg 17
VANTAGENS E DESVANTAGENS Vantagens Melhor aproveitamento dos recursos Maior escalabilidade dos recursos a disponibilizar Melhores condições de ambientais das máquinas físicas Possibilidade dos próprios utilizadores criarem as suas VMs e alocarem recursos às mesmas. Diminuição dos tempos de computação Centralização da gestão Problemas Dificuldades na disponibilização de templates para Sistemas Operativos Linux. 18/04/2016 Jornadas 2016 @ UAlg 18
FEEDBACK DOS UTILIZADORES (1/2) CIMA-SCOAST-R Âmbito: compreender e prever os efeitos da subida do nível médio do mar em zonas lagunares por um período de décadas a centenas de anos. Para alcançar o referido objetivo estabeleceram-se cenários de modelação numérica de longo prazo; as simulação efetuadas incluíram hidrodinâmica e morfologia. Tecnologias Utilizadas: Open MPI Feedback: Diminuição dos tempos de computação em cerca de 20%; Optimização dos resultados das simulações; Facilidade em operar com a ferramenta de gestão de máquinas virtuais; A gestão personalizada dos recursos aquando a criação das máquinas virtuais beneficia o utilizador. A adopção da template facilita a criação das máquinas virtuais e torna esse mesmo processo menos moroso. Necessidade de mais disponibilidade de recursos 18/04/2016 Jornadas 2016 @ UAlg 19
FEEDBACK DOS UTILIZADORES (2/2) CCMAR-BEE - Biogeografia, Ecologia e Evolução Âmbito: Utilização de software de computação muito intensiva, com processamento paralelo. A maior parte dos cálculos destinam-se a inferência filogenética ou genética de populações, baseados em inferência Bayesiana com Markov chain Monte Carlo (MCMC) para estimar parâmetros dos modelos. Tecnologias Utilizadas: Open MPI, Migrate-n, BAMM, BEAST2, MrBayes, BPP e Phyml. Feedback: Ganhos de produtividade das equipas de trabalho Diminuição considerável dos tempos de computação (diminuição de 17 para 5h de execução em certos modelos); Alocação mais eficiente dos recursos; Facilidade de gestão das VMs. 18/04/2016 Jornadas 2016 @ UAlg 20
EVOLUÇÃO DO PROJETO Upgrade dos hosts de virtualização para 512GB de RAM; Aquisição de uma nova infraestrutura de BladeSystem; Alargamento da solução a novos centros de investigação; Disponibilização de service templates. 18/04/2016 Jornadas 2016 @ UAlg 21
Muito Obrigado. 18/04/2016 Jornadas 2016 @ UAlg 22