Neblina - Espaços Virtuais de Trabalho para uso em

Transcrição

1 XXIX Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos 965 Neblina - Espaços Virtuais de Trabalho para uso em Aplicações Científicas Felipe J. Fernandes, Bruno Schulze, Antonio R. Mury 1 Laboratório Nacional de Computação Científica (LNCC) Av. Getúlio Vargas, Quitandinha Petrópolis - RJ {felipejf,schulze,armury}@lncc.br Abstract. This paper presents a proposal for virtual environments for use in research units. Based on the paradigm of cloud computing, it aims to provide solutions through the deployment of virtual platforms for testing, development and use; providing to its users a dedicated and customized environment. It optimizes the use of existing resources through its sharing, and also incorporating the concept of turnkey solutions for dedicated applications. Resumo. O trabalho a seguir apresenta uma proposta para ambientes virtuais de trabalho para uso em unidades de pesquisa. Baseado no paradigma de Computação em Nuvem procura-se disponibilizar soluções por meio de plataformas virtuais para teste, desenvolvimento e uso. Fornece aos seus usuários um ambiente dedicado e customizado em função das suas necessidades. Otimiza o uso dos recursos por meio do seu compartilhamento incorporando o conceito de soluções prontas na forma de plataformas virtuais compostas com o mínimo de recursos para execução de aplicações dedicadas. 1. Introdução Este trabalho está baseado em três tipos de abordagens: o uso de recursos de virtualização, o uso do conceito de espaços de trabalho virtuais e a configuração e uso de plataformas virtuais como soluções prontas (turnkey appliances) para aplicações dedicadas. A proposta aqui apresentada só foi possível pelo aperfeiçoamento das aplicações dedicadas à virtualização de recursos computacionais, destacando-se a evolução da tecnologia relacionada aos processadores, aos dispositivos de entrada e saída e de rede. A virtualização de recursos tornou-se com isso, uma das peças fundamentais para o que se convencionou chamar de computação em nuvem. Já o conceito de espaços virtuais de trabalho é utilizado para definir um ambiente, no qual o usuário é capaz de especificar as características dos recursos e aplicações necessários a execução de uma determinada tarefa, ou escolher um ambiente já preparado e dedicado para tal. Outra característica é o que chamamos de soluções prontas (turnkey appliances), que é um ambiente com o mínimo de recursos para execução de uma aplicação específica. Do ponto de vista do usuário, ele simplesmente tem que iniciar, usar e encerrar a plataforma, não se preocupando com nenhum aspecto referente à instalação, configuração, manutenção ou requisitos de uso. Sob o ponto de vista da aplicação, o ambiente computacional, por possuir apenas os requisitos necessários a sua execução, torna-se mais leve e com menos concorrência de processos. Sob o ponto de vista da infraestrutura, otimiza-se

2 966 Anais a sua utilização pela diminuição do tamanho das máquinas virtuais (VMs), quantidade de memória alocada e carga de processamento. O trabalho a seguir tem por objetivo permitir que pesquisadores, especialistas e estudantes possam ter acesso remotamente a aplicações dedicadas e configuradas de acordo com as suas necessidades. Estes acessam suas aplicações por meio de um portal, utilizando o poder computacional disponível em um ambiente remoto de grade/nuvem. O utilizador é capaz de acessar o sistema por meio de um navegador, em qualquer lugar, sempre que precisar, bastando para isso a sua autenticação. Quanto ao perfil deste utilizador, este trabalho tem como principal público alvo especialistas que não tenham a habilidade e tempo para instalar e configurar ambientes de produção ou pesquisa; tenham conhecimento específico de uma aplicação; sua disponibilidade para pronto uso e acesso remoto. Este trabalho faz parte de um projeto em andamento, com o objetivo de prover ambientes virtuais de trabalho, acessados por meio de um portal, operando sobre uma infraestrutura de grade ou nuvem, disponibilizando plataformas pre-configuradas, funcionando na forma de soluções prontas para uso. O trabalho a seguir está organizado da seguinte forma: a seção 2 apresenta artigos relacionados com virtualização e espaços virtuais; a seção 3 apresenta uma breve descrição da arquitetura e na seção 4 as conclusões e trabalhos futuros. 2. Trabalhos Relacionados Dentre as muitas vantagens que a virtualização de recursos possui, podemos citar: a possibilidade de otimizar a sua utilização por meio do seu compartilhamento; o isolamento entre os ambientes criados e em execução em um mesmo recurso; a possibilidade do balanceamento de carga; a consolidação dos serviços; e no nível da plataforma e infraestrutura virtualizada, a capacidade de provisão de um ambiente dedicado para os seus usuários [Matthews et al. 2007], [Rixner 2008], [Yang et al. 2010]. Tudo isto foi possível graças ao desenvolvimento na arquitetura dos processadores, por meio do aumento do número de núcleos, do uso de instruções de virtualização dedicadas, incorporadas ao processador e aos controladores de dispositivos de entrada e saída e pelo aumento da capacidade das redes. Este nível de desenvolvimento permitiu a criação de plataformas virtuais com um desempenho similar às reais, o aparecimento de paradigmas como o de computação em nuvem e o que chamamos de espaços virtuais de trabalho. Os espaços virtuais de trabalho são caracterizados por permitirem a criação de um ambiente dedicado, seja na forma de uma infraestrutura de hardware ou de software, podendo ser configurado de acordo com as necessidades específicas de seus usuários, com propriedades de isolamento de seu ambiente e a utilização dos recursos por mais de um usuário ao mesmo tempo. Este termo foi apresentado por [Keahey et al. 2005b], como uma necessidade de evolução e solução para as grades computacionais. A ideia era proporcionar um ambiente mais amigável e dedicado, tentando resolver uma das limitações encontradas em termos de isolamento entre as aplicações executadas simultaneamente. Mais tarde, em [Keahey et al. 2005a] o termo foi ampliado para uma abstração de um ambiente de execução, podendo ser disponibilizado dinamicamente em recursos remotos, por meio de um protocolo bem definido. Em [Keahey and Freeman 2008] propõe-

3 XXIX Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos 967 se também a criação de ambientes virtuais, usando VMs inicializadas em recursos ociosos de outros usuários, disponibilizando ambientes dedicados às suas necessidades, isolado do ambiente da máquina hospedeira e utilizando apenas uma parcela pré-acordada dos recursos nela existentes. Esta proposição foi chamada de nuvens científicas em comparação com o serviço oferecido pelos provedores de nuvens computacionais comerciais. O termo em inglês appliance, originalmente, destinava-se a aparelhos eletrônicos projetados com uma finalidade específica. Quando é associado ao conceito de virtualização, temos dispositivos que se comportam como um equipamento, porém sem a sua parcela física, podendo ser transportados e armazenados eletronicamente [Sapuntzakis et al. 2003]. Já o termo soluções prontas para uso é no contexto de nuvem usado para especificar um recurso virtualizado e pré-configurado pronto para utilização. Diversos provedores comerciais de nuvem fornecem esses recursos na forma de servidores virtuais com um sistema operacional pré-testado e aplicativos instalados, que podem ser usados na forma de uma única máquina ou diversas máquinas virtuais [Epstein et al. 2010]. Quanto ao gerenciamento de um ambiente de nuvem, durante a execução deste projeto, analisou-se o OpenNebula, por ser o de concepção mais próxima a ideia proposta, com a finalidade de comparar as funcionalidades já existentes no ambiente de virtualização em desenvolvimento, com as funcionalidades nele existentes, inclusive verificando-se a possibilidade de fazer com que o portal viesse a funcionar também, sobre sua infraestrutura. Os seguintes pontos merecem destaque: 1. A interface de gerência e acesso dos usuários, assim como as funcionalidades implementadas no projeto, superaram as disponibilizadas pelo OpenNebula. (O OpenNebula não possuía uma interface de gerenciamento gráfica até o momento da análise); 2. O projeto cobre tanto a parte de infraestrutura do ambiente de nuvem quanto o gerenciamento e uso; o OpenNebula estava focado somente na infraestrutura; 3. O OpenNebula realizava a migração das imagens de um repositório comum para a máquina hospedeira, o que causava um atraso na inicialização e acesso as plataformas virtuais; 4. O OpenNebula possuía um gerenciamento de recursos e escalonador muito mais elaborado do que o utilizado pelo projeto; 5. O OpenNebula permitia a escolha de três tipos de aplicações de virtualização diferentes, o projeto apenas uma. As versões do OpenNebula utilizadas para a análise foram a 1.4 e 2.0. A ideia da criação de ambientes dedicados ao uso em aplicações científicas, executados em plataformas virtuais, incentivou este trabalho. A ideia foi criar um ambiente acessado remotamente, a qualquer momento, por meio de um navegador, para execução de aplicativos ou uso de plataformas, com um ganho em termos de gestão e compartilhamento de recursos. Em suma, da análise da análise da revisão bibliográfica realizada, os seguintes pontos foram levantados, procurando-se incorporá-los ao trabalho: o uso da virtualização como uma ferramenta para o compartilhamento de recursos em um ambiente distribuído; o uso do conceito de espaços virtuais de trabalho na forma de ambientes dedicados, configurados de acordo com as necessidades de seus usuários; disponibilizar um portal que facilitasse o acesso e gerenciamento para seus usuários e administradores e

4 968 Anais o uso de soluções prontas na forma de ambientes virtuais otimizados para execução de aplicações específicas. 3. Ambientes Virtuais de Trabalho - Arquitetura e Funcionalidades A seguir serão apresentadas a arquitetura e os componentes do ambiente em desenvolvimento, que poderão ser complementadas pela documentação e manual encontrados em seu portal de acesso (o endereço encontra-se no final desta seção). A Figura 1 apresenta um detalhamento da arquitetura do ambiente. Ela está dividida em três grandes grupos: Aplicação, Infraestrutura e Virtualização. A Aplicação é a responsável por prover a interface para duas classes de usuários: o administrador e o utilizador. Por meio dela o administrador é capaz de executar as tarefas referentes a gerência do ambiente (gerencia de utilizadores e gerência de plataformas virtualizadas). Quanto ao utilizador, permite que ele tenha acesso remoto aos recursos virtualizados e a um servidor de armazenamento de arquivos. A Infraestrutura tem por função prover os recursos com base nas necessidades especificadas para cada usuário, armazenar as informações utilizadas na gerência do ambiente, armazenar as plataformas virtualizadas (Virtual Disk Images - VDI) e armazenar os arquivo de uso dos utilizadores. A Virtualização compreende a aplicação usada para virtualizar as plataformas. Cabe ressaltar que a estrutura como descrita, torna o ambiente criado independente do gerenciador de máquinas virtuais utilizado. O VirtualBox foi usado em um primeiro momento, com o intuito de acelerar o aprendizado, testar o ambiente e permitir a disponibilização das máquinas virtuais em um curto espaço de tempo. No atual estágio de desenvolvimento está em curso a adição de mais uma aplicação de virtualização ao ambiente (KVM). Figura 1. Arquitetura em camadas e grupos do Ambiente Virtual de Trabalho A Figura 2 apresenta um detalhamento dos componentes da Aplicação. A primeira camada representa o padrão MVC (Model View Controler) por meio da qual o usuário interage com o sistema sendo responsável pela gestão e pela identificação do tipo de usuário, habilitando um acesso personalizado ao sistema e as plataformas virtuais. A segunda camada é composta por dois módulos. O primeiro é o Módulo de Tarefas, que consiste de pequenos serviços executados automaticamente, destinados à

5 XXIX Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos 969 verificação periódica do estado dos recursos e plataformas virtuais. O módulo GORM (Hibernate) é a camada de persistência dos dados inseridos: pelos usuários (configuração das máquinas virtuais), pelas tarefas (Módulo de Tarefas) e pelos serviços, consolidandoos e validando-os na base de dados. A terceira camada - Serviços - é a responsável pela execução de procedimentos (criação, armazenamento e execução das VMs) e de funções (dados coletados referentes a capacidade real dos recursos). Isto é feito com base nos parâmetros estipulados pelas informações inseridas na base de dados e oriundos da infraestrutura. A quarta camada - Módulo de Comunicação - consiste no conjunto de protocolos padronizados responsável por fazer com que os comandos oriundos da camada de serviços sejam executados, disponibilizando assim os recursos e plataformas virtualizadas. No atual estágio de desenvolvimento, há um forte acoplamento entre o portal e o gerenciador da infraestrutura (camada de serviços/camada de comunicação). Isto se dá, pois a camada de serviços e o módulo de comunicação se comportam como um elemento único. Para que seja possível o uso do portal dissociado da infraestrutura, é necessário implementar, para a camada de serviços, um novo conjunto de protocolos compatíveis com o gerenciador de infraestrutura desejado. Por exemplo, para seu uso com o OpenNebula, a camada de serviço deveria suportar o padrão de seus comandos (criação, armazenamento, migração, escalonamento e execução das VMs). A quinta camada é composta por três módulos. O primeiro é o módulo de - Comando do Virtualizador - que executa os comandos do módulo de comunicação, compatibilizando-os com os comandos específicos da aplicação de virtualização. O segundo módulo - Conexão Remota - compatibiliza o protocolo RDP com o protocolo HTTP por meio de um conjunto de bibliotecas, permitindo a apresentação da plataforma virtualizada em um navegador. O Módulo de - Status da Nuvem - é o responsável pela coleta de informações da infraestrutura física repassando-as para a camada de serviços com base no que foi requisitado. Figura 2. Arquitetura dos componentes do Ambiente Virtual de Trabalho 3.1. Principais Funcionalidades - Neblina O ambiente acima descrito teve como ponto de partida a otimização do uso dos recursos então existentes na grade computacional do Virtual Community Grid, eliminando a necessidade de dedicação exclusiva destes recursos. Após a virtualização dos recursos da

6 970 Anais grade, concebeu-se a ideia de criar um ambiente mais flexível e amigável aos dois grupos de usuários anteriormente descritos - administradores e utilizadores. A Figura 3 apresenta um resumo das principais funcionalidades do sistema. Figura 3. Funcionalidades principais do sistema Neblina Chamamos, na Figura 3, de modelos de máquinas virtuais a uma especificação de plataforma que contem as principais características físicas da máquina virtual que ela representa, com a possibilidade de reuso pelo seu criador e por outros usuários. Quando da criação efetiva da máquina virtual, sua definição pode ser exportada nos formatos OVF e OVA (funcionalidade nativa do VirtualBox). Para desenvolvimento deste trabalho foram utilizadas as seguintes ferramentas: 1. Plataforma - Linux (Atualmente utilizada Ubuntu 9.10); 2. Interface de desenvolvimento - SpringSource Tools Suite 2.3.2; 3. Frameworks - Java 6 e Grails ; 4. Banco de Dados - MySQL 5.0; 5. Container WEB (desenvolvimento) - JETTY; 6. Servidor WEB (produção) - Apache/Tomcat ; 7. Gerenciador de Máquinas Virtuais - VirtualBox 3.2.2; Acesso ao ambiente e descrição da demonstração Para maior detalhamento sobre o ambiente, a documentação e a aplicação encontram-se disponíveis no endereço: Para utilização do portal é necessário um navegador (compatibilidade total com o Mozilla Firefox) com o plugin do Java instalado. A demostração da aplicação no Salão de Ferramentas será feita por meio do acesso ao portal e a execução das principais funcionalidades do ambiente, tanto na função de Administração (criação de modelos, de usuários, de máquinas virtuais e do controle das máquinas virtuais); quanto na função de Utilizador (criação de modelos, operação remota

7 XXIX Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos 971 do ambiente virtual e acesso e gerência de arquivos). A demostração será feita por meio do acesso remoto ao ambiente já existente. Caso haja, por motivo de força maior, a impossibilidade de acesso, será utilizado, para a demonstração, o ambiente de testes, portado para um computador pessoal já preparado para tal Exemplo de Solução Pronta para Uso - Projeto HemoLab Atualmente conta-se com um projeto piloto de ambientes virtuais de trabalho. O projeto HeMoLab [HEMOLAB 2010] tem por objetivo desenvolver modelos e ferramentas computacionais para a simulação do sistema cardiovascular humano. O sistema é composto por dois módulos de processamento de imagem que permitem a leitura e o processamento de regiões de interesse e a geração de malhas tridimensionais de imagens médicas. No salão serão apresentados os dois módulos como exemplo de aplicações de pronto uso e uma plataforma completa. 4. Conclusões e Trabalhos Futuros Este trabalho insere-se dentro do esforço em criar-se ambientes para execução de aplicações científicas baseado no uso de recursos virtualizados, sobretudo máquinas virtuais, oferecendo: Aos seus usuários, ambientes e aplicações dedicadas às suas necessidades, que possam ser acessados remotamente, portáveis e compatíveis com outros ambientes de virtualização e capacidade de armazenamento destes ambientes para uso futuro; Aos administradores de ambientes virtuais, a capacidade de gerencia de usuários e recursos; e Aos administradores da infraestrutura de recursos, a consolidação e otimização, contribuindo assim para o seu uso mais racional. Pode-se apontar como aperfeiçoamentos a serem incorporados a este trabalho a criação de perfis de usuário e de um mecanismo de balanceamento de carga e de agendamento. No primeiro caso, o levantamento de perfis contribuiria para que os recursos fossem configurados, selecionados e alocados de acordo com os mesmos, adaptando-se automaticamente às suas necessidade e alocando os recursos que melhor os atendesse com base no menor custo de rede. No caso do balanceamento de carga, permitiria a distribuição mais eficiente dos recursos. A análise e controle da carga dos recursos computacionais disponíveis para o funcionamento permitiria a otimização do uso da capacidade instalada, auxiliando a previsão da necessidade de ampliação desta capacidade, assim como a detecção de degradação da mesma. Pedidos de recursos remotos, espaço em disco e processamento são executados a todo instante. Assim um gerenciador autônomo, agindo sobre essas solicitações, contribuiria para a gestão da infraestrutura e qualidade de serviço. Podemos ainda citar a inclusão da funcionalidade de exportação dos appliances disponibilizando-os para outras fontes e a importação daqueles existentes em repositórios externos ao ambiente (padrões OVF e OVA), passando a ficar disponível como mais um recurso para seus usuários. O presente trabalho apresenta como contribuição ter abordado a criação e o uso de ambientes virtuais de trabalho em apoio a execução de aplicações científicas,

8 972 Anais tendo como público alvo especialistas com pouco domínio sobre aspectos relacionados a configuração, requisitos ou manutenção, permitindo a estes usuários acesso remoto e possibilidade de uso de recursos de alto desempenho. Este trabalho também procurou criar uma ferramenta para a gerência destes ambiente, desde o nível da interface para o controle dos recursos até o nível de sua infraestrutura. Referências Epstein, A., Lorenz, D. H., Silvera, E., and Shapira, I. (2010). Virtual appliance content distribution for a global infrastructure cloud service. In INFOCOM 10: Proceedings of the 29th conference on Information communications, pages , Piscataway, NJ, USA. IEEE Press. HEMOLAB (2010). Hemodynamics modelling laboratory. Keahey, K., Foster, I., Freeman, T., and Zhang, X. (2005a). Virtual workspaces: Achieving quality of service and quality of life in the grid. Sci. Program., 13(4): Keahey, K., Foster, I., Freeman, T., and Zhang, X. (2005b). Virtual workspaces in the grid. In In Proc. of Euro-Par Conf, pages Keahey, K. and Freeman, T. (2008). Science clouds: Early experiences in cloud computing for scientific applications. cloud computing and applications. Matthews, J. N., Hu, W., Hapuarachchi, M., Deshane, T., Dimatos, D., Hamilton, G., McCabe, M., and Owens, J. (2007). Quantifying the performance isolation properties of virtualization systems. In ExpCS 07: Proceedings of the 2007 workshop on Experimental computer science, page 6, New York, NY, USA. ACM. Reich, J., Laadan, O., Brosh, E., Sherman, A., Misra, V., Nieh, J., and Rubenstein, D. (2010). Vmtorrent: virtual appliances on-demand. In SIGCOMM 10: Proceedings of the ACM SIGCOMM 2010 conference on SIGCOMM, pages , New York, NY, USA. ACM. Rixner, S. (2008). Network virtualization: Breaking the performance barrier. Queue, 6(1):36 ff. Sapuntzakis, C., Brumley, D., Chandra, R., Zeldovich, N., Chow, J., Lam, M. S., and Rosenblum, M. (2003). Virtual appliances for deploying and maintaining software. In LISA 03: Proceedings of the 17th USENIX conference on System administration, pages , Berkeley, CA, USA. USENIX Association. Yang, C.-T., Tseng, C.-H., Chou, K.-Y., and Tsaur, S.-C. (2010). A virtualized hpc cluster computing environment on xen with web-based user interface. In Zhang, W., Chen, Z., Douglas, C., and Tong, W., editors, High Performance Computing and Applications, volume 5938 of Lecture Notes in Computer Science, pages Springer Berlin / Heidelberg /