Projeto GT VCG Grade QueroQuero

Transcrição

1 Projeto GT VCG Grade QueroQuero Coordenador: Bruno Schulze 1 Equipe: - Coordenador : Bruno Schulze (DSc) - Membros : Antônio Tadeu A. Gomes (DSc) Anolan Milanes (MSc) Fabio Licht (Msc) Luis Rodrigo Gonçalves (MSc) Luiz Gadelha (MSc) Marcio Dutra (MSc) Matheus Bandini (BSc) Thais Cabral (BSc) Camila Bayma (Graduando) Henrique Kloh (Graduando) - Colaboradores: Edmundo Madeira (Dsc) Vinod Rebello (Dsc) 2 1

2 Agenda: 1.Objetivo do Projeto 2.Grade Computacional 3.Funcionalidades do Projeto 4.Descrição dos Componentes 3 Objetivo: Promover o desenvolvimento de uma infraestrutura de grade computacional pública baseada: Modelo de adesão Economia de Grade Créditos por Projeto Certificados (Máquina e Usuários) de curta e longa duração Middlewares com suporte a MPI Identificação de Comunidades de Usuários 4 2

3 Grade Computacional: Definição Motivação Características Básicas Conceitos Relacionados Middlewares de Grade 5 Definição : Infraestrutura de software que permite o compartilhamento flexível, seguro e coordenado de recursos entre coleções dinâmicas de indivíduos, instituições e recursos Inclui sustemas computacionais, recursos de amazenamento de dados e facilidades especializadas Baseado em modelo onde serviços computacionais estão sempre disponíveis, facilmente acessiveis, e previsívelmente expansíveis Virtualização de recursos Execução de aplicações distribuídas de larga escala e intesivas de recursos 6 3

4 Motivação : Melhoria de desempenho das redes e computadores Computadores independentes como plataforma para execução de aplicações Disponibilização/Utilização de recursos variados (CPU, Memória, Disco, Rede) Utilização dos ciclos ociosos Alocação de recursos para aplicações paralelas 7 Características Básicas : Aspectos da estrutura das Grade Computacionais: Heterogeneidade dos componentes Alta dispersão geográfica Não são dedicadas a uma única aplicação (compartilhamento) Múltiplos Domínios Administrativos Controle Distribuído 8 4

5 Topicos Relacionados : Aplicações Bag of Tasks x Paralelas Plataforma de Execução Monitoramento/Gerenciamento dos Recursos Escalonador de Aplicação X de Recursos Economia da Grade Imagem do sistema Acesso e Autenticação Certificação Digital (Máquinas / Usuários) 9 Middlewares de Grade : Globus (US) Certificação Usuário / Máquina / Internet Condor (US) VPN / Intranet InteGrade (BR) - CORBA OurGrid (BR) P2P Legion (US), entre outros 10 5

6 Projetos de Grade : GRID5000 (FR) WCG OSG (US) TeraGrid (US) EGEE / EELA (EU) Mygrid (UK) D-Grid(DE) entre outras iniciativas 11 Aplicações e Relação com outros GTs : Projeto Genoma Projeto de Medicina Assistida por Computação Física Astronomia Relacionamento com atividades de certificação no contexto da ICPEDU 12 6

7 Projeto GT-VCG 13 Funcionalidades: Portal de Submissão e de Informação Controle de Adesão (Usuários / Projetos) Gerenciamento de Créditos Gerenciamento de Tarefas Monitoramento de Recursos Monitoramento de Segurança Certificação de Máquinas e Usuários Scripts de Instalação 14 7

8 Funcionalidades Visão Geral Recursos da grade VCG Fluxo do processo de adesão de usuário/projeto Fluxo do processo de inclusão de máquina Fluxo do processo de submissão de tarefa Fluxo do processo de monitoramento de máquinas/tarefas Recurso 1... Recurso (3) Submissão das tarefas Novo recurso Recurso N Pág. de submissão Usuário/Coordenador Pág. de adesão (1) (1) Instalação (1) Monitoramento (1) Serviço de informações (2) Assinatura do certif. de máquina Autoridade certificadora Portal VCG (2) Criação do certif. proxy (3) Inclusão (2) Crédito/Débito (2) Inclusão BD (4) Liberação (5) Criação do certif. de usuário Núcleo da grade VCG Servidor de administração (3) Pág. de administração Administrador da grade Estrutura Básica (rede) Núcleo da Grade (VMS - Globus) (bancodados) (servidorweb - Globus) (execução - Globus) (certificadora) Máquinas da Grade com acesso a Internet (Globus - Condor ) Máquinas da Grade sem acesso a Internet Máquinas da Grade com acesso a Internet (Globus) Condor Condor Condor 16 8

9 Conjunto Mínimo de Nós Núcleo da Grade : Certificadora * NRJ Banco De Dados e VMS * NRJ Servidor Web e VMS * NRJ VMS (VCG Management System) * NRJ 3 Máquinas para execução de tarefas Sistema Operacional : Debian Linux 4.0 (Etch) - Kernell 2.6 Firewall Ativo Contas Locais (Sem NFS e NIS) * NRJ: Não Recebe Jobs 17 Arquitetura (sw) Autenticação (MyProxy) Escalonador de Aplicação Condor Descoberta de Recursos Submissão de tarefas Globus VCG Management System Repositório Economia de Grid 18 9

10 Portal de Informações Informações sobre o Projeto Documentação On-line (Instalação e utilização) Controle de Adesão Submissão de Tarefas Monitoramento (Rede, Recursos, Segurança) Download (manuais, pacotes de instalações) Administração (aprovação usuário/projeto) 19 Tela de Acesso 20 10

11 Tela de Acesso 21 Controle de Adesão 22 11

12 Controle de Adesão 23 Controle de Adesão 24 12

13 Economia de Grade Disponibilização inicial de Créditos Cadastro do Projeto = 100 Créditos Nova Máquina = 100 Créditos Créditos pertencem a um Projeto Obtidos via disponibilização de recursos 1 Crédito 1Minuto Utilizados para execução de aplicações Transferidos entre projetos distintos 25 Economia de Grade Bloqueio de submissão Saldo Negativo de Créditos Uso indevido da grade Certificado de usuário expirado Novas Submissões Obtenção de novos créditos Emissão de novos Certificados 26 13

14 Portal de Submissão Acessível via Portal VCG Baseado em portlets Funcionalidades: Descrição de tarefas Seleçãoderecursos Submissão de tarefas Gerência de tarefas Portal Grade Usuário 27 Portais de Grade Transparência de Acesso à Grade Monitorar aplicações Framework open-source Container de Portlets Portal Grade Usuário 28 14

15 Login Autenticação Criação de proxy Inserção de proxy no servidor MyProxy 29 Descrição das Tarefas Abstração da Resource Specification Language (RSL). Descrição da Tarefa(Job) Persistência da tarefa no Repositório (Banco de Dados) Grade Portal Usuário 30 15

16 Seleção de Recursos Comunicação com os serviços de monitoramento. MDS e VMS. Seleção dinâmica de recursos Submissão de jobs para a grade. Grade Portal Usuário 31 Descrição e Submissão de Tarefas 32 16

17 Descrição e Submissão de Tarefas 33 VMS VCG Management System Componentes: SDD servidor de dados do domínio SDL servidor de dados local Coleta de informações: Monitoramento Segurança Associação máquina projeto Geração e Débitos de créditos Gerência dos certificados e do mapfile 34 17

18 VMS VCG Management System B.D. SDD Servidor de Dados do Domínio SDL Servidor de Dados Local B.D. - Banco de Dados SDD SDD A B SDL SDL SDL A B A B A B 35 VMS VCG Management System B.D. SDD Servidor de Dados do Domínio SDL Servidor de Dados Local B.D. - Banco de Dados 2 SDD A 3 SDD B 1 4 SDL SDL SDL A B A B A B 36 18

19 Monitoramento Dos Recursos Da rede onde os servidores estão instalados Da grade (Globus/Condor) Dos Usuários/Projetos Créditos Submissões Máquinas De Segurança Política de Segurança do Projeto VCG ISO/IEC 17799: Núcleo da Rede 38 19

20 Núcleo da Grade 39 Grade - VMS 40 20

21 Grade - VMS 41 Certificação Digital Autoridade única (usuários e máquinas) Certificados de curta/longa duração Certificados de usuários: Validade de 1 ano Gerados após adesão Usado na submissão de Tarefas Disponível através do MyProxy Certificados de Máquinas Solicitados durante instalação Validade de 60 dias / 1 ano Validade monitorada pelo VMS 42 21

22 Funcionamento 1) Usuário se cadastra no Portal GT-VCG Portal GT-VCG 2) Administrador autoriza o Usuário Administrador Usuário 4) O usuário após ter o seu cadastro aprovado pode submeter suas tarefas para processamento na grade Serviços da grade 3) Administrador cria, assina e coloca o certificado de usuário no repositório MyProxy Portal de Submissão GT-VCG Autoridade Certificadora 43 Solicitação do 1º Certificado 1º) Usuário obtém seu Hash e o pacote de instalação Portal GT-VCG Autoridade Certificadora 3º) A requisição é enviada à CA Usuário 2º) Instalação do pacote e apresentação do hash 6º) Instalação do certificado na máquina 4º) Verificaavalidadedo Hash obtido; Geração do Certificado de máquina; Máquina Associada ao projeto; 5º) Envio do certificado à máquina 7º) Máquina está disponível para atender as solicitações de execução de tarefas Serviços da grade 44 22

23 Pacotes de Instalação Tipos de Instalação IP Válido Globus ou Globus + Condor (Master) IP Privado Condor (Slave) Conteúdo dos Pacotes de Instalação: VMS VCG Management System Economia de Grade Monitoramento Recursos (MDS) Coletores de Dados (Estáticos e Dinâmicos) Gerencia de Middleware (Mapfile e Certificados) Gerencia de Segurança de Configuração Procedimentos de Segurança (privilégio de usuário) Middleware (Globus ou Globus + Condor) Tempo aproximado de Instalação: ~5min 45 Obrigado!!! vcg@lncc.br