UNIVERSIDADE ESTADUAL DO OESTE DO PARANÁ - UNIOESTE CENTRO DE CIÊNCIAS EXATAS E TECNOLÓGICAS - CCET CURSO DE BACHARELADO EM INFORMÁTICA

Transcrição

1 UNIVERSIDADE ESTADUAL DO OESTE DO PARANÁ - UNIOESTE CENTRO DE CIÊNCIAS EXATAS E TECNOLÓGICAS - CCET CURSO DE BACHARELADO EM INFORMÁTICA TUTORIAL DE CONFIGURAÇÃO DE UM CLUSTER DA CLASSE BEOWULF ALESSANDRO FRANCO DANIEL BORDIGNON CASSANELLI PEDRO PATITUCCI FINAMORE - CASCAVEL

2 ALESSANDRO FRANCO DANIEL BORDIGNON CASSANELLI PEDRO PATITUCCI FINAMORE TUTORIAL DE CONFIGURAÇÃO DE UM CLUSTER DA CLASSE BEOWULF Centro de Ciências Exatas e Tecnológicas. Universidade Estadual do Oeste do Paraná Campus Cascavel Professores: Guilherme Galante Luiz Antonio Rodrigues - CASCAVEL

3 Objetivo Esse tutorial tem como finalidade descrever os passos para a configuração de um cluster da classe Beowulf, tipo de cluster voltado para alto desempenho, utilizando o o modelo Message Passing Interface. Para isso, utilizaremos a MPICH, uma implementação do modelo MPI. As aplicações utilizadas foram: Debian 4 netinst; NIS (nis); NFS (nfs-common, nfs-kernel-server); Portmap (portmap); SSH; MPICH Requisitos Prévios Partimos da premissa de que o Debian está instalado nas máquinas que farão parte do cluster (1 master e 1 slave) e que a rede está corretamente instalada e configurada. Clusters da classe Beowulf possuem um servidor responsável por controlar todos os nodes do cluster, principalmente quanto a distribuição de tarefas e processamento. Portanto defina o computador que terá esse papel (mestre). Utilizaremos um método de clonagem de nodes, portanto não se preocupe em configurar todos os nodes clientes. Configure um e clone o HD com o comando dd do linux. Instruções de com proceder serão passadas no fim do trabalho. Comando precedidos do símbolo '#' devem ser executados como root e os precedidos de '$' podem ser executados como usuário comum.

4 Instalando e configurando NIS (Network Information Service) e NFS (Network File Service) Usaremos o NIS para centralizar no mestre o login e a senha dos usuários da nossa rede. Isso evita que tenhamos de adicionar em cada nó um usuário quando o mesmo é criado no mestre. O NFS será usado para montar o diretório /home no mestre, evitando ter que copiar tudo que é criado na pasta do usuário para cada nó. Em primeiro lugar, é necessário adicionar os repositórios da distribuição. Edite o arquivo /etc/apt/sources.list e adicione a seguinte linha de comando: deb ftp://ftp.br.debian.org/debian etch main contrib non-free Feito isso, atualize o pacote de repositórios. Será necessário baixar os pacotes do NIS e do NFS, isso poderá ser feito executando-se a seguinte linha de comando: # apt-get install nfs-common nfs-kernel-server portmap nis A instalação do NIS vai pedir que você determine o nome do domínio. Deixe em branco precione enter / ok. Obs: para instalar o NIS, certifique-se de que sua distribuição Debian tenha instalado: libdbus-glib e libglib 2.0, no caso do netinstal esses pacotes devem ser instalados pelo apt-get. Caso sua rede possua um proxy, lembre-se de exportá-los com os comandos: #export http_proxy= #export ftp_proxy=

5 Configurando NIS no servidor Editar o aquivo /etc/hosts para definir corretamente o nome da máquina, o domínio e o IP do host: Exemplo de configuração do /etc/hosts Editar o aquivo defaultdomain, que em nosso caso será br. Para isso edite o arquivo /etc/defaultdomain e troque para o domínio da sua rede (só digite o nome do domínio escolhido). O nome do host pode ser alterado em /etc/hostname. Editar o arquivo /etc/yp.conf com o nome do host e host.dominio pra definir o host que atuará como server. O host será o mestre. Exemplo de configuração do /etc/yp.conf

6 No aquivo /etc/ypserv.securenets definiremos a máscara de rede e o IP para permitir o acesso somente à ips da sua rede local. Procure a linha >>#This line gives access to everybody. PLEASE ADJUST! >> E coloque sua faixa de ip e a máscara. No nosso caso colocamos: >>#This line gives access to everybody. PLEASE ADJUST! >> Devemos definir qual máquina será o servidor NIS. Isso deve ser feito editando-se o arquivo /etc/default/nis como na figura abaixo: e reiniciamos o serviço com o comando #/etc/init.d/nis restart Agora será necessário criar os maps e validar as configurações para o servidor. Para isso, vá até o diretório /usr/lib/yp e execute o seguinte comando: #/usr/lib/yp/ypinit m ou #./ypinit m

7 No final do processo será perguntarado quais os hosts rodarão para o servidor NIS. Então, pressione CTRL+D e confirme os dados. A saída será similar à figura abaixo ~At this point, we have to construct a list of the hosts which will run NIS ~servers. kane is in the list of NIS server hosts. Please continue to add ~the names for the other hosts, one per line. When you are done with the ~list, type a <control D>. ~next host to add: info Sempre que se adiciona um usuário novo no mestre, EXECUTE O COMANDO #/var/yp/make NÃO SE ESQUEÇA DISSO!!!

8 Configurando o Cliente NIS Após baixar o pacote com no cliente com #apt-get install nfs-common nfs-kernel-server portmap nis configure o NIS em seu computador cliente editando o arquivo /etc/yp.conf da seguinte maneira: e reinicie o serviço com o comando #/etc/init.d/nis restart Agora que o cliente foi configurado, deveremos configurar o arquivo de senhas para logar no servidor, para isso, precisamos editar os arquivos / etc/passwd, /etc/group e /etc/shadow. Digite no fim do aquivo /etc/passwd +:::::: Digite no fim do arquivo /etc/group +::: Digite no fim do arquivo /etc/shadow +::::::::

9 3.Consigurando o NFS no Mestre Para configurar o NFS adicionamos no fim do arquivo /etc/exports a seguinte linha: reiniciamos o NFS com o comando #/etc/init.d/nfs-kernel-server restart Configurando o cliente NFS Configure o arquivo /etc/fstab, adicionando a seguinte linha no final do arquivo:

10 A idéia é montar em qualquer node a mesma pasta do usuário, para que cada node tenha acesso ao programa que será executado em paralelo (como já foi dito, isso evita ficar copiando os arquivos e usuários em cada node). Configurando o SSH (Secure Shell) O MPICH usa mensagens e as troca conectando nas outra máquina para a execução da aplicação (tente listar os aquivos da pasta do usuário durante uma execução e você vera uma pasta criada para o processo). Durante a instalação do MPICH, definimos que ele usaria o SSH para esse propósito (-rsh=ssh). O SSH permite a criação de uma chave pública, possibilitando a conexão de um usuário na máquina sem termos que ficar digitando usuário e senha. Isso é possível se o usuário possui a sua chave cadastrada no authorized_keys do usuário onde ele quer se conectar. O primeiro passo é baixar o pacote do SSH, com a seguinte linha de comando: #apt-get install openssh-server Após baixar o pacote, gere a chave RSA, com o comando (não precisa ser root ($)): $ssh-keygen -t rsa Será gerado uma chave pública id_rsa.pub, na pasta /home/nomedousuario/.ssh/ do usuário que executou a geração de chave RSA. Execute o comando $cat id_rsa.pub >> authorized_keys para gerar um arquivo chamado authorized_keys, na pasta ssh do usuário. Esse arquivo permite que o usuário conecte por ssh sem senha. Obs: estas operações devem ser feitas somente no servidor, já que os usuários terão a paste /home montada nele.

11 Instalação e configuração do MPICH O MPICH é uma implementação em código aberto do MPI (Message Passing Interface), para processamento distribuído. Para instalá-lo e configurá-lo, basta seguir os seguintes passos: Baixe o pacote em: pich.tar.gz e descompacte com o comando $tar -zxvf mpich.tar.gz Certifique-se de que você tenha instalado o gcc e a biblioteca libc6, caso não as possua, baixe com os comandos: #apt-get install gcc #apt-get install libc6-dev Vá até a pasta onde ele foi extraído e execute o comando #./configure --prefix=/usr/local/mpich-1.2.7p1 -rsh=ssh #make #make install OBS: O MPI não permite executar os processos como root. Certifique de rodar os processos como usuário comum do sistema! Nesse ponto tudo começa a fazer sentido. Com o NIS podemos logar em qualquer máquina com o mesmo nome de usuário e senha, presentes no mestre (NIS Server). Usando o NFS, montamos o mesmo /home desse usuário em todos os nodes, ou seja, os aquivos ficam disponíveis em todos os nodes. E o SSH? A chave publica é gerada na pasta /home do usuário, com isso TODOS os nodes que acessam a pasta /home tem acesso a essa chave e conseqüentemente ao Authorized_keys. Logo, o master e os nodes podem conectar por esse usuário uns nos outros de uma maneira simples, que possibilita a extensibilidade do cluster de forma rápida e prática. Na primeira vez que é realizada a conexão, o ssh grava o 'fingerprint' da máquina, pedindo pra você se você aceita que aquela máquina efetue a conexão (digite 'yes' e a conexão será realizada).

12 A instalação do MPICH foi concluída, agora, você precisará copiar o nome das máquinas compartilhadas para o arquivo /usr/local/mpich-1.2.7p1/share/machines.linux adicionando o hostname de cada node do seu cluster (você pode usar um arquivo customizado, ex: machines,.com o nome/ip dos hosts que deseja usar no parâmetro -machinefile). Os executáveis ficam na pasta../mpich.../bin. Pra você ter acesso à eles de qualquer lugar, edite o $PATH do seu sistema. Existem alguns exemplos na pasta../mpich-1.2.7/examples, pra testar o mpich, entre na pasta../mpich.../bin e execute #mpicc o cpi../examples/cpi.o Copie o arquivo 'cpi' para a pasta do usuário comum do seu master e execute como esse usuário: #cp cpi /home/usuario ~$/usr/local/mpich-1.2.7p1/bin mpirun np <numero_maquinas> cpi

13 Clonando o HD do node slave Ligue o HD de um slave no computador que se deseja clonar e usando o comando 'dd' do linux faça: #dd if=/dev/hddoslaveorigem of=/dev/hddoslavedestion ex: #dd if=/dev/hda of=/dev/hdb Depois de clonado, EDITE O /etc/hostname e MUDE O IP em /etc/network/inteface A cada node novo, é necessário adicioná-lo no /etc/hosts de TODOS OS NODES!!! Uma solução é editar o /etc/hosts no master e criar um bash script pra copiar por ssh esse novo hosts para a pasta de cada node. Após isso, estamos com um novo node no nosso cluster. OBS: Alguns clones mudam a interface de rede de eth0 para eth1, ethn. Tenha certeza de que o novo node está on-line, logando no nis, montando o /home no master e acessando todos os nodes da rede por ssh <hostname>.

14 Problemas encontrados durante o projeto 1# SSH não conecta! Isso acontece se você não instalar o openssh-server. Caso isso aconteça, instale na máquina que recusa a conexão e configure. 2# O /home não monta durante o boot no master e só monta pelo comando 'mount'! Edite o aquivo /etc/rc.local e coloque mount -t nfs Isso força a montagem durante o boot. 3# O MPICH mostra um erro dizendo que não consegue gravar! Isso tem ligação com o SSH ou as permissões no NFS. Revise as configurações do ssh e do nfs nas máquinas. 4# O MPICH mostra um erro dizendo que não consegue se comunicar com um determinado host! Isso acontece se o host não reponde, se o host não está presente no /etc/hosts ou se o ssh está mau configurado. 5# O MPICH mostra um erro dizendo que não consegue executar em determinado host! Isso acontece se a opção 'exec' não estiver presente no /etc/fstab