O QUE É O CLUSTER OPENMOSIX - COMPILAÇÃO DE UM KERNEL LINUX PARA UM CLUSTER OPEN/MOSIX E MONTAGEM BÁSICA DE UM CLUSTER OPENMOSIX.

Transcrição

1 O QUE É O CLUSTER OPENMOSIX - COMPILAÇÃO DE UM KERNEL LINUX PARA UM CLUSTER OPEN/MOSIX E MONTAGEM BÁSICA DE UM CLUSTER OPENMOSIX. 1 André Avila Kaminski 2 Resumo Um cluster openmosix é formado por um conjunto de computadores que utilizam um sistema operacional distribuído. É construído a partir de computadores convencionais (nós) ligados em rede, os quais comunicam-se através do sistema de forma que ocorre um balanceamento de carga de processamento entre os nós do cluster. Utiliza-se o kernel Linux para a instalação do sistema, no qual é aplicado um patch que torna possível a compilação de suporte à migração de processos, bem como medição de carga e comunicação entre os nós do sistema diretamente no kernel. O openmosix é um projeto de Software Livre, motivo pelo qual garante o baixo custo de montagem de um cluster cujo desempenho é muito interessante. Palavras-chave: Cluster, Linux, Software Livre Abstract An openmosix Cluster is formed by a set of computers that use a distributed operational system. It is constructed from conventional computers (nodes) on a network, which communicate themselves through the system, occurring a balancing of load process by the nodes of the cluster. The kernel Linux is used for the installation of the system, a patch is applied in the kernel making possible the compilation of support to the migration of processes, as well as load measurement and communication by the nodes of the system directly in the kernel. The openmosix is a free software project, it is the reason for the guarantees to the low cost of assembly of cluster whose performance is very interesting. Key-words: Cluster, Linux, Free Software 1. CLUSTER Define-se um cluster como um conjunto de Pcs ou estações que, interligados, comportam-se como um sistema de imagem única (SSI - Single System Image). O conceito de SSI se resume em que um sistema paralelo ou distribuído independe de ser composto por vários processadores ou recursos físicamente distribuídos, deve comportar-se com um sistema centralizado do ponto de vista do usuário, sendo transparente ao mesmo todos os aspectos relativos à distribuição de dados e tarefas, comunicação e sincronização entre tarefas e a organização física do sistema. 1 Este artigo encontra-se sob a licença Creative Commons. Foi liberado pelo próprio autor para ser inserido na Revista Gestão e Conhecimento. 2 Bacharel em Relações Internacionais e estudante de pós-graduação em Software Livre. Bolsista há 2 anos no Instituto de Tecnologia do Paraná ( atuando em pesquisas de soluções em Software Livre para projetos de migração de plataformas. Pesquisador do desenvolvimento do Software Livre na América Latina, bem como dos impactos políticos e sociais gerados pela evolução do mesmo na região. kaminski@tecpar.br Gestão & Conhecimento, v. 4, n.1, jan./jun. 2006: 49-75

2 Kaminski, André Ávila Em uma rede, os nós tendem a ser menos complexos do que os nós de um cluster, pois em uma rede os nós correspondem a Pcs ou estações monoprocessadas. Em um cluster, os nós podem conter dois, quatro ou mais processadores, tendo uma complexidade igual ou até mesmo maior do que máquinas MPP (máquinas proprietárias de processamento massivo), se for considerado a presença de discos e sistemas operacionais. As máquinas SMP (máquinas multiprocessadas) geralmente são mais complexas, pois podem conter um número maior de processadores. As redes de comunicação dos computadores podem ser baseadas em switches de alta velocidade, que permitem a transmissão simultânea de pacotes pertencentes a diferentes pares de comunicação em alta velocidade, como no caso do fast ethernet e gigabit ethernet. A constante demanda de poder computacional vem gerando a necessidade de processadores cada vez mais rápidos. Na computação de alto desempenho, utilizada para programação científica, multimídia, gerenciamento de grandes volumes de dados etc., a solução passa por máquinas com múltiplos processadores ou ainda clusters proprietários fornecidos por grandes empresas. Ambas soluções são custosas e de pouca escalabilidade. O projeto openmosix viabiliza a computação de alto desempenho utilizando computadores ligados em rede e com sistema operacional GNU/Linux. 1.1 O Cluster openmosix Durante a década de 1980, foi utilizado pela força aérea americana, para a construção de um cluster de computadores PDP 11/45, o projeto Mosix (Multicomputer Operating System unix), um sistema operacional distribuido originalmente desenvolvido pelos estudantes da Universidade Hebrew em Jerusalém, Israel, juntamente com o professor Ammon Barak. Gestão & Conhecimento, v. 4, n.1, jan./jun

3 Em 10 de fevereiro de 2002 surgiu uma extensão do projeto Mosix, o openmsix, baseado na GPLv2 3 para manter os privilégios dessa solução Linux 4 para cluster disponível com software de código aberto, coordenado pelo Ph.D Moshe Bar. O openmosix é uma extensão do kernel Linux do sistema operacional GNU/Linux, que faz com que um cluster de computadores se comporte como um grande e único supercomputador através da utilização de migração preemptiva de processos e balenceamento dinâmico de carga. A implementação da migração preemptiva de processos é capaz de migrar qualquer processo do usuário, em qualquer instante e para qualquer nó disponível de maneira transparente. Para atingir um melhor desempenho este é controlado por algoritmos de balanceamento dinâmico de carga e de prevenção contra a falta de memória. Estes algoritmos são projetados para responder dinamicamente as variações da utilização dos recursos nos diversos nós. Isto garante que o cluster se comporte muito bem, seja numa configuração com poucas ou com muitas máquinas, propiciando uma maior escalabilidade. Se o programa que estamos rodando em uma máquina consumir muito recurso dela, o sistema varre a rede toda e procura uma máquina que esteja com seus recursos mais disponíveis em termos de memória e CPU, e desloca o processo, ou parte dele, para ser executado remotamente, assim, o sistema ganha desempenho. Os algoritmos de balanceamento dinâmico de carga e de prevenção contra a falta de memória são descentralizados, não existindo assim a configuração de um controlador mestre e nós escravos como ocorre no Cluster Beowulf 5 para computação paralela. Cada nó um mestre para os processos que são criados localmente, e um servidor para processos remotos, migrados de outros nós do cluster. Sendo assim, podemos acrescentar ou remover as máquinas do cluster em qualquer momento, com um mínimo de disturbio no sistema. Existem também algoritmos de monitoramento que identificam a velocidade de cada nó, a carga da CPU e a memória livre disponível, e Gestão & Conhecimento, v. 4, n.1, jan./jun

4 Kaminski, André Ávila também como está a comunicação interprocessos IPC e a velocidade de acesso a cada processo. O openmosix opera de forma silenciosa, assim as operações são transparentes para as aplicações, pode-se executar aplicações sequenciais e paralelas como se fosse um único computador SMP (multiprocessamento simétrico). Você não precisa saber onde os processos estão sendo executados, nem se preocupar com o que as outras máquinas estão fazendo na rede, por isso ele usa o acrônimo fork and forget. O que ele faz é, pouco tempo depois de iniciar os processos, o openmosix enviaos para um melhor computador da rede, o openmosix continua a monitorar os novos processos e os demais, e poderá movimentá-los pelos computadores com pouca carga de trabalho maximizando o trabalho e melhorando a performance do cluster. Aplicações que se beneficiam com o openmosix: processos CPU-bound: processos com longos tempos de execução e baixo volume de comunicação entre processos, como aplicações científicas e de engenharia, que necessitam de altas performances de computação; grandes compilações; processos I/O bound misturados com processos da CPU: executados através do servidor de arquivos, usando o sistema de arquivos distribuídos do openmosix, o MFS (Mosix File System) e o DFSA (Distributed File System Architeture); banco de dados que não usem memória compartilhada; processos que podem ser migrados manualmente. As desvantagens do openmosix: processos com baixa computação, como aplicativos com alta comunicação interprocessos; aplicações com memória compartilhada; Gestão & Conhecimento, v. 4, n.1, jan./jun

5 aplicações dependentes do hardware que necessitam de acesso a um periférico de um nó em especial; aplicações com muitas threads não ganham desempenho; não se ganha desempenho quando se roda um único processo, tal como seu browser por exemplo. Aplicações testadas que não migram sobre openmosix: programas em Java usando threads nativas não migram desde que eles utilizem memória compartilhada. Green Threads JVMs, entretanto, podem ser migradas porque cada thread Java é um processo separado; aplicações que usam pthreads; MySQL, Apache, Oracle, Postgres, SAP, Baan, usam memória compartilhada; python com threading habilitada; Vmware. Este, ao rodar o Win98, algumas vezes trava e em outras o emulador do sistema operacional pára. Deve-se ter muito cuidado quando utilizar o Vmware com o openmosix. A característica de não migrar é uma situação normal para programas que falhariam ao serem movimentados pelo openmosix. Estes programas devem rodar como planejado no nó onde foram iniciados. 2. ALGORITMO DE COMPARTILHAMENTO DE RECURSOS DO CLUSTER OPENMOSIX 2.2 Balanceamento Dinâmico de Carga O algoritmo de balanceamento de carga tenta continuamente reduzir a diferença de carga entre pares de nós, transportando processos de um nó muito Gestão & Conhecimento, v. 4, n.1, jan./jun

6 Kaminski, André Ávila carregado para um nó menos carregado. O esquema utilizado não é centralizado, todos os nós executam o mesmo algoritmo, e a tentativa de redução das diferenças é executada independentemente e aos pares. 2.3 Anunciador de Memória O algoritmo do anunciador de memória serve para evitar o exaurimento da memória. Este é direcionado para tentar colocar a maior ocupação possível da memória do cluster de computadores, evitando ao máximo que ocorra a paginação ou utilização da memória virtual. Inclusive, é quando um determinado nó começa a fazer muita paginação que o algoritmo entra em ação. Neste caso específico, este algoritmo tem a preferência sobre os demais, mesmo que a migração do processo cause um desbalanceamento de carga. 2.4 Migração Preemptiva de Processos A Migração Preemptiva de Processos (MPP) é capaz de migrar qualquer processo, em qualquer instante, para qualquer nó do cluste. Usualmente esta migração é baseada nas informações geradas pelos algoritmos automáticos, mas também podem ser sobrepostas por operações manuais, sejam estas executas pelo usuário ou por outros processos. Cada processo tem o seu UHN (Unique Home Node), máquina na qual o processo foi criado.normalmente é onde o usuário está logado. O modelo que o openmosix segue é espelhado num Cluster de Computadores - CC (Cluster of Computers) onde cada processo "pensa" que está rodando no seu UHN e todos os processos deste usuário compartilham este ambiente UHN. Os processos que são migrados para outros nós podem usar os recursos locais do novo nó, caso seja possível, mas interagem com o ambiente do usuário através do UHN. Para exemplificar esse conceito, podemos dizer que caso o usuário venha a executar um comando "top", este deverá listar todos os processos que o usuário disparou, inclusive aqueles que foram transferidos para os nós remotos. Outro exemplo seria: um dos processos que foi Gestão & Conhecimento, v. 4, n.1, jan./jun

7 migrado invoca o método "gettimeofday()" que deve retornar o horário corrente da máquina UHN. O MPP é a principal ferramenta que os algoritmos de gerência de recursos utiliza, por exemplo, enquanto os recursos, como a memória ou a CPU, estão subutilizados ou abaixo do limite estabelecido o processo está confinado a ficar no UHN. Mas, se em um determinado instante estes limites forem extrapolados, alguns processos serão migrados para outros nós para aproveitar da melhor maneira possível os recursos disponíveis. Todo este processo é feito sem um controle central, não existindo nenhum relacionamento mestre/escravo entre os nós. Ou seja, cada nó do sistema opera de maneira independente e autônoma, tomando as suas decisões de maneira independente, o que permite uma configuração dinâmica, onde os nós podem entrar ou sair do grupo causando o mínimo de problema. Isto garante uma boa escalabilidade tanto em sistemas de grande porte quanto em pequenos sistemas. 2.5 Implementação da Migração de Processos O openmosix suporta e implementa de maneira transparente a migração de processos de modo preemptivo. Para realizar isso, o openmosix divide o processo que será migrado em duas partes, ou seja, em dois contextos: um que será transferido, que é chamado de contexto do usuário, e outro que é dependente da UHN e que não pode ser migrado, que chamamos de contexto do sistema. O contexto do usuário, chamado de representado, contém o código do programa, a pilha, os dados, os mapas de memória e o estado dos registradores do processo. O representado encapsula todas as informações do processo que estão rodando em modo usuário. O contexto do sistema, chamado de representante encapsula o processo quando este está rodando em modo supervisor. Este contém todas as descrições dos recursos os quais o processo faz uso ou está alocado para ele, e a pilha do sistema que Gestão & Conhecimento, v. 4, n.1, jan./jun

8 Kaminski, André Ávila controla a execução do processo. Como ele contém a parte do processo que é dependente do contexto do sistema, ele deve permanecer no UHN. Como foi citado anteriormente, o representado pode ser transferido quantas vezes for necessário, para qualquer nó do cluster, mas o representante jamais pode ser movido. Como a interface entre o modo usuário e o modo supervisor é muito bem definida e conhecida, é possível e extremamente simples interceptar toda e qualquer interação que existe entre esses dois modos e encaminhá-la para outros nós da rede. Isto é feito numa camada que chamamos de camada de adaptação a qual contém um canal especial de comunicação para a interação entre elas. Por causa desta divisão o processo a ser migrado tem um tempo de migração também composto por duas partes, uma fixa que é o tempo para criar a imagem do processo no nó remoto, e uma parte linearmente proporcional ao número de páginas a serem transferidas do processo. Para tentar minimizar a sobrecarga imposta pela migração, somente a tabela de páginas e as páginas marcadas como "sujas" do processo são transferidas. No momento da execução o openmosix garante a transparência de localização, transferindo todas as chamadas de sistema que são dependentes do local para o representante que está no UHN do processo. Estas chamadas são síncronas, ou seja, são interceptadas pela camada de adaptação remota e transferidas pelo canal especial de comunicação para o nó onde o processo foi lançado, este é executado e o retorno é re-transferido para o nó remoto o qual segue na execução do processo. Se durante esta execução a camada de adaptação descobre que algumas dessas chamadas ao sistema são independentes da localização, esta decide por não mandar a chamada para o UHN e a executa localmente, melhorando assim o desempenho. Evidentemente existem outras formas de interação entre os dois contextos do processo, como sinais, dados chegando pela rede, eventos, etc. Estes tipos de interações fazem com que o representante assincronamente tente localizar e interagir com o representado. Para que isso funcione o representado fica monitorando o canal especial de comunicação para ver se algum evento ou dado chega para ele. Ao mesmo Gestão & Conhecimento, v. 4, n.1, jan./jun

9 tempo o representante verifica sempre se alguma ação deve ser tomada quando algum tipo de evento ou dado chega para ele. Essa implementação é bastante robusta e independente de modificações que ocorram no núcleo do sistema, assim como não utiliza características especiais do sistema ou da máquina, o que garante que isso possa ser portado para diferentes arquiteturas de máquinas. Porém existe um pequeno problema. Para todas as chamadas do sistema existe uma sobrecarga para testar o que deve ser feito, e esta será ainda maior se tiver que ser transferida entre os nós. No entanto, normalmente, os ganhos são maiores o que justifica a implementação deste sistema. Algumas funções do núcleo do sistema não são compatíveis com esse esquema de divisão do processo em duas partes, como, por exemplo, escrita em memória compartilhada, aplicações em tempo real, instruções que acessem um barramento específico, dentre outras. Nestes casos, os processo são automaticamente confinados no UHN e, se por algum motivo eles já foram transportados, eles devem ser migrados de volta para o UHN. 2.6 Acesso à Arquivos Outro grande desafio dos clusters SSI é que cada nó tem que ser capaz de acessar o sistema de arquivos de todos os outros nós. Isso acontece porque caso seja executado um programa que abre o arquivo /tmp/teste para leitura e escrita este processo migra para outro nó do cluster e ele deve ser capaz de continuar fazendo I/O para o arquivo e a partir dele. Até agora existem duas opções para fazer isso. Na primeira, o cluster openmosix intercepta todos I/Os feitos por processos que foram migrados para o host corrente e depois para outro nó e manda estas requisições para o nó no qual o processo se originou. A segunda, seria criar uma visão global do sistema de arquivos através de NFS. A primeira é mais difícil de desenvolver, mas mais fácil de manter em operações do dia-a-dia. A segunda é mais fácil de implementar, mas pode ser mais Gestão & Conhecimento, v. 4, n.1, jan./jun

10 Kaminski, André Ávila problemático montar todos sistemas de arquivos de maneira inteligente, permitindo que cada nó acesse todos os outros nós. Adicionalmente é preciso ter certeza que todos os UIDs (identificador de usuários no sistemas Linux) e GIDs (identificador de grupos nos sistemas Linux) são consistentes para todos os nós no cluster, em contrapatida sérios problemas de permissões de acessos aos arquivos irão aparecer. Até então o openmosix suportou as duas opções. Mas agora está surgindo um novo sistema de arquivos de cluster para Linux que permite uma visão compartilhada de todos os sistemas de arquivos. Desenvolvedores de clusters dizem que todas as soluções atuais para sistemas de arquivos de cluster do tipo cluster-wide são baseados num servidor de arquivos central, mas existem novas tecnologias de sistemas de arquivos sendo desenvolvidas que atendem todas as necessidades de um cluster SSI como o openmosix. Utilizando o melhor do que está sendo pesquisado atualmente em sistema de arquivos e aplicando isto ao openmosix, surgiu o DFSA (Direct File System Access). O sistema de arquivos DFSA foi projetado para reduzir o overhead causado pela execução de I/Os feitas por chamadas de sistemas de processos migrados. Isto foi feito permitindo que a execução de grande parte das chamadas de sistemas seja feita localmente - no nó onde o processo se encontra. Além disso, o DFSA possui um novo algoritmo que leva em conta as operações de I/O que foi adicionado à política de distribuição de processos do openmosix (balanceamento de carga). O resultado dessas inovações é que os processos que executam de moderado a alto volume de I/Os provavelmente serão migrados para o nó ao qual se dirigem a maior parte de seus I/Os. Uma vantagem óbvia disto é que os processos que tenhas I/O limitado terão uma flexibilidade maior para migrar de seus respectivos nós originais para que o sistema obtenha um melhor balanceamento de carga. Então, diferentemente de todos os sistemas de arquivos de rede existentes (se diz NFS) que trazem os dados do servidor de arquivos para o nó do cliente através da rede, um cluster openmosix tenta migrar os processos para um nó no qual o arquivo está armazenado. Gestão & Conhecimento, v. 4, n.1, jan./jun

11 3. CONSTRUINDO UM CLUSTER OPENMOSIX Pode-se ter um cluster openmosix basicamente de duas maneiras: A primeira opção seria utilizar uma distribuição Linux diretamente de um CD bootavel. Estas distribuições são voltadas exatamente para a montagem de clusters, facilitando muito o aprendizado de iniciantes no mundo dos supercomputadores, pois é necessário apenas dar o boot pelo CD em duas ou mais máquinas interligadas em rede para ver um cluster funcionando. Pode-se citar como exemplo de distribuições a distribuição ClusterKnoppix 6, que serve como um Terminal Server para máquinas clientes com boot via PXE e a distribuição dyne:bolic, voltada para produção multimídia. Outras distribuições bootáveis podem ser encontradas no site osix_clusters.html; A segunda opção, a qual será descrita neste artigo, é utilizar uma distribuição Linux qualquer com instalação física na máquina. Deve-se utilizar um kernel Linux e aplicar um patch neste kernel, habilitando-o às necessidades do openmosix. 3.1 Escolhendo uma Distribuição Linux A distribuição Linux a ser utilizada depende muito da opção da pessoa responsável pelo cluster, pois o importante é o kernel Linux estar habilitado para trabalhar com o openmosix. Para a construção de um cluster openmosix a distribuição Debian GNU/Linux 7 é amplamente utilizada, mas pode-se encontrar tutoriais de montagem de um cluster openmosix com várias outras distribuições, como o tutorial openmosix Cluster on Gentoo 8 do Gentoo Linux 9, por exemplo Gestão & Conhecimento, v. 4, n.1, jan./jun

12 Kaminski, André Ávila Será utilizada o Debian GNU/Linux para a montagem do cluster openmosix. Existem nos repositórios da distribuição os pacotes necessários para a instalação do cluster e monitoração do mesmo, e pode-se encontrar também na internet shell scripts para demonstrar a migração de processos entre os nós do cluster. 3.2 Escolhendo um Kernel Linux para o Sistema A escolha do kernel pode ser definida pela finalidade da montagem do cluster e pelo hardware utilizado nas estações. No site oficial do projeto openmosix 10 apenas o patch para o kernel versão é disponibilizado como estável, mas existem patchs para outras versões em um site não-oficial 11, onde encontra-se até mesmo para as últimas versões. Na internet fica fácil encontrar resoluções de problemas para versões mais antigas do kernel, enquanto para as versões mais recentes encontrase pouca coisa, por isso é aconselhável utilizar versões mais velhas do kernel. Atualmente (10/11/2005) o kernel Linux está na versão estável , mas como o patch para esta versão ainda não está oficialmente declarado estável pelos mantenedores do projeto openmosix, será utilizado o kernel , o qual se mostra muito estável para a função. 3.3 Iniciando a Montagem do Cluster para Demonstração dos Testes Para demonstração do funcionamento de um cluster openmosix, serão utilizadas duas máquinas com sistema operacional Debian GNU/Linux com um kernel com o patch devidamente aplicado. As configurações das máquinas (nós) do cluster são: Máquina 01 (N1): Notebook Acer / TravelMate Gestão & Conhecimento, v. 4, n.1, jan./jun

13 Processador Intel Mobile Pentium III 1000MHz, 512KB cache 256MB de memória RAM Placa de rede fast ethernet RealTek RTL /100 Máquina 02 (N2): Processador AMD Athlon (1800MHz), 64 bits, 512KB cache 512MB de memória RAM Placa de rede gigabit ethernet Realtek RTL8169/ /100/1000 No sistema operacional Debian GNU/Linux da N1 está instalado a interface gráfica Gnome 12, para que seja possível a visualização da migração de processos entre os nós do cluster através do aplicativo openmosixview 13, versão 1.5. Neste aplicativo podem ser vistos a eficiência do balanceamento de carga entre os nós, a memória total do cluster, o número de processadores do cluster, a porcentagem de memória utilizada e também existem opções para visualizar a migração de processos entre os nós, os processos que estão em andamento e gráficos da carga dos nós do cluster, dando a opção de poder gravar e/ou imprimir estes gráficos. É necessária a interface gráfica na N1 por dois motivos: o primeiro seria a demonstração gráfica da migração de processos; o segundo seria por ser uma máquina com menor poder de processamento e memória RAM, facilitando a indução de migração de processos para a N2. Na máquina N2 não haverá necessidade de utilizar interface gráfica, pois assim haverá mais memória livre para os testes. No nó N2 não haverá mais nada rodando a mais do que o sistema operacional Debian GNU/Linux e o openmosix. A ligação entre os dois nós do cluster será feita por um cabo crossover, por ter apenas dois nós, e sem a necessidade de conexão com outra rede ou máquinas, será dispensado a utilização de switches ou hubs, para que haja uma maior performance e diminua a possibilidade de falhas na hora dos testes. A velocidade da placa de rede do N2 é gigabit ethernet, mas trabalhará apenas como fast ethernet, pois a limitação está na placa de rede do nó N Gestão & Conhecimento, v. 4, n.1, jan./jun

14 Kaminski, André Ávila 4. COMPILADOR PARA UM KERNEL LINUX COM SUPORTE AO CLUSTER OPENMOSIX Para que se possa compilar um Kernel Linux openmosix é necessário utilizar a versão do compilador gcc 14, pois quando utilizada outra versão, a compilação apresentou muitos erros, impossibilitando a criação do kernel openmosix. Para isso foi necessário fazer o download do código fonte do gcc , descompactá-lo com o comando: tar jxvf gcc tar.bz2 E compilá-lo com a opção CC= gcc-3.3, para que fosse corretamente compilado e instalado, com os seguintes comandos: cd gcc /configure make CC= gcc-3.3 make CC= gcc-3.3 install Agora já existe no sistema o compilador necessário para a criação do kernel openmosix. O executável do compilador gcc versão será instalado no diretório /usr/local/bin/ com o nome de i686-pc-linux-gnu-gcc COMPILANDO UM KERNEL LINUX PARA CLUSTER OPENMOSIX Como citado anteriormente, será utilizado um kernel Linux versão para a utilização nos nós, tanto no N1 quanto no N2. Não há nada a mais nos kernels de ambas as máquinas do que o necessário para cada uma funcionar como um nó de Gestão & Conhecimento, v. 4, n.1, jan./jun

15 cluster openmosix e habilitar as funcionalidades necessárias para a demosntração do funcionamento do cluster. O primeiro passo foi fazer o download do código fonte do kernel do site oficial do Kernel Linux, descompar o código fonte no diretório correto: mv linux tar.bz2 /usr/src/ cd /usr/src/ tar jxvf linux tar.bz2 Criar o link simbólico: ln -s /usr/src/linux /usr/src/linux Fazer o download do patch 17 a ser aplicado no Kernel Linux do site oficial do openmosix e descompactá-lo diretório correto: bunzip2 openmosix bz2 mv openmosix /usr/src/linux/ O código fonte do kernel já está, juntamente com o patch apropriado, dentro do diretório correto. Agora, antes de aplicar o patch no kernel, é necessário retirar do código fonte do kernel tudo que não for necessário para a compilação, com os seguintes comandos: cd /usr/src/linux/ make clean make mrproper E copiar uma configuração básica para o kernel: cp arch/i386/defconfig.config E então aplicar o patch de modificação: Gestão & Conhecimento, v. 4, n.1, jan./jun

16 Kaminski, André Ávila cat openmosix patch -Np1 Este último comando não deverá retornar erro algum. Se algum erro ocorrer, verifique se a versão do kernel e do patch são as mesmas citadas acima. Neste ponto está efetuada a modificação no código fonte do Kernel Linux. Isto modificou cerca de 3% do código fonte, acrescentando algumas entradas para que seja possível a correta compilação do kernel com suporte à todas as funcionalidades do openmosix. O próximo passo é selecionar no kernel o que for necessário e terminar a compilação. Deve-se ter em mente que o processo deverá ser efetuado em cada nó do cluster, pois cada um deles necessita de um kernel apropriado para ser hardware, a não ser que todas as máquinas do cluster tenhas exatamente a mesma configuração. O próximo comando para acessar a interface de configuração do kernel é: cd /usr/src/linux make menuconfig Uma interface com todas opções do kernel Linux é aberta, possibilitando a ativação do hardware necessário para uma boa compilação. Pode-se observar uma entrada openmosix na primeira linha, a qual não estaria presente se o patch não tivesse sido aplicado. É necessário que no kernel estejam presentes no mínimo as seguintes configurações: Na entrada openmosix, para habilitar o suporte à cluster: openmosix process migration support Stricter security on openmosix ports (3) Level of process-identity disclosure Poll/Select exceptions on pipes Deve ser escolhido o processador certo na entrada Processor type and features para suporte ao processador do nó em questão Gestão & Conhecimento, v. 4, n.1, jan./jun

17 Na entrada Block devices, para suporte à comunicação entre trabalhos cliente X servidor sobre rede TCP/IP: Network block device support Deve ser escolhido o modelo da placa de rede do nó em questão na entrada Network device support Na entrada File systems devem ser selecionados todos os sitemas de arquivos que estejam presentes no sistema operacional do nó em questão Deve-se gravar as configurações e sair da interface. Basicamente é isso que deve estar no kernel. É aconselhável não colocar nada que não seja necessário, para maior performance do sistema. Agora, depois de ter configurado o kernel para ser compilado com suporte à todas as necessidades, já é possível começar a compilação do kernel para a máquina utilizando o gcc versão 3.3.2, com os comandos: make CC= /usr/local/bin/i686-pc-linux-gnu-gcc dep make CC= /usr/local/bin/i686-pc-linux-gnu-gcc bzimage make CC= /usr/local/bin/i686-pc-linux-gnu-gcc modules make CC= /usr/local/bin/i686-pc-linux-gnu-gcc modules_install Se nenhum erro ocorrer, o kernel já deverá estar compilado neste momento, e deve ser copiado para o diretório /boot : cp arch/i386/boot/bzimage /boot/kernel om1 Neste ponto só falta configurar o loader. No caso está sendo utilizado o GRUB 18, então: Gestão & Conhecimento, v. 4, n.1, jan./jun

18 Kaminski, André Ávila vi /boot/grub/menu.lst E adiciona as entradas necessárias para o sistema bootar pelo novo kernel openmosix: Ao reiniciar o sistema pelo novo kernel, se for necessário fazer alguma mudança, é só adicionar ou remover as entradas na configuração do kernel (make menuconfig) e repetir os passos posteriores, deixando o kernel exatamente como o nó precisa para correto funcionamento. O processo deve ser repetido para cada um dos nós. 6. EXECUTANDO OS TESTES Para demonstrar o funcionamento do cluster openmosix, formado pelos nós N1 e N2, utilizou-se um shell script (teste-om.sh) elaborado com a função de testar a velocidade de processamento do cluster, que dispara cinco vezes outro shell script (stress-test.sh) com o comando awk que eleva o processamento do nó ao máximo, chegando a utilizar 100% da CPU dos nós. O nó utilizado para rodar o script foi o nó N1, que tem menor poder de processamento, já para demonstrar a migração dos processos para o nó N2, uma máquina maispotente. O tempo de processamento do script inicialmente sera medido rodando apenas no nó N1, com o cluster desativado, sendo comparado com o tempo obtido com o cluster ativado, rodando o nó N1 e o nó N2. Abaixo estao listados os comandos de cada shell script utilizado para testar o cluster: - Shell script teste-om.sh #!/bin/bash #por Andre Kaminski #kaminski@tecpar.br 18 Gestão & Conhecimento, v. 4, n.1, jan./jun

19 echo 'Iniciando teste do openmosix' date "+%Hh %Mm %Ss"./stress-test.sh &./stress-test.sh &./stress-test.sh &./stress-test.sh &./stress-test.sh date "+%Hh %Mm %Ss" echo 'Final do teste do openmosix' - Shell script stress-test.sh #!/bin/bash awk 'BEGIN {for (i=0;i<10000;i++)for(j=0;j<10000;j++);}' No primeiro script pode-se observar cinco chamadas para o segundo, que por sua vez pode ser modificado para conseguir um maior processamento do(s) nó(s) do cluster. O tempo inicial e final do script também são demonstrados, com a finalidade de medir quanto tempo foi necessário para rodar o script apenas no nó N1, com o cluster desativado, e também nos nós N1 e N2, com o cluster ativado, para posteriormente serem comparados e demonstrar a funcionalidade do openmosix. Foram elaborados cinco testes com o openmosix ativado e cinco testes com o openmosix desativado, para obter-se a media dos resultados. O resultado, com o cluster desativado, rodando no nó N1, ficou registrado no arquivo texto n1.txt, e está listado abaixo. Testes com o cluster openmosix desativado: Iniciando teste do openmosix 00h 46m 52s 00h 49m 13s Final do teste do openmosix Iniciando teste do openmosix 00h 49m 57s 00h 52m 15s Final do teste do openmosix Gestão & Conhecimento, v. 4, n.1, jan./jun

20 Kaminski, André Ávila Iniciando teste do openmosix 00h 52m 22s 00h 54m 43s Final do teste do openmosix Iniciando teste do openmosix 00h 54m 56s 00h 57m 14s Final do teste do openmosix Iniciando teste do openmosix 00h 57m 18s 00h 59m 37s Final do teste do openmosix Organizando os resultados obteve-se a Tabela 01 abaixo relacionada: TABELA 01 - RESULTADO DOS TESTES COM CLUSTER DESATIVADO - inicio fim total (s) Teste 01 00h 46m 00h 49m 141s 52s 13s Teste 02 00h 49m 00h 52m 138s 57s 15s Teste 03 00h 52m 00h 54m 141s 22s 43s Teste 04 00h 54m 00h 57m 138s 56s 14s Teste 05 00h 57m 00h 59m 139s 18s 37s Media ,4s O tempo de processamento do script variou entre 138 segundos e 141 segundos, obtendo-se uma média de 139,4 segundos. Pode-se observar que o tempo de processamento nos cinco testes efetuados com o cluster openmosix desativado não tiveram uma variação muito considerável, isso demonstra que não houveram problemas durante nenhum dos testes. Nos testes efetuados com o cluster openmosix ativados percebe-se uma grande diferenca nos resultados. O arquivo texto n1+n2.txt, abaixo listado mostra a saida dos resultados obtidos. Testes com o cluster openmosix ativado: Iniciando teste do openmosix Gestão & Conhecimento, v. 4, n.1, jan./jun