Instituto de Pesquisas Tecnológicas do Estado de São Paulo ANDERSON TADEU MILOCHI

Transcrição

1 Instituto de Pesquisas Tecnológicas do Estado de São Paulo ANDERSON TADEU MILOCHI Grids de Dados: Implementação e Avaliação do Grid Datafarm Gfarm File System São Paulo 2006

2 ANDERSON TADEU MILOCHI Grids de Dados: Implementação e Avaliação do Grid Datafarm Gfarm File System Qualificação apresentada ao Instituto de Pesquisas Tecnológicas do Estado de São Paulo - IPT, requisito parcial para obtenção do título de Mestre em Engenharia de Computação Área de concentração: Redes de Computadores Orientador: Prof. Dr. Sérgio Takeo Kofuji São Paulo 2006

3 LISTA DE ILUSTRAÇÕES Figura 1 Articulação do projeto Dissertação...15 Figura 2 Cenário de implementação do experimento...17 Figura 3 Exemplo de gráfico gerado a partir de dados coletados pelo IOZONE...20 Figura 4 Writer Report metasvr.grid.local...24 Figura 5 Re-writer Report metasvr.grid.local...24 Figura 6 Reader Report metasvr.grid.local...25 Figura 7 Re-reader Report metasvr.grid.local...25 Figura 8 Cronograma desejável em andamento...28 Figura 9 Arquitetura e elementos e do Grid Datafarm Gfarm File System...36

4 LISTA DE QUADROS Quadro 1 Funcionalidades e respectivos módulos do Gfarm...18 Quadro 2 API de I/O paralelo descrições...41 Quadro 3 Principais comandos Gfarm...43

5 LISTA DE ABREVIATURAS E SIGLAS API Application Programming Interface CERN Conseil Européen pour la Recherche Nucléaire CIFS Common Internet File System EXT2 (fs) Second Extended File System GRAM Grid Resource Allocation and Management GSI Grid Security Infrastructure HDF5 Hierarchical Data Format 5 I/O Input/Output IDE Integrated Drive Electronics LDAP Lightweight directory access protocol LHC Large Hadron Collider MDS Meta Directory Service MIPS Million Instructions Per Second MONARC Models of Networked Analysis at Regional Centres MPI Message Passing Interface MPP Massive Parallel Systems MVFS Multiprotocol Virtualized File System NAS Network Attached Storage NCP Netware Core Protocol NFS Network File System NTFS New Technology File System OGSA Open Grid Services Architecture P2P Peer-to-Peer PVFS Parallel Virtual File System QoS Quality of Service RAM Random Access Memory RTC Real Time Clock SAN Storage Área Network SATA Serial Advanced Technology Attachment SCSI Small Computer System Interface SMB Server Message Block URL Uniform Resource Locator

6 SUMÁRIO 1 Introdução Grids Grids de Dados Sistemas de arquivos Grid Datafarm Gfarm File System Virtual Machines (VMs) Benchmarks Emulador de rede Objetivos Trabalhos relacionados Justificativas Contribuições esperadas Materiais e métodos Pesquisa sobre os principais conceitos Implementação do Gfarm Obtenção de aplicações e arquivos de teste Obtenção de ferramentas de análise (benchmarks) Avaliação do conjunto implementado Avaliação preliminar Benchmarks Estado do desenvolvimento atual do trabalho Estrutura da dissertação Cronograma...28 ANEXO A Trechos da dissertação...29 RESUMO Introdução...31 GLOSSÁRIO...53 REFERÊNCIAS BIBLIOGRÁFICAS...47

7 1 1 Introdução Tem-se observado nos últimos vinte anos uma evolução significativa nas aplicações quanto às suas características e à demanda por recursos computacionais de processamento e armazenamento. Tal evolução tem sido motivada pelas necessidades e expectativas dos usuários, que precisam de ferramentas que possibilitem atingir objetivos dentro dos prazos estritos que são exigidos pelas organizações, dentro do cenário econômico no qual se enquadram, sejam elas da comunidade científica ou da indústria (XU, 2004). Partiu-se de modelos monolíticos representados tipicamente pelos mainframes, tornando a escalabilidade um desafio técnico e financeiro, em função de serem plataformas altamente customizadas por seus fabricantes, não aderentes a padrões abertos de mercado e com sistema de armazenamento centrado em dispositivos de acesso direto (DAS Direct Access Storage). Passou-se desta fase para modelos suportados por plataformas abertas, como os baseados em Windows, Unix e Linux, mantendo-se o uso de DAS. Aplicações neste modelo são fortemente vinculadas à infra-estrutura de hardware, composta geralmente por sistemas com multiprocessamento simétrico. Já nas aplicações cliente/servidor diminui-se tal dependência do hardware, mas persistem alguns fatores limitantes em termos de escalabilidade e flexibilidade, em razão dos frameworks 1 de software nos quais se baseiam, como.net, J2EE e CORBA (XU, 2004), persistindo o emprego do DAS. Na questão de armazenamento, as soluções NAS (Network Attached Storage) e SAN (Storage Area Network) têm permitido maior flexibilidade, escalabilidade e desempenho, respectivamente em cenários de compartilhamento de arquivos multiplataforma e serviços de dados para aplicações hospedadas em clusters (STALLINGS, 2001). Mesmo com estas tecnologias, procura-se garantir a escalabilidade para as grandes aplicações, principalmente nas áreas científica e de engenharia, sem contudo esquecer da área corporativa, permitindo o crescimento do sistema de armazenamento conforme a demanda, garantindo as mesmas premissas de QoS (Quality of Service) e disponibilidade. Isso significa fazer com que diversos elementos de armazenamento sejam enxergados como uma estrutura única, expondo um espaço de nomes igualmente único, que possa se expandir de forma transparente para as aplicações em execução, através de cada um destes elementos de armazenamento (LIGON III, 1996; YASUDA, 2003). A comunidade científica, notadamente de Física, tem requerido níveis de escalabilidade de armazenamento e análise de dados que dependem da capacidade de integração de tecnologias diversas. Dispersas geograficamente em diferentes instituições que apresentam afinidade entre si, formam grandes ambientes de colaboração. Por exemplo, na área de Física de Altas Energias, um único experimento pode gerar uma quantidade de dados a serem armazenados, da ordem de petabytes ao ano, cuja análise depende de uma capacidade de processamento da ordem de 10 milhões de MIPS (million instructions per second), algo equivalente à agregação de mais de 10 mil PCs Pentium III de 500 MHz (THE ATLAS EXPERIMENT, 2005) operando em conjunto. 1 Plataforma de trabalho representada pela organização de diversos componentes de um modelo proposto

8 2 O cenário aponta para uma computação intensiva em dados, os quais se originam em diferentes locais ao redor do mundo, sejam como resultado de experimentos científicos ou simulações, passíveis de análise com propósitos diversos por múltiplas instituições (CHERVENAK, 2000). Em cada local, usam-se diferentes tecnologias para o armazenamento e processamento de dados, impondo desafios no momento de colocá-los em ambiente de colaboração efetiva. É preciso uma visão de serviço, níveis de abstração que suplantem as diferenças tecnológicas e as distâncias que separam os dados dos seus respectivos silos de análise. A construção da infra-estrutura para suportar tal visão de serviços e abstração na computação intensiva em dados, aliada às necessidades de segurança pertinentes à colaboração, pode ser viabilizada aproveitando-se os conceitos e ferramentas disponíveis da computação em grid (THE GLOBUS ALLIANCE, 2005), conforme sugerido em (CHERVENAK, 2000). No caso das aplicações de cluster em computação de alto desempenho, se faz necessário que o sistema de arquivos suporte o acesso paralelo aos metadados, e aos dados no todo ou em fragmentos que podem estar distribuídos por algum critério nos dispositivos de armazenamento. As aplicações neste ambiente podem trabalhar com múltiplas tarefas sobre o mesmo fragmento de dados ou em fragmentos diferentes de um mesmo conjunto, explorando o paralelismo de operações viabilizado pelo cluster. Uma tarefa única também pode estar trabalhando em diversos fragmentos do mesmo conjunto. Portanto, cabe um controle estrito de acesso aos dados, principalmente se eles podem ser modificados de forma concorrente. Todas estas características precisam ser suportadas devidamente por um sistema de arquivos paralelo, típico em tais ambientes. Derivam-se das capacidades inerentes a ele os aspectos de desempenho e escalabilidade da aplicação, no que tange aos dados manipulados. Um sistema de arquivos com estas características, que tem sido fundamento para outras soluções, é o PVFS (Parallel Virtual File System) (LIGON III, 1996). Ele é aplicável tanto em ambientes de cluster como também em sistemas NAS, como o X-NAS (YASUDA, 2003). Algumas funcionalidades do PVFS foram consideradas no Gfarm file system, foco de estudo desse trabalho. 2 Grids Trata-se de um novo paradigma de computação distribuída, cujo aparecimento se deu por volta da metade dos anos 90. (FOSTER, 2001) aborda que as características esperadas da computação em grid passam pela independência de plataforma, capacidade de agregação de elementos computacionais e larga abrangência geográfica. Sua visão de arquitetura tem uma organização lógica que lembra uma ampulheta, representando nas extremidades os diversos elementos a serem combinados e distribuídos para os usuários pertencentes às VOs (Virtual Organizations). As VOs... Mais ao centro se posicionam os componentes cuja função é viabilizar a coleção dos diversos elementos, incluindo ainda os protocolos de comunicação que os integrarão. Os grids visam a colocar em colaboração recursos computacionais e usuários que pertencem a diversas instituições ao redor do mundo, de forma que possam participar

9 3 ativamente em pesquisas ou projetos em várias áreas da ciência. O termo federar é usado para definir o processo de integração dos recursos que viabilizarão a colaboração entre as instituições participantes. Funcionalmente, a computação em grid evoluiu após seu surgimento, como uma arquitetura de serviços aberta e padronizada, fortemente baseada nos conceitos e tecnologias de Web Services (FOSTER, 2002a). Uma visão de funcionalidade ( physiology of grid ) que introduz novos conceitos e propostas a partir do documento anterior de (FOSTER, 2001), que mostrava uma visão mais orientada a modelo e protocolos ( anatomy of grid ). As formas de instanciar os serviços desejados, como disponibilizá-los, por quanto tempo e quem efetivamente pode fazê-lo, tornam os grids verdadeiras fábricas se serviços. Para isso, diversas camadas de software e eventualmente middlewares são criadas de acordo os tipos de serviço a serem disponibilizados, os quais são uma função da natureza dos recursos computacionais que serão federados pelo grid, tais como processamento, armazenamento ou uma combinação de ambos. Além de Web services, conta-se com a implementação de referência Globus Toolkit, que forma a base de construção da proposta de arquitetura OGSA (Open Grid Services Architecture) de (FOSTER, 2002a). Comenta-se que alguns componentes do Globus Toolkit são relevantes para se chegar a uma arquitetura orientada a serviços, ainda que com menos generalidade do que a conseguida no OGSA (ref?). São citados o GSI (Grid Security Infrastructure) para autenticação, autorização e delegação de acesso, o GRAM (Grid Resource Allocation and Management) para alocação e gerenciamento de recursos, e o MDS (Meta Directory Service) para serviço de diretório. Mais recentemente, (FOSTER, 2004) sedimenta os principais fundamentos, destacando as VOs e colocando os grids como serviços de colaboração em larga escala, como viabilizadores da computação ubíqua e virtualizada. Sua característica de promover a virtualização da infra-estrutura, permitindo uma exposição padronizada dos recursos, independente das plataformas que os viabilizam, coloca os grids como solução para a obtenção da computação distribuída plena, em que se agregam capacidades sob demanda dentro e fora dos limites das instituições (XU, 2004). Comenta-se ainda em (BERMAN, 2002), que os grids, de maneira geral, tornam-se a base para obter uma infra-estrutura computacional de proporções globais. Cerca de seis anos depois da publicação das primeiras propostas, notou-se o aparecimento de inúmeras implementações ao redor do mundo, focadas em diferentes aspectos de colaboração e tecnologias associadas nas áreas de engenharia, física, química, aeronáutica e entretenimento. Os grids deixam de ser exclusividade da comunidade científica e passam a resolver problemas de colaboração corporativa. Eles também apresentam similaridades em relação às tecnologias P2P 2, no que tange aos níveis de colaboração e funcionalidade, integrando pessoas e seus recursos computacionais distribuídos pelo mundo afora. O próprio SETI@home, antes um caso clássico da computação em grid, tem sido considerado (FOSTER, 2004) mais como uma implementação P2P do que como um grid. 2 P2P Peer-to-Peer

10 4 Esse novo paradigma de computação distribuída, com possibilidades reais de emprego presente e futuro, tem motivado mudanças tanto no cenário científico como no empresarial. Tais aspectos de uso (FOSTER, 2000; FOSTER 2002b), a aplicabilidade nas aplicações distribuídas em grandes áreas (BAKER, 2002), grids comerciais e os SLAs (LEFF, 2003), e o potencial para computação ubíqua (DAVIES, 2004) têm sido considerados. No caso de grids comerciais, observam-se soluções disponíveis da empresa Entropia, cujo foco está em grids de desktops 3, da Oracle para seu banco de dados versão 10g e da Sun com o ONE Grid Engine, como exemplo de produtos disponíveis. 2.1 Grids de Dados (GD) Os grids computacionais focados em dados, como o Grid Datafarm, buscam atender aplicações científicas que manipulam grandes massas de dados coletadas de experimentos ou simulações, demandando o uso de muitos elementos de armazenamento distribuídos, que precisam ser enxergados como um recurso unificado. Isso inclui servidores de arquivos tradicionais, dispositivos NAS, SANs e clusters. As infra-estruturas típicas de gerenciamento de dados não contemplam a complexidade e exigência de desempenho dos ambientes de colaboração em larga escala, como na pesquisa de física de partículas, simulações climáticas e sensoriamento. Esses ambientes geram conjuntos de dados da ordem de terabytes, podendo alcançar petabytes (CHERVENAK, 2000), com recursos computacionais diversificados e pessoas, distribuídos por extensas áreas geográficas. Um dos experimentos no LHC (Large Hadron Collider) do CERN (CERN, 2005), o ATLAS (THE ATLAS EXPERIMENT, 2005), é mencionado como o maior esforço de colaboração já tentado nas ciências da física, envolvendo 1800 físicos, entre os quais 400 estudantes, distribuídos em mais de 150 universidades e laboratórios em 34 países, todos trabalhando nas novas descobertas em colisão de partículas, a surgirem da análise dos conjuntos de dados coletados dos detectores usados no experimento. Com recursos e pessoas distribuídas dessa forma, os GDs precisam atender a padrões que possibilitem a interoperabilidade entre as instituições, que nem sempre utilizam as mesmas plataformas e soluções para resolver seus problemas computacionais. A arquitetura padrão definida no OGSA do Globus Grid Fórum tem direcionado o desenvolvimento das soluções dos diversos tipos de grids visando à padronização em torno dos conceitos e tecnologias de Web services. Para isso foi provido o Globus Toolkit para o desenvolvimento de aplicações associadas, incluindo a federação de recursos distribuídos, aspectos de segurança e disponibilidade dos serviços. Segundo (CHERVENAK, 2000), para que um Grid de Dados seja constituído efetivamente para atender a tais níveis de colaboração, é fundamental definir uma arquitetura adequada e a viabilização dos sistemas de armazenamento e gerenciamento de metadados. 3 Também conhecidos como estações de trabalho

11 5 2.2 Sistemas de arquivos O sistema de arquivos é uma das partes mais importantes dos sistemas computacionais, responsável pelas estruturas necessárias ao armazenamento de dados a serem utilizados pelas aplicações e respectivos usuários. Com a crescente necessidade de armazenamento nas mais diversas classes de aplicações, como automação de escritório, gerenciamento eletrônico de documentos e principalmente na área científica (THE ATLAS EXPERIMENT, 2005), nota-se a busca pela otimização de uso, desempenho, confiabilidade e escalabilidade dos sistemas de arquivos. A maneira como os sistemas de arquivos contemplam estas características tem influência na aplicabilidade que terá o sistema computacional no qual está implementado. Tipicamente são os responsáveis por criar uma abstração da infra-estrutura física de armazenamento, provendo uma visão organizada e padronizada dos seus elementos, permitindo assim as operações necessárias à busca, processamento dos dados e armazenamento (STALLINGS, 2001). São tipicamente implementados como parte integrante dos sistemas operacionais, que os utilizam para armazenamento de dados de suas operações, além de utilitários e ferramentas. Nesta sua forma básica, são conhecidos como Sistemas de Arquivos Locais, tais como o Ext2 (Second Extended File System) (CARD, 1995) e o Reiserfs (REISER4, 2005) do Linux, que trazem conceitos derivados dos sistemas de arquivos do Unix. Já o NTFS (New Technology File System) (MICROSOFT TECHNET, 2003) foi criado para o sistema operacional Microsoft Windows NT e versões superiores. Além deles, passa-se para a classe dos sistemas de arquivos distribuídos, os quais viabilizam o acesso remoto a arquivos armazenados em sistemas de arquivos locais, presentes em servidores interconectados através de redes de computadores. Dentro desta classificação encontram-se o NFS (Network File System) do Unix e Linux, o Microsoft SMB (Server Message Block) do Windows e o SAMBA como sua alternativa em Linux, cada um com suas características peculiares. Adicionam-se à lista o AFS (Andrew File System), o Coda e o DFS/DCE (Distributed File System/Distributed Computing Environment) que trazem características especiais como espaço global único de nomes e cache persistente, além da operação do cliente em modo desconectado no caso do Coda. Na seqüência da evolução, melhorias no gerenciamento de cache e na operação do cliente em relação ao Coda conduziram ao surgimento do Intermezzo (BRAAM, 1999). Expandindo a categoria de sistemas de arquivos distribuídos, deve-se citar os sistemas de arquivos paralelos que já passam a agregar características peculiares à operação e objetivos dos grids de dados. Foram criados para permitir que dados armazenados num único arquivo fossem distribuídos pelos recursos de I/O num cluster, além de prover um mecanismo que permitisse que tarefas de uma aplicação paralela possam acessar partes distintas de uma mesma massa de dados. Características como estas, aliadas a uma banda adequada de rede tendem a garantir um desempenho escalável efetivo de I/O do cluster. Dessa forma, fatores como disposição (layout) dos dados fisicamente diferente daquela esperada pelas aplicações implicam em overheads 4 de distribuição e coleta, os quais, 4 Vide glossário

12 6 aliados à limitação da largura de banda da rede (LIGON III, 1996), podem impedir que o desempenho do conjunto e sua escalabilidade em aplicações paralelas sejam alcançadas. São exemplos de sistemas de arquivos paralelos o PVFS (CARNS, 2000), o GPFS (SCHMUCK, 2002) da IBM, o Google File System (GHEMAWAT, 2003) e o X-NAS (YASUDA, 2003). A partir dos sistemas de arquivos paralelos parte-se então para um novo nível de escalabilidade e agregação de recursos em áreas geograficamente mais extensas, envolvendo não só múltiplos servidores e plataformas, mas também diferentes organizações e seus conseqüentes perfis de utilização de recursos. Isso implica numa passagem de I/O paralelo para I/O de grid (HUBOVSKY, 2004), principalmente nos ambientes de processamento intensivos em grandes massas de dados. Tais níveis de escalabilidade têm sido contemplados através de sistemas de arquivos de grid, tais como o Gfarm File System (TATEBE, 2001), integrante da arquitetura Grid Datafarm. 2.3 Grid Datafarm Gfarm File System O Grid Datafarm trata-se de uma implementação de grid de dados, idealizada a partir da necessidade de compor uma infra-estrutura de armazenamento e processamento na escala de petabytes, para análise intensiva nos dados de experimentos de física de partículas, (TATEBE, 2001). Partindo-se do projeto MONARC (Models of Networked Analysis at Regional Centres) (MONARC, 2005) do CERN, que visa a um ambiente de colaboração para armazenamento e análise dos dados coletados do experimento ATLAS do LHC, a proposta consiste em criar várias camadas 5 (tiers) distribuídas e integradas de recursos computacionais, em centros regionais a partir do CERN, que representa a camada 0 (zero). Várias camadas 1 (um) estariam espalhadas pelos continentes, dezenas de camadas 2 (dois) nos países participantes e muitas outras nas universidades e instituições de pesquisa. Originou-se no Japão num trabalho conjunto entre a KEK (High Energy Accelerator Research Organization), ETL/TAC (Electrotechnical Laboratory / Tsukuba Advanced Computing Center), Universidade de Tokyo e Instituto de Tecnologia de Tokyo (Titech). A proposta, aderente ao padrão OGSA, é centrada na computação intensiva em dados, definindo uma plataforma de grande escalabilidade, capaz de tornar efetiva a criação de um Tier-1 do projeto MONARC no Japão, através da federação de das instituições KEK e a Universidade de Tókio. Os objetivos principais com a proposta são: Sistema de arquivos global para dados na escala de petabytes; I/O paralelo e processamento paralelo para análise de dados; Autenticação e controle de acesso orientados a grupo, em âmbito mundial; Escalonamento e gerenciamento de recursos de milhares de nós em longo alcance; 5 Os termos Camada e Tier serão usados alternadamente no decorrer do texto.

13 7 Compartilhamento de dados multi-camadas e acesso a dados eficiente; Compartilhamento e gerenciamento de programas; Administração e monitoramento do sistema; Tolerância a falhas, reconfiguração dinâmica, regeneração automática de dados ou recomputação. Para atingi-los foi proposta uma implementação de referência de um sistema de arquivos de grid, paralelo e distribuído, de nome Gfarm. É capaz de federar a capacidade de armazenamento de milhares de nós, provendo um espaço de nomes global através de um servidor de metadados, permitindo segmentar e distribuir os arquivos através destes múltiplos nós, viabilizando acesso paralelo e I/O balanceado para as aplicações intensivas de análise de dados. A proposta contempla APIs (Application Programming Interface) que permitem criar nas aplicações as chamadas ao sistema de arquivos, incorporando ainda bibliotecas de funções que criam um ponto de montagem visível a aplicações tradicionais existentes, tal como se operaria no caso do NFS. O Gfarm incorpora mecanismos de replicação de dados em múltiplos nós de armazenamento, além de algoritmos que distribuem o acesso de acordo com o nível de carga de trabalho de cada nó que contém as réplicas, considerando a proximidade aos arquivos que serão manipulados (file-affinity). Tais mecanismos garantem tolerância a falhas na eventualidade de algum nó, que contenha parte ou todo o arquivo necessário para um dado processamento, estar indisponível. Quanto às aplicações que o acessam, é possível registrá-las para execução nos nós, de acordo com a proximidade aos dados que serão processados, sem a necessidade de transportálos de um ponto a outro. Suportando chamadas que atendem ao padrão MPI, torna viável o processamento paralelo em clusters, tipicamente presentes na infra-estrutura dos ambientes de pesquisa típicos. Todavia, ele se apóia no acesso a conteúdos mais estáticos, nos quais as operações de análise são predominantes em relação às possíveis modificações que os dados possam sofrer. Essa forma de operação é típica das aplicações científicas para análise de dados de experimentos (TATEBE, 2001). Assim, o controle de travamento e consistência de cache, tradicionais em sistemas de arquivos paralelos para aplicações de cluster, não são contempladas até a versão do Gfarm. O Gfarm é citado como a próxima geração de sistema de arquivos compartilhados de rede, em substituição ao NFS, na busca por maiores níveis de escalabilidade e desempenho (GFARM, 2005). Na integração com outras plataformas, suporta a operação com serviços de arquivo baseados em Microsoft SMB e com a implementação GridFTP (ALLCOCK, 2002) do Globus Toolkit. 3 Virtual Machines (VMs)

14 8 Trata-se de uma tecnologia inserida no contexto contemporâneo dos grids, mas com cerca de trinta anos de existência, tendo aparecido na década de 60 na IBM e atingido seu ápice nos anos 70, com a publicação da pesquisa de (GOLDBERG, 1974). A tecnologia de VMs existe sob várias formas e aspectos de implementação (SMITH, 2005ª). No contexto deste trabalho, as máquinas virtuais consideradas são classificadas como VMMs (Virtual Machine Monitor) do tipo hosted VMs, as quais criam uma camada de abstração sobre um sistema operacional base, chamado de Host Operating System (Sistema Operacional Hospedeiro). Elas replicam virtualmente os recursos de hardware conforme a arquitetura ISA (Instruction Set Architecture) de uma única máquina, criando máquinas em caráter virtual que poderão executar outros sistemas operacionais compatíveis, classificados como Guest Operating Systems (Sistemas Operacionais Convidados ou Hospedados). As aplicações serão executadas num ambiente próprio, sobre cada um dos n sistemas operacionais Guest, sendo n dependente da capacidade física disponível na máquina real que hospeda o sistema operacional Host. Tal capacidade física diz respeito ao número de processadores e suas características, quantidade de memória, adaptadores de rede e espaço físico de armazenamento em disco. Tratando-se dos produtos viabilizadores da tecnologia, os VMMs inicialmente considerados para o estudo foram o Microsoft Virtual PC (HONEYCUTT, 2003) e o VMWare Workstation (VMWARE, 2005). Considera-se ainda a existência de VMMs sob a forma de software livre, representado pelo XEN (BARHAM, 2003), o qual opera igualmente sobre software livre, mais precisamente sobre distribuições Linux. A tecnologia pode viabilizar a implementação de ambientes de execução virtuais dinâmicos (DVE Dynamic Virtual Environment) através dos grids, propondo uma codificação da interação necessária para negociar suas criações (KEAHEY, 2004). Os recursos necessários são preparados e implementados sobre tecnologias diversas, incluindo a virtualização, com controles e políticas estabelecidas que visam à criação, o monitoramento do comportamento e duração dos ambientes virtuais, usando interfaces de serviço de grid. Na proposta de (KEAHEY, 2004), a contribuição da pesquisa tem destaque na maior facilidade de administração das VOs, que passam a ter mecanismos de implementação dinâmica dos ambientes de execução de aplicações. 4 Benchmarks No contexto deste trabalho, são processos definidos de avaliação de quesitos do sistema computacional, cujos resultados podem ser confrontados com níveis préestabelecidos. Os níveis podem se referir à capacidade de processamento, desempenho do sistema de arquivos e desempenho da comunicação de dados. São realizados mediante a execução de aplicações específicas, ou seja, ferramentas que permitem aferir os diferentes quesitos do sistema computacional.

15 9 Na busca por ferramentas que pudessem se enquadrar no escopo deste trabalho, foram encontradas algumas soluções, que são destinadas a medir o desempenho de sistemas de arquivos tradicionais como o Bonnie ++ (COKER, 2005) e o IOZone (NORCOTT, 2005). Outras foram criadas com o objetivo de atender mais diretamente aos sistemas de arquivos paralelos, tanto em ambientes de cluster quanto em computação distribuída nos grids, como o IOR (SIOP, 2005) e o PRIOMARK (IPACS, 2005). As referências de cada um foram obtidas no portal específico de seus projetos, os quais trazem eventualmente as informações de aplicabilidade, implementação e formato dos resultados, incluindo como formatá-los e entendê-los. Esse é o caso específico do IOZone. 5 Emulador de rede A emulação é definida em (CARSON, 2003) como a combinação de duas técnicas comuns para testar código de rede: simulação, que ocorre através de um ambiente sintético para executar representações de código, e teste ao vivo, que ocorre num ambiente real para executar código real. O emulador de rede NIST Net (CARSON, 2003) é um dos projetos do NIST (National Institute of Standards and Technology). Trata-se de uma aplicação de função específica para Linux, destinada a emular o comportamento de uma rede de forma controlada pelo usuário. O ambiente proporcionado pelo NIST Net é semi-sintético, pois mescla um ambiente de rede real, ao vivo, com a possibilidade de introduzir atrasos, falhas e outras dificuldades sintéticas. O controle da emulação é viabilizado através de interface gráfica, na qual o usuário pode alterar condições como atraso e perda de pacotes, largura de banda e congestionamento. Para atingir os objetivos, incorpora um controlador de relógio (RTC Real Time Clock) particular em substituição ao do sistema operacional, para dar maior precisão de resultado às manipulações disponíveis no emulador. O uso do emulador permite ter condições de redes de longo alcance, típicas em grids de dados, sem a necessidade de distribuir geograficamente os nós do grid, aumentando o campo de observação. 6 Objetivos As soluções de grid em aplicações científicas estão sendo observadas como interessantes também em aplicações de negócios ou mais especificamente em ambientes que demandam grandes volumes de armazenamento e desempenho. Quando se necessita de computação intensiva em análise de dados ou a federação de unidades de armazenamento, tal como em controle de qualidade em processos industriais, projetos avançados em simulação e biblioteca digital, um grid de dados viabilizado pelo Gfarm pode ser a solução.

16 10 O sistema de arquivos Gfarm ainda prevê tolerância a falhas e distribuição de processamento conforme a carga de trabalho de cada nó de armazenamento, características essenciais também nos ambientes de negócio. Assim, pretende-se com este trabalho: Implementar o Gfarm num cenário real, elaborado dentro de uma rede produtiva em ambiente de negócios: o Observar e analisar os aspectos de implementação no que tange à facilidade, praticidade e necessidades computacionais; o Avaliar a integração plena com a plataforma Microsoft para importar e exportar arquivos, tanto em servidores nativos Windows como em servidores Linux com SAMBA (SAMBA, 2005); o Observar e analisar o comportamento da solução em redes de longa distância, com nós geograficamente dispersos, através do uso de um emulador de rede; o Observar e analisar as características de tolerância a falhas e comportamento do conjunto mediante as variações no funcionamento da rede, através do mesmo emulador; Analisar o desempenho do sistema de arquivos Gfarm: o Testar com arquivos de biblioteca digital, especialmente com aplicabilidade em videoteca; o Realizar testes de benchmark; o Análise dos resultados de benchmark; Analisar a partir dos resultados, sua funcionalidade como um grid de dados, observando suas peculiaridades, aspectos de implementação e adequação para uso na indústria. Como objetivo secundário, observar a funcionalidade do Gfarm ao implementá-lo sobre máquinas virtuais Microsoft, permitindo usar nós de armazenamento baseados em sistema operacional Microsoft Windows XP Professional: o Aspectos de implementação; o Aspectos de configuração; o Desempenho. 7 Trabalhos relacionados Nos grids de dados, a federação de recursos de armazenamento para depositar os dados para análises posteriores, necessita de espaço físico nos meios de armazenamento, uma

17 11 organização dos dados, espaço de nomes unificado que permita localizá-los e gerenciamento de acesso. Essas necessidades devem ser satisfeitas pelos sistemas de arquivos presentes nos sistemas computacionais (STALLINGS, 2001). Expandem-se tais necessidades ao caráter distribuído dos grids de dados, que se formam ao redor de grandes áreas geograficamente dispersas e altos níveis de colaboração. Buscando-se conhecimento sobre outras propostas de sistemas de arquivos, visando à computação distribuída em larga escala, com suporte ao paralelismo, foram coletados artigos que trazem resultados de pesquisas, desde os ambientes de cluster até os grids de dados. Esses últimos necessitam de sistemas de arquivos com características peculiares. Alguns foram desenvolvidos para viabilizar unidades NAS escaláveis e redes SAN. Igualmente relevante é entender como eles influenciam a disponibilidade, escalabilidade e desempenho do sistema computacional em ambiente distribuído, sendo determinantes para atingir tais objetivos. Nesta direção (SCHMUCK, 2002) traz o GPFS, desenvolvido pela IBM para suportar aplicações em computação de alto desempenho, presente nos maiores clusters existentes. Trata-se de um sistema de arquivos paralelo de disco compartilhado disponível para IBM RS/6000 SP e clusters em Linux. (YASUDA, 2003) propõe o X-NAS, um sistema NAS altamente escalável para clusters, que agrega unidades NAS de pequeno porte. Para isso é proposto o sistema de arquivos multiprotocolo MVFS (Multiprotocol Virtualized File System) baseado em NFS, composto por unidades de armazenamento que interagem entre si num relacionamento paifilho. (YASUDA, 2005) mostra o RX-NAS, o qual é uma solução derivada do X-NAS, que ganhou características de tolerância a falhas não contempladas na solução anterior. Não se trata apenas de um sistema de arquivos, mas de uma proposta completa de NAS para clusters. (LIGON III, 1996) introduz uma das principais propostas de sistema de arquivo paralelo, o PVFS (Parallel Virtual File System) da Universidade de Clemson, cujas características foram consideradas em outras propostas de sistemas de arquivos, entre eles o Gfarm, foco deste trabalho. Além de mostrar o PVFS, o documento traz fundamentos sobre o que significa a classificação paralelo para um sistema de arquivos e como isso tem influência nos ambientes distribuídos de armazenamento. O artigo de (LIGON III, 1996) traz uma versão inicial do sistema, obsoleta. A proposta foi apresentada em 2000, numa nova versão, como pode ser visto em (CARNS, 2000). Como documentação complementar está sendo considerada a segunda versão, o PVFS2, obtida através de guia em formato eletrônico (PVFS2, 2003). (LOMBARD, 2002) propõe o NFSP, baseado nos princípios do PFVS, com o objetivo de agregar o espaço em disco disponível nos vários nós que compõem um sistema em cluster de estações de trabalho, usando como base o NFS. No próprio título, o artigo sugere um servidor NFS distribuído para um cluster de estações de trabalho. Como peculiaridade, a implementação do NFS não é alterada, pois é instanciada uma camada de serviço de metadados que irá receber as chamadas e modificar a resposta para os clientes de forma que eles se direcionem ao nó que contém o arquivo desejado. (PLANK, 2005ª) traz a discussão sobre o IBP (Internet Backplane Protocol), que procura aliar as características que garantem simplicidade ao IP (Internet Protocol) à uma solução de armazenamento global distribuída que permita o compartilhamento de arquivos em

18 12 larga escala, provendo o desempenho necessário para garantir premissas de QoS de acordo com o serviço disponibilizado. No sentido de vencer algumas limitações estruturais do IBP, é proposto num outro documento da solução (PLANK, 2005b), o exnode. Com a solução, os inúmeros nós de armazenamento espalhados pela Internet são vistos como repositórios distribuídos de bytes. (TARRAGA, 2000) expõe na sua tese de doutorado uma solução de sistema de arquivos escalável aliado à computação intensiva para a área médica, implementado na solução de servidor Teraserver. Trata-se de uma aplicação que permite que médicos/pesquisadores ao redor do mundo possam acessar imagens digitalizadas de diagnósticos médicos por imagem em 3D, escolhendo planos de corte para uma visualização peculiar à sua busca. Contempla uma aplicação que faz análises e cálculos complexos em grandes arquivos armazenados, os quais devem ser disponibilizados para visualização em tempo real. A solução baseia-se na distribuição de arquivos em fragmentos pelos vários servidores de armazenamento, além de uma ferramenta chamada CAP (Computer Aided Paralelization) cuja função é segmentar aplicações seqüenciais em várias tarefas que permitam execução em paralelo. (GHEMAWAT, 2003) apresenta um dos importantes sistemas de arquivos distribuídos da atualidade, o Google File System, desenhado e implementado por profissionais do próprio Google para suprir as necessidades peculiares aos serviços prestados pela empresa de busca. Entre elas estão as aplicações de ação intensiva em dados, com grande volume de acesso para leitura de grandes arquivos, tipicamente em fluxo contínuo e para múltiplos usuários. As operações de escrita são basicamente de criação de novos arquivos ou adição esporádica de dados a outros já existentes, ou seja, dados já gravados são raramente regravados. O volume típico de acesso geralmente suplanta a quantidade de cache, que acaba se tornando pouco útil e uma preocupação de projeto a menos, já que o seu uso nos clientes 6 implicaria em controle de consistência que tornaria o sistema de arquivos mais complexo. Um dos destaques é a segmentação de arquivos em partes de tamanho fixo chamadas chunks, a serem armazenadas em diferentes nós. Usa um conjunto de APIs familiar, segundo seus autores, porém não aderentes ao padrão POSIX, as quais devem ser invocadas pelas aplicações cliente para o acesso ao sistema de arquivos. Entre as propostas similares citadas pelos criadores em comparação estão: xfs, AFS, Swift, Intermezzo, GPFS, GFS de Minnesota e Frangipani. Adiciona-se à lista o NASD (GIBSON, 1998), aquele ao qual a arquitetura do GFS mais se aproxima, porém implicando em modificação nos dispositivos de armazenamento, assim como ocorre com o GFS de Minnesota. 8 Justificativas Sabe-se que são muitas as pesquisas relacionadas (LOMBARD, 2002; MPI FORUM; YASUDA, 2005; SCHMUCK, 2002; PEREIRA, 2004) com os objetivos deste trabalho, ainda que algumas não diretamente, desde o surgimento dos grids no início dos anos 90. A proposta de organizações virtuais (FOSTER, 2001) no contexto da computação distribuída, trouxe inúmeros desafios que vão desde a infra-estrutura até a definição dos 6 Refere-se ao cliente de rede

19 13 serviços de alto nível para as aplicações de usuários de diferentes instituições, unidos pela afinidade de trabalho primeiramente em questões científicas. Num documento recente, em forma de carta para o NSF (National Science Foundation) (BELL, 2005), pesquisadores do Research Center da Microsoft alertam para a tendência forte da área científica na direção da computação intensiva em dados. Eles fazem considerações sobre os princípios de localidade em função da massa de dados que será manipulada pelas aplicações dessa área, e as necessidades de sistemas de arquivos para suportá-las. O volume de armazenamento necessário tem sido crescente e em certos casos como em (TATEBE, 2004), já se fez projeções que implicaram no desenvolvimento de um sistema de arquivos global que permitisse federar a quantidade necessária de espaço aliada à capacidade de processamento. O objetivo fora pesquisar informações desejadas no interior de enormes massas de dados geradas por experimentos no CERN. Federar capacidade de armazenamento, tratando-a como um grande espaço único, ou seja, virtualizando a infra-estrutura que a viabiliza, tem sido um objetivo a ser alcançado já nos ambientes de cluster, que passam a ser autênticos front-ends de armazenamento como em (SCHMUCK, 2002). Tal proposta acabou por ser incorporada às soluções da IBM. Contudo, clusters são soluções tipicamente estruturadas para operar em local único e desenvolvidas especificamente para determinadas plataformas de hardware e software. Já as soluções de federação de dados para grids ultrapassam limites organizacionais que requerem, além das tecnologias de interconexão e interoperabilidade, a possibilidade de determinar quais os recursos, como serão agregados, acessados e por quem. No caso peculiar dos grids, que são considerados um novo paradigma de computação distribuída, aquilo que se aplica aos clusters em termos de agregação de recursos pode ser solução. Assim, em (TATEBE, 2004) pode-se ver uma implementação de grid de dados através do Gfarm, que viabiliza a virtualização do armazenamento em nível global, com espaço de nomes único e atendendo às questões de autenticação e autorização de acesso aos recursos compartilhados, inerentes às necessidades da computação distribuída em larga escala. Considera ainda o paralelismo no sistema de arquivos e no processamento, requeridos para manipulação de grandes massas de dados, respeitando o princípio da localidade e dirigindo o processamento para os nós mais próximos. A solução Gfarm se apresenta então como uma possível alternativa de implementação não só em grids científicos como nos comerciais. Observa-se desta forma, que pode ser uma possibilidade real e de baixo custo para implementar um sistema de arquivos distribuído e paralelo, capaz de prover escalabilidade e desempenho igualmente em aplicações genéricas ou de biblioteca digital, as quais não são exclusivas da comunidade científica. Ainda que não tenha sido feito para aplicações de acesso paralelo concorrente em operações de edição de arquivos, as quais requerem controle estrito de travamento e consistência de cache, tem potencial como um sistema de arquivos distribuído para acesso paralelo a arquivos de grande tamanho. Tais arquivos são tradicionais em aplicações de biblioteca digital, mineração de dados e simulações. O Gfarm é uma realidade, mas ainda não foi avaliado como solução em ambientes computacionais de uso comercial, em empresas de qualquer tamanho.

20 14 Os testes documentados têm sido realizados em ambientes de alta capacidade de processamento e armazenamento, visando às aplicações científicas onde a presença de clusters para computação de alto desempenho é tradicional, deixando uma lacuna de avaliação que é a implementação em cenários de infra-estrutura mais comuns no uso comercial. Cabe então uma avaliação da sua implementação como grid de dados quanto aos seguintes quesitos: Necessidades operacionais; Configuração; Facilidade de implementar; Replicação de dados; Tolerância a falhas; Integração com plataformas existentes; Funcionalidade; e Desempenho. 9 Contribuições esperadas Quanto às contribuições, espera-se complementar as pesquisas sobre o Gfarm no que tange aos aspectos de implementação e desempenho, considerando fazê-lo sobre uma infraestrutura já existente, multi-plataforma e com diferentes tecnologias. Serão fornecidos dados de avaliação quanto à operação como sistema de arquivos distribuído para grid de dados, integrado com outros sistemas de arquivos de rede tradicionais, como os encontrados nos servidores de arquivo Microsoft SMB ou Linux SAMBA. Adicionalmente, comprovar-se-á a funcionalidade do Gfarm quando seus nós de armazenamento são implementados em VMMs, mostrando a capacidade de virtualização que pode ser conferida aos grids mediante o uso de tal tecnologia. Por fim, será confirmada a capacidade de tolerância a falhas no caso de indisponibilidade dos nós de armazenamento, disponibilizando dados que mostrem o comportamento da solução mediante a variação das condições de comunicação, considerando um ambiente de rede de longo alcance. 10 Materiais e métodos Por se tratar de uma solução real, desenvolvida em ambiente acadêmico e para fins científicos, buscar-se-á atingir os objetivos primários e específicos desse trabalho através de: Pesquisa teórica;