KFS: KOSMOS FILE SYSTEM

Transcrição

1 ALICE VIEIRA MIRANDA DAIANA CRISTINA DEBORA WIEZEL FERNANDA TORRES MARIANA MIRANDA TELMA DE ARAUJO KFS: KOSMOS FILE SYSTEM FACULDADES NETWORK NOVA ODESSA-SP 2008

2 ALICE VIEIRA MIRANDA DAIANA CRISTINA DEBORA WIEZEL FERNANDA TORRES MARIANA MIRANDA TELMA DE ARAUJO KFS: KOSMOS FILE SYSTEM Trabalho apresentados para avaliação parcial da disciplina Sistemas Distribuídos, sob orientação do Profº Rossano Pablo Pinto. FACULDADES NETWORK NOVA ODESSA-SP 2008

3 1. INTRODUÇÃO Com a crescente busca por informações e o conseqüente aumento de clientes e arquivos disponíveis na rede surgiu também a necessidade do compartilhamento dos arquivos, que nada mais é que tornar arquivos disponíveis para outros usuários através de download pela Internet e também em redes menores. Um sistema de arquivos distribuídos é um conjunto de rotinas e estruturas lógicas que permitem o compartilhamento de recursos (de processamento e armazenamento) e arquivos de forma mais rápida. Segundo Coulouris (2007, cap.1), o compartilhamento de recursos é um forte motivo para a construção de sistemas distribuídos. Os recursos podem ser gerenciados por servidores e acessados por clientes, ou podem ser encapsulados como objetos e acessados por outros objetos clientes. Um sistema de arquivos distribuídos fornece os mesmos serviços e recursos de um sistema de arquivos convencional com a diferença que o acesso à informação remota ou local pode ser realizado de forma transparente ao usuário. As vantagens de usar esse tipo de sistema são: a maior disponibilidade de informação e a visão única que todos os clientes têm do sistema de arquivos. E os desafios são que esses arquivos são muito complexos, a heterogeneidade de seus componentes, ser um sistema aberto, o que permite que componentes sejam adicionados ou substituídos, a segurança, a escalabilidade a capacidade de funcionar bem quando o número de usuários aumenta o tratamento de falhas, a concorrência de componentes e a transparência (op. cit., 2007, cap. 1). Neste trabalho será abordado o sistema de arquivo distribuído KFS (Kosmos File System).

4 2. KOSMOS FILE SYSTEM (KFS) Desenvolvido a partir do Google filesystem (GFS), o KFS (Kosmos File System) foi inicialmente desenvolvido e implementado em 2006, por Sriram Rao e Blake Lewis. É um sistema de arquivos distribuídos lançado como um projeto open-source em setembro de A Quantcast 1 é o principal patrocinador do projeto. Para Rao (2008), o KFS tem uma crescente classe de aplicações que processam grandes volumes de dados, como mecanismos de busca, Web log analysis, web 2.0 applications, computação em grade ou grade de processamento (grid computing) etc. entre os seus requisitos básicos estão: custo/eficiência e escalabilidade/armazenamento. Seu trabalho consiste no desenvolvimento de infra-estruturas de armazenamento escalável. Aplicações web-scale requerem infra-estrutura de armazenamento escalável para processar um grande volume de dados. CloudStore (ou Kosmos filesystem) é um sistema distribuído de alta performance projetado para atender este tipo de infra-estrutura. CloudStore é implementado em C++ (mas também aceita aplicações em Java e Python) usando componentes de sistema como como STL, bibliotecas dinâmicas, AIO, log4cpp. Integrado com Hadoop 2 e Hypertable 3. Está implantado em plataformas Solaris e Linux para armazenamento de web log data, rastreador de dados etc. O código fonte é distribuído sob os termos de licença do Apache 2.0. O KFS possui alguns elementos em comum com os outros sistemas, pincipalmente com o GFS (Google filesystem) como desempenho, escalabilidade, confiabilidade, disponibilidade e suporte a operações usuais em arquivos. 1 Quantcast é um Web site que realiza estatísticas de informações de utilização da internet, a partir da análise de outros Web sites (Wikipedia). 2 Hadoop é uma plataforma de software de computação distribuída onde qualquer um pode escrever e rodar uma quantidade considerável de dados. 3 Este é um projeto para a concepção e implementação de um elevado desempenho, escalável, distribuídos por sistema de armazenamento e processamento de dados estruturados e não estruturados.

5 2.1 Arquitetura e Funcionamento do sistema KFS Um modelo de arquitetura mostra a forma de interação entre os componentes de um sistema e a maneira pela qual eles são mapeados em uma rede de computadores subjacente (localização). O KFS consiste de 3 partes ou componentes: Meta-data Server: O meta sever é o repositório para todo arquivo de meta-dados. Ele armazena esse arquivos como diretórios de informação, chunks, etc.. Mantém a árvore de diretório in-memory usando uma B+ tree. Operações que alteram a árvore são documentadas num arquivo log. Periodicamente, via processo off-line, os arquivos log são compactados para criar um arquivo de checkpoint. Quando o metaserver for reiniciado, reconstrói a B-tree a partir do último checkpoint. Então, aplica as alterações dos arquivos log para a árvore para recuperar o estado do sistema. Para tolerar falhas, os meta server s logs e os arquivos checkpoint devem ser copiados (backed up) num ponto remoto (remote node). O código fonte contém scripts que usam rsync para copiar os meta-data system. Chunkservers armazenam chunks, que são blocos de um arquivo. Cada chunk tem 64 Mb. Os chunkservers armazenam chunks como arquivos nos sistema subjacentes (tais como, ZFS no Solaris e XFS no Linux). Cada chunk é identificado por um chunk handle (identificador numérico) de 64 bits que é definido pelo metaserver no momento da criação do chunk. Por confiabilidade, cada chunk é replicado em múltiplos chunkservers (por padrão, 3 réplicas). Biblioteca cliente permite (através da API 4 ) que aplicativos acessem arquivos armazenados em KFS. Na leitura dos arquivos, a biblioteca cliente determina a localização dos chunks e em seguida faz o download do bloco de uma das réplicas. Na escrita, a biblioteca cliente interage com o meta-servidor para determinar onde escrever o chunk; a biblioteca cliente então encaminha os dados para a primeira réplica; a primeira réplica encaminha os dados para a próxima réplica e assim por diante. 4 API, de Application Programming Interface (ou Interface de Programação de Aplicativos) é um conjunto de rotinas e padrões estabelecidos por um software para a utilização das suas funcionalidades por programas aplicativos -- isto é: programas que não querem envolver-se em detalhes da implementação do software, mas apenas usar seus serviços (Wikipédia).

6 2.2 Características e desempenho do Sistema KFS Escalabilidade incremental: os novos nós podem ser adicionados no servidor quando houver a necessidade de um maior armazenamento, o sistema se adapta automaticamente aos novos nós; Disponibilidade: é usada para fornecer a disponibilidade devido às falhas do usuário. Normalmente os arquivos são replicados de três formas. Arquivo por grau de replicação: o grau de replicação é configurável em um arquivo com um limite máximo de 64. Re-replicação: quando o grau de replicação de um arquivo cai abaixo do valor configurado (como exemplo, devido a uma falha no servidor), o metaserver força o bloco a voltar a ser replicado em relação aos restantes servidores. Re-replicação é feito em segundo plano sem oprimir o sistema; Re-equilibrio: é utilizado para equilibrar os espaços em discos com aproveitamento entre nós; Integridade dos dados: para lidar com interrupções de blocos de dados em disco é feita uma verificação em cada leitura quando existe uma má combinação, a re-replicação é usada para recuperar o pedaço corrompido; Escrita de arquivos: O sistema segue o modelo padrão. Quando uma aplicação cria um arquivo, o nome do arquivo se torna parte do namespace do sistema de arquivo. Para o desempenho, as escritas são cashed na biblioteca cliente do KFS. Periodicamente os dados são descarregados da cashe e empurrados para os chunkservers. Pedidos também podem descarregar os dados nos chunkservers. Uma vez descarregados no servidor os dados estarão disponíveis para leitura. Locações: biblioteca cliente do KFS usa uma cache para melhorar o desempenho. As locações são usadas para suportar a consistências da cache; Chunk versioning: é usado para detectar pedaços com defeitos;

7 Client side fail-over (suporta operação desconectada?): a biblioteca cliente é resistente às falhas do servidor. Durante a leitura, se a biblioteca cliente determinar que o chunkserver está impossibilitado de se comunicar, a biblioteca cliente irá em busca de outro chunkserver é continuará a ler. Esta operação é transparente ao aplicativo; Ferramentas: um Shell binário está incluído no conjunto de ferramentas. Isto permite aos usuários navegar na árvore de arquivos usando utilitários como: - cp, ls, mkdir, rmdir, rm e mv. Ferramentas também permitem a monitoração dos chunk/metaservers; Implantar scripts: para simplificar o lançamento dos servidores KFS, é criado um conjunto de scripts para instalar o KFS em um conjunto de nós. 2.3 Protocolo de Comunicação O estabelecimento da conexão garante a existência de um canal bidirecional entre cliente e servidor. A comunicação no KFS é feita via sockets TCP. Este protocolo de comunicação é baseado em texto (inspirado em HTTP). O protocolo TCP proporciona serviços orientados à conexão. Antes de ser possível enviar ou receber dados há necessidade de se estabelecer a conexão. O estabelecimento da conexão exige a colaboração entre duas aplicações, uma aplicação escuta pedidos de conexão numa dada porta, enquanto a outra emite um pedido de conexão para essa porta. No KFS conexões quebradas implicam em falhas. A comunicação, conforme já dito, são implementadas em TCP e falham caso a conexão seja quebrada ou se o host de destino falhar. As conexões entre metaservers e chunkservers são persistentes porque são feitas via sockets TCP não-bloqueantes, isto é, tentam indefinidamente retomar a conexão até obter êxito ou falha.

8 2.4 Requisitos e Instalação 5 Para compilar e executar o KFS, é preciso ter os seguintes pacotes de software instalados em no computador: Boost (versão 1.34 ou superior) ; cmake (versão ou superior) ; log4cpp (versão 1.0; caso contrário, a versão 0.3.5rc1) ; gcc (versão 4.1 ou superior) O primeiro passo é fazer o download do KFS, depois compilar o programa. Alguns passos são necessários: - Compilar o KFS em C++ para obter o código binário do metaservers e dos chunkservers, ferramentas e biblioteca cliente do C++; - Compilar o sistema em Java para obter o arquivo kfs.jar que contém as chamadas no C + + via JNI; isto permite que os aplicativos em Java possam acessar os arquivos armazenados no KSF; - Compilar o Python para acessar arquivos com esse modelo de extensão. 2.5 Ferramentas Ferramenta Chunkscrubber: o pacote do KFS contém uma ferramenta, chamada chunkscrubber, que pode ser usada para checar os chunks. Esta ferramenta verifica as checksums e identifica os blocos corrompidos, que serão movidos para achados e perdidos. O metaserver usará re-replicação para a recuperação dos chunks perdidos. cptokfs: esta ferramenta pode ser utilizada para copiar dados em KFS a partir do local de arquivos ; 5

9 cpfromkfs: esta ferramenta pode ser utilizada para copiar os dados fora de KFS para o local de arquivos; kfsping: esta ferramenta pode ser usada para monitorar o estado do metaserver / chunkserver; kfsstats: esta ferramenta pode ser usada para obter estatísticas sobre operações (como, por quanto tempo lê / escreve, quantos diretórios foram criados, apagados, e assim por diante) ; kfsfileenum: esta ferramenta pode ser usada para enumerar as localizações de cada pedaço de um arquivo; kfsdataverify: esta ferramenta pode ser utilizada para verificar o resultado de uma cópia de dados KFS. Esta ferramenta calcula-32 Adler 64K checksums sobre as fronteiras de entrada; ativa a soma de verificação dos vários chunkservers e valida os checksums.; 2.6 Comparações sistemas: A figura abaixo mostra algumas comparações do sistema KFS com outros

10 Figura 1: Comparação do sistema KFS com outros sistemas 2.7 Transparência No sistema de arquivos distribuído KFS o acesso aos dados, a localização, as falhas entre outros aspectos são transparentes ao usuário. Isso significa, por exemplo, que independentemente da localização dos arquivos (local ou remota) o usuário os enxerga da mesma maneira. No caso de falhas, se a comunicação com um chunkserver não é possível, pass-se a outro sem que o usuário saiba da falha, essa operação é transparente ao usuário. A transparência faz com que seus usuários enxerguem o sistema como um todo (não tendo acesso as suas partes como: localização, recursos e detalhes). A transparência torna certos aspectos invisíveis aos usuários para que estes se preocupem apenas com a funcionalidade requisitada. 3. Considerações Finais O KFS foi desenvolvido a partir do Google filesystem e da mesma forma criado para aplicações que demandam um grande volume de dados. Apresenta destacadamente as

11 seguintes funcionalidades em comum com o Google FS: desempenho, suporte, replicação para tolerância a falhas, integridade dos dados, escalabilidade, é integrado ao Hadoop. Por outro lado, diferentemente do Google FS, sua interface atende ao padrão POSIX, não possui a função anexar para que múltiplos clientes possam de forma atômica anexar dados ao arquivo concorrentemente (OLIVEIRA, 2005 e YANG et al., 2008). Por fim, podemos enfatizar a capacidade dos sistemas de arquivos distribuídos de armazenar virtualmente os dados (grid computing), construindo um super disco ao agregar o armazenamento de cada ponto da rede. REFERÊNCIAS BIBLIOGRAFICAS COULOURIS, G., DOLLIMORE, J., KINBERG. Sistemas Distribuídos: Conceitos e Projetos. 4a. edição. Bookmann, CLOUDSTORE (Web Site). High Peformance Scalable Storage. Disponível on-line em: Data de acesso: 10 set Kosmos File System (KFS) is a New High End Google File System Option. Disponivel em: Data de acesso: 10 out OLIVEIRA, E. Sistemas de arquivos de uso especial. Disponível on-line: TANENBAUM, Andrew S. and STEEN Maarten van. Distributed Systems: Principles and Paradigms (2ª ed.) Capítulo 11: Distributed File Systems, YANG, Z. et al. TFS: Tianwang File System. Performance Gain with Variable Chunk Size in GFS-like File Systems. School of EECS, Peking University, 4/13/2008. Disponível:

12