Lustre utilizando Técnicas de Striping

Transcrição

1 Análise de Desempenho do Sistema de Arquivos Distribuídos Lustre utilizando Técnicas de Striping Rosana Guimarães 1, Felippe V. Zacarias 1, Murilo Boratto 2 1 Laboratório de Engenharia de Alto Desempenho Centro de Supercomputação para Inovação Industrial do SENAI CIMATEC Salvador Bahia Brasil 2 Núcleo de Arquitetura de Computadores e Sistemas Operacionais Universidade do Estado da Bahia Salvador Bahia Brasil rosana.ribeiro@fbter.org.br, felippe.vieira@fieb.org.br muriloboratto@uneb.br Abstract. This work presents an analysis of the feasibility of using distributed file system to solve problems of great computational complexity satisfying data storage and sharing requirements. Through YEMOJA supercomputer was possible to perform tests to evaluate the performance of Luster Distributed File System using the striping technique with the aid of a benchmark. The experiments carried out indicate that the tuning of file system parameters offers significant advantages in the distribution of the data, achieving high performance and an increase in scalability. Resumo. Este trabalho apresenta uma análise da viabilidade em utilizar sistema de arquivos distribuídos para resolver problemas de grande complexidade computacional satisfazendo requisitos de armazenamento e compartilhamento de dados. Através do supercomputador YEMOJA foi possível realizar testes para avaliar o desempenho do Sistema de Arquivos Distribuídos Lustre utilizando a técnica de striping com o auxílio de um benchmark. Os experimentos realizados indicam que o ajuste de parâmetros do sistema de arquivos oferece vantagens significativas quanto a distribuição dos dados atingindo um alto desempenho e um incremento na escalabilidade. 1. Introdução Devido ao crescente avanço em aplicações científicas que demandam uma vasta quantidade de dados para serem processados e armazenados, os sistemas de arquivos distribuídos apareceram focados em requisitos especializados, tais como, transparência, flexibilidade, confiabilidade, desempenho, escalabilidade e segurança. Dentre os inúmeros sistemas de arquivos destaca-se um chamado Lustre [Braam 2007], o qual se caracteriza pelas altas taxas de transferências de dados, por apresentar um ambiente de arquivos compartilhados e independência da localização de dados armazenados. Uma outra característica chave do Lustre é a capacidade de distribuir os segmentos de um único arquivo em discos diferentes, definida como striping, sendo bastante eficaz nas operações de leitura e escrita para que possam acessar simultaneamente estes discos. Embora existam vários sistemas de arquivos distribuídos que cumprem os requisitos básicos de um ambiente distribuído, cada arquitetura atende à determinadas 23

2 especificações e podem apresentar dificuldades no acesso aos dados, ocasionado justamente pela pela forma como esta organizado o sistema. Sendo assim, este sistema de arquivos possue limitações quanto a distribuição dos arquivos em seus discos e obstáculos que limitam o desempenho de suas aplicações. Logo, pode-se obter um melhor aproveitamento quando se ajusta alguns parâmetros de armazenamento, equilibrando a carga de trabalho nos servidores. Nesse contexto, há a necessidade de compreender melhor sobre a arquitetura do Sistema de Arquivos Distribuídos Lustre, bem como comprovar a eficiência do mesmo e determinar quais fatores tem influência no seu desempenho, a fim de evitar uma contenção desnecessária nos servidores que resulta em uma má utilização. Este artigo tem como objetivo avaliar o desempenho do Sistema de Arquivos Lustre em diferentes quantidades e tamanhos de stripes, utilizando um modelo para aferir o desempenho sob cargas de trabalho em grande escala, utilizando o benchmark IOR (Interleaved or Random) [Shan and Shalf 2007]. O trabalho está estruturado da seguinte forma: Na Seção 2 serão contextualizados alguns trabalhos encontrados na literatura. Na Seção 3 serão apresentados alguns Resultados Experimentais e finalizamos com Conclusões e Trabalhos Futuros. 2. Trabalhos Relacionados O sistema de arquivos Lustre tem como principal característica a sua alta escalabilidade, podendo suportar milhares de nós de clientes, com petabytes de armazenamentos e centenas de gigabytes por segundo de E/S de taxa de transferência. Segundo [Kuszera 2010], o Lustre visa atender as necessidades de aplicações intensivas em dados, permitindo criar sistemas de arquivos com grande capacidade de armazenamento e vazão de dados. O sistema de arquivo é composto por um conjunto subjacente de servidores de E/S denominados Object Storage Servers (OSSs) que gerenciam um pequeno conjunto de Object Storage Targets (OSTs). Os metadados do arquivo são controlados por um servidor, chamado Metadata Server (MDS) e armazenados em um Metadata Target (MDT) onde contém o layout do arquivo de dados associado, incluindo o número OST e o identificador do objeto e aponta para um ou mais objetos associados ao arquivo de dados [Braam 2007]. Sua estruturação e os seus componentes podem ser visualizados na Figura 1. Figura 1. Componentes do sistema de arquivos Lustre [Oracle 2017] 24

3 No trabalho [Saini et al. 2012] os autores caracterizam a habilidade do Lustre de distribuir seções do arquivo (stripes) em um número específico de objetos (OSTs) usando um algoritmo simples de agendamento de processos em um sistema operacional. A forma como os arquivos são fracionados e distribuídos entre servidores de armazenamento são chamados de stripe size e stripe count, respectivamente. Desta forma, o Lustre define por padrão que todo arquivo seja armazenado em apenas um OST, com stripe count igual a 1 e possua tamanho fixo de dados inscritos em cada objeto antes de passar para o próximo OST, tendo stripe size igual a 1 MB. Já no trabalho [Oracle 2017] os autores fazem uso de stripes em todos os servidores, sendo que caso um dos servidores falhe, uma pequena parte de cada arquivo é perdida. Vale ressaltar que o uso de stripes é útil quando o tamanho do arquivo é muito grande e não tem espaço livre suficiente para armazenar o arquivo inteiro em um único OST. Há também razões para minimizar ou evitar o seu uso, pois striping resulta em mais bloqueios e operações de rede durante operações comuns, resultando no aumento da sobrecarga do servidor. Para medir o desempenho do sistema de arquivos Lustre e verificar o comportamento da performance com diferentes quantidades e tamanhos de stripes foi utilizado o benchmark IOR [Shan and Shalf 2007], capaz de aproximar-se do desempenho e comportamento da aplicação original, o qual afere a vazão de dados nessas aplicações. 3. Resultados Experimentais Nesta seção serão apresentados os experimentos feitos através de operações de acesso ao sistema de arquivos. A análise tem foco no comportamento de E/S em cargas de trabalho de grande escala Caracterização do Ambiente de Execução [YEMOJA] Os experimentos foram realizados no Supercomputador, situado no SENAI CIMATEC [Top ], composto por 860 nós, cada nó com 2 processadores Intel Xeon E v2, de 10-cores com 2, 8 GHz, a qual usa uma interconexão InfiniBand de 56 GB/s. Cada nó de computação usado contém 128 GB de RAM. Possui sistema operacional Red Hat Enterprise Linux e Luste versão com 850 TB de espaço de disco utilizável Busca dos Parâmetros Ótimos do Lustre A princípio foram feitos vários testes avaliando parâmetros do IOR que representassem os melhores desempenhos para o sistema de arquivos Lustre. Logo em seguida, os experimentos foram divididos em duas classes de testes: Striping de Arquivo com um único processo: Este experimento consiste no aumento gradativo do tamanho do stripe size melhorando a vazão de dados de E/S utilizando apenas 1 processo. Striping de Arquivos com múltiplos processos: Consiste na verificação da fixação do valor stripe count e stripe size default fixando o valor do arquivo, variando apenas o número de processos. Os parâmetros estabelecidos pelo benchmark IOR tem como base o tamanho do bloco, um subdomínio do conjunto de dados armazenado para cada processo e o tamanho da transação de E/S para transferir dados da memória para o arquivo. 25

4 Striping de Arquivo com um Único Processo A Tabela 1 lista os parâmetros e valores utilizados para execução da primeira classe de testes. Tabela 1. Descrição dos parâmetros utilizados API POSIX Bloco 240 GB Transferência 1 MB Número de Processos 1 Padrão de Acesso processo por arquivo (file-per-process) Stripe count 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 20, 30, 40, 50, 60 Stripe size 1 MB,2 MB,4 MB,8 MB,16 MB,32 MB,64 MB,128 MB,256 MB,512 MB,1 GB A Figura 2 apresenta o desempenho da aplicação ao longo dos diferentes valores de stripe count e stripe size, em cada operação foi utilizado um arquivo de 240 GB. Na operação da escrita, Figura 2(a), o melhor desempenho foi obtido com os parâmetros stripe count igual a 3 e stripe size igual a 32 MB em que supera os 650 MB/s, uma vazão de dados consideravelmente alta para o tamanho do arquivo armazenado. É importante observar nos gráficos o comportamento instável que aparece entre os stripe counts de 1 a 10, isso acontece porque nesse intervalo as medições foram feitas em um incremento unitário de stripe count. Destacamos que um processo efetuando uma operação de escrita de um arquivo com 240 GB reverbera de tal modo que seu desempenho sofre uma queda quando este arquivo é distribuido para vários objetos. O desempenho da leitura varia de 500 MB/s a 700 MB/s, para todos os valores de stripe count e stripe size, exceto para stripe size 1 MB com MB/s, como pode ser visto na Figura 2(b). Assim como a escrita, a leitura com stripe size de 32 MB dentre os demais apresenta melhor desempenho. E para todos os valores de stripe size a medida que o stripe count aumenta, o desempenho se estabiliza, sem existir muita alteração de seus valores. (a) Escrita (b) Leitura Figura 2. Análise comparativa da performance de leitura e escrita do sistema de arquivos Lustre no Supercomputador YEMOJA Para testes com stripe, arquivos maiores que 100 GB devem fazer uso de stripe 26

5 para evitar ocupar muito espaço em um único OST, o que pode afetar negativamente o sistema de arquivos [Saini et al. 2012]. Por isso, um arquivo com tamanho igual ou superior a 100 GB fazendo uso de apenas um processo e um stripe count não será beneficiado ao utilizar o Lustre, por este motivo é importante utilizar mais de um processo em arquivos de grande escala Striping de Arquivo com Múltiplos Processo Para a segunda parte dos testes, a Tabela 2 lista o desempenho para diferentes valores de processos, com stripe count fixo 16 e stripe size 1 MB, além de acesso padrão file-per-process, API POSIX, tamanho de transferência de 1 MB e tamanho total do arquivo de 240 GB. Tabela 2. Desempenho utilizando mais de um processo Escrita [MB/s] Leitura [MB/s] Stripe Count Processos O valor máximo de escrita é de MB/s e de leitura é MB/s, ambos utilizando 16 processos. A medida que o número de processos aumenta o desempenho cresce significativamente até alcançar o número igual de OST, diferentemente dos valores apresentados nos gráficos quando usa apenas um processo. Isto ocorre devido ao fato de que cada processo acessa um arquivo exclusivo, em que o padrão de acesso cria vários arquivos em detrimento de um único arquivo, possibilitando a transferência de dados de forma concorrente e paralela. 4. Conclusões e Trabalhos Futuros No presente artigo foi verificado o comportamento prático do Sistema de Arquivos Lustre com diferentes valores de stripes e processos através do benchmark IOR. Através dos experimentos feitos no supercomputador YEMOJA pode-se notar que o Lustre é um sistema de arquivos escalável capaz de fornecer alta vazão de dados mesmo em arquivos de grandes dimensões de armazenamento. Nota-se que os primeiros valores de stripe count e stripe size tendem a ter picos elevados por serem os primeiros a serem acessados pelo processo e além disso deve-se levar em consideração a utilização compartilhada da máquina no determinado momento de teste. Vale ressaltar que cada aplicação comporta-se de modo diferente ao acessar os mecanismos de E/S, mas em termos gerais mesmo sofrendo algumas quedas de desempenho, o Lustre é capaz de proporcionar alto desempenho, principalmente se a aplicação estiver adequada à sua arquitetura. Como trabalho futuro é sugerido a análise de desempenho para diferentes parâmetros associados ao IOR como avaliar em outro padrão de acesso, em que um único arquivo pode ser dividido em vários stripes e compartilhado para vários processos. Além disso, é sugerido a análise entre o Lustre e o tradicional NFS [Kuszera 2010], a fim de comparar o desempenho desses sistemas de arquivos. 27

6 5. Agradecimentos Este trabalho teve como fomento, através de bolsa de pesquisa, da FAPESB (Fundação de Amparo à Pesquisa do Estado da Bahia) e também o suporte das instalações do Centro de Supercomputação do SENAI CIMATEC. Referências Braam, P. (2007). Lustre file system: high-performance storage architecture and scalable cluster file system. Whiter Paper, Sun Microsystems. Kuszera, E. M. (2010). Avaliando o sistema de arquivos Lustre com uso de cargas de trabalho de aplicações paralelas. Pontifícia Universidade Católica do Rio Grande do Sul. Oracle, S. (2017). Understanding lustre. manual/lustremanual20_html/. Acesso: Saini, S., Rappleye, J., Chang, J., Barker, D., Mehrotra, P., and Biswas, R. (2012). I/o performance characterization of lustre and nasa applications on pleiades. In High Performance Computing (HPC), th International Conference on, pages IEEE. Shan, H. and Shalf, J. (2007). Using IOR to analyze the I/O performance for HPC platforms. Lawrence Berkeley National Laboratory. Top500 (2016). Cimatec yemoja. Acesso: