Avaliando o Desempenho do SGBD PostgreSQL considerando os diferentes sistemas de arquivos

Transcrição

1 Avaliando o Desempenho do SGBD PostgreSQL considerando os diferentes sistemas de arquivos Tácio Castanhede, Sérgio Luís Dill, Edson Luiz Padoin, Paulo Sausen, Robinson Camargo Departamento de Tecnologia Universidade Regional do Noroeste do Estado do Rio Grande do Sul (UNIJUÍ) Ijuí, RS - Brasil {tacio.castanhede,dill,padoin,sausen,robinson}@unijui.edu.br Resumo. A análise de um sistema computacional é realizada através de resultados gerados por aplicações de testes dos benchmarks. Estes seguindo alguns padrões de configuração geram medidas quantitativas de desempenho, capazes de serem comparadas com outros sistemas. Os benchmarks em ambientes computacionais são utilizados para determinar o desempenho de sistemas operacionais, banco de dados, e outros em utilização. O objetivo deste trabalho é realizar os cálculos de desempenho das funcionalidades de um banco de dados. A proposta do trabalho é apresentar um estudo comparativo de desempenho do bancos de dados PostgreSQL em plataformas GNU/Linux, utilizando o TPC-H. Palavras-Chave: Desempenho, PostgreSQL, Sistema GNU/Linux. Abstract. The analysis of a computer system is conducted through the results generated by applications of the benchmark tests. These standards following some configuration generate quantitative measures of performance, capable of being compared to other systems. The benchmarks in computing environments are used to determine the performance of operating systems, database, and others in use. The objective of this study is to perform the calculations of the performance of the functions of a database. The proposed work is to present a comparative study of performance of databases PostgreSQL platforms on Linux, using the TPC-H. Keyboards: Performance, PostgreSQL, System GNU/Linux. 1. Introdução Dentro de um ambiente de trabalho como administrador de banco de dados existe uma necessidade de realizar avaliações entre sistemas, sendo muitas vezes necessária a utilização de algum benchmark. Isto junto a um conjunto de técnicas existentes torna-se possível obter um melhor desempenho do sistema frente a uma determinada carga de trabalho. Para efetuar o ajuste, o DBA utiliza de princípios e conhecimento empírico no que tange ao contexto da aplicação a que se destinam os dados e do próprio funcionamento do SGBD. A proposta deste trabalho é apresentar um estudo comparativo de desempenho do SGBD PostgreSQL, em plataforma GNU/Linux, utilizando o benchmark TPC-H. Assim, pretende-se identificar qual o sistema de arquivo que oferece melhor desempenho em duas diferentes configurações, padrão e personalizada.

2 Trabalhos Correlatos A maioria dos resultados comparando desempenho de SGBD de código livre foi produzida através de uma ampla variedade de benchmarks e estes resultados são muitas vezes contraditórios e tendenciosos. Isto devido que, os SGBD muitas vezes são testados utilizando seus próprios benchmarks, onde assim, os resultados tendem a apresentar o melhor desempenho sob seus próprios benchmarks. Os estudos apresentados em GreatBridge e MySQL comparam o desempenho dos SGBD PostgreSQL e MySQL, exibindo resultados contrários. Em [GreatBridge 2000] o PostgreSQL mostra-se superior, porém, por estar ligado a uma fornecedora de soluções deste SGDB, o resultado é contestado [Wideneus 2000]. O comportamento repete-se em favor do MySQL no trabalho [MySQL 2005]. 2. Sistemas Gerenciadores de Banco de dados Um Sistema de Gerenciamento de Banco de Dados é uma coleção de programas que permitem ao usuário definir, construir e manipular Bases de Dados para as mais diversas finalidades. Um conceito que deverá ficar bastante claro inicialmente é o que envolve a separação clara entre os Gerenciadores de Base de Dados dos Gerenciadores de Arquivo. 3.1 SGBD PostgreSQL É um SGBD objeto-relacional de código aberto derivado do projeto POSTGRES, da Universidade de Berkeley. Atualmente é desenvolvido por um grupo que envolve empresas e pessoas de várias partes do mundo, estando disponível sob a flexível licença BSD. Devido à sua licença liberal, pode ser utilizado, modificado e distribuído por qualquer pessoa para qualquer finalidade, seja privada, comercial ou acadêmica, livre de encargos. Foi o pioneiro em muitos conceitos objeto-relacional que agora estão se tornando disponíveis em alguns bancos de dados comerciais. Os Sistemas de Gerenciamento de Bancos de Dados Relacionais (SGBDR) tradicionais suportam um modelo de dados que consiste em uma coleção de relações com nome, contendo atributos de um tipo específico. Nos sistemas comerciais em uso, os tipos possíveis incluem número de ponto flutuante, inteiro, cadeia de caracteres, monetário e data. De acordo com Aires (2006), o modelo relacional substituiu com sucesso os modelos anteriores em parte devido à sua simplicidade. Ele é considerado objetorelacional por aplicar, além das características de um SGBD relacional, algumas características de orientação a objetos, como herança e tipos personalizados. O PostgreSQL é um descendente de código fonte aberto, que suporta grande parte do padrão SQL:2003, além de serem oferecidas muitas funcionalidades modernas, como: comandos complexos, chaves estrangeiras, gatilhos, visões, integridade transacional. 3. Sintonia em Banco de Dados O DBA antes de realizar alterações nas configurações do SGBD, deve considerar fatores externos ao SGBD tais como o hardware e o software disponíveis ao SGBD.

3 Toda otimização, pretende aumentar a capacidade do computador de processar os dados (throughput) do sistema, diminuindo a contenção, e fazendo com que se tenha à capacidade de executar uma carga de trabalho maior imposta ao SGBD (workload), no mesmo intervalo de tempo. Primeiramente deve-se avaliar se o hardware é adequado ao workload e se o sistema operacional é capaz de gerenciar de forma satisfatória o escalonamento gerado pelos threads, onde um processo é dividido em duas ou mais tarefas onde sejam executadas simultaneamente, considerando a memória disponível e principalmente a concorrência gerada por outros processos. Melhorar o hardware é a opção que trará um retorno benéfico visivelmente mais rápido. Entretanto, antes de realizar um investimento financeiro, deve-se verificar uma possível melhora no desempenho através dos recursos disponíveis, principalmente na realocação de memória para o SGBD. 4. Sistemas de arquivos Por meio dos sistemas de arquivos, ocorre a gravação e a recuperação dos dados em um dispositivo de armazenamento em um computador. O sistema de arquivos é independente do hardware e da BIOS, sendo especificado pelo software do sistema operacional no momento da instalação do sistema ou na configuração de dispositivos de armazenamento adicionais posteriormente à instalação ReiserFS O ReiserFS é um dos sistemas de arquivos com suporte a journaling mais rápidos. Suas principais características são: a) possuir tamanho de blocos variáveis; b) Suporte a arquivos maiores que 2 Gigabytes e; c) O acesso mhash a árvore de diretórios é um pouco mais rápida que o ext3 [Alecrim 2007]. Usa árvores balanceadas para tornar o processo de busca mais eficiente. Para arquivos muito pequenos, seus dados podem ser armazenados próximos aos metadados, então, ambos podem ser recuperados em uma única operação de leitura. Essa propriedade melhora o desempenho caso uma aplicação necessite abrir muitos arquivos pequenos rapidamente. Outra grande vantagem do ReiserFS é a alocação dinâmica de i- nodes (identidade de um arquivo ou diretório, é uma identificação única), já que esse sistema de arquivos não os aloca em espaços fixos ou blocos e sim, aloca o tamanho exato que o arquivo precisa Ext3 O sistema de arquivos ext3 é basicamente o sistema de arquivos ext2 com recursos de journaling. O journaling usa uma camada chamada "Journaling Block Device" (JBD), funcionando como uma entidade independente, permitindo que não só o ext3 a use, mas também outros sistemas de arquivos [Alecrim 2007]. O Ext3 diferencia do ReiserFS na maneira como guarda os registros no LOG. Enquanto o ReiserFS guarda apenas informações dos metadados, o Ext3 guarda não só as informações como também os dados do arquivo. O padrão do Ext3 é o modo ordered, sendo que, graças a este modo de trabalho, uma perda de dados do arquivo é reduzida.

4 4.3. JFS Além de possuir journal, permite que as partições do sistema sejam redimensionadas sem a necessidade de desligar o computador. O sistema é extremamente rápido, permitindo que seja trabalhado com uma grande quantia de dados, sendo superior aos demais sistemas de arquivos. Também usa a estrutura i-node para armazenar a localização dos blocos de cada arquivo nas estruturas físicas do disco. Estes blocos podem variar de 512 a 4096 bytes, e sua alocação é dinâmica XFS É um sistema de arquivos muito rápido na gravação. Considerado um dos melhores sistemas de arquivos para banco de dados. Possui um sistema de arquivos com journaling de metadados que vem com um robusto conjunto de funções para otimização por escalabilidade. Entretanto é recomendado usar este sistema de arquivos em sistemas rodando Linux com equipamento SCSI de ponta e/ou armazenamento em canais de fibra e fonte de energia sem interrupção. Pelo fato de o XFS criar caches agressivamente de dados em uso na memória RAM, programas mal desenhados (que não tomam precauções na hora de escrever os arquivos em disco) podem perder uma grande quantidade de dados se o sistema for desligado sem aviso. 4. O Método TPC-H O método transaction processing council foi criado para estabelecer padrões de benchmarks através de rigorosos critérios e normas, a fim de obter informações a respeito do desempenho de processamento de transações e de bancos de dados suportado por um determinado hardware. Os membros do TPC são funcionários de várias empresas associadas ao TPC. Dentre os vários métodos que este conselho mantém, destaca-se o método TPC-H, o qual tem por finalidade simular e avaliar o desempenho de um ambiente de Data Warehouse [TPC 2008]. Os testes do método TPC-H são realizados sob uma estrutura padrão compostos por oito tabelas, sendo seis tabelas dimensionais e duas de fatos. Para a geração da população destas tabelas o TPC-H disponibiliza dois utilitários, DBGen e QGen. Um para gerar a carga de dados, que através de um dicionário de dados pré-definidos é capaz de criar bases de dados que variam de 1GB até 1 TB, e outro para gerar as consultas para a execução dos testes. 5. Estudo de caso O estudo de caso foi realizado sob os SGBD PostgreSQL na versão 8.3.3, mostrando como é possível melhorar o desempenho através das as alterações das variáveis contidas no arquivo de configuração do mesmo. Também serão abordados testes sob diferentes sistemas de arquivos para que seja verificado qual deles apresenta melhor desempenho para uma determinada carga de trabalho.

5 5.1 Ambiente Através do método TPC-H, pode-se verificar as configurações até então pré-definidas. A partir destas, é possível melhorá-las e também identificar se os sistemas de arquivos estão exercendo uma degradação no desempenho do SGBD. Para o estudo, foi utilizado o mesmo hardware em todos os testes e também os mesmos processos em execução. A etapa inicial consiste na instalação do sistema operacional GNU/Linux OpenSuse 10.3 com swap de 512Mb, versão do kernel Os sistemas de arquivos em uso foram: ReiserFS, XFS, JFS e o EXT3. A base de dados gerada pelo DBGEN foi com o fator de escala de 1 GB, e adotou-se as consultas 2,10 e 19. As consultas escolhidas da lista gerada pelo utilitário QGEN (fornecido pelo TPCH) serão apresentas nos testes por C1, C2 e C3. Além das consultas, foram modificadas as variáveis de configuração do SGBD, sendo apresentadas através da Tabela 1. PostgreSQL Variáveis Padrão Personalizada Shared_buffers Work_memory Sort_mem Checkpoint_segments 3 5 Checkpoint_warning 30 0 Effective_cache_size 0 240M Tabela 1. Variáveis alteradas no SGBD A partir das configurações propostas na Tabela 1, é efetuado um comparativo expressos em porcentagem do tempo de melhora, relacionados à carga de dados e nas consultas em execução. No Gráfico 1, pode-se verificar a porcentagem de melhora do SGBD nos quatro sistemas de arquivos. Carga de base de dados 5,00% 4,00% 3,00% 2,00% 1,00% 2,95% 2,76% 3,74% 4,06% Gráfico 1. Comparativo entre ambientes sobre os sistemas de arquivos Através do Gráfico 1, observa-se que o sistema de arquivo XFS obteve o melhor resultado relacionado aos outros sistemas de arquivos. A configuração personalizada reduziu seu tempo em 4,06% relacionado à configuração padrão.

6 Após a carga de dados, é possível realizar os testes com as consultas prédefinidas. No Gráfico 2, compara-se as consultas realizadas. Consulta C ,82% 13,11% 43,23% 64,85% Gráfico 2. Média do tempo de retorno da consulta C1 De acordo com o Gráfico 2, o sistema de arquivo XFS obteve uma melhora de 64,85% com a configuração personalizada. Este tempo foi o melhor comparado aos outros sistemas de arquivos, porém em todos houve um ganho de tempo, bem como ocorrido na carga de dados. Consulta C ,39% -59,87% -40,39% -13,19% Gráfico 3. Média do tempo de retorno da consulta C2 Através do Gráfico 3, os tempos obtidos com a consulta C2 foram sem sucesso, deixando a desejar. Somente o sistema de arquivo obteve uma melhora de tempo de somente 3,39%. Os outros sistemas obtiveram um tempo inferior com a configuração personalizada, sendo o EXT3 o melhor considerando a configuração padrão, chegando a quase 60% a diferença. Os valores referentes ao Gráfico 3, além das configurações do SGBD, também tem relações ao modo e o tamanho dos dados que são alocados em cada sistema de arquivo, fator determinante nos resultados obtidos. Através da consulta C3 e juntos as outras já apresentadas, poderá ser realizada um resumo geral dos resultados, mostrando desta forma, os pontos onde mais afetaram resultados negativos e também os que conseguiram fazer com que o desempenho dos SGBD obtivesse melhora. No Gráfico 4, apresenta-se a consulta C3 comparada a todos sistemas de arquivos testados.

7 Consulta C ,53% 36,18% 14,73% -0,66% Gráfico 4. Comparativo entre os SGBD e sistemas de arquivos A partir do Gráfico 4, o sistema de arquivo XFS retornou resultado 0,66% melhor com a configuração padrão. Tendo o JFS o melhor resultado com a configuração personalizado, obtendo 80,53% melhor que a padrão. Nesta consulta, ao contrário da C2, os tempos foram satisfatórios com a configuração personalizada. Comparativo consultas ,39% -32,03% 83,37% 51,00% Gráfico 5. Comparativo geral das consultas Avaliando o resultado da carga de dados e das consultas executadas, pode-se considerar que, no quesito carga de dados, o XFS obteve melhor resultado, e no quesito consulta, o Gráfico 4 demonstra que com 83,37% o sistema de arquivo JFS obteve melhor tempo, tendo com o pior tempo o EXT3. 6. Conclusões Conforme apresentado neste artigo, o Sistema de Arquivos e o Sistema Operacional exercem uma influência significativa para o desempenho do SGBD. Pois, os resultados não uniformes obtidos, deixam claro que dependendo do tipo de tarefa e até mesmo a configuração adotada modifica significativamente o resultado final no que se refere ao tempo desprendido para finalizar uma requisição ao SGBD. O método TPC-H vem diretamente a auxiliar na tarefa de sintonia de um SGBD, visto que este permite através de testes de simulação, identificar se a configuração adotada ou em fase de teste está permitindo um melhor rendimento do SGBD em suas tarefas. O SGBD configurado de forma incorreta ou incompatível com o hardware em uso irá acarretar em uma perda significativa de desempenho. Assim, tendo que adaptá-lo através de configurações, conforme ao hardware e principalmente ao tipo e forma da aplicação ao qual se destina.

8 7. Referências ANAIS 19 Simpósio Brasileiro de Banco de Dados (2004). Brasília, Outubro. TPC. Transaction Processing Performance Council (2008), Abril. Ikematu, Ricardo S. (2008), Realizando Tuning na Base de Aplicações, Maio. Ronconi, Vinicius (2008), O Otimizador do Oracle para desenvolvedores I, Maio. MySQL. (2005). Performance Comparison by MySQL Group. SQL MAGAZINE. DevMedia Group. Rio de Janeiro, RJ. Nº 11, Lima, Adilson da Silva. MYSQL SERVER: VERSÕES OPEN SOURCE 4.X. Ed. Érica. São Paulo, SP SQL MAGAZINE. DevMedia Group. Rio de Janeiro, RJ. Nº 17, MySQL (2008) Otimização do MySQL, Junho. Ramalho, José A. ORACLE 9i. Berkeley Brasil, São Paulo, SP Alecrim, Emerson (2007), Sistema de Arquivo ReiserFS, Maio. Alecrim, Emerson (2007), Sistema de Arquivo EXT3, Maio. Camargo, Thadeu (2007), Sistemas de Arquivos, Maio. Watson, G.H Benchmarking estratégico. Makron Books: São Paulo. GreatBridge Performance Comparison. (2000). Abril. Moran, B. (2003). The Devil s in the DeWitt clause. Novembro. Momjian, B. (2006). PostgreSQL Hardware Performance Tuning. Setembro. Aires, K. (2006). PostgreSQL x MySQL. Setembro.