Um Framework para a Avaliação de Desempenho de Bancos de Dados

Transcrição

1 Um Framework para a Avaliação de Desempenho de Bancos de Dados Lucas Lemos 1, Pedro Holanda 1, José Maria Monteiro 1 1 Universidade Federal do Ceará - UFC lucaslemos@lia.ufc.br, pedrothiago@lia.ufc.br, monteiro@lia.ufc.br Abstract. Este trabalho apresenta um framework, denominado dbest (database benchmark test toolkit), multi-plataforma, multi-benchmark e multi-sgbd que fornece suporte para a realização de avaliações de desempenho em bancos de dados. O dbest possibilita a rápida prototipagem de novos benchmarks e a fácil inclusão de novos SGBDs. Os resultados dos experimentos realizados indicam que a utilização do framework proposto facilita a realização de testes de desempenho, diminuindo o tempo de desenvolvimento através do reuso de software e reduzindo o tempo gasto nas diversas etapas do processo de avaliação. 1. Introdução As aplicações de bancos de dados têm se tornado cada vez comuns, variadas e complexas. Atualmente, estas aplicações podem ser caracterizadas pelo grande volume de dados armazenados e pela elevada demanda por disponibilidade e desempenho. Sendo que o desempenho está relacionado ao grau de satisfação dos clientes em relação aos tempos de respostas dos comandos SQL submetidos ao Sistema de Banco de Dados (SBD). Contudo, diversos fatores afetam o desempenho de um SBD: há elementos externos, tais como equipamentos físicos (memória, processador, discos, etc.), Sistema Operacional e questões de conectividade. Também existem influências internas que variam desde configurações de parâmetros, níveis de concorrência, uma correta configuração de índices, dentre outras. Neste contexto, freqüentemente, nos deparamos com a necessidade de avaliar o desempenho de um SBD. Entretanto, não existe um meio universal com o qual possamos avaliar o desempenho de um SBD. Com base nesta constatação surgiram os benchmarks de bancos de dados. Benchmarks são padrões utilizados em comparações de sistemas computacionais. A aplicação de testes seguindo tais padrões gera medidas quantitativas de desempenho capazes de serem comparadas com as de outros sistemas. Dentre os benchmarks para bancos de dados destacam-se: o OSDB (Open Source Database Benchmark) [4] e os benchmarks mantidos pelo TPC (Transaction Processing Performance Council) [1], tais como o TPC-C, TPC-H e TPC-E. Todavia, um benchmark é apenas um padrão para medida ou avaliação. Na prática, para se avaliar um SBD usando um determinado benchmark é necessário uma ferramenta de software a fim de realizar um conjunto restrito e pré-definido de operações (denominado carga de trabalho) e retornar um resultado (uma métrica) que descreva o comportamento do sistema.

2 Mesmo com a ajuda dessas ferramentas, realizar uma avaliação de desempenho de banco de dados não é uma tarefa trivial e envolve etapas complexas e trabalhosas, tais como: criar o esquema do banco de dados; realizar a carga dos dados; executar a carga de trabalho de teste; além de coletar e armazenar estatísticas sobre o teste realizado. Assim, podemos perceber que realizar testes de desempenho em diferentes SGBDs (Sistemas de Gerenciamento de Bancos de Dados) que podem executar em plataformas de software (Sistemas Operacionais) e hardwares distintos é uma tarefa bastante complexa. Atualmente existem algumas ferramentas (denominadas toolkits) que facilitam este processo. Contudo, essas ferramentas são construídas para SGBDs específicos e, em geral, funcionam apenas em um determinado Sistema Operacional. Neste trabalho, projetamos e implementamos um framework, denominado dbest (database benchmark test toolkit), multi-plataforma, multi-benchmark e multi-sgbd que permite aos usuários realizar testes de desempenho sobre qualquer SGBD, em qualquer Sistema Operacional, utilizando diferentes benchmarks. O dbest fornece suporte para todas as etapas envolvidas no processo de avaliação de desempenho de bancos de dados, possibilita a rápida prototipagem de novos benchmarks e a fácil inclusão de novos SGBDs. Tudo isso baseado em um elegante modelo de programação e a fácil descrição de cenários de teste. A fim de comprovar os benefícios da utilização do framework proposto, implementamos o suporte para testes de desempenho utilizando dois benchmarks distintos (TPC-C e TPC-H) em três SGBDs diferentes (Oracle, SQL Server e PostgreSQL). O restante deste artigo está organizado da seguinte forma: a seção 2 apresenta os trabalhos relacionados; a seção 3 discute os requisitos, a arquitetura e as funcionalidades do framework proposto e a seção 4 conclui este trabalho e aponta direções para futuras pesquisas. 2. Trabalhos Relacionados Poucos trabalhos acadêmicos relacionados à criação e aperfeiçoamento de benchmarks têm sido publicados [2, 5, 6]. Um dos principais motivos para isso é a restrição imposta pela cláusula DeWitt, que proíbe a publicação de testes de desempenho envolvendo bancos de dados comerciais sem a prévia autorização do fabricante. Por esta razão, vários benchmarks foram construídos para comparar o desempenho de SGBDs de código aberto, tais como OSDB [4] e TPCC-UVa [3]. Por outro lado, várias ferramentas (toolkits) voltadas para auxiliar o processo de avaliação de desempenho de bancos de dados têm sido propostas. A Tabela 1 apresenta um resumo dessas ferramentas 1 2. Contudo, tais ferramentas apresentam, em geral, diversas limitações: são construídas para SGBDs específicos, funcionam apenas em um determinado Sistema Operacional, fornecem suporte para poucos benchmarks, não fornecem suporte para o armazenamento dos resultados dos testes e não auxiliam na interpretação desses resultados. 1 * Indica a utilização de SGBDs com suporte ao padrão SQL ANSI. 2 - Indica informação não disponibilizada ou não encontrada.

3 Ferramenta Open Source Tipo de Teste SGBDs SOs Métricas OSDL DBT Sim Baseado no TPC PostgreSQL Linux Vazão, CPU, I/O, Memória PolePosition Sim Mapeamento O-R HSQLDB, Todos - db4o, Versant jtpcc Sim Baseado no TPC-C Oracle, Todos - MySQL e PostgreSQL BenchmarkSQL Sim Baseado no TPC-C Oracle, SQL Todos - Srv e PostgreSQL (*) Bristlecone Sim SELECT + IN- - Todos Vazão e SERT / UPDATE / Tempo de DELETE Resposta Swingbench Sim OrderEntry, SalesHistory, Oracle Todos Vazão e Cal- Tempo de lingcircle Resposta TPCC-UVa Sim Baseado no TPC-C PostgreSQL Linux Vazão Oracle B. Kits Não - Oracle - - dbest Sim Baseado no TPC + Oracle, SQL Todos Vazão e Teste Customizado Srv e PostgreSQL Tempo de (*) Resposta Tabela 1. Análise Comparativa das Principais Ferramentas. 3. Um Framework para a Avaliação de Desempenho de Bancos de Dados Nesta seção serão apresentados os requisitos que nortearam a concepção do framework proposto, além de sua arquitetura e principais funcionalidades Requisitos Após uma análise detalhada das ferramentas existentes identificamos um conjunto de características essenciais para um software de avaliação de desempenho em bancos de dados. Essas características são discutidas a seguir: Representatividade: Suporte à maior quantidade possível de benchmarks. Portabilidade: Possibilidade de executar em diferentes plataformas e SOs. Repetibilidade: Quando uma avaliação (teste) é aplicada no mesmo ambiente, mais de uma vez, ele deve produzir resultados semelhantes. Elasticidade: Possibilitar avaliações em ambientes com diferentes capacidades. Não Intrusividade: A ferramenta não deve envolver alterações no código fonte, metabase ou estrutura dos SGBDs utilizados. Simplicidade: A ferramenta deve ser de fácil utilização pelos usuários e deve ser possível adicionar novos benchmarks e SGBDs de maneira rápida e simples.

4 Além disso, as seguintes funcionalidades são consideradas fundamentais: Possibilitar a criação do banco de dados, tabelas e índices necessários; Executar a carga dos dados ( povoar as tabelas) (restore e dump); Acompanhar a execução da carga de teste; Coletar e armazenar estatísticas sobre a carga de trabalho em execução, tais como vazão e tempo de resposta das transações; Gerar relatórios e gráficos para auxiliar a análise dos resultados; 3.2. Arquitetura e Principais Funcionalidade O núcleo do dbest consiste de doze classes, as quais são ilustradas na Figura 1. As classes que compõem o dbest são organizadas em quatro pacotes: test, db, util e gui. O pacote test contém as classes usadas na máquina de execução dos testes e que lidam com a a realização e monitoramento dos testes, além de possuir as abstrações para representar as transações (consultas), benchmarks e o modelo de comportamento do ambiente de teste. O pacote db contém as classes que estão diretamente relacionadas como o armazenamento dos resultados dos testes. O pacote util contém as classes utilitárias do framework, como por exemplo, uma classe para criar e destruir threads. O pacote gui contém as classes utilizadas na criação da interface gráfica com o usuário. Figura 1. Diagrama de Classes do dbest. O dbest fornece suporte para todas as etapas envolvidas no processo de avaliação de desempenho de bancos de dados. Assim, inicialmente, o usuário configura os parâmetros necessários para a conexão com o banco de dados a ser avaliado. Esses dados podem ser fornecidos por meio da interface gráfica do dbest (Figura 2) ou editando-se um arquivo de configurações (propriedades). Para isso o usuário deve informar: o SGBD, o nome do banco de dados, o usuário do SGBD e sua respectiva senha. O dbest já suporta os SGBDs: Oracle, SQL Server e PostgreSQL. Contudo, se o usuário desejar utilizar um outro SGBD (MySQL, por exemplo) basta editar o arquivo de propriedades indicando: o nome do SGBD, o driver JDBC a ser utilizado, a localização do driver e a string (URL) de

5 conexão. Em seguida, o usuário deve indicar qual benchmark deseja utilizar. O dbest implementa os benchmarks TPC-C e TPC-H. Porém, outros benchmarks (customizados) podem ser facilmente adicionados ao dbest. Para isso, basta o usuário editar um arquivo de propriedades indicando: o nome do benchmark, um arquivo de configuração contendo os comandos DDL necessários para a criação do banco de dados (tabelas, índices, etc) e um outro arquivo contendo a carga de trabalho do benchmark (cláusulas SQL ou transações). Caso o banco de dados a ser avaliado ainda não tenha sido criado o dbest disponibiliza opções que permitem criar o esquema do banco de dados (via comandos DDL) e realizar a carga dos dados, se um arquivo de backup for fornecido. Estando a conexão com o banco de dados configurada e o benchmark selecionado, o usuário pode especificar o tipo de teste que deseja realizar (Figura 2). Neste sentido, o usuário deve indicar: O tipo de teste, ou seja, se a duração do teste será definida por tempo ou por iteração. Se o teste for por tempo (por exemplo 30 minutos) a carga de trabalho do benchmark é continuamente executada até que se complete o tempo estipulado. No teste por iteração (por exemplo, 3 execuções) a carga de trabalho do benchmark selecionado é executada por completo uma vez para cada uma das iterações; A ordem do teste, que pode ser uma das três seguintes alternativas: sequencial, aleatória fixa e aleatória. Figura 2. Telas de Configuração e de Seleção do Tipo de Teste. Após o início de uma sessão de teste o dbest possibilita acompanhar e monitorar a execução do teste. Neste sentido o dbest informa por meio de sua interface gráfica: a) se a duração do teste for por tempo: o tempo decorrido, o tempo restante, as consultas já executadas juntamente com o tempo de execução e as consultas a serem executadas; b) se a duração for definida por iteração: o tempo decorrido, a quantidade de iterações concluídas, a duração das iterações concluídas, a quantidade de iterações restantes, as consultas já executadas juntamente com o tempo de execução e as consultas a serem executadas.

6 Ao final de uma sessão de testes o dbest armazena as estatísticas referentes ao teste realizado em um banco de dados. Adicionalmente, o dbest auxilia na interpretação dos resultados por meio de gráficos e relatório, os quais apresentam além das informações já fornecidas durante o monitoramento: o tempo de execução médio para cada consulta, a evolução dos tempos de execução para cada consulta e a vazão, como ilustra a Figura 3. Figura 3. Tela de Resultados. 4. Conclusões e Trabalhos Futuros Neste trabalho, foi apresentado um framework multi-plataforma, multi-benchmark e multi- SGBD, denominado dbest, o qual apóia a realização de testes de desempenho em bancos de dados. Como trabalhos futuros pretende-se realizar uma avaliação da usabilidade do dbest e adicionar o suporte necessário para a execução de testes de stress. Referências [1] T. P. P. Council. Tpc Disponível em [2] J. Gray. Benchmark Handbook: For Database and Transaction Processing Systems. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, [3] D. R. Llanos. Tpcc-uva: An open-source tpc-c implementation for global performance measurement of computer systems. SIGMOD Record, December ISSN [4] OSDL. Osdl Disponível em [5] J.-L. Seng, S. B. Yao, and A. R. Hevner. Requirements-driven database systems benchmark method. Decis. Support Syst., 38: , January [6] Y. Zhao and D. G. Truhlar. Benchmark databases for nonbonded interactions and their use to test density functional theory. Journal of Chemical Theory and Computation, 1: , 2005.