Análise Comparativa entre Bancos de Dados NoSQL para Realização de Cache de Banco de Dados em Aplicações Web

Transcrição

1 Análise Comparativa entre Bancos de Dados NoSQL para Realização de Cache de Banco de Dados em Aplicações Web Danilo Lopes Santos Discente (BSI/IFBA-VCA) Pablo Freire Matos Orientador (CSI/IFBA-VCA)

2 2 Agenda Introdução Fundamentação Teórica Trabalhos Correlatos Experimento Resultados Concluões

3 3 1. Introdução Contextualizando.

4 4 Introdução Introdução Preocupação com desempenho em aplicações Web Informações necessitam ser acessadas rapidamente Grande quantidade de usuários acessando aos mesmos dados Ex: Sistemas web corporativos, websites e redes sociais

5 5 Introdução Introdução Sobrecarga do Sistema Bancos de Dados tradicionais Gargalo Indisponibilidade

6 6 Introdução Introdução Cache de Bancos de Dados Fonte: Próprio autor.

7 7 Introdução Introdução BDs NoSQL: Not Only SQL Alto desempenho Flexíveis Distribuídos Suporte a armazenamento em massa Baixo custo

8 8 Motivação Introdução Aumento na quantidade de dados e usuários Cache de Bancos de Dados Bancos de Dados NoSQL

9 9 Justificativa Introdução Mais de 2 bilhões de usuários conectados Aplicativos possuem milhões de usuários diferentes por dia Necessidade de disponibilidade 24 horas por dia, 365 dias no ano

10 10 Justificativa Introdução Necessidade de armazenamento de grande quantidade de dados Acesso aos dados da maneira mais rápida possível Bancos de dados relacionais Desenvolvidos para serem executados em um único servidor Aumentar a capacidade de resposta a requisições significa adquirir um servidor mais potente e mais caro

11 11 Justificativa Introdução Necessidade de redução de custos Utilização de cache Reduz a sobrecarga do servidor de banco de dados e aumenta o desempenho do sistema Cache x NoSQL As características dos bancos NoSQL permitem que estes sejam utilizados como ferramenta de cache

12 12 Problema Introdução Os bancos de dados NoSQL podem ser utilizados como ferramentas de cache de aplicações web e/ou de web sites, visando o aumento de desempenho destes?

13 13 Objetivo Geral Introdução Realizar uma análise comparativa entre bancos de dados NoSQL que podem ser utilizados para a realização de cache de bancos de dados de aplicações web.

14 14 Objetivos Específicos Realizar o conteúdo levantamento Introdução teórico acerca do Desenvolver uma aplicação teste para que as soluções NoSQL possam ser comparadas Apresentação de dados comparativos com os resultados obtidos

15 15 Hipótese Introdução Certo banco de dados NoSQL apresenta características e desempenho que motivam sua escolha como solução para a implementação de uma camada de cache em aplicações web.

16 16 2. Fundamentação teórica Algumas definições.

17 17 Bancos de Dados Relacionais Fundamentação Sistemas de bancos de dados Sistemas computadorizados que têm como finalidade a manutenção de registros (DATE, 2003) Sistemas gerenciadores de bancos de dados (SGBD) Softwares que funcionam como uma camada entre os dados fisicamente armazenados e os usuários do banco (DATE, 2003)

18 18 O modelo relacional é composto por uma coleção de tabelas (relações) com nomes únicos que armazenam os dados e se relacionam entre si. Cada tabela possui múltiplas colunas, cada uma também com nomes únicos (SILBERSCHATZ; KORTH; SUDARSHAN, 1999) Fundamentação

19 19 Bancos de Dados Relacionais Fundamentação Structured Query Language Linguagem de manipulação de dados (DML) Linguagem de definição de dados (DDL) Gatilhos e restrições de integridade Gerenciamento de transações Segurança (RAMAKRISHNAN; GEHRKE, 2008)

20 20 Bancos de Dados Relacionais Fundamentação Transações Atomicidade - ou todas as ações são executadas, ou nenhuma é executada Consistência - as transações executadas devem preservar a consistência do banco de dados Isolamento - usuários percebem as transações sem considerar o efeito de transações concorrentes Durabilidade - as alterações devem persistir mesmo que o sistema venha a falhar

21 21 SGBDs Relacionais mais utilizados Fundamentação (DB-ENGINES, 2017)

22 22 Bancos de Dados NoSQL Fundamentação Anos 2000 Aumento na quantidade de usuários e dados Escalonamento vertical x Escalonamento horizontal Clusters

23 23 Bancos de Dados NoSQL Fundamentação Not Only SQL - origem em 2009, São Francisco Escalabilidade horizontal Não utilizam o modelo relacional Esquemas flexíveis Na maioria das vezes, código aberto (SADALAGE; FOWLER, 2013)

24 24 Bancos de Dados NoSQL Fundamentação Teorema CAP Consistency Availability Partition tolerance Fonte:

25 25 Bancos de Dados NoSQL Fundamentação Propriedades BASE Basically available Soft-state Eventual consistency

26 26 Bancos de Dados NoSQL Fundamentação Chave-valor: cada item é armazenado no banco com uma chave e um valor associado a esta chave

27 27 Bancos de Dados NoSQL Fundamentação Orientado a colunas: também utilizam chaves, mas elas apontam para atributos ou colunas múltiplas

28 28 Bancos de Dados NoSQL Fundamentação Orientado a documentos: neste modelo os dados são armazenados em documentos, por exemplo, em JSON (JavaScript Object Notation)

29 29 Bancos de Dados NoSQL Fundamentação Orientado a grafos: neste modelo, um grafo é definido como uma estrutura de dados de nós conectados por arestas

30 30 Sistemas de Cache Fundamentação Fonte de armazenamento de dados mais rápida que a fonte original Disco x memória Cache bancos de dados Cache de conteúdos estáticos Cache páginas web completas

31 31 Sistemas de Cache de Bancos de Dados Fundamentação CSQL SQLite Memcached SGBD relacional que armazena os dados em memória, podendo ser utilizado de forma embarcada ou como ferramenta de cache. Última atualização em 2011 BD relacional embarcado, não possui processo de servidor de BD separado, leitura e escrita diretamente dos sistemas de arquivos Ferramenta específica de cache, utiliza o modelo chave-valor, armazena os dados em memória e é considerado BD NoSQL

32 32 Sistemas de Cache de Bancos de Dados Redis BD NoSQL do tipo chave-valor, armazena dados na memória e em disco, distribuído, e suporta diferentes estruturas de dados Fundamentação Couchbase BD NoSQL orientado a documentos, armazenamento híbrido, arquitetura distribuída

33 33 Testes de Desempenho Visam apresentar a capacidade de resposta, o rendimento, a confiabilidade, e/ou escalabilidade de um sistema sob uma determinada carga de trabalho. (MICROSOFT, 2007). Fundamentação

34 34 Tipos de Testes de Desempenho Fundamentação Teste de carga Teste de Desempenho Teste de estresse

35 35 Principais Atividades dos Testes de Desempenho 1. Identificação do ambiente de testes. 2. Identificação dos critérios de aceitação de desempenho. 3. Planejamento e design dos testes. 4. Configuração do ambiente de testes. Fundamentação 5. Implementação dos planos de testes. 6. Execução dos testes. 7. Análise dos resultados e repetição dos testes. (MICROSOFT, 2007)

36 36 Apache JMeter Fundamentação Código Aberto Escrita em Java Teste de aplicações Web (dentre outros) Mensuração de desempenho e comportamento

37 37 3. Trabalhos Correlatos O que já existe?

38 38 Cache de Banco de Dados em Aplicações Web Correlatos Sistemas de Cache para Web: Um Estudo de Caso Utilizando MySQL e MongoDB (INOUYE et al., 2015) Desempenho de Aplicações Web: Um estudo comparativo utilizando o software Redis (SAMPAIO;KNOP, 2015) Framework de cache pesquisável e de alta performance (HENRIQUES, 2015)

39 39 Comparações entre Bancos de Dados Correlatos SQL X NOSQL: Análise de Desempenho do uso do MongoDB em relação ao uso do PostgreSQL (MARTINS FILHO, 2015) Banco de Dados Cassandra: Um Estudo de Caso para Análise dos Dados dos Servidores Públicos Federais. (LEITE, 2014) A Comparative Analysis of Different NoSQL Databases on Data Model, Query Model and Replication Model. (TAURO; PATIL; PRASHANTH, 2013)

40 40 Comparações entre Bancos de Dados Correlatos A Comparative Study of NoSQL Databases. (PRASAD; GOHIL, 2014)

41 41 4. Experimento Testando em 3, 2, 1...

42 42 Ambiente de Testes Experimento Servidor: Dell Inspiron GB de memória RAM (frequência de 1600 MHz) Processador Intel Core i5-4200u (frequência de 1,60 GHz, clock de 100 MHz, 2 núcleos e 4 threads) Disco rígido de 1 TB (sendo 27 GB reservados para o uso do sistema operacional) Sistema Operacional Ubuntu LTS (Long Team Support)

43 43 Sistemas Gerenciadores de Bancos de dados Experimento Relacional: MySQL versão ubuntu Não Relacinais (NoSQL): Couchbase versão Community Edition Memcached versão Redis versão 3.2.3

44 44 Sistemas Gerenciadores de Bancos de dados Orientado a documentos / chave-valor Armazenamento híbrido (disco / memória principal) Experimento Chave-valor Chave-valor Armazenamento em memória RAM Armazena diferentes tipos de dados Desenvolvido para cache Armazenamento em memória RAM (eventual persistência em disco)

45 45 Base de Dados Experimento

46 46 Experimento 185 milhões de dados 3,5 milhões de filmes, séries e programas de entretenimento 7 milhões de usuários

47 47 Base de Dados Experimento Subconjunto da base IMDb Arquivos de texto Biblioteca Python IMDbPY Inserção dos dados no banco MySQL

48 48 Experimento registros 21 tabelas 10,2 GB no disco rígido

49 49 Aplicação Web Experimento Laravel Framework Grátis, de código aberto Mecanismo de templates Suporte ao padrão MVC (Model View Controller) Construtor de queries SQL OMR (Object Relational Mapping) (SOLUTIONANALYSTS, 2017)

50 50 Aplicação Web Experimento Cache (Laravel) Suporte nativo Memcached Redis Biblioteca externa (Laravel-Couchbase) Couchbase

51 51 Experimento Diagrama de Classes Simplificado da Aplicação Web

52 52 Experimento Exemplo da resposta JSON do sistema

53 53 Configuração do Plano de Testes Experimento Simulações de acesso com: 200 usuários x 10 repetições x 3 URLs = acessos 300 usuários x 10 repetições x 3 URLs = acessos 400 usuários x 10 repetições x 3 URLs = acessos 500 usuários x 10 repetições x 3 URLs = acessos 750 usuários x 10 repetições x 3 URLs = acessos

54 54 Configuração do Plano de Testes Experimento Tela de configuração do JMeter

55 55 5. Resultados Analisando os resultados.

56 56 Tempo total de execução dos testes Resultados

57 57 Tempo médio de resposta (ms) Resultados

58 58 Vazão - quantidade de requisições por segundo Resultados

59 59 Percentual de Erro Resultados

60 60 Consumo de CPU Resultados

61 61 Consumo de memória RAM Resultados

62 62 Uso do disco rígido Resultados

63 63 Análise dos Resultados Resultados

64 64 6. Conclusões Finalizando.

65 65 Objetivos Realizar o levantamento conteúdo Conclusões teórico acerca do Desenvolver uma aplicação teste para que as soluções NoSQL possam comparadas Apresentação de dados comparativos com os resultados obtidos

66 66 Contribuições Conclusões Desenvolvimento de uma aplicação web Configuração do ambiente e dos planos de testes Utilização de uma base de dados real

67 67 Trabalhos Futuros Conclusões Realização do experimento em um ambiente no qual estivessem separados os servidores e o agente realizador dos testes Realização do experimento com bases de dados diferentes Implementação dos testes em um ambiente em que o cache seja distribuído

68 68 Referências Citadas na Apresentação Referências DATE, C. J. Introdução a sistemas de banco de dados. 8ª. ed. Rio de Janeiro: Elsevier, DB-ENGINES. DB-Engines Ranking - popularity ranking of database management systems. Disponível em: < HENRIQUES, J. F. M. Framework de cache pesquisável e de alta performance f. Dissertação (Mestrado Integrado em Engenharia Informática e Computação) Faculdade de Engenharia da Universidade de Porto, Porto, MICROSOFT. Performance Testing Guidance for Web Applications: Microsoft Developer Network INOUYE, Heron Y. et al. Sistemas de Cache para Web: Um Estudo de Caso Utilizando MySQL e MongoDB. Revista da Escola Regional de Informática - UFRPE, Itajubá, v. 1, n. 1, RAMAKRISHNAN, R.; GEHRKE, J. Sistemas de Gerenciamento de Banco de Dados. 3ª ed. São Paulo: McGraw-Hill, SADALAGE, J. P.; FOWLER, M. NoSQL Um Guia Conciso para o Mundo Emergente da Persistência Poliglota. São Paulo: Novatec, 2013.

69 69 Referências Citadas na Apresentação Referências SAMPAIO, P. J.; KNOP, I. O. Desempenho de Aplicações Web: Um estudo comparativo utilizando o software Redis. Caderno de Estudos em Sistemas de Informação CES/JF, Juiz de Fora, n. 2, Disponível em: < Acesso em: 11 fev SILBERSCHATZ, A.; KORTH, H. F.; SUDARSHAN, S. Sistema de Banco de Dados. 3ª. ed. São Paulo: Pearson, SOLUTIONANALYSTS. 6 Reasons to Choose Laravel PHP Framework for Web Development Disponível em: < Acesso em: 20 mar

70 70 OBRIGADO! Perguntas? Danilo Lopes Santos Discente (BSI/IFBA-VCA) Pablo Freire Matos Orientador (CSI/IFBA-VCA)