de dados para o pgcluster

Transcrição

1 : Uma implementação de fragmentação de dados para o pgcluster Gustavo Tonini 1 Frank Siqueira (orientador) 1 1 INE - Departamento de Informática e Estatística Universidade Federal de Santa catarina Curso de bacharelado em Ciências da Computação Trabalho de conclusão de curso, 2009

2 1 Conceitos 2 Apresentação do 3 4

3 1 Conceitos 2 Apresentação do 3 4

4 1 Conceitos 2 Apresentação do 3 4

5 1 Conceitos 2 Apresentação do 3 4

6 1 Conceitos 2 Apresentação do 3 4

7 Conceitos Sistema gerenciador de banco de dados objeto-relacional Implementação completa da ISO/ANSI SQL 1992 Escrito em C Servidor centralizado

8 Conceitos

9 1 Conceitos 2 Apresentação do 3 4

10 Conceitos Plugin do para replicação da replicação Total Multimaster Síncrona Vários servidores que contêm os mesmos dados interoperando

11 Conceitos

12 Avaliação do Replica cada comando para todos os sítios do cluster Problemas da replicação total Sobrecarga da rede Replicação de dados sem necessidade explícita Queda de sítio compromete a disponibilidade de todo o cluster

13 1 Conceitos 2 Apresentação do 3 4

14 Conceitos

15 Abordagem Conceitos Adição de comandos para definição do cluster e dos fragmentos Implementação de fragmentação vertical, horizontal e híbrida Vários servidores com conjunto de dados distintos interoperando

16 no

17 1 Conceitos 2 Apresentação do 3 4

18 Definição de sites Conceitos Adiciona um site ao cluster CREATE SERVER venus.inf.ufsc.br PORT 5432 RECOVERY PORT 8001; Adiciona uma entrada no catálogo pg grid site em todos os sites Sincroniza todos os sites

19 Definição de fragmentos Adiciona um fragmento ao cluster CREATE FRAGMENT nome ON relacao (lista de atributos) WHERE where clause; lista de atributos define a fragmentação vertical where clause define a fragmentação horizontal Pode-se utilizar qualquer expressão/operador em SQL; Adiciona uma entrada no catálogo pg grid fragment em todos os sites

20 Exemplo Conceitos Exemplo CREATE FRAGMENT produto fln ON produto WHERE id cidade origem=1;

21 Alocação de fragmentos Aloca um fragmento de dados a um site PLACE fragmento ON site; Adiciona uma entrada no catálogo pg grid allocation em todos os sites Envia os dados do fragmento para o site

22 1 Conceitos 2 Apresentação do 3 4

23 Funcionamento interno do executor Bibliotecas para acesso/manipulação de tuplas Comandos INSERT, UPDATE E DELETE alteram tuplas Comando SELECT navegam através das tuplas através das bibliotecas de armazenamento

24 Alterações nas bibliotecas de acesso Cada função de alteração deve consultar os catálogos e verificar a necessidade de replicação da operação A função de consulta deve verificar os catálogos e distribuir a consulta Utiliza funções do pgcluster para distribuir os dados e as consultas 2PC* já implementado. Basta chamar as funções que coordenam cada passo

25

26 1 Conceitos 2 Apresentação do 3 4

27 Comparação com outros SGBD Característica MySQL Oracle DB2 Consultas dist. Sim Sim Sim Sim Multi-mestre Sim Sim Sim Sim Rep. parcial Não Sim Sim Sim Rep. síncrona Sim Sim Sim Sim Rep. assíncrona Não Não Não Não Sim Sim Sim Sim Def. de regras de frag. Não Sim Não Sim Integ. ref. distribuída Não Não Não Sim Protocolo de commit 2PC 2PC 2PC 2PC

28 1 Conceitos 2 Apresentação do 3 4

29 Caso de teste (modelo)

30 Caso de teste (alocação)

31 Consultas na relação fragmentada Consulta pgcluster SELECT * FROM PRODUTO 5.3s 16.5s SELECT * FROM PRODUTO, CIDADE WHERE 5.7s 19.3s PRODUTO.CIDADE ID = CIDADE.ID SELECT * FROM PRODUTO WHERE 4s 2.3s PRODUTO.NOME = PROD500001

32 Outras medições para a relação fragmentada Medição pgcluster Tempo para atualização 1.8s 0.9s Carga de trabalho durante a consulta 20% 38% Pacotes transmitidos durante atualização 16 4 Pacotes de rede transmitidos consulta Espaço ocupado pelo banco de dados 30MB 7.57MB

33 1 Conceitos 2 Apresentação do 3 4

34 Conceitos Flexibilidade, escalabilidade e transparência; Otimização de consultas precisa ser melhor trabalhada; Poucas opções em BDD atualmente no mercado; foi uma boa escolha para a implementação; Viabilidade do trabalho atestada pelas avaliações realizadas

35 1 Conceitos 2 Apresentação do 3 4

36 Conceitos Testes com cenários mais complexos Otimização de consultas (verificar cláusula where dos comandos update e delete) Remoção da necessidade de servidores de replicação (camada adicional do pgcluster)

37 1 Conceitos 2 Apresentação do 3 4

38 Repositório do projeto Download do código-fonte Projetos relacionados (replicação total) pgpool (master-slave) Slony (master-slave) Bucardo (replicação assíncrona)

39 Perguntas? Conceitos Perguntas?