INF70 Gerenciamento de Banco de Dados 2 Índices baseados em Hash

Transcrição

1 INF70 Gerenciamento de Banco de Dados Índices baseados em Hash Ilmério Reis da Silva

2 Roteiro Fundamentos Hash Estático Hash Extensível Hash Linear Considerações Finais

3 Fundamentos Fundamentos GBD Página:3

4 Características melhor desempenho em busca por igualdade na chave, mas não melhora busca por intervalo (>, <) alguns SGBDs só implementam Árvore B+ o PostgreSql implementa também Tabelas Hash hash apresenta ganho significativo em junções EquiJoin função hash. hash : set of keys set of bucket ids Hash ideal: distribuição uniforme das entradas nos buckets conteúdo dos buckets: alternativas (1), () ou (3) GBD Página:4

5 Função Hash Exemplo: hash(k) = h(k) mod B, onde h : set of keys integer B : é o número de buckets disponíveis SE k é inteiro, use h(k) = k ou h(k) = a k + b, sendo a e b empíricos. GBD Página:5

6 Classificação Hash Estático: conjunto de buckets fixo problemas com cadeias de overflow. Hash Dinâmico: cria buckets de forma dinâmica para evitar ou reduzir cadeias de overflow Hash Extensível: usa mais um nível de indireção diretório indexado por uma sequência de bits; havendo split, a sequência de bits cresce Hash Linear: ameniza impacto do crescimento, tolerando poucos overflows; novos buckets são criados linearmente compromisso(trade-off) de Hash Estático x Hash Dinâmico é análogo ao compromisso ISAM x B-Tree GBD Página:6

7 Hash Estático Hash Estático GBD Página:7

8 Alocação de área para buckets Alocação de N páginas sucessivas no disco 0 1 N-1 Páginas Primárias dos Buckets Cada bucket terá entradas de dados <chave*> (Alt. 1, ou 3) GBD Página:8

9 Alocação dinâmica de páginas de overflow Páginas de overflow são alocadas de forma dinâmica 0 1 N-1 Páginas Primárias dos Buckets Páginas de Overflow GBD Página:9

10 Alocação dinâmica de páginas de overflow Seja k a chave do hash, então a localização do bucket será por meio da função hash 0 1 k hash hash(k)=h(k) mod N N-1 Páginas Primárias dos Buckets Páginas de Overflow Entradas do tipo <k* > GBD Página:10

11 Busca < 14* > h(x) = x 14 h(14) mod 6 = hash 0 1. <14*> 3 N = Páginas Primárias dos Buckets

12 Inserção Inserindo < 7* > h(7) mod 6 = < 7* > 7 hash 3 Cheia 4 5 Páginas Primárias dos Buckets

13 Remoção Suprimindo < 5* > h(5) mod 6 = < 5* > 5 hash Páginas Primárias dos Buckets

14 Considerações finais sobre Hash Estático usualmente bucket = h(k) mod B, onde B = L custo depende do tamanho das cadeias de overflow páginas primárias geralmente são contíguas no disco bucket não é removido, mesmo ficando sem entradas cadeia de overflow é dinâmica e degrada desempenho uma estratégia é deixar 0% de área livre nas páginas primárias GBD Página:14

15 Hash Extensível Hash Extensível GBD Página:15

16 Evitando cadeias de overflow Solução ingênua Seja B o número de páginas primárias Solução ingênua: SE inserção em página primária cheia faça B= * B reorganize todos os buckets Problema: a reorganização de todos os buckets é computacionalmente cara, tornando esta solução inviável. GBD Página:16

17 Evitando cadeias de overflow Hash Extensível Um diretório de ponteiros para buckets SE inserção em página primária cheia crie um novo bucket dobre o tamanho do diretório reorganize a função hash Problema: a reorganização da função hash é um pouco complexa, mas considerando que o diretório cabe na memória, é computacionalmente viável. GBD Página:17

18 Diretorio de ponteiros para buckets Bucket Bucket 1 Bucket... N-1 Bucket N-1 Contém todas as entradas <k*> tais que h(k) mod N = 1 Diretório : so armazena ponteiros para os buckets

19 Funcionamento Função hash não varia O número N de entradas no diretório varia A medida que os buckets se enchem, estes se duplicam, e o diretório de buckets também pode duplicar. Atenção somente um bucket por vez é duplicado Resultado: se um único bucket duplica, o diretório todo pode duplicar vários ponteiros do diretório podem apontar para o mesmo bucket só duplicam os buckets que ficam cheios. ao contrário do hash estático, registros em buckets duplicados (decorrentes de um overflow) podem ser facilmente localizados através do novo ponteiro no diretório de buckets. GBD Página:19

20 Exemplo Profundidade Global Profundidade Local 4* 1* 3* 16* Bucket A N = 4 = * 5* 1* Bucket B Ultimos digitos da representação binaria de h(k) 10 10* Bucket C 11 15* 7* 19* Bucket D Diretorio Paginas de dados

21 Inserção simples 4* 1* 3* 16* Inserindo 13* * 5* 1* 10* 15* 7* 19* 13* Diretorio Paginas de dados (buckets)

22 Inserção em bucket cheio Split do bucket 4* 1* 3* 16* Inserindo 0* * 5* 1* 10* 15* 7* 19* 13* Diretorio 4* 1* 0*

23 Inserção em bucket cheio Duplica diretório e reorganiza da função hash Global 3 Local Inserindo 0* * 16* 1* 5* 1* 13* 10* Bucket A1 Bucket C Bucket C N = 8 = 3 Ultimos 3 digitos da representação binaria de h(k) * 7* 19* Bucket D 111 Diretorio 3 4* 1* 0* Bucket A

24 Regra de inserção com split - Hash Extensível Sejam: pl a profundidade local e pg a profundidade global; Incrementar pl; Criar novo bucket e Redistribuir entradas de acordo com pl-ésimo bit mais significativo de hash(k); SE (pl > pg), duplicar diretório: Incrementar pg; Criar novas entradas no diretório (i.e. duplicar); Apontar novas entradas p/ buckets originais(pl-1 bits); Atualizar ponteiro que apontará para o novo bucket, de acordo com os pl bits mais significativos de hash(k). GBD Página:4

25 Considerações Finais Hash Extensível diretório geralmente cabe na memória Exemplo: 100MB em páginas de 4K 5000 entradas no diretório remoção usa processo inverso, podendo reduzir tamanho do diretório problema: distribuição não uniforme de chaves geram muitos splits localizados e, consequentemente, diretório pode ter crescimento exagerado. GBD Página:5

26 Hash Linear Hash Linear

27 Hash Linear Não ha diretório de buckets Pode haver páginas de overflow à medida que os buckets se enchem Regularmente páginas de overflow são transformadas em novos buckets Regularmente a função hash se modifica, dobrando a capacidade de endereçamento de buckets

28 Parâmetros e Contadores Nivel = indica a rodada atual, a função de hash atual Inicializado com 0 Next = bucket que deve ser dividido, se necessário Inicializado com 0 N m = número de buckets na rodada m N 0 = N N m = N* m Somente o bucket com número Next é dividido. Usa-se páginas de overflow para os outros buckets, se ficarem cheios. Apos divisão, Next é incrementado

29 Esquema Geral : rodada m Bucket Next a ser dividido next buckets divididos na rodada Buckets existentes no início da rodada m N m = número de buckets no início da rodada m Bucket N m + next Imagens dos buckets divididos

30 Inserção provocando split e avanço do next Inserção de 43* h 1 h Nivel = 0, N = 4 = Next = 0 3* 44* 36* h 0 (43) = 3 (11) Next = * 5* 5* * 18* 10* 30* * 35* 7* 11* 43* 00 Esta informação não é armazenada! 44* 36* Paginas Primarias Paginas de Overflow

31 Busca em bucket após o next Busca de 18* h 1 h 0 Nivel = 0, N = 4 = * h 0 (18) = (10) * 5* 5* Next = 1 > Next = * 18* 10* 30* Bucket não foi dividido ainda * 35* 7* 11* 43* * 36*

32 Busca em bucket antes o next Busca de 3* e 44* h 1 h 0 Nivel = 0, N = 4 = h 0 (3) = * h 0 (44) = 00 Next = 1 0 < Next * 5* 5* 14* 18* 10* 30* Bucket 0 ja foi dividido! * 35* 7* 11* 43* * 36* h 1 (3) = 000 Bucket h 1 (44) = 100

33 Inserção de 37* Inserção sem split h 0 (37) = * Next = * 5* 5* 37* * 18* 10* 30* * 35* 7* 11* 43* * 36*

34 Inserção com split e incremento no next Inserção de 9* * h 0 (9) = * 5* 5* 37* Next = * 18* 10* 30* Next = * 35* 7* 11* 43* * 36* * 37* 9*

35 Inserção com split e mudança de rodada Inserção do 50* Nivel = * 9* 5* Next =0 h 0 (50) = 10 h 1 (50) = * 18* 10* 34* 50* * 31* 35* 11* 7* 11* 43* * 36* Next = * 37* 9* * 30* * * 7*

36 Comparando Duplicar diretório x duplicar buckets Passagem de h i para h i+1 no Hash Linear corresponde a duplicar o diretorio no Hash Extensível Hash Extensível : diretório é duplicado num único passo Hash Linear : duplicação do número de buckets se faz gradualmente

37 Comparando utilização de espaço nos buckets Hash Extensível tem uma melhor ocupação dos buckets pois só se divide o bucket apropriado Hash Linear não precisa de diretório: existe uma maneira precisa de se saber quais buckets foram divididos e quais devem ser divididos e em que circuntâncias Buckets são alocados consecutivamente: é possível localizar a página do bucket m por um simples cálculo de offsets.

38 Comparando Custo IO Extensível x Linear Em busca por igualdade Hash Linear tem um custo I/O menor em caso de distribuição uniforme Hash Extensível tem um custo menor em caso de distribuição não uniforme

39 Considerações finais sobre Hash índices baseados em hash são os melhores para busca com predicado de igualdade íındices baseados em hash não suportam busca por intervalo Hash estático pode resultar em longas cadeias de overflow Hash extensível usa diretórios para controlar crescimento do hash, evitando overflow Hash linear usa variação de função para diminuir cadeias de overflow, gerando buckets linearmente Em geral distribuição não uniforme prejudica desempenho de índices baseados em Hash

40 Exercícios - Índices baseados em hash EXERCÍCIOS CAP 11 LIVRO-TEXTO GBD Página:40

41 FIM - Índices baseados em hash FIM - Índices baseados em hash* * material baseado no livro-texto e slides da Profa. Sandra de Amo GBD Página:41