Banco de Dados I Módulo V: Indexação em Banco de Dados. (Aulas 1, 2 e 3) Clodis Boscarioli

Transcrição

1 Banco de Dados I 2007 Módulo V: Indexação em Banco de Dados (Aulas 1, 2 e 3) Clodis Boscarioli

2 Agenda: Estruturas de Índices; Conceitos; Tipos de Índices: Primários; Secundários; Clustering; Multiníveis; Árvore B e B+; Hash; Exemplos.

3 Índice - Conceitos Estrutura de dados que recebe como entrada uma propriedade de registro (por exemplo, um valor de um ou mais campos) e encontra os registros com essa propriedade rapidamente; Um índice permite localizar um registro sem ter que examinar mais que uma pequena fração dos registros possíveis; O(s) campo(s) cujos valores o índice se baseia formam a chave de pesquisa; índice(valor) Blocos contendo registros Índices são, portanto, estruturas de dados auxiliares cujo único propósito é tornar mais rápido o acesso a registros baseado em certos campos, chamados campos de indexação. Registros coincidentes

4 Estruturas de índices Índice primário - baseado na chave de ordenação; Índice de agrupamento (clustering) - baseado no campo de ordenação não-chave de um arquivo; Índice secundário - baseado em qualquer campo não ordenado de um arquivo; Índices multiníveis; Árvores B e B+; Tabelas Hash;

5 Índices sobre Arquivos Seqüenciais Tipos de índices Densos: uma entrada no arquivo de índices p/cada registro no arquivo de dados Um índice denso sobre um arquivo de dados seqüenciais Esparsos: apenas alguns registros de dados são representados no arquivo de índices Um índice esparso sobre um arquivo de dados seqüenciais

6 Tipos de índices Índice Denso Seqüência de blocos contendo apenas as chaves dos registros e os ponteiros para os próprios registros Índice denso = (chave-ponteiro, registro) Índice Esparso Usa menos espaço de armazenamento que o índice denso ao custo de um tempo um pouco maior para localizar um registro dada a sua chave Índice esparso = (chave-ponteiro, blocos de dados) Aponta para o 1o. registro do bloco

7 Índices Primários Modelo simples; Arquivo classificado (com dados) + arquivo de índices; Par (chave de pesquisa, ponteiro); Tuplas são classificadas pela chave primária; Útil quando a chave de pesquisa é a chave primária; Arquivo seqüencial

8 Exemplo: Índice primário para o campo-chave de classificação do arquivo.

9 Exemplo: Índice clustering para o campo NUM_DEPARTAMENTO, que não é campo-chave de classificação, de um arquivo EMPREGADO.

10 Exemplo: Índice clustering com um grupo (cluster) separado de blocos para cada grupo de registros que compartilhem o mesmo valor de campo clustering.

11 Fatores de eficiência do uso de índices O número de blocos de índices em geral é pequeno quando comparado com o número de blocos de dados; Tendo em vista que as chaves são classificadas, a pesquisa é rápida (pode-se usar um algoritmo de pesquisa binária); O índice pode ser pequeno o bastante para ser mantido permanentemente em buffers da memória principal. Nesse caso, uma pesquisa para uma determinada chave envolve apenas acessos à memória principal, sem precisar de operação de I/O.

12 Índices Secundários O campo de indexação é um campo não ordenado do arquivo de dados. Podem haver muitos índices secundários para um mesmo arquivo. Dois casos: O campo de indexação é um campo chave (às vezes chamado de chave secundária). O campo de indexação não é chave.

13 Índices Secundários É possível que mais de um registro tenha o valor da chave. Isso ocorre, por exemplo, quando a chave de pesquisa não é a chave primária; Solução: usar chave associada a um ponteiro para o primeiro dos registros com a chave K Vantagem: otimizar as consultas Mais de um registro com o valor de uma determinada chave Índice denso quando são permitidas chaves de pesquisa duplicadas

14 Outro Esquema para Índices Secundários A entrada de índice para um bloco de dados é a menor chave de pesquisa que é nova, isto é, a chave não apareceu em um bloco anterior; Se não há chave de pesquisa nova no bloco, então sua entrada de índice contém a única chave de pesquisa encontrada nesse bloco; Pode-se encontrar os registros de uma chave de pesquisa K examinando-se o índice p/a primeira entrada cuja chave é: Igual a K Menor que K, mas a próxima chave é maior que K Segue-se o ponteiro da entrada. Se for encontrado pelo menos um registro com a chave de pesquisa K, então a busca continua em blocos adicionais, até encontrar todos os registros com a chave de pesquisa K Índice esparso indicando a nova chave de pesquisa mais baixa em cada bloco

15 Exemplo: Índice secundário denso (com ponteiros de bloco) em um campo não é chave de classificação de um arquivo.

16 Índices Secundários sobre Campos Não Chave Vários registros do arquivo de dados podem ter o mesmo valor para o campo de indexação. Opção 1: Várias entradas no índice com o mesmo valor, uma para cada registro. Índice denso. Opção 2: Uma entrada no índice para cada valor X do campo de indexação, com lista de ponteiros. Índice não denso. Opção 3: Uma entrada no índice para cada valor X do campo de indexação, com um ponteiro para o bloco que contém a lista de ponteiros para os registros com o valor X. Índice não denso.

17 Sumário: Tipos de Índices Campo de Ordenação Campo Não Ordenado Campo chave Índice Primário Índice Secundário (Chave) Campo Não Índice de Índice Secundário Chave Agrupamento (Não chave)

18 Tipo de Índice Número de Entradas Denso ou Esparso Propriedades dos Índices Primário Número de blocos no Esparso arquivo de dados Agrupamento Número de valores Esparso distintos do campo de indexação Secundário Número de registros Denso (chave) no arquivo de dados Secundário Número de registros Denso no arquivo de dados (não chave) ou Número de valores Esparso distintos do campo de indexação

19 Exemplo: Índice secundário (com ponteiros de registro), em um campo que não é campo-chave, implementado em um nível adicional, indireto, de forma que as entradas de índice sejam de tamanho fixo e possuam valores de campo únicos.

20 Índices de Múltiplos Níveis Motivação: se o arquivo de índices se torna muito grande para ser armazenado em bloco de disco, é interessante indexá-lo em mais de um nível Vantagem: índice pequeno pode ser mantido em memória e o tempo de busca é mais baixo Desvantagem: muitos níveis de índices podem aumentar a complexidade do sistema (talvez seja melhor usar a árvore-b) Esparso ou denso Esparso

21 Índices de Múltiplos Níveis Um índice multinível é um Índice de índice. Primeiro nível: arquivo ordenado pela chave de indexação, valores distintos, entradas de tamanho fixo. Demais níveis: índice primário sobre o índice do nível anterior e assim sucessivamente até que no último nível o índice ocupe apenas um bloco. Número de acessos a bloco: um a cada nível de índice, mais um ao bloco do arquivo de dados.

22 Exemplo: Índice primário de dois níveis que se parece com a organização ISAM (Indexed Sequential Acess Method Método de Acesso Seqüencial Indexado).

23 Índices de Múltiplos Níveis Problema dos índices multiníveis: índices são arquivos fisicamente ordenados, portanto, ineficientes na inserção e remoção. Solução: Deixar algum espaço em cada um dos blocos para inserção de novas entradas. Estruturas de dados: Árvores B e suas variações.

24 Gerenciamento de índices na Modificações de Dados Problema com arquivos seqüenciais: com o tempo, um bloco não é mais suficiente para armazenar o conteúdo que era antes armazenado. Como controlar o problema? Criar blocos de estouro (overflow). Blocos de estouro não tem entradas em um índice esparso; Inserir novos blocos na ordem seqüencial; Se não houver lugar para inserir informação em um bloco, alguma informação poderá ser transferida para outro bloco. Da mesma forma, blocos vazios poderão ser combinados. Pode ser necessário modificar os índices

25 Árvores como Estruturas de Índices A nó raiz (nível 0) B C D nível 1 E F G H I nível 2 J K nível 3 Sub-árvore de grau 2 Árvore de grau 3

26 P 1 K 1... K i-1 P i K i... K q-1 P q Um nó de uma árvore de pesquisa X X X X < K 1 Árvores de Busca K i-1 < X < K i 5 K q-1 < X Uma árvore de busca de ordem p =

27 Árvores B Árvore de busca projetada com dois objetivos: Manter a árvore balanceada e Evitar o desperdício de espaço dentro de um nó, à custa de maior complexidade nos algoritmos de inserção e remoção. Introduzida por: R. Bayer e E. McCreight: Organization and Maintenance of Large Ordered Indexes, Acta Informatica, 1(3), Feb Revista por: D. Comer: The Ubiquitous B-tree, ACM Computing Surveys, 11(2), 1979.

28 Nó de uma árvore B P 1 K 1 Pr 1 P 2... K i-1 Pr i-1 P i K i Pr i... K q-1 Pr q-1 P q X X X X < K 1 K i-1 < X < K i K q-1 < X dados dados p/2 < q < p

29 Árvore B Um Exemplo:

30 Capacidade das Árvores B Objetivo: Cada nó da árvore corresponde a um bloco de disco, por exemplo: Tamanho da chave de pesquisa V = 9 bytes Tamanho do ponteiro de blocos P = 6 bytes Tamanho do bloco de disco B = 512 bytes Cada nó pode ter no máximo: p-1 ponteiros de dados p-1 valores de chave de pesquisa p ponteiros de árvore (p-1) x 6 + (p-1) x 9 + p x x p 527 p = 25 Capacidade máxima em número de chaves: x x 25 x x 25 x 25 x (extremamente improvável sob inserções e remoções aleatórias) O número mínimo de chaves em um nó é p/2. Navathe et. Al (2005) afirmam que, por análise e simulação, após várias inserções e remoções em uma árvore B, os nós se estabilizam com aproximadamente 69% da capacidade. Nesta situação, separação e combinação de nós ocorrem muito raramente. p x 0,69 = 27 x 0,69 = 17 capacidade média: x x 17 x x 17 x 17 x

31 Árvores B+ Os nós de uma árvore-b +. (a) Nó interno de uma árvore-b + com q - 1 valores de busca. (b) Nó folha de uma árvore-b + com q - 1 valores de busca e q - 1 ponteiros de dados.

32 Capacidade de Árvores B + Mesmo exemplo anterior: Tamanho da chave de pesquisa V = 9 bytes Tamanho do ponteiro de blocos P = 6 bytes Tamanho do bloco de disco B = 512 bytes Cada nó pode ter no máximo: p-1 valores de chave de pesquisa p ponteiros de árvore (p-1) x 9 + p x x p 521 p = 34 (maior do que na árvore B correspondente) Capacidade média da árvore: p x 0,69 = 34 x 0,69 = x x 23 x x 23 x 23 x ou seja, sua capacidade é bem maior que a de uma árvore B correspondente.

33 Árvore B+ Um Exemplo: Ver slides inserção e remoção

34 Exemplo: Um exemplo de inclusão em uma árvore-b + de ordem p = 3 e p folha = 2.

35 Exemplo: Um exemplo de remoção em uma árvore-b +.

36 Índice Estruturado por Hash Hash Estático h(chave) mod N 0 1 chave h 2 h = função hash N-1 Páginas Primárias dos Buckets Entradas do tipo <chave, * > Páginas de Overflow

37 Hash Estático - Busca Consultando < 14, * > h(14) mod 6 = h(x) = x N = 6 14 h. <14,* 2 > Dados ordenados pela chave

38 Hash Estático - Inserção Inserindo < 7, * > h(7) mod 6 = < 7, * > 7 h 2 3 Cheia 4 5 Dados ordenados pela chave

39 Hash Estático - Remoção Removendo < 25, * > h(25) mod 6 = < 25, * > 25 h Dados ordenados pela chave

40 Função Hash Componente importante da técnica Hash; Deve distribuir valores das chaves de maneira uniforme nos buckets; Número de buckets = N = parâmetro; h(x) = a*x + b a, b: parâmetros de ajuste

41 Hash - Custos Páginas primárias podem ser armazenadas em páginas de disco sucessivas. Caso não haja overflow: Busca requer 1 I/O Inserção e Remoção requerem 2 I/O Custo pode ser alto se existem muitas páginas de overflow.

42 Desvantagens do Hash Estático Número de buckets é fixo. Se arquivo encolhe muito, o espaço é desperdiçado, já que os buckets são fixos. Crescimento do arquivo produz longas cadeias de páginas de overflow, prejudicando o desempenho da busca.

43 Hash - Alternativas Alternativa 1: Periodicamente modificar a função hash e reestruturar todo o arquivo de modo a evitar páginas de overflow. «rehash» toma muito tempo. Indice não pode ser utilizado durante o processo de «rehash». Alternativa 2: Hash dinâmicos Extensível

44 Hash Extensível Solução 1: quando algum bucket ficar cheio: Dobrar o número de buckets; Distribuir as entradas nos novos buckets. Defeito: o arquivo todo deve ser lido e reorganizado e o dobro de páginas devem ser escritas. Solução 2: utilizar um diretório de ponteiros para os buckets: Dobrar o número de entradas no diretório. Separar somente os buckets que ficaram cheios.

45 Convenção de Notação 25* 10* 25* 8* 8* Bucket contendo entradas do arquivo de índice Representa a entrada <k,*>, onde h(k) = 25 h = função hash fixa

46 Diretório de Buckets 1 Bucket 1 2 Bucket 2 3 N Bucket 3 Contém todas as entradas <k,*> tais que h(k) mod N = 1 Diretorio: só armazena ponteiros para os buckets; número de registros = número de buckets;

47 Hash - O que pode variar Função hash não varia. O número N de buckets varia. A medida que os buckets se enchem, estes se duplicam, e o diretório de buckets duplica. Resultado: se um único bucket duplica, o diretório todo de buckets duplica; Dois ponteiros do diretório podem apontar para o mesmo bucket; Só duplicam os buckets que ficam cheios; Ao contrário do hash estático, registros em buckets duplicados (decorrentes de um overflow) podem ser facilmente localizados através do novo ponteiro no diretório de buckets.

48 Exemplo: Profundidade Global 2 2 Profundidade Local 4* 12* 32* 16* Bucket A N = 4 = * 5* 21* 2 Bucket B Últimos 2 dígitos da representação binária de h(k) 10 10* Bucket C * 7* 19* Bucket D Diretório Páginas de dados

49 Exemplo Inserção 2 2 4* 12* 32* 16* Inserindo 13* * 5* 21* 2 10* 2 15* 7* 19* 13* Diretório Páginas de dados (buckets)

50 Exemplo Inserção 2 2 4* 12* 32* 16* Inserindo 20* * 5* 21* 2 10* 2 15* 7* 19* 13* Diretório 2 4* 12* 20*

51 Exemplo Inserção Global 3 Local Inserindo 20* * 16* 2 1* 5* 21* 13* 2 10* 2 Bucket A1 Bucket C Bucket C N = 8 = 2 3 Últimos 3 dígitos da representação binária de h(k) Diretório 15* 7* 19* 3 4* 12* 20* Bucket D Bucket A2

52 Exemplo Inserção Global * 12* 32* 16* 2 1* 5* 21* 13* 2 10* 2 15* 7* 19* Inserindo 9* Diretorio Diretório * 12* 20*

53 Exemplo Inserção Global * 12* 32* 16* 3 1* 9* 2 10* 2 15* 7* 19* Inserindo 9* Diretorio * 12* 20* 3 5* 21* 13*

54 Regra Geral para Inserção de k* Se Nível global = d Calcula h(k); Considera a entrada m do diretório, onde m = número correspondente aos d últimos dígitos da representação binária de h(k); Dirige-se para o bucket indicado; Se o bucket estiver cheio e nível local = d Divide o bucket e duplica o diretório de buckets; Se o bucket estiver cheio e nível local = d-1 Divide o bucket, mas não duplica diretório.

55 Hash - Possíveis Problemas Distribuição tendenciosa dos valores h(k): muitos em um único bucket. Este é um problema que pode ser resolvido no momento da criação do índice: basta ajustar a função h de modo a ter uma distribuição uniforme. Colisão: quando existem muitas entradas <k,*> com mesmo h(k), que não cabem em uma página Este é um problema que só aparece à medida que o arquivo cresce. Neste caso, páginas de overflow são utilizadas.

56 Hash - Vantagens e Limitações Hash é excelente para seleção por igualdade na chave. Não suporta seleção range (>, <, <=, >= ) B-Trees suportam seleção range e são quase tão boas quanto Hash para igualdade. Técnica de indexação Hash é muito útil na implementação do operador Junção, que inclui diversas seleções por igualdade. Muitos SGBDs só implementam índices estruturados por B-Trees. Diferença de custo entre B-Tree e Hash é significativa neste caso.

57 Referências Bibliográficas Sistemas de Banco de Dados. (Cap. 11) Abraham Silberchatz, Henry F. Korth e S. Sudarshan. 3ª Edição. Makron Books, Sistemas de Banco de Dados. (Cap. 14) Ramez Elsmari, 4ª Edição. Shamkant B. Navathe. Pearson Addison Wesley, Database Management Systems. (Cap. 8-10) R. Ramakrishnan e J. Gehrke. McGraw-Hill, 2ª Edição, 2000.