Bases de Dados. Índices. Discos. transferência lenta. transferência rápida e em blocos (512B ~ 4KB) e aos bytes. memória.

Transcrição

1 Bases de Dados Índices Discos transferência lenta transferência rápida e em blocos (512B ~ 4KB) e aos bytes memória disco aplicação 2 1

2 Discos 7200rpm = 120 rot/s 1 5 platters Ø 8.9 cm ~ tracks per platter sector = 512 B ~ 500 sectors per (inner) track ~ 1000 sectors per (outer) track 3 Acesso aos dados Os dados são transferidos entre o disco e a memória em blocos um bloco abrange vários sectores contíguos É objectivo de qualquer SGBD minimizar o número de transferências de blocos entre disco e memória 4 2

3 Índices Índices permitem acelerar o acesso aos dados p.ex. índice de um livro assunto é a chave de procura (search key) nº da página é o apontador Um ficheiro de índices contém registos na forma search key apontador em geral é muito mais pequeno que o ficheiro de dados 5 Índices Dois tipos básicos de índices índices ordenados (p.ex. árvore B + ) valores da chave de procura armazenados por ordem índices do tipo "hash" valores da chave de procura distribuídos uniformemente por vários "contentores" (buckets) de acordo com uma função de "hash" 6 3

4 Escolha de índices Critérios para a escolha de índices possibilidade de acesso eficiente aos dados registos com o valor dado para o atributo registos com o valor do atributo numa gama de valores tempo de inserção tempo de remoção espaço ocupado 7 Índices ordenados Num ficheiro de dados sequencial podem haver 2 tipos de índices índice primário é o índice cuja chave de procura especifica a ordem dos dados no ficheiro normalmente a chave de procura é a chave primária índice secundário um índice que especifica uma ordem diferente da do ficheiro i Se houver índice primário, o ficheiro é "sequencial indexado" 8 4

5 Índices primários (clustered) índice índice 9 Índices secundários (non-clustered) índice índice índice 10 5

6 Índices densos Um índice é denso se refere todos os valores possíveis da chave de procura 11 Índices esparsos Um índice é esparso se contém entradas para apenas alguns dos valores da chave de procura Aplicável quando os registos estão ordenados por essa chave (índice primário) para localizar o registo com valor K encontrar a entrada no índice com o maior valor < K pesquisar o ficheiro sequencialmente a partir daí 12 6

7 Índices esparsos Menos espaço e manobras de inserção/remoção Mais lento a localizar os registos pretendidos Melhor compromisso é um índice esparso com uma entrada para cada bloco no ficheiro, correspondente ao menor valor da chave de procura nesse bloco 13 Índices multi-nível Se um índice primário não couber todo na memória, o acesso complica-se para reduzir o número de acessos ao disco, trata-se o índice como um ficheiro sequencial e cria-se um índice esparso para o índice primário se este for demasiado grande para caber em memória, cria-se ainda outro nível Os índices têm que ser mantidos actualizados em todos os níveis 14 7

8 Índices multi-nível 15 Actualização de índices Remoção ao remover o único registo com um dado valor, remove-se a respectiva entrada do índice Inserção pesquisar o valor do registo no índice índices densos se o valor não estiver indexado, inserir nova entrada no índice índices esparsos só é necessário criar uma nova entrada se a inserção der origem a um novo bloco 16 8

9 Índices secundários Um índice secundário pode ser necessário para fazer pesquisas por outro critério se a relação account estiver armazenada por account_number encontrar todas as contas de uma dada agência encontrar todas as contas de uma agência e com saldo numa dada gama de valores É possível ter um índice secundário para cada uma destas chaves de procura o índice aponta para um contentor de apontadores para registos 17 Índices secundários Índices secundários têm de ser densos (porquê?) Também têm que ser mantidos actualizados Menos eficiente que um índice primário cada registo pode implicar o acesso a um bloco diferente 18 9

10 Bases de Dados Índices em árvore B + Árvore B + exemplo 1 árvore B + com n=

11 Árvore B + exemplo 2 árvore B + com n=5 21 Árvore B + nós Cada nó da árvore contém K i são os valores da chave de procura ordenados K 1 < K 2 < K 3 <... < K n 1 P i são apontadores para outros nós (se o nó não é folha) ou apontadores para contentores de registos (se é folha) 22 11

12 Árvore B + nós folha Se o nó é folha P i aponta para um registo com valor K i ou P i aponta para um contentor de registos com K i necessário se a chave de procura não for chave primária P n aponta para a folha seguinte (mesmo nível) 23 Árvore B + nós não folha Se o nó não é folha forma um índice esparso multi-nível para as folhas todas as chaves na sub-árvore de P 1 são menores que K 1 em geral, todas as chaves na sub-árvore de P i são K i 1 e < K i as chaves K n 1 estão na sub-árvore apontada por P P n 24 12

13 Árvore B + propriedades Todos os caminhos da raiz a qualquer folha têm o mesmo comprimento Cada nó tem entre n/2 e n descendentes excepto a raiz, que pode ter menos Cada folha tem n apontadores e (n-1) valores apenas alguns podem estar preenchidos mas tem que ter no mínimo (n-1)/2 valores Casos especiais: se a raiz não é uma folha, tem pelo menos 2 descendentes se a raiz é folha (e a árvore só tem esse nó) pode ter entre 0 e (n 1) valores 25 Árvore B + eficiência Como as ligações são feitas por apontadores, não é necessário que os blocos estejam fisicamente juntos Uma árvore B + contém relativamente poucos níveis as pesquisas são eficientes Inserções e remoções também podem ser tratadas eficientemente a árvore pode ser reestruturada em tempo logarítmico 26 13

14 Árvore B + vantagens Em ficheiros sequenciais indexados, o desempenho degrada-se à medida que o ficheiro cresce e é necessário reorganizar todo o ficheiro de vez em quando Em árvores B + apenas pequenas alterações locais são necessárias perante inserções e remoções à custa de mais algum processamento e espaço mas as vantagens compensam as desvantagens 27 Procura em árvores B + Encontrar todos os registos com chave de procura k 1. começa pela raiz a) procurar na raiz o menor valor K i tal que K i > k b) se existir, seguir P i para o nó descendente c) senão, seguir P n 2. repetir o passo anterior até chegar a uma folha 3. assim que chegarmos a uma folha a) procurar na folha o valor K i tal que K i = k b) se existir, seguir P i para o registo ou contentor c) senão, conclui-se que o registo não existe 28 14

15 Procura em árvores B + Se houver K valores da chave de procura na árvore, nenhum caminho é mais comprido do que log n/2 (K) Geralmente um nó é do tamanho de um bloco, tipicamente 4 KB para isso escolhe-se n 100 com 40 bytes para cada entrada com 1 milhão de valores de chave e n=100 acedese a apenas log 50 ( ) = 4 nós se a árvore fosse binária seriam precisos 20 nós cada nó exige um acesso ao disco (20ms) 29 Modificações em árvores B + As modificações em árvores B+ seguem os seguintes passos: 1. pesquisar o valor pretendido na árvore, desde a raíz até chegar à folha respectiva (top-down) 2. fazer as alterações pretendidas ao nível das folhas 3. repercutir os efeitos de forma bottom-up, isto é, depois de alterar nós a um nível, verificar se o nó ascendente fica coerente, senão propagar p os efeitos recursivamente (até à raiz, se necessário) 30 15

16 Propriedades Propriedades gerais que devem ser mantidas: A. à esquerda de um valor está uma sub-árvore com valores sempre menores B. à direita de um valor está uma sub-árvore com valores maiores ou iguais C. cada nó deve ter sempre pelo menos (n-1)/2 valores (ou n/2 apontadores) preenchidos, caso contrário é necessário redistribuir valores (e apontadores) pelos nós vizinhos 31 Inserção em árvores B + Inserção procurar a folha em que esteja presente a chave dada se existir, adicionar registo ao ficheiro e inserir apontador no contentor senão, adicionar registo e criar novo contentor inserir a entrada (valor, apontador) na folha se a folha ultrapassar o máximo de n 1 valores separar os n valores em 2 nós 32 16

17 Inserção em árvores B + Separação de n valores em 2 nós deixar os primeiros n/2 valores no nó original, o resto passa um segundo, novo nó inserir a entrada (k,p) no nó ascendente, em que k é a menor chave do novo nó p é um apontador para o novo nó se o nó ascendente excedeu o tamanho máximo, parti-lo segundo o mesmo procedimento se a divisão se propagar até à raiz a raiz é partida em 2 nós é criada uma nova raiz como ascendente destes 2 nós 33 Inserção em árvores B + exemplo 34 17

18 Bases de Dados Remoções em árvores B + Remoção em árvores B + Remoção procurar o registo e removê-lo do ficheiro se o apontador ou contentor ficar vazio, remover a entrada (valor, apontador) da folha se a folha ficou abaixo do mínimo de (n-1)/2 valores se for possível, passar estes valores para o nó da esquerda, remover a folha, e remover a entrada respectiva no nó ascendente se isso não for possível, redistribuir os apontadores pelos nós vizinhos e ajustar o valor da chave no nó ascendente 36 18

19 Remoção em árvores B + Se ao modificar o nó ascendente, este ficar com um número de apontadores abaixo de n/2 repetir o procedimento recursivamente Estes efeitos "sobem" pela árvore até chegar a um nó que fique com pelo menos n/2 apontadores Se a raiz ficar só com um descendente depois da remoção, então o descendente passa a ser a nova raiz 37 Remoção em árvores B + exemplo

20 Remoção em árvores B + exemplo 2 39 Remoção em árvores B + exemplo

21 Remoção em árvores B + exemplo 3 Neste exemplo a sequência da remoção é a seguinte: 1. desaparece uma folha 2. no nó ascendente, desaparece o apontador para essa folha 3. pela propriedade p (C) o nó ascendente fica abaixo do limite de n/2 apontadores, logo é necessário redistribuir 4. só há um nó vizinho à esquerda, redistribuir com esse 5. só são necessários 4 apontadores (porque só há 4 folhas), logo ficam 2 apontadores em cada nó 6. se ficam 2 apontadores, fica apenas 1 valor em cada nó 7. pela propriedade (B) o valor que fica em cada um desses nós é o menor valor da sub-árvore direita 8. depois de mexer no 2º nível é necessário verificar a coerência do nó ascendente (raiz) 9. pela propriedade (B) o valor que fica na raiz é o menor valor da sub-árvore direita, ou seja, Mianus 41 Exercício Considere uma árvore B + com n=3 a) A partir de uma árvore vazia, desenhe a árvore após a inserção sucessiva dos seguintes valores: 1, 9, 5, 3, 6, 8, 4 b) Remova os mesmos elementos pela mesma ordem até chegar a uma arvore vazia 42 21

22 Exercício a) Exercício 1 b)

23 Bases de Dados Índices do tipo hash Hashing estático Um contentor armazena um conjunto de registos tipicamente um contentor ocupa um bloco em disco Ficheiros com organização do tipo hash função de hash determina contentor de um registo recebe como parâmetro o valor da chave de procura e devolve um apontador para o contentor Num mesmo contentor t pode haver registos com diferentes valores de chave de procura os contentores são pesquisados sequencialmente 46 23

24 Hashing estático exemplo 47 Funções de hash A função de hash ideal devia ser uniforme todos os contentores ficam com o mesmo número de valores de chave de procura devia ser aleatória todos os contentores ficam com o mesmo número de registos Tipicamente, as funções de hash trabalham com a representação binária do valor da chave de procura p.ex. somar todos os caracteres da string e fazer o resto da divisão pelo número de contentores 48 24

25 Overflow de contentores Pode ocorrer overflow de contentores devido a número insuficiente de contentores desequilíbrio na distribuição dos registos múltiplos registos com a mesma chave de procura função de hash não uniforme A probabilidade de overflow de um contentor não pode ser eliminada é normalmente resolvida com contentores extra (overflow buckets) 49 Overflow de contentores Encadeamento de contentores 50 25

26 Índices do tipo hash Pode ser usado hashing para organização de ficheiros e para criação de índices os índices do tipo hash são normalmente usados como índices secundários 51 Índices do tipo hash exemplo 52 26

27 Problemas na utilização de hashing estático A função de hash mapeia valores da chave de procura para um número fixo de contentores se a BD crescer, desempenho sofre com excesso de contentores extra mesmo que o tamanho possa ser previsto, desperdício de espaço inicialmente se a BD diminuir, espaço desperdiçado reorganização periódica é dispendiosa Solução: fazer variar o número de contentores dinamicamente 53 Hashing dinâmico Permite modificar a função de hash dinamicamente Hashing extensível a função de hash gera valores numa gama alargada tipicamente inteiros com 32 bits a ideia é usar em cada momento apenas um prefixo para endereçar um conjunto de contentores seja i o comprimento do prefixo, com 0 i 32 número máximo de contentores endereçáveis: 2 i o valor de i varia conforme o tamanho da BD 54 27

28 Hashing dinâmico exemplo comprimento do prefixo ( i ) comprimento do prefixo para cada contentor ( i j i ) 55 Hashing dinâmico procura O prefixo com i bits permite localizar a entrada correcta no índice mas o mesmo contentor pode ser usado em várias entradas significa que o prefixo do contentor (i j ) é i Para encontrar o contentor com chave K j 1. calcular funcao_hash(k j ) = X 2. usar os primeiros i bits de X para localizar a entrada no índice 3. seguir o apontador respectivo para o contentor 56 28

29 Hashing dinâmico inserção Para inserir um registo com chave K j encontrar o contentor para essa chave se houver espaço no contentor, inserir o registo senão, separar o contentor em 2 e redistribuir os registos eventualmente será necessário aumentar i 57 Hashing dinâmico inserção (caso i j = i ) Como separar em 2 um contentor para a chave K j se i j = i (só há um apontador para o contentor j ) incrementar o valor de i, o que duplica o tamanho do índice substituir cada entrada no índice por 2 entradas que apontam para o mesmo contentor alocar novo contentor z e fazer i j = i z = i colocar o segundo apontador de j a apontar para z remover e re-inserir cada registo em j (agora com novo i j ) alguns registos vão parar a j, outros a z inserir o novo registo com chave K j 58 29

30 Hashing dinâmico inserção (caso i j < i ) Como separar em 2 um contentor para a chave K j se i j < i (mais do que um apontador para j ) alocar novo contentor z e fazer i j = i z = i j + 1 a segunda metade das entradas que apontam para j passam a apontar para z remover e re-inserir cada registo em j (agora com novo i j ) alguns registos vão parar a j, outros a z inserir o novo registo com chave K j se o contentor t ainda estiver cheio, repetir recursivamente um dos casos i j = i ou i j < i, como apropriado se o contentor permanecer cheio, usar um contentor extra (i atingiu o máximo e há overflow) 59 Hashing dinâmico inserção 60 30

31 Hashing dinâmico inserção 61 Hashing dinâmico inserção 62 31

32 Hashing dinâmico inserção 63 Hashing dinâmico inserção 64 32

33 Hashing dinâmico remoção Para apagar um valor de chave localizar o registo dentro do seu contentor e removê-lo se o contentor ficar vazio, removê-lo e actualizar o índice é possível juntar contentores que tenham o mesmo número i j e o mesmo prefixo nos primeiros i j -1 bits é possível diminuir o tamanho do índice operação dispendiosa, só feita quando o número de contentores é muito menor que o número de entradas no índice 65 Bases de Dados Índices e SQL 33

34 Definição de índices em SQL Criação de um índice create index index_name on relation_name(attribute_list) exemplo create index branch_index on branch(branch_name) é possível escolher o tipo de índice com using btree ou using hash Para eliminar um índice: drop index index_name 67 Índices com múltiplas chaves de procura Certas perguntas exigem múltiplos índices select account_number from account where branch_name = Perryridge and balance = 1000 estratégias possíveis usar índice para branch_ name e testar valor de balance usar índice para balance e testar valor de branch_name usar índice para branch_name e outro para balance e intersectar os resultados 68 34

35 Chaves de procura compostas Chaves de procura compostas chaves de procura com mais de um atributo p.ex. (branch_name, balance) Ordem lexicográfica (a 1, a 2 ) < (b 1, b 2 ) se (a 1 < b 1 ) ou (a 1 = b 1 )e(a 2 <b) 2 69 Chaves de procura compostas where branch_name = "Perryridge" and balance = 1000 O mesmo índice pode ser usado para obter os registos que satisfazem as duas condições mais eficiente que usar índices separados também é eficiente noutros casos where branch_name = "Perryridge" and balance < 1000 não é eficiente em where branch_name < "Perryridge" and balance = 1000 obtém registos que satisfazem a primeira mas não a segunda condição 70 35