Processamento e Otimização de Consultas. Msc. Simone Dominico Orientador: Dr. Eduardo Cunha de Almeida PPGINF - UFPR

Transcrição

1 Processamento e Otimização de Consultas Msc. Simone Dominico Orientador: Dr. Eduardo Cunha de Almeida PPGINF - UFPR

2 Conteúdo Processamento de consultas; Introdução Etapas no Processamento de Consultas Otimização de Consultas; Baseada em custos;

3 Processamento de Consultas O Processamento de consultas é uma técnica utilizada para processar, otimizar e executar consultas; Objetivo: Produzir uma estratégia de consulta para recuperar o estado da mesma; Um plano para executar a consulta, acessar os dados e armazenar resultados intermediários.

4 Etapas no Processamento da consulta Analisador e tradutor Consulta Saída da consulta Mecanismo de Avaliação Dados Plano de consulta Expressão da algebra relacional Otimizador Estatísticas sobre dados

5 Etapas no Processamento da consulta Analisador e tradutor Consulta Saída da consulta Mecanismo de Avaliação Dados Plano de consulta Expressão da algebra relacional Verifica a sintaxe e as relações; Otimizador Traduz a consulta em uma expressão de álgebra relacional equivalente. Estatísticas sobre dados

6 Processamento de Consultas - Analisador e Tradutor É verificado a sintaxe da consulta; Os nomes e as relações da consulta são os mesmos que estão no Banco de dados; Substituem referências ao nome de uma visão (view) por expressões da álgebra, a fim de computar essa visão; Cada consulta SQL pode ser traduzida para uma expressão da álgebra relacional, pode ter várias expressões equivalentes a mesma consulta. Converte a consulta para uma árvore algébrica da consulta (recebe a consulta em linguagem de alto nível (consulta SQL, p. ex.), e retorna uma representação interna (árvore algébrica da consulta);

7 Etapas no Processamento da consulta Consulta Saída da consulta Mecanismo de Avaliação Dados Definição de uma árvore de consultaanalisador equivalente, e com o menor custo. tradutor Otimização Algébrica. Expressão da algebra relacional Plano de consulta Otimizador Estatísticas sobre dados

8 Processamento de Consultas - Otimizador de Consultas Para uma consulta, existem diversos metódos para obter a resposta; Gera a árvore algébrica otimizada através da árvore algébrica da consulta; Árvore algébrica otimizada é uma árvore de consulta equivalente;

9 Processamento de Consultas - Árvore de Consulta Estrutura de árvore que corresponde a uma expressão da álgebra relacional; Representação: Indica ordem específica das operações durante a execução de uma consulta; Execução: Nós folhas: relações de entrada para a consulta; Nós internos: operações de álgebra relacional; Efetuar uma operação do nó interno sempre que os operandos estiverem disponíveis; substituir o nó interno pela relação que resulta da execução da operação Final da execução: o nó raiz é executado; a relação resultado para a consulta é produzida;

10 Exemplo SELECT P.PNUMBER, P.DNUM, E.LNAME, E.ADDRESS, E.BDATE FROM PROJECT AS P, DEPARTMENT AS D, EMPLOYEE AS E WHERE P.DNUM=D.DNUMBER AND D.MGRSSN=E.SSN AND P.PLOCATION= STAFFORD

11

12

13 Heurísticas básicas Aplicar primeiro as operações que reduzem o tamanho dos resultados intermediários; operações de seleção reduzem o número de tuplas; operações de projeção reduzem o número de atributos Aplicar primeiro as operações de seleção e de junção mais restritivas reordenar os nós folha da árvore de consulta; evitar a operação de produto cartesiano; ajustar o restante da árvore de forma apropriada;

14 Exemplo 2

15

16 O que podemos melhorar?

17 Algo mais?

18

19

20 O que foi feito? Executar operações de SELEÇÃO e PROJEÇÃO primeiramente; A JUNÇÃO só deve ser realizada depois da SELEÇÃO e PROJEÇÃO; Somente os atributos solicitados para o resultado da consulta e os que realmente são necessários em consultas subseqüentes é que devem ser projetados; Evitar geração de múltiplas tabelas intermediárias; Pesquisar as subexpressões comuns e processá-las somente uma vez;

21 Regras de Equivalência Algébrica As regras de equivalência são usadas pelo otimizador para transformar expressões em outras logicamente equivalentes. Assuma que: θ: denota predicados; L: denota listas de atributos; E: denota expressões da álgebra relacional.

22 Regras de Equivalência Algébrica

23 Regras de Equivalência Algébrica

24 Regras de Equivalência Algébrica

25 Regras de Equivalência Algébrica

26 Regras de Equivalência Algébrica

27 Regras de Equivalência Algébrica

28 Otimização de Consultas Baseada em Custos

29 Etapas no Processamento da consulta Consulta Saída da consulta Mecanismo de Avaliação Dados Definição de uma árvore de consultaanalisador equivalente, e com o menor custo. tradutor Otimização Algébrica. Expressão da algebra relacional Plano de consulta Otimizador Estatísticas sobre dados

30 Estatísticas Informações aproximadas sobre: Base de dados Cada tabela Cada atributo de cada tabela Cada índice Coletadas: Durante cada operação da consulta; Pela execução de comandos específicos para coletá-las;

31 Estatísticas Para cada relação r: número de registros b: número de blocos que contêm os registros R: tamanho de um registro em bytes bfr: número de registros que cabe em um bloco d: número de valores distintos para um atributo sl: fração de registros que satisfazem à condição de igualdade no atributo s número médio de registros que satisfazem à condição de igualdade no atributo Se é chave primaria s=1 Senão s=(r/d)

32 Estatísticas Para cada índice: f: fan-out médio dos nós internos para índice - estruturados em arvores; x: número de níveis: Árvore balanceada: x= logfd Para um índice hash: x=1 bl1: número de blocos no nível de folha

33 Algoritmos e Funções Custo Algoritmos dependem Métodos para seleção simples varredura de arquivos (i.e., file scan); busca linear e binária da existência de índices; das condições de seleção; varredura de índices (i.e., index scan); busca baseada em índice primário, secundário e cluster

34 Algoritmos e Funções Custo - Operação de Seleção Algoritmo A1 (busca linear): Recupera cada registro do arquivo e testa se seus valores de atributos, satisfazem a condição de seleção. Todos os blocos são varridos: Cbusca_linear= b sendo b o número de blocos que contêm os registros Igualdade na chave primária; Cbusca_linear= b/2 metade dos blocos são varridos;

35 Algoritmos e Funções Custo - Operação de Seleção Varredura de arquivo Algoritmo A2 Busca binária: Aplicável se a seleção for uma comparação de igualdade sobre o atributo em que o arquivo é ordenado. log2(b): custo para localizar o primeiro registro; s/bfr : blocos ocupados pelos registros que satisfazem à condição de seleção; 1 custo para recuperar o primeiro registro; Cbusca_binaria= log2(b) + s/bfr - 1 Igualdade na chave primária: Cbusca_binaria= log2(b)

36 Algoritmos e Funções Custo - Operação de Seleção Algoritmo A3 - Varredura de índice: algoritmos de busca que usam um índice ( condição de seleção precisa ser sobre chave de busca do índice). Igualdade: x: número de níveis no índice 1: bloco adicional recuperado Cprim_igual= x+1 Desigualdade: b/2: estimativa de que somente metade dos registros satisfazem à condição de seleção; Cprim_desi= b/2

37 Algoritmos e Funções Custo - Operação de Seleção Varredura de índice: Algoritmo A4 - Utilizando chave de hash para recuperar um único registro: Na maioria dos casos um único bloco de disco precisa ser acessado Chash= 1 estático e linear e 2 hash extensível Algoritmo A5 - Utilizando índice de ordenação, comparação <, >, >=, <= ; A comparação em um campo chave com índice de ordenação, metade dos registros satisfarão a condição. Cind_ordenacao= x + (b/2)

38 Algoritmos e Funções Custo - Operação de Seleção Algoritmo A6 - Índice de agrupamento para recuperar múltiplos registros: Em cada nível de índice é acessado um bloco de disco. x: número de níveis no índice s/bfr : quantidade de blocos ocupada pelos registros que satisfazem à condição de seleção; Cmulti= x + s/bfr

39 Algoritmos e Funções Custo - Operação de Seleção Algoritmo A7 - Custo com Índice Secundário: Igualdade: x: número de níveis no índice s: cardinalidade de seleção do atributo indexado s = 1 para atributo UNIQUE Cs_igual= x + s Desigualdade: bi1/2: metade dos blocos serão acessados; r/2: metade dos registros serão acessados Cs_des= x + (bl1/2) + (r/2)

40 Algoritmos e Funções Custo - Operação de Seleção Implementação de seleções complexas: Conjunção: σθ1 θ2... θn (r) A8 - Seleção conjuntiva usando um índice. índice definido sobre um único atributo da condição; recupera os registros para o atributo usando qualquer algoritmo de busca; verifica se cada registro recuperado satisfaz às demais condições; A9 (seleção conjuntiva usando índice de chaves múltiplas). dois ou mais atributos envolvidos em condições de igualdade; índice composto definido sobre os atributos combinados; recupera os registros usando o índice composto;

41 Algoritmos e Funções Custo - Operação de Seleção Disjunção: σθ1 θ2... θn (r). Registros que satisfazem à condição disjuntiva são a união dos registros que satisfazem cada condição individual; índices não definidos sobre todos os atributos da condição; recupera os registros usando busca linear; índices definidos sobre cada um dos atributos da condição; recupera os registros para cada condição individual usando o índice específico; aplica a operação de união para eliminar duplicatas;

42 Exemplo 1- Estimativas de Custo

43 Exemplo 1- Estimativas de Custo

44 Exemplo 1- Estimativas de Custo

45

46 Algoritmos e Funções Custo - Operação de Junção Concatena registros relacionados de R e S em registros únicos; Métodos: Loops Aninhados (Nested Loops Join); de blocos, indexada; Ordenação/Intercalação (Merge Join); Hashing (Hash Join);

47 Algoritmos e Funções Custo - Operação de Junção Loop aninhado de Blocos: examina todos os pares de registros nas duas relações R e S, lendo bloco a bloco; Ideia: para cada registro tr na relação externa R para cada registro ts na relação interna S selecione os pares de registros (tr,ts) que satisfaçam à condição de junção; Claco_blocosi= br + (br * bs ) + ((js * R * S )/bfrrs) b: número de blocos que contêm os registros; bfrrs: fator de bloco de disco (arquivo resultante); (js * R * S )/bfrrs: custo de escrever o arquivo resultante em disco

48 Algoritmos e Funções Custo - Operação de Junção Loop Aninhado indexada: índice no atributo de junção do laço interno para cada registro tr na relação externa R selecione os registros de S que satisfaça à condição de junção usando o índice; Índice Secundário: b: número de blocos que contêm os registros R : número de registros de R x: número de níveis do índice s: cardinalidade de seleção bfrrs: fator de bloco de disco (arquivo resultante) (js * R * S )/bfrrs: custo de escrever o arquivo resultante em disco Claco_sec= br + ( R * (xb + sb )) + ((js * R * S )/bfrrs)

49 Algoritmos e Funções Custo - Operação de Junção Índice de Cluster: b: número de blocos que contêm os registros R : número de registros de R x: número de níveis do índice s: cardinalidade de seleção bfr: fator de bloco de disco (js * R * S )/bfrrs: custo de escrever o arquivo resultante em disco Claco_cluster= br + ( R * (xb +( sb /bfrb))) + ((js * R * S )/bfrrs)

50 Algoritmos e Funções Custo - Operação de Junção Índice Primário: b: número de blocos que contêm os registros R : número de registros de R x: número de níveis do índice bfrrs: fator de bloco de disco (js * R * S )/bfrrs: custo de escrever o arquivo resultante em disco Claco_cluster= br + ( R * (xb + 1)) + ((js * R * S )/bfrrs)

51 Algoritmos e Funções Custo - Operação de Junção Fatores determinantes de desempenho espaço disponível em memória principal; tamanho da relação externa em uma junção de laço aninhado menor número de blocos; fator de seleção de junção; porcentagem de registros de uma relação a ser concatenado com os registros da outra relação

52 Exemplo 2 - Operação de Junção

53 Exemplo 2 - Operação de Junção

54 Exemplo 2 - Operação de Junção

55 Exemplo 2 - Operação de Junção

56 Exemplo 2 - Operação de Junção

57 Exemplo 2 - Operação de Junção

58 Algoritmos e Funções Custo - Operação de Junção Ordenação/Intercalação (Merge Join)

59 Algoritmos e Funções Custo - Operação de Junção Custo Merge Join: b: número de blocos que contêm os registros; B: número de páginas no buffer: Custo de ordenar a relação R: CordenaR= 2br*(logB-1*br /B) Custo de ordenar S: Cordenas= 2bs*(logB-1*bs /B) Custo de Juntar as duas relações: Cmerge= (br+bs)

60 Algoritmos e Funções Custo - Operação de Junção Hashing (Hash Join); subdividir os registos de r e s em n partições; função de hash diz qual é a partição para um dado registo: a função calcula a partição com base no atributo da junção;

61 Algoritmos e Funções Custo - Operação de Junção Custo Hash Join: b: número de blocos que contêm os registros Chash= 3 * (br + bs )

62 Exercícios

63 Exercícios 1 - Construa a árvore de consulta otimizada baseada em heurísticas;

64 Exercícios Considere a seguinte consulta SQL ao banco de dados Empregado X Projeto. SELECT E.FNAME, E.NAME, E.ADDRESS FROM EMPLOYEE E, DEPARTMENT D WHERE D.NAME='Research' AND D.DNUMBER=E.DNUMBER; Apresente a árvore algébrica otimizada, somente com as operações de junção (, ), seleção (σ), projeção (π) e união ( ), correspondente ao comando SQL acima. Considere os seguintes critérios para otimização: (a) Realize o mais cedo possível as operações de seleção; (b) Projete cada relação e o resultado de cada operação de forma a manter apenas os atributos indispensáveis às operações seguintes; e (c) Realize o mais cedo possível as operações mais restritivas. Considere que a ordem de execução das operações é estabelecida pelo percurso na árvore em profundidade à esquerda. Não é necessário apresentar o processo de otimização passo a passo, basta apresentar a árvore algébrica final otimizada.

65 Exercício Um armazém possui registros, alocados em 600 blocos de disco. Então,r= 3.000, b=600 e bfr= 5. Considerando-se os caminhos de acesso: 1. Índice clustering sobre QUANTIDADE, com x=3 e s=25 (cardinalidade); 2. Índice secundário sobre atributo chave COD_FORNEC com x=5 e s=1; 3. Índice secundário sobre atributo não chave UNIDADE com x=3 e Bi1=4.Existem d=12 valores distintos para UNIDADE, então: s=(r/d) = Índice secundário sobre CONDIÇÃO_PGTO com x=1; Existem d=2 valores para o atributo CONDIÇÃO_PGTO e s=(r/d) = 3.000/2 = Considerando as operações de Select: (OP1): σ UNIDADE= 11 AND CONDIÇÃO_PGTO= A.V. (ESTOQUE) (OP2): σ COD-FORNEC = 012 (ESTOQUE) (OP3): σ UNIDADE > 3 (DESCRIÇÃO) Calcule os curtos:

66 Leituras Elmasri, R.; Navathe, S.B. Fundamentals of database Systems. 4 ed., Benjamin Cummings, Chapter 15 Algorithms for Query Processing and Optimization; Silberschatz, A. Sistema de Banco de Dados. 6 ed.,elsevier, Capítulo 13 Processamento da Consulta e Capítulo 14 - Otimização de Consulta;