Introdução a. π LNAME, FNAME (σ SALARY>C (EMPLOYEE))

Transcrição

1 Introdução Como o SGBD INTERNAMENTO processa, otimiza e executa consultas de alto nível Introdução a Processamento de Consultas MIRELLA M. MORO mirella@dcc.ufmg.br br/~mirella 2 Introdução Sumário Árvore de consulta Consulta costuma ter N estratégias de execução possíveis: Otimização de consulta = escolher estratégia adequada Estratégia de execução Plano de consulta Código pode ser: (1) Executado diretamente (modo interpretado) (2) Armazenado e executado + tarde (modo compilado) Processamento de Consultas 1. Tradução SQL Álgebra Relacional 2. Algoritmos para operações Ordenação externa SELEÇÃO, JUNÇÃO, PROJEÇÃO, AGREGAÇÃO, JUNÇÃO EXTERNA 3. Otimização de consultas Com heurísticas Com estimativas de custo (seletividade) Figura Passos típicos durante a execução DCC 011 de -uma profa consulta Mirella M. de Moro alto nível. 3 MATERIAL BASEADO EM : Elmasri/Navathe 4 a ed cap 15 / 6 a ed cap 19 4 Tradução SQL Álgebra Relacional Tradução SQL Álgebra Relacional Bloco de consulta: unidade básica que pode ser traduzida para operadores da álgebra e otimizada Um bloco de consulta contém uma única expressão SELECT FROM WHERE, bem como GROUP BY e HAVING se for o caso Consultas asaninhadas adas= bloco bocode consulta separado ado Álgebra extendida: com MAX, MIN, SUM e COUNT SELECT LNAME, FNAME FROM EMPLOYEE WHERE SALARY > ( SELECT MAX (SALARY) FROM EMPLOYEE WHERE DNO = 5); SELECT LNAME, FNAME SELECT MAX (SALARY) FROM EMPLOYEE FROM EMPLOYEE WHERE SALARY > C WHERE DNO = 5 π LNAME, FNAME (σ SALARY>C (EMPLOYEE)) MAX SALARY (σ DNO=5 (EMPLOYEE)) 6 5

2 Árvores/Grafos de Consulta Árvore de consulta: uma estrutura de dados em árvore corresponde à expressão da álgebra relacional RELAÇÕES DE ENTRADA da consulta como nodos folha da árvore OPERAÇÕES DE ÁLGEBRA como nodos internos Execução de árvore de consulta Executar operação de nodos internos sem seus operandos disponíveis Substitui operação no nodo pelo resultado da mesma Grafo de consulta: uma maestrutura t ra de dadosem grafo corresponde à expressão do cálculo relacional Não indica a ordem na qual operações são realizadas Existe apenas um grafo correspondente a cada consulta Árvores/Grafos de Consulta Exemplo Para cada projeto localizado em Stafford, retorne o número do projeto, o número do departamento que o controla e o último nome, endereço e data de aniversário do seu gerente 7 8 (a) Árvores/Grafos de Consulta Para cada projeto localizado em Stafford, retorne o número do projeto, o número do departamento que o controla e o último nome, endereço e data de aniversário do seu gerente Álgebra relacional π PNUMERO, DNUM, UNOME, ENDEREÇO, DATANASC (((σ PLOCALIZACAO= STAFFORD (PROJETO)) DNUM=DNUMERO (DEPARTMENTO)) GERSSN=SSN (EMPREGADO)) Consulta em SQL (Q2): SELECT P.PNUMERO, P.DNUM, E.UNOME, E.ENDEREÇO, E.DATANASC FROM PROJETO AS P, DEPARTMENTO AS D, EMPREGADO AS E WHERE P.DNUM=D.DNUMERO AND D.GERSSN=E.SSN AND P.PLOCALIZACAO= STAFFORD ; Q2: π PNUMERO, DNUM, UNOME, ENDEREÇO, DATANASC (((σ PLOCALIZACAO= STAFFORD (PROJETO)) DNUM=DNUMERO (DEPARTMENTO)) GERSSN=SSN (EMPREGADO)) 9 Figura Duas árvores de consulta para Q2. (a) Árvore de consulta para expressão da álgebra relacional (b) Árvore de consulta inicial (canônica) para DCC a consulta profa SQL. Mirella (c) M. Gráfico Moro de consulta para Q2. 10 Algoritmos para operações AGORA: apenas resumo INFO COMPLETA: banco de dados avançados Ordenação externa: fundamental paraorder BY; componente de junção, união, intersecção + eliminação de duplicatas em projeção, DISTINCT Pode ser evitada com indexação apropriada Algoritmos para operações SELEÇÃO: pesquisa para localizar os registros em um arquivo de disco que satisfazem certa condição (caminho de acesso apropriado para a condição) Pesquisa linear; pesquisa binária; usando: índice primário, chave hash, índice primário para recuperar vários registros, índice de agrupamento para recuperar vários registros, índice secundário Seleção conjuntivausandoíndice usando individual, seleçãoconjuntiva usando índice composto, seleção conjuntiva por intersecção de ponteiros de registros. Seletividade de uma condição (introdução) Condições de seleção disjuntivas 11 12

3 Algoritmos para operações Algoritmos para operações JUNÇÃO: é uma das operações mais demoradas no processamento da consulta Mi Maioria: i variedades idd de EQUIJUNÇÃO e JUNÇÃO NATURAL Junção de loop aninhado, junção de único loop, junção ordenaçãointercalação (merge join), junção de partição hash Como o espaço do buffer e a escolha do arquivo de loop externo afetam o desempenho da junção de loop aninhado Como o fator de seleção de junção afeta o desempenho Caso geral para a junção de partição hash Junção hash híbrida híbrida PROJEÇÃO: como eliminar duplicatas AGREGAÇÃO: MIN,MAX,COUNT,AVG, SUM quando aplicados à tabela tbl inteira i podem ser calculados l por uma varredura de tabela ou usando índice apropriado JUNÇÃO EXTERNA (outer join): modifica se um dos algoritmos de junção PIPELINE: operações podem ser combinadasem pipeline Heurísticas Regras de Transformação RELEMBRANDO Consulta SQL parser = parse tree plano de consulta lógico + leis algébricas = plano de consulta lógico melhorado plano de consulta físico Plano de consulta físico Operações a serem realizadas Ordem das operações Algoritmo para processar cada passo Modos de recuperar dados armazenados Modo de passar dados de uma operação para outra Plano lógico físico: avaliar o custo de cada opção 16 Duas maneiras principais de otimizar consultas: Com heurísticas Com estimativas de custo (seletividade) Otimização com Heurísticas Processo para otimização com heurísticas 1. O parser de uma consulta de alto nível gera uma representação interna inicial i i 2. Aplica se regras heurísticas para otimizar representação interna 3. Um plano de execução de consultas é gerado Executa grupos de operações baseado nos caminhos de acesso disponíveis nos arquivos envolvidos na consulta A heurística principal é aplicar primeiro as operações que reduzem o tamanho dos resultados intermediários Exemplo: aplicar operações SELEÇÃO e PROJEÇÃO antes da JUNÇÃO ou demais operações binárias i 17 18

4 RESUMO: Leis Algébricas Li Leis algébricas: lébi melhorar o plano de consulta lógico As mais comuns utilizadas por otimizadores SELEÇÃO o mais cedo possível (mais baixo na árvore) Composta (AND): dividir e processar cada condição separadamente na árvore PROJEÇÃO o mais cedo possível Novas podem ser adicionadas ELIMINAR DUPLICATAS: remover algumas vezes ou mover para outra posição na árvore SELEÇÃO + PROD.CARTESIANO = EQUIJOIN algumas vezes será mais eficiente 19 Otimização com Heurísticas A mesma consulta diferentes expressões álgebra relacional diferentes árvores de consulta Otimizador: i encontrar a árvore final que execute c/ eficiência iê i Exemplo WHERE PNOME= AQUARIUS AND PNUMERO=NRP AND ESSN=SSN AND DATANASC > ; Figura 15.5 Etapas na conversão de uma árvore de consulta durante a otimização heurística: SELEÇÃO DCC profa + baixa Mirella M. Moro 21 Figura 15.5 Etapas na conversão de uma árvore de consulta durante a otimização heurística: SELEÇÃO + RESTRITIVA primeiro Figura 15.5 Etapas na conversão de uma árvore de consulta durante a otimização heurística: PRODUTO CARTESIANO + SELEÇÃO JUNÇÃO 23 Figura 15.5 Etapas na conversão de uma árvore de consulta durante a otimização heurística: PROJEÇÃO para mais baixo na árvore (projeta DCC apenas profa o que Mirella precisa M. Moro para a próxima operação) 24

5 1. Cascata de σ: Uma condição de seleção conjuntiva pode ser quebrada em uma cascata (sequência) de operações individuais c1 AND c2 AND... AND cn (R) c1 ( c2 (...( ( cn (R))...)) ) 2. Comutatividade de : A operação é comutativa: c1 ( c2 (R)) c2 ( c1 (R)) 3. Cascata de : Em uma cascata (sequência) de operações, todas, exceto a última, podem ser ignoradas List1 ( List2 (...( Listn (R))...) ) = List1 (R) 4. Comutatividade de e : Se a condição de seleção c envolver apenas aqueles atributos t A1,..., An da lista de projeção, as duas operações podem ser comutadas A1, A2,..., An ( c (R)) = c ( A1, A2,..., An (R)) 5. Comutatividade de (e ): A operação é comutativa, assim como : R C S = S C R; R S = S R 6. Comutatividade de com (e ): Se todos os atributos da condição de seleção c envolverem apenas os atributos de uma das relações participantes da junção digamos R, as duas operações podem ser comutadas como segue c ( R S ) ( c (R)) S De maneira alternativa, se a condição de seleção c puder ser escrita como (cl AND c2), na qual a condição cl envolver apenas os atributos de R e a condição c2 envolver apenas os atributos de S, as operações comutam da seguinte forma: c ( R S ) ( c1 (R)) ( c2 (S)) Comutatividade de com (ou ): Suponha que a lista de projeção seja L = {A1,..., An, Bj,..., Bm}, onde A1...An são atributos t de R e B1...BmB são atributos t de S. Se a condição de junção c envolver apenas atributos que estão em L, as duas operações podem ser comutadas como segue L (R CS) ( A1,..., An (R)) C ( B1,..., Bm (S)) Se a condição de junção c possuir atributos adicionais que não estão em L, estes devem ser acrescidos à lista de projeção, e uma operação π final é necessária. 8. Comutatividade de operações de conjunto: As operações de conjunto e são comutativas, porém não é. 9. Associatividade de,, U e : Associatividade de,, e : Essas quatro operações são associativas individualmente, ou seja, se θ significar qualquer uma dessas quatro operações (na expressão inteira), temos ( R S ) T R ( S T ) 10. Comutatividade de σ e das operações de conjunto: A operação σ comuta com as operações, e. Se θ significar qualquer uma dessas três operações (na expressão inteira), temos c (R S) ( c (R)) ( c (S)) A operação comuta com U. L ( R U S ) ( L (R)) U ( L (S)) 12. Convertendo a sequência ( ) em : Se a condição c de uma σ que siga uma corresponder a uma condição de junção, converta a sequência (σ, ) em uma conforme mostrado a seguir: ( C (R S)) = (R C S) 13. Other transformations 29 Using Heuristics in Query Optimization Outline of a Heuristic Algebraic Optimization Algorithm: 1. A regra 1 quebra quaisquer operações SELECT com condições conjuntivas em uma cascata de operações SELECT, permitindo um maior grau de liberdade para transferir operações SELECT para ramos diferentes e abaixo na árvore. 2. Usando as regras 2, 4, 6 e 10 relativas lti à comutatividade ttiidd do SELECT com outras operações, move cada operação SELECT o mais longe para baixo na árvore que for permitido pelos atributos envolvidos na condição de seleção 3. Usando as regras 5 e 9 com relação à associatividade das operações binárias, rearranje os nodos folha tal que a relação das folhas com operações mais restritivas são executadas primeiro na árvorerepresentation. 30

6 Using Heuristics in Query Optimization 4. Usando a regra 12, combina uma operação PRODUTO CARTESIANO com uma operação SELECT subsequente na árvore, gerando umaoperaçãojoinse a condição representa uma condição de junção. 5. Usando as regras 3,4, 34 7 e 11, relativas à cascata de PROJECT e à comutação de PROJECT com outras operações, quebra e transfere as listas de atributos de projeção para baixo na árvore, o mais longe possível, por meio da criação de novas operações PROJECT conforme necessário. 6. Identifica subárvores que representam grupos de operações que podem ser executadas por um único algoritmo. RESUMO: Leis Algébricas Li Leis algébricas: lébi melhorar o plano de consulta lógico As mais comuns utilizadas por otimizadores SELEÇÃO o mais cedo possível (mais baixo na árvore) Composta (AND): dividir e processar cada condição separadamente na árvore PROJEÇÃO o mais cedo possível Novas podem ser adicionadas ELIMINAR DUPLICATAS: remover algumas vezes ou moverparaoutraposição outra posição naárvore SELEÇÃO + PROD.CARTESIANO= EQUIJOIN algumas vezes será mais eficiente RELEMBRANDO Consulta SQL parser = parse tree plano de consulta lógico + leis algébricas = plano de consulta lógico melhorado plano de consulta físico Plano de consulta físico Operações a serem realizadas BANCO DE Ordem das operações DADOS Algoritmo para processar cada passo AVANÇADOS Modos de recuperar dados armazenados Modo de passar dados de uma operação para outra Plano lógico físico: DCC 011 avaliar - profa Mirella o M. custo Moro de cada opção 33 Como tudo isso se releciona ao TP2? 34 Processamento de Consultas no TP2 Em álgebra relacional Empregado Departamento Departamento Empregado por quê?! Bancos de Dados Avançados Em SQL FROM Empregado, Departamento WHERE dno=dnum FROM Empregado JOIN Departamento ON dno=dnum FROM Empregado WHERE dno IN (SELECT dnum FROM Departamento) etc Processamento de Consultas no TP2 Para avaliar o desempenho das consultas O banco de dados deverá ser carregado com um volume de dados que permita comparar o desempenho das diversas opções para as consultas SQL Para isso poderão ser usados dados reais obtidos de aplicações similares ou geradores de dados sintéticos Spawner Datanamic for mysql GenerateData O volume de dados carregado no banco de dados seja suficiente para que o tempo de execução de cada consulta possa ser devidamente computado cold start : cada consulta deverá ser executada pelo menos cinco vezes, reportando se o tempo médio das cinco execuções 35 36