Processamento da Consulta. Processamento da Consulta

Transcrição

1 Processamento da Consulta Equipe 05 Adriano Vasconcelos Denise Glaucia Jose Maria Marcigleicy Processamento da Consulta Refere-se ao conjunto de atividades envolvidas na extra de dados de um banco de dados. As atividades incluem tradu de consultas em linguagens de banco de dados de alto nível para expressões que podem ser usadas no nível físico do sistema de arquivos, uma série de transformações de otimiza da consulta e a avalia real das consultas. 1

2 Etapas no processamento de uma consulta Analise e Tradu Otimiza Avalia Consulta analisador e tradutor expressão da álgebra relacional otimizador Saída da consulta mecanismo de avalia Plano de execu dados Estatísticas sobre dados Análise e Traduçã Traduzir a consulta para uma forma utilizável; uma linguagem como SQL é adequada para o uso humano, mas não para a representa interna do sistema de uma consulta (baseada em álgebra relacional) semelhante ao realizado pelo analisador (parser) de um compilador 2

3 Análise e Traduçã o (cont.) Ao gerar a forma interna da consulta, o analisador verifica a sintaxe da consulta do usuário e se os nomes de rela que aparecem na consulta são nomes de relações de banco de dados O sistema constrói uma representa de arvore de análise de consulta, que pode traduzir para uma expressão da álgebra relacional. Se a consulta foi expressa em termos de um view,a fase de tradu também substitui todos os usos da view pela a expressão da álgebra relacional que define a view; Otimizaçã Dada uma consulta, existem vários métodos para calcular a resposta. Existem varias expressões de álgebra relacional que fazem a mesma coisa. Ex.: Considere a consulta. Select saldo From conta Where saldo <2500 3

4 Otimizaçã Podemos traduzí-las para as seguintes expressões relacionais? σsaldo<2500(πsaldo(conta)) πsaldo(σsaldo<2500(conta)) σsaldo<2500(πsaldo(conta))=πsaldo(σsaldo<2500(conta)) Otimizaçã É responsabilidade do sistema construir um plano de avalia de consulta que minimize o custo da avalia da consulta. 4

5 Avaliaçã Para especificar totalmente como avaliar uma consulta, precisamos não apenas oferecer a expressão da álgebra relacional mas também anotá-la como instruções especificando como avaliar cada opera. - Primitiva de avalia - Opera da álgebra relacional anotada com instruções como avaliá-la. As anotações podem indicar o algoritmo a ser usado para uma opera especifica, ou o índice especifico ou índices a serem utilizados. Avaliaçã Plano de Execu de consulta (Plano de Avalia de Consulta) Seqüência de operações primitivas que podem ser usadas para avaliar uma consulta πsaldo σsaldo<2500 (usar índice 1) Conta Quando o plano de consulta for escolhido, a consulta será avaliada com esse plano, e o resultado da consulta será gerado. 5

6 Custos da consulta Acessos ao disco; - Em grandes bd, o custo para acessar dados no disco é muito mais importante, pois o acesso ao disco é muito mais lento em compara as operações na memória Tempo de CPU para executá-la - As velocidades de CPU melhoraram muito mais rapidamente do que as velocidades do disco - Difícil de estimular Comunica - bd distribuidos ou paralelos Medidas de custo da consulta Número de transferências de blocos do disco (b) Tempo de transferência (tt) Número de busca do disco (s) Tempo de busca (ts) custo = b*tt + s*ts 6

7 Medidas de custo da consulta Escritas de bloco custam o dobro das leituras Os sistemas de disco lêem setores de volta depois que eles são escritos, para verificar se a escrita teve sucesso Os custos depende do tamanho do buffer na memória principal Medidas de custo da consulta melhor caso - todos os dados podem ser lidos para os buffers, e o disco não precisa ser lido novamente. pior caso - o buffer pode manter apenas alguns blocos de dados aproximadamente um bloco por rela Obs.: Ao representar estimativas de custos, geralmente consideramos o pior caso. Por isso o custo real de acesso ao disco durante a execu de um plano pode ser menor que o custo estimado. 7

8 Operaçã o de seleçã No processamento de consulta, a varredura de arquivos é o operador de menor nível para acessar dados. As varreduras de arquivo são algoritmos de busca que localizam e apanham registros que cumprem uma condi de sele. Algoritmos básicosb A1 (busca linear) o sistema varre cada bloco do arquivo e testa todos os registros para ver se satisfazem a condi de sele. Uma busca inicial é necessária para acessar o primeiro bloco. Custo ts+br*tt TS - tempo de busca br - transferências de blocos no arquivo tt - Tempo de transferência 8

9 Algoritmos básicosb Para uma sele sobre um atributo chave, o sistema pode terminar a varredura se o registro exigido for encontrado, sem examinar os outros registros da rela. Custo médio - br/2 Pior caso - br Algoritmos básicosb A2 (Busca Binária) - Se o arquivo for ordenado por um atributo, e a condi de sele for uma compara de igualdade sobre o atributo, podemos utilizar uma busca binária para localizar os registros que satisfazem a sele. No pior caso, o numero de blocos que precisam ser examinados para encontrar um bloco contendo os registros exigidos é log2(br), onde br é o numero de blocos no arquivo Custo log2(br) * (tt+ts) 9

10 Seleçõ ções usando índices As estruturas de índice são referenciadas como caminhos de acesso, pois oferecem um caminho pelo qual os dados podem ser localizados e acessados. Algoritmos de busca que usam um índice são considerados varreduras de índice, existem os índices primários que permitem que os registros de um arquivo sejam lidos em uma ordem que corresponde à ordem física no arquivo e os que não são primários serão secundários, vejamos: Índices de compara de igualdade A3 (índice primário, igualdade sobre chave) Usamos para apanhar um único registro que satisfaz a condi de igualdade correspondente. A4 (índice primário, igualdade sobre não chave) Igual ao A3, a diferença é que pode apanhar vários registros. O custo da opera depende da altura da árvore mais o número de blocos contendo registros com a chave de busca especificada. A5 (índice secundário, igualdade) Este pode ser usado nas seleções que especificam condi de igualdade sobre chave e sobre não chave. Essa estratégia pode apanhar um único registro se for sobre uma chave e vários registros se o campo de indexa não for uma chave. Seleções envolvendo comparaçõ ções A6 (índice primário, compara) Um índice primário ordenado pode ser usado quando a condi de sele é uma compara. Na forma A > v ou A v. A7 (índice secundário, compara) Usamos para guiar a recupera para as condições de compara envolvendo <,, ou >. 10

11 Classificaçã A classifica de dados desempenha um papel importante nos sistemas de Banco de Dados por dois motivos. Primeiro, as consultas de SQL podem especificar que a saída seja classificada. Segundo, e igualmente importante para o processamento da consulta, várias das operações relacionais, como junções, podem ser implementadas de forma eficiente se as relações de entrada forem classificadas primeiro. Podemos classificar uma rela criando um índice sobre a chave de classifica, e depois usado esse índice para ler a rela em ordem classificada. Temos relações que se encaixam inteiramente na memória principal e relações que são maiores do que a memória. A classifica de relações que não cabem na memória é chamada de classifica externa. A técnica mais utilizada para classifica externa é o algoritmo sort-merge externo. Descrevendo o algoritmo sort-merge externo. Considere que M indique o número de frames de página no buffer da memória principal (o número de blocos de disco cujo conteúdo pode ser mantido em buffer na memória principal) No primeiro estágio, diversas rodadas classificadas são criadas; cada rodada é classificada, mas contém apenas alguns dos registros da rela. i = 0; repeat lê M blocos da rela, ou o restante da rela, o que for menor; classifica a parte da rela na memória; grava dados classificados no arquivo da rodada R i; i = i + 1; until o final da rela 2. No segundo estágio, as rodadas são mescladas. Suponha, por enquanto, que o número total de rodadas, N, seja menor que M, de modo que podemos alocar um frame de página para cada rodada e ficar com espaço para manter uma página de saída. O estágio merge opera da seguinte forma: lê o bloco de cada um dos N arquivos Ri para uma página de buffer na memória; repeat escolhe a primeira tupla (na ordem de classifica) entre todas as páginas de buffer; escreve a tupla na saída e a exclui da página de buffer; if a página de buffer de qualquer rodada Ri for vazia and not end-of-file (Ri) then lê o próximo bloco de Ri para a página de buffer; until todas as páginas de buffer estarem vazias A saída do estágio de merge é a rela classificada. 11

12 Relaçã o inicial não n o classificada Criaçã o de rodadas Passo merge 1 Passo merge 2 Saída do estágio de merge é a relaçã o classificada 12