INE 5616 Banco de Dados II

Transcrição

1 UFSC-CTC-INE Curso de Sistemas de Informação INE 5616 Banco de Dados II Ronaldo S. Mello 2008/1 Horário Atendimento: Quintas-feiras, das 18h00 às 19h30 Programa da Disciplina Objetivo Conteúdo Avaliação Bibliografia Cronograma (Previsto) de Aulas 1

2 Objetivo Esta disciplina apresenta técnicas de gerenciamento interno de dados utilizados por um SGBD para processamento de consultas e controle de transações, além de fundamentos de BDs Distribuídos (BDDs) e noções de novas tecnologias de BDs, ditas tecnologias pós-relacionais. Ao final da disciplina, o aluno deverá ser capaz de entender e avaliar as técnicas de gerenciamento de SGBDs, bem como ter noções de BDDs e de tecnologias pósrelacionais de BDs. 1. Processamento de Consultas i. Etapas ii. Otimização Algébrica iii. Planejamento de Execução 2. Gerência de Transações i. Introdução a Transações ii. Recuperação de Falhas (recovery) iii. Controle de Concorrência (scheduler) 3. Fundamentos de BDDs i. Conceitos Básicos ii. Fundamentos de Projeto de BDD iii. Processamento de Consultas iv. Gerência de Transações 4. Noções de BDs Pós-Relacionais Conteúdo 2

3 Avaliação 2 Provas: P1 e P2; 1 Trabalho de Implementação (Ti); 1 Seminário (S). Conteúdo da P1: processamento de consultas; Conteúdo da P2: recovery, scheduler e BDDs. Nota Final (NF) = 0.3 P P Ti S Recuperação: prova abrangendo todo o conteúdo ministrado na disciplina (PR). Aplica-se somente a alunos com 3.0 <= NF < 5.75 e nota Ti > 0 e nota S > 0. A nova nota final (NNF) será NNF = (NF + PR) / 2. Avaliação Trabalho de Implementação: grupos de até 4 pessoas; implementação de alguma técnica de gerenciamento interno de SGBD (processamento de consultas ou gerência de transações). Seminário: grupos de até 4 pessoas; apresentação de alguma tecnologia pós-relacional: BDOO, BDOR, BDG, BD XML, etc. itens de avaliação: (i) organização das transparências; (ii) clareza; (iii) conteúdo; (iv) administração do tempo. Observação: exercícios podem ser solicitados durante o semestre. A nota destes exercícios pode contribuir para o aumento da nota das provas. 3

4 Bibliografia Principal 1. Elmasri, R.; Navathe S. B. Sistemas de Banco de Dados. 4a edição. Editora Addison-Wesley (em inglês: Elmasri, R.; Navathe S. B. Fundamentals of Database Systems. 4th ed. Addison-Wesley. 2003). 2. Korth, H. F.; Sudarshan, S; Silberschatz, A. Sistema de Banco de Dados. 5a edição. Editora Campus, Ramakrishnan, R., Gehrke, J. Database Management Systems. 3th ed. McGraw Hill Date, C. J. Introdução a Sistemas de Bancos de Dados. 8a edição. Editora Campus, Özsu, M.; Valduriez, P. Princípios de Sistemas de Banco de Dados Distribuídos. 2a ed. Editora Campus, Bernstein, P. A.; Hadzilacos, V.; Goodman, N. Concurrency Control and Recovery in Database Systems. Addison-Wesley, Data 5/mar 7/mar 14/mar 21/mar 28/mar 2/abr 4/abr 9/abr 11/abr 16/abr 18/abr 23/abr 25/abr 30/abr 02/mai 09/mai 14/mai 16/mai 21/mai 23/mai 28/mai 30/mai 04/jun Conteúdo apresentação; etapas processamento consultas otimização algébrica otimização algébrica SEM AULA FERIADO - PÁSCOA plano de execução SEM AULA ERBD 2008 SEM AULA ERBD 2008 plano de execução plano de execução plano de execução plano de execução PROVA 1 introdução a transações; recovery recovery SEM AULA - FERIADO DIA DO TRABALHO recovery recovery scheduler scheduler SEM AULA FERIADO CORPUS CHRISTI scheduler scheduler scheduler Data 06/jun 11/jun 13/jun 18/jun 20/jun 25/jun 27/jun 02/jul 04/jul 09/jul 11/jul Cronograma (Previsto) de Aulas Conteúdo BDD BDD BDD PROVA 2 APRESENTAÇÃO SEMINÁRIOS APRESENTAÇÃO SEMINÁRIOS APRESENTAÇÃO SEMINÁRIOS APRESENTAÇÃO SEMINÁRIOS APRESENTAÇÃO TRABALHOS APRESENTAÇÃO TRABALHOS RECUPERAÇÃO 4

5 Convite: ERBD 2008! O que é a ERBD? A ERBD é dirigida a profissionais e acadêmicos das diversas faculdades, universidades e empresas da região Sul do Brasil interessados na área de BD. O evento está estruturado em tutoriais, oficinas, sessões técnicas e palestras acadêmicas e empresariais. Pela primeira vez teremos a ERBD em SC! Onde e quando será realizada a ERBD 2008? Auditório da Reitoria da UFSC, de 02 a 04 de Abril Tema da Escola: Sintonia Fina (Tuning) de Banco de Dados Principais Palestrantes Confirmados: Prof. Dr. Sérgio Lifschitz (PUC/RJ) Tuning PostgreSQL Google Brasil GoogleTabs SGM Tecnologia da Informação Tuning Oracle Tutoriais Confirmados: Tunning de VLDB Web Mining Sorteio de assinaturas e exemplares da revista SQL Magazine! Inscrições com desconto até 10 de Março! Site: Organização: INE/UFSC Promoção: SBC Sumário 1 Processamento de Consultas 2 Introdução a Transações 3 Recuperação de Falhas 4 Controle de Concorrência 5 Banco de Dados Distribuído 5

6 Processamento de Consultas Extração de informações do BD Consulta SQL adequada para uso humano não adequada para processamento pelo SGBD não descreve uma seqüência de passos (procedimento) a ser seguida não descreve uma estratégia eficiente para a implementação de cada passo no que diz respeito ao acesso a nível físico (arquivos do BD) O SGBD deve se preocupar com este processamento! módulo Processador de Consultas Módulo Processador de Consultas Objetivo otimização do processamento de uma consulta tradução, transformação e geração de uma estratégia (plano) de acesso estratégia de acesso leva em conta algoritmos pré-definidos para implementação de passos do processamento e estimativas sobre os dados Vale a pena todo este esforço? Sim! T x = tempo para definir e executar uma estratégia otimizada de processamento T y = tempo para executar uma estratégia nãootimizada de processamento Quase sempre: T x << T y 6

7 Etapas de Processamento Consulta em linguagem de alto nível (consulta SQL, p. ex.) Transformação Tradução Representação interna (árvore algébrica da consulta) Representação transformada (árvore otimizada algebricamente) Definição do Gerador de Código (árvore com indicação de estratégias de acesso) Código de Execução Processador Run-time Resultado da Consulta Etapas de Processamento Consulta em linguagem de alto nível (consulta SQL, p. ex.) Transformação Tradução Representação interna (árvore algébrica da consulta) Representação transformada Definição do (árvore análise otimizada léxica algebricamente) - cláusulas SQL e nomes válidos análise sintática - validação da gramática Gerador análise semântica de Código (árvore com indicação de - nomes usados de acordo com a estrutura estratégias de acesso) do esquema conversão para uma árvore algébrica Código de da consulta Resultado da Execução Processador Run-time Consulta 7

8 Árvore (Algébrica) da Consulta Estrutura que representa o mapeamento da consulta SQL para a álgebra relacional na verdade, uma expressão de álgebra relacional estendida pode indicar alguma computação (função agregação, atributo calculado,...) nodos folha: relações (do BD ou resultados intermediários) nodos internos: operações da álgebra Processamento da árvore nodos internos são executados quando seus operandos estão disponíveis são substituídos pela relação resultante a execução termina quando o nodo raiz é executado Exemplo de Árvore da Consulta select m.crm, m.nome, a.número, a.andar from Médicos m, Ambulatórios a where m.especialidade = ortopedia and a.andar = 2 and m.número = a.número π m.crm, m.nome, a.número, a.andar σ m.especialidade = ortopedia X a.andar = 2 m.número = a.número Médicos Ambulatórios 8

9 Etapas de Processamento Consulta em linguagem de alto nível (consulta SQL, p. ex.) Transformação Tradução Representação interna (árvore algébrica da consulta) Representação transformada (árvore otimizada algebricamente) Gerador de Código Definição do definição de uma árvore de consulta Plano equivalente de Execução - chega ao mesmo resultado - processa de forma mais eficiente também (árvore chamada com indicação de de estratégias de acesso) Otimização Algébrica Código de Execução Processador Run-time Resultado da Consulta Exemplo de Árvore Equivalente π m.crm, m.nome, a.número, a.andar π m.crm, m.nome, a.número, a.andar σ m.número = a.número σ m.especialidade = ortopedia X a.andar = 2 m.número = a.número X Médicos Ambulatórios σ m.especialidade = ortopedia σ a.andar = 2 Médicos Ambulatórios 9

10 Etapas de Processamento Consulta análise de em alternativas linguagem de definição de estratégias de alto de nível acesso Tradução (consulta - escolha SQL, de p. algoritmos ex.) para implementação de operações Transformação - existência de índices Representação interna - estimativas sobre os dados (árvore algébrica da consulta) (tamanho de tabelas, seletividade,...) Representação transformada (árvore otimizada algebricamente) Definição do Gerador de Código (árvore com indicação de estratégias de acesso) Código de Execução Processador Run-time Resultado da Consulta Exemplo de π m.crm, m.nome, a.número, a.andar (processamento pipeline) σ m.número = a.número X (loop-aninhado) σ m.especialidade (pesquisa linear) = ortopedia σ a.andar = 2 (pesquisa indexada) Médicos Ambulatórios 10

11 Etapas de Processamento Consulta em linguagem de alto nível (consulta SQL, p. ex.) Transformação Tradução Representação interna (árvore algébrica da consulta) Representação transformada (árvore otimizada algebricamente) Definição do Gerador de Código (árvore com indicação de estratégias de acesso) Código de Execução Processador Run-time Resultado da Consulta Etapas de Processamento Consulta em linguagem de alto nível (consulta SQL, p. ex.) Transformação Tradução Representação interna (árvore algébrica da consulta) Representação transformada Definição do (árvore otimizada algebricamente) FOCO: OTIMIZADOR DE CONSULTA Gerador de Código (árvore com indicação de estratégias de acesso) Código de Execução Processador Run-time Resultado da Consulta 11

12 Otimização Algébrica Objetivo do passo de Transformação entrada: árvore da consulta inicial saída: árvore da consulta otimizada (pode manter a mesma árvore) Base regras de equivalência algébrica devem ser conhecidas pelo otimizador para que possam ser geradas transformações válidas algoritmo de otimização algébrica indica a ordem de aplicação das regras e de outros processamentos de otimização Regras de Equivalência Algébrica 1. Cascata de Seleções σ c1 c2... cn (R) σ c1 (σ c2 (... (σ cn (R)))) 2. Comutatividade de Seleções σ c1 (σ c2 (R)) σ c2 (σ c1 (R)) 3. Cascata de Projeções π listaatributos1 (R) π listaatributos1 (π listaatributos2 (...(π listaatributosn (R)))) - válido em que situação? 12

13 Regras de Equivalência Algébrica 4. Comutatividade de Seleções e Projeções (a)π a1, a2,..., an (σ c (R)) σ c (π a1, a2,..., an (R)) ou (b)π a1, a2,..., an (σ c (R)) π a1, a2,..., an (σ c (π a1, a2,..., an, ap,..., at (R))) - válidas em quais situações? 5. Comutatividade de Operações Produtórias ( X ) R X S S X R - por X entenda-se: X ou X θ ou - a ordem dos atributos e tuplas do resultado não é relevante Regras de Equivalência Algébrica 6. Comutatividade de Seleções e Operações Produtórias (a)σ c (R X S) (σ c (R)) X S ou (b)σ c (R X S) (σ c1 (R)) X (σ c2 (S)) (c)σ c (R X S) σ c (σ c1 (R)) X (σ c2 (S)) - válidas em quais situações? 7. Comutatividade de Projeções e Operações Produtórias (a)π listaatributos1 (R X S) (π listaatributos2 (R)) X S ou (b) π listaatributos1 (R X S) (π listaatributos1 (π listaatributos2 (R)) X S) ou (c)π listaatributos1 (R X S) (π listaatributos2 (R)) X (π listaatributos3 (S)) ou (d)π listaatributos1 (R X S) π listaatributos1 ((π listaatributos2 (R)) X (π listaatributos3 (S))) - válidas em quais situações? 13

14 Regras de Equivalência Algébrica 8. Comutatividade de Operações de Conjunto R S S R e R S S R - por quê a não é comutativa? 9. Associatividade de Operações Produtórias e de Conjunto ( οx ) (R οx S) οx T R οx (S οx T) - por οx entenda-se: X ou X θ ou ou ou - por quê a não é associativa? Regras de Equivalência Algébrica 9. Associatividade de Operações Produtórias e de Conjunto ( οx ) (R οx S) οx T R οx (S οx T) Observação: predicados de junção devem ser devidamente ajustados na associatividade de operações produtórias Exemplo: seja θ 1 um predicado sobre atributos de R e S, θ 2 um predicado sobre atributos de S e T, e θ 3 um predicado sobre atributos de R e T. Então: (R X θ1 S) X θ2 θ3 T R X θ1 θ3 (S X θ2 T) 14

15 Regras de Equivalência Algébrica 10. Comutatividade de Seleção e Operações de Conjunto ( ο ) σ c (R ο S) (σ c (R)) ο (σ c (S)) - por ο entenda-se: ou ou 11. Comutatividade de Projeção e União π listaatributos (R S) (π listaatributos (R)) (π listaatributos (S)) - supõe-se atributos de R e S renomeados para manter os mesmos nomes - por quê a e a não são comutativas? Regras de Equivalência Algébrica 12. Fusão de Seleções e Operações Produtórias (a)σ c (R X S) R X θ = σ c S ou (b) σ c (R X S) R S ou c (c) R X θ = σ c S R c S - válidas em quais situações? 15

16 Algoritmo de Otimização Algébrica Algoritmo de alto (altíssimo!) nível Tenta gerar a árvore mais otimizada possível Exemplo de Consulta (BD Clínica) SELECT p.codp, p.nome, c.data FROM Pacientes p, Consultas c, Medicos m WHERE m.especialidade = ortopedia AND m.codm = c.codm AND p.codp = c.codp AND c.hora = 14:00 AND p.idade > 60 Médicos(codm, nome, idade, especialidade) Pacientes(codp, nome, doença, idade) Consultas(codm,codp,data,hora) Algoritmo de Otimização Algébrica Composto de 6 grandes passos cada passo pode aplicar uma mesma regra várias vezes Passo 1 aplicar a regra 1 desmembrar operações de seleção maior flexibilidade para mover seleções Passo 2 aplicar as regras 2, 4, 6 e 10 objetivo mover seleções para níveis inferiores da árvore o máximo possível 16

17 Algoritmo de Otimização Algébrica Passo 3 aplicar regra 9 mudar de posição sub-árvores envolvidas em operações produtórias objetivos combinar prioritariamente sub-árvores com menor número de dados» investigar sub-árvores com seleções mais restritivas evitar produtos cartesianos» combinações sem atributos de junção como saber quais as seleções mais restritivas? análise do grau de seletividade de um predicado» estatística geralmente mantida no DD regra 5 útil apenas para processadores que executam junções com base na relação da esquerda (deve ser a de menor tamanho) Grau de Seletividade (GS ai (R)) Definido pela seguinte razão GS ai (R) = t p (R) / R, onde t p (R) é o número de tuplas que satisfazem o predicado aplicado sobre um atributo ai em uma relação R e R é o número de tuplas em R (G S [0,1]) GS ai (R) pequeno ( 0) seleção mais restritiva Um atributo chave a c possui baixo G S em predicados de igualdade GS ac (R) = 1 / R Geralmente mantém-se uma estimativa de distribuição uniforme de valores de atributos GS ai (R) = ( R / V(a i )) / R = 1 / V(a i ), onde V(a i ) é o número de valores distintos de a i 17

18 Algoritmo de Otimização Algébrica Passo 4 aplicar a regra 12 otimizar operações produtórias Passo 5 aplicar as regras 3, 4, 7 e 11 desmembrar e mover projeções para níveis inferiores da árvore, tanto quanto possível, definindo novas projeções conforme se faça necessário Passo 6 identificar sub-árvores que representem grupos de operações que possam ser executados por um único algoritmo defina-os uma única vez (uma única sub-árvore) na árvore Passo 6 - Exemplo π r1, s1, s2, t1, t2 π r1, s1, s2, t1, t2 Xθ Xθ σ r1 = x σ s1 > y σ s1 > y σ t2 < z σ r1 = x σ s1 > y σ t2 < z R S S T R S T 18

19 Exercício1 Operadores Lógicos Considerando que p1, p2 e p3 são predicados de seleção, as leis abaixo são úteis no algoritmo de otimização algébrica (Passo 1)? Justifique suas respostas. Leis de De Morgan (a) (p1 p2) ( p1) ( p2) (b) (p1 p2) ( p1) ( p2) Leis da Distributividade (a) p1 (p2 p3) (p1 p2) (p1 p3) (b) p1 (p2 p3) (p1 p2) (p1 p3) Exercício 2 Mostre o resultado da execução passo a passo do algoritmo de otimização algébrica para as seguintes consultas: a) b) SELECT p.codp, p.nome, c.data FROM Pacientes p, Consultas c WHERE NOT (p.doença = cancer OR c.hora < 14:00 ) AND p.codp = c.codp SELECT X.nome FROM (SELECT p.nome,p.idade FROM Pacientes p WHERE p.doença = cancer UNION SELECT m.nome,m.idade FROM Medicos m, Consultas c WHERE m.codm = c.codm AND m.especialidade = ortopedia ) as X WHERE X.idade > 60 19