Principais Desafios dos SGBDDs. Processamento Distribuído de Consultas. Processamento de Consultas. Componentes do Processamento de Consultas

Transcrição

1 Principais Desafios dos SGBDDs Processamento Distribuído de Consultas Fernanda Baião Processamento Distribuído de Consultas conversão de transações do usuário em instruções de manipulação de dados Problema de otimização min{custo = transmissão dados + process. local} formulação geral do problema é NP-difícil Setembro de M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 2 Processamento Distribuído de Consultas Tradução automática das consultas em linguagem de alto nível base distribuída é vista como única pelo usuário A tradução deve ser correta O plano gerado deve ser ótimo Processamento de Consultas Consulta de alto nível Processador De Consultas Comandos de manipulação de dados de baixo nível 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 4 Componentes do Processamento de Consultas Linguagem de consultas SQL, OQL Metodologia de execução de consultas Os passos seguidos para a execução de consultas de alto nível (declarativas) dos usuários Otimização de consultas Como determinar o melhor plano de execução? Selecionando alternativas SELECT ENAME FROM EMP,ASG WHERE EMP.ENO = ASG.ENO AND DUR > 37 Estratégia 1 π ENAME (σ DUR>37 EMP.ENO=ASG.ENO (EMP ASG)) Estratégia 2 π ENAME (EMP ENO (σ DUR>37 (ASG))) Estratégia 2 evita o produto cartesiano, então é melhor 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 6 1

2 Qual é o problema? Estratégia 1 Estratégia 2 Suponha que existam 20 tuplas que satisfazem este predicado, uniformemente distribuídas pelos fragmentos 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 7 Custo das alternativas Suponha size(emp) = 400, size(asg) = 1000 Custo de acesso a tupla (CA)= 1 unidade; Custo de transferência de tupla (CT) = 10 unidades Estratégia 1 produzir ASG': (10+10)*CA 20 transferir ASG' para os nós de EMP: (10+10)*CT 200 produzir EMP': (10+10)*CA*2 40 transferir EMP' para o nó do resultado: (10+10)*CT 200 Custo total 460 Estratégia 2 transferir EMP para o nó 5: 400*CT 4,000 transferir ASG para o nó 5: 1000*CT 10,000 produzir ASG': 1000*CT 1,000 junção EMP and ASG': 400*20*CA 8,000 Custo total 23, M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 8 Objetivos da Otimização de consultas Custo total x custo de resposta Minimizar uma função de custo custo E/S + custo CPU + custo comunicação...que podem ter pesos diferentes em ambientes distribuídos distintos WAN custo de comunicação é dominante largura de banda baixa velocidade baixa alta sobrecarga do protocolo a maioria dos algoritmos desprezam os demais componentes do custo LAN custo de comunicação não é tão dominante função de custo total deve ser considerada 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 9 Complexidade de Operações da Álgebra Relacional Suponha Relações com cardinalidade n Varredura sequencial Operação Seleção Projeção (sem eliminação de duplicatas) Projeção (com eliminação de duplicatas) Grupo Junção Semijunção Divisão Operadores de conjuntos Produto cartesiano Complexidade O(n * log n) O(n * log n) O(n 2 ) 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 10 O(n) Consultas Tipos Busca Exaustiva Baseada em custo Encontra solução ótima Heurísticas Encontra solução boa, mas não necessariamente ótima Exemplos Re-agrupar sub-expressões em comum Realizar seleções e projeções primeiro Re-ordenar operações para minimizar tamanho das relações intermediárias Substituir junções por combinações de semi-junções Consultas Granularidade Uma consulta de cada vez Não usa resultados intermediários em comum Múltiplas consultas de uma vez Eficiente se existem muitas consultas similares Espaço de soluções muito maior 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 12 2

3 Consultas Sincronização Momento da otimização x Momento da execução Estática Em tempo de compilação, antes da execução Dificuldade em estimar tamanho dos resultados intermediários estatísticas do banco Propagação de erros Custo amortizado sobre várias execuções Dinâmica Em tempo de execução Informação exata sobre tamanhos dos resultados intermediários Custo repetido para cada execução Híbrida Compilação usa algoritmo estático Se erro nos tamanhos estimados > threshold, re-otimiza em tempo de execução Consultas Estatísticas Relações / Fragmentos cardinalidade Tamanho da tupla Fração das tuplas que participam em uma junção com outra relação Atributos Cardinalidade do domínio Número de valores distintos Premissas comuns Independência entre valores distintos de atributos Distribuição uniforme dos valores do atributo no seu domínio 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 14 Consultas Sites de decisão Centralizada Único nó determina a melhor estratégia simples Requer conhecimento de todo o banco de dados distribuído Distribuída Nós cooperam entre si para determinar a estratégia Requer apenas informações locais Custo da cooperação Híbrida Único nó determina estratégia global Cada nó otimiza subconsultas locais Consultas Topologia da Rede WAN Características (recordando) largura de banda baixa velocidade baixa alta sobrecarga do protocolo custo de comunicação é dominante a maioria dos algoritmos desprezam os demais componentes do custo Estratégia global minimiza custo de comunicação Estratégias locais de acordo com processamento centralizado de consultas LAN custo de comunicação não é tão dominante função de custo total deve ser considerada Aumento da execução paralela mesmo aumentando custo de comunicação Broadcasting para operações de junção 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 16 Metodologia para o Processamento Distribuído de Consultas Nó de controle Nós locais Consulta de cálculo sobre relações distribuídas Decomposição De Consultas Consulta algébrica sobre relações distribuídas Localização de Dados Consulta de fragmentos Otimização Global Consulta de fragmentos otimizada com operações de comunicação Otimização Local Esquema Global Esquema de Fragmentos Estatísticas sobre Fragmentos Esquema Local Consultas locais otimizadas 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 17 Fase 1 Decomposição de Consultas Normalização Transformação mais importante é a dos qualificadores da consulta (cláusula WHERE) e qualificadores (, ) Análise Detectar e rejeitar consultas incorretas Simplificação Eliminar predicados redundantes Reescrita e reestruturação Cálculo álgebra (representada pela árvore de operadores) Regras de transformação Mais de uma tradução possível 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 18 3

4 Normalização - Exemplo Encontrar os nomes dos funcionários que estão trabalhando no projeto P1 por 12 ou 24 meses SELECT ENAME FROM EMP, ASG WHERE EMP.ENO = ASG.ENO AND ASG.PNO = P1 AND DUR = 12 OR DUR = 24 Análise - Exemplo SELECT E1 FROM EMP WHERE ENAME > 200 Forma normal conjuntiva EMP.ENO = ASG.ENO ASG.PNO = P1 (DUR = 12 DUR = 24) Forma normal disjuntiva (EMP.ENO = ASG.ENO ASG.PNO = P1 DUR = 12) (EMP.ENO = ASG.ENO ASG.PNO = P1 DUR = 24) 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 20 Simplificação - Exemplo Restruturação - Exemplo 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 22 Restruturação - Exemplo Fase 2 Localização de Dados Entrada: consulta algébrica nas relações distribuídas Determina que fragmentos estão envolvidos Programa de Localização Substituir cada relação global pelo seu programa de localização Programa em álgebra relacional Operandos são os fragmentos Utilizar regras de reconstrução Otimizar Redução de consultas 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 24 4

5 Programa de Localização - Exemplo Localização provê paralelismo... Suponha EMP fragmentada EMP 1 = σ ENO E3 (EMP) EMP 2 = σ E3 < ENO E6 (EMP) EMP 3 = σ ENO > E6 (EMP) ASG fragmentada ASG 1 = σ ENO E3 (ASG) ASG 2 = σ ENO > E3 (ASG) Substitua em todas as consultas EMP por (EMP 1 EMP 2 EMP 3 ) ASG por (ASG 1 ASG 2 ) 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 26 Eliminação do trabalho desnecessário Redução para FHP Redução com seleção Relação R e F R ={R 1, R 2,, R w } onde R j =σ pj (R) σ pj (R j )= φ se x em R: (p i (x) p j (x)) Exemplo 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 28 Redução para FV Encontrar relações intermediárias (não vazias) inúteis Relação R com atributos A = {A1,..., An} fragmentada verticalmente como F R ={R 1, R 2,, R w } onde R j =π A (R), A A π D,K (R j ) é inútil se D A Exemplo: Suponha EMP1= π ENO,ENAME (EMP); EMP2= π ENO,TITLE (EMP) Redução para FHD Regra: Junções substituídas por uniões de junções parciais Aplicar a redução para fragmentação horizontal Exemplo: ASG 1 = ASG ENO EMP 1 ASG 2 = ASG ENO EMP 2 EMP 1 = σ TITLE = Programmer (EMP) EMP 2 = σ TITLE Programmer (EMP) SELECT * FROM EMP, ASG WHERE ASG.ENO = EMP.ENO AND EMP.TITLE = Mech. Eng M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 30 5

6 Redução para FHD - Exemplo Redução para FHD - Exemplo Consulta Genérica Junções por uniões de junções parciais Seleções Primeiro Eliminação de relações intermediárias vazias 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 32 Fase 3 Otimização Global Processo de Otimização de Consultas Input: Consulta de fragmentos Encontre a melhor (não necessariamente ótima) estratégia global (plano de execução de consultas Minimizar uma função de custo Processamento distribuído de junções Árvores de junção lineares x Bushy Que relação (operando) enviar para onde? Envio total x envio sob demanda Decidir sobre o uso de semijunções Economiza comunicação, aumenta processamento local Métodos de junção Loops aninhados x junções ordenadas ( merge join ou hash join ) 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 33 Consulta de entrada Geração do espaço de busca Planos de execução de consultas equivalentes Estratégia de busca Melhor Plano de execução de consultas Regras de Transformação Modelo De Custo 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 34 Espaço de Busca Espaço de Busca Caracterizado por planos de execução de consulta equivalentes Foco é nas árvores de junção Para N relações, existem O(N!) árvores de junção equivalentes que podem ser obtidas aplicandose regras de comutatividade e associatividade Restringir através de heurísticas Operações unárias antes das binárias,... Restringir a forma da árvore de junção Considere apenas árvores lineares, ignore as bushy? SELECT FROM WHERE AND ENAME,RESP EMP, ASG, PROJ EMP.ENO=ASG.ENO ASG.PNO=PROJ.PNO 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 36 6

7 Tempo Total x Tempo de Resposta Fase 4 Otimização Local Nó 1 x unidades Nó 2 y unidades Nó 3 Suponha que apenas o custo de comunicação é considerado Tempo Total = 2 * tempo mensagem de inicialização + tempo de transmissão unitário * (x+y) Tempo de Resposta = max {tempo para enviar x de 1 a 3, tempo para enviar y de 2 a 3} tempo para enviar x de 1 a 3 = tempo mensagem de inicialização + tempo de transmissão unitário * x tempo para enviar y de 2 a 3 = tempo mensagem de inicialização + tempo de transmissão unitário * y 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 37 Input: Melhor plano de execução global Selecionar o melhor caminho de acesso Usar técnicas de otimização centralizadas 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 38 Problemas no Processamento Distribuído de Consultas Modelo de Custo Otimizações de consultas múltiplas Heurísticas para reduzir alternativas Conjunto maior de consultas Otimização apenas nas consultas SPJ Necessidade de tratar consultas mais complexas (uniões, disjunções, agregações, ordenações) Avaliação custo otimização X custo execução Intervalo entre a otimização e re-otimização Principais Desafios dos SGBDDs Controle de Concorrência Distribuído sincronização de acessos concorrentes consistência versus concorrência Problemas Gerência de cópias múltiplas Falhas locais em nós Falha nas ligações de comunicação Finalização (commit) distribuída Bloqueio perpétuo (deadlock) distribuído Problemas muito complexos e ainda em aberto M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 40 Controle de Concorrência Distribuído Principais Desafios dos SGBDDs Alternativas de Implementação tempos separados para leitura e modificação 2 cópias da base da dados distribuída 1 para consultas, 1 para atualização atualizações periódicas na base de consultas Confiabilidade Como tornar o sistema tolerante a falhas SGBDs componentes, rede de comunicação Durabilidade e Atomicidade 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 42 7

8 Relações entre os Desafios Questões Relacionadas aos SBDD Suporte do Sistema Operacional SGBDs não são uma aplicação como outra qualquer... suporte apropriado a operações de bancos de dados Situação ainda mais crítica no caso dos SBDDs Ex: suporte a transações distribuídas com controle de concorrência e reconstrução requisitos de processamento propósito geral + SBBDs 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 44 Questões Relacionadas aos SBDD Processamento de Transações Distribuído Manter um estado consistente da base de dados com replicação protocolos sofisticados de controle de réplicas. O método mais imediato é o ROWA (read one write many), muito caro. Avaliar três tipos de replicação replicação dos dados replicação do processamento replicação da comunicação 1998 M. Tamer Özsu e Patrick Valduriez (tradução livre e adaptações Fernanda Baião) 45 8