Processamento de Produtos ( X )

Transcrição

1 Processamento de Produtos ( X ) Alternativas e suas estimativas de custo A: laço aninhado ( nested-loop ) A: laço aninhado com índice ( indexed nestedloop ) A: merge-junção ( balanced-line ou sortmerge ) A: hash-junção ( hash-join ) Laço Aninhado (A) Dois laços para varredura de blocos das relações a serem combinadas para cada bloco B de faça para cada bloco B de faça início se uma tupla t B satisfaz a condição de junção com uma tupla t B então adicione t * t ao resultado fim

2 Pior caso Laço Aninhado - Custo apenas um bloco de cada relação cabe na memória custo = MIN(b + b * b, b + b * b ) Exemplo b b0 Tupla Tupla Tupla Tupla Tupla y b b0 Tupla Tupla Tupla Tupla Tupl custo = MIN (0+0*0, 0+0*0) = 0 acessos Laço Aninhado com Índice (A) Aplicado se existir um índice para o atributo de junção do laço interno Custo para cada tupla externa de, pesquisa-se o índice para buscar a tupla de custo diretamente associado ao tipo de índice b b0 Tupla Tupla Tupla Tupla Tupla y b b0 Tupla Tupla Tupla Tupla Tupl h I índice árvore-b p/ (I )

3 Laço Aninhado com Índice (A) Exemplos índice primário árvore-b para atributo chave (ver caso A da eleção) em custo = b + n * (h Is + ) índice primário árvore-b para atributo não-chave (ver caso A da eleção) em custo = b + n * (h Is + (C s ( ) / f ) ) índice secundário árvore-b para atributo nãochave (ver caso A da eleção) em custo = b + n * (h Is + + C ( ) ) Merge-Junção (A) Aplicada se e estiverem fisicamente ordenadas pelos atributos de junção ptr bloco bloco ptr bloco b tupla n tupla n bloco b

4 Merge-Junção - Funcionamento ID- ID- ptr 00 C ptr 00 A 00 E B D F esultado ID- ID- Merge-Junção - Funcionamento ID- ID- ptr 00 C ptr 00 A 00 E ptr. = ptr.? NÃO esultado B D F ID- ID-

5 Merge-Junção - Funcionamento ID- ID- 00 C ptr ptr 00 A 00 E ptr. = ptr.? IM esultado B D F ID- ID- 00 C Merge-Junção - Funcionamento ID ptr 00 ptr. = ptr.? NÃO esultado ID- C A ptr E B D F ID- ID- 00 C

6 Merge-Junção - Funcionamento ID ptr 00 ptr. = ptr.? IM esultado ID- C A E ptr B D F ID- ID- 00 C 00 E Merge-Junção - Funcionamento ID ptr 00 ptr. = ptr.? IM esultado ID- C A E B ptr D F ID- ID- 00 C 00 E 00 B

7 Merge-Junção - Funcionamento ID- ID- 00 C 00 A 00 E ptr B D ptr F esultado Final ID- ID- 00 C 00 E 00 B Merge-Junção - Custo Pressupõe que pelo menos um bloco de cada relação cabe na memória geralmente isso é possível exige uma única leitura de cada relação custo M-J = b + b e e/ou não estiverem ordenadas, elas podem ser ordenadas custo = custo ordenação e/ou + custo M-J

8 Ordenação Externa Ordenação interna ordenação feita totalmente em memória Ordenação externa ordenação na qual os dados não cabem inteiramente na memória útil no processamento de consultas exibição ordenada de dados (ODE BY) avaliação de planos de execução técnica mais utilizada para ordenação de relações Mergeort Externo Mergeort Externo Executa em etapas Etapa ort ordena partições da relação em memória tamanho da partição depende da disponibilidade de blocos na memória (n buf = n o de buffers disponíveis) gera um arquivo temporário ordenado para cada partição Etapa Merge de n iterações ordena um conjunto de temporários a cada iteração gera um novo temporário resultante da ordenação ordenação termina quando existir somente um temporário que mantém a relação inteira ordenada

9 Mergeort Externo - Exemplo n buf = ( ) f = b = 0 disco 0 memória sort temp temp temp temp 0 disco reservo bloco para o resultado ordenado 0 temp temp 0 ordenada memória 0 memória disco disco teração teração merge de n iterações 0 Mergeort Externo - Custo n buf = f = b = 0 disco 0 memória sort temp temp temp temp 0 disco + de todos os blocos da relação custo = * b

10 Mergeort Externo - Exemplo n buf = f = b = N o de iterações é dependente do n o de temporários a ordenar A cadteração, o n o de temporários se reduz a um fator de n buf n o iterações: log n buf (b / n buf ) + a cada iteração: * b custo = * b * log n buf (b / n buf ) n o inicial de temporários 0 temp temp temp 0 temp temp 0 ordenada memória temp final 0 memória disco disco temp disco teração teração merge de n iterações 0 Mergeort Externo - Custo n buf = f = b = 0 0 temp temp temp temp 0 Custo Total = * b + * b * log n buf (b / n buf ) = * b (log n buf (b / n buf ) + ) Exemplo =. ( log ( / ) + ) = ( + ) = acessos 0

11 Merge-Junção - Custo e ambas as relações ( e ) estão ordenadas custo = b + b e uma delas () não está ordenada custo = * b (log n buf (b / n buf ) + ) + b + b e ambas as relações não estão ordenadas custo = * b (log n buf (b / n buf ) + ) + * b (log n buf (b / n buf ) + ) + b + b Exercício Estime o custo das operações produtórias abaixo, considerando as estimativas sobre Pac dadas no Exercício, além de n buf =, n Cons = 000 tuplas e t Cons = 0 bytes. A relação Cons está ordenada por codm e possui um índice secundário hash para codp: a) ρ P (Pac) X θ=σ P.idade = P.idade ρ P (Pac) b) Pac Cons

12 Hash-Junção (A) Aplicada se existir um índice hash com a mesma função definido para os atributos de junção das relações e Executa em etapas. Particionamento separa em partições (conjunto de ou mais blocos) as tuplas de e que possuem o mesmo valor para a função de hash. Junção analisa e combina as tuplas de uma mesma partição Hash-Junção - Funcionamento t t X hash( ) = 0 hash( ) = 0 t t t X t t t t n hash( ) = hash( ) = X t m hash( ) = n hash( ) = n

13 Hash-Junção - Custo Fase de Particionamento lê as relações e e as reescreve, organizadas em partições sempre que um conjunto de tuplas com o mesmo valor de hash adquire o tamanho de um bloco, este bloco é anexado a um arquivo temporário para a partição para fins de simplificação de cálculo, considera-se que a função hash distribui uniformemente os valores das tuplas evita escrita de muitas pequenas partições (difícil estimar na prática). Assim, assume-se custo = custo e não custo > custo custo = * b + * b = * (b + b ) Hash-Junção - Custo Fase de Junção lê as partições de mesmo hash e combina as tuplas novamente, para fins de simplificação de cálculos, considera-se uma nova leitura de todos os blocos de e organizados nas partições na prática, é possível que alguns blocos de ou de sejam lidos mais de uma vez para serem combinados com outros blocos, porém, tal situação é muito dinâmica, dependendo dos dados existentes em e custo = (b + b ) Custo Total custo = * (b + b ) + (b + b ) = * (b + b )

14 Estimativa de Tamanho de Produtos Produto cartesiano ( X ) tamanho = n * n Junção por igualdade ( equi-join natural ou theta) junção natural sem atributo em comum tamanho = n * n Estimativa de Tamanho de Produtos Junção por igualdade ( equi-join ) junção por referência (fk() = pk()) tamanho estimado <= n ( < devido a eventuais nulos) na prática, assume-se tamanho = n X (supondo join theta) ID- ID- ID- ID-.ID-.ID

15 Estimativa de Tamanho de Produtos Junção por igualdade ( equi-join ) junção entre chaves candidatas (atributos unique) tamanho <= MIN (n, n ) ( < : nem todos podem casar) na prática, assume-se tamanho = MIN(n, n ) ID CPF CPF X (supondo join theta) ID-.CPF.CPF Estimativa de Tamanho de Produtos Junção por igualdade ( equi-join ) junção entre atributos não-chave ( () = ()) cada tupla de associa-se com C ( ) de se tenho n tuplas n * C ( ) idem para as tuplas de : n * C ( ) tamanho estimado = MIN( n * C ( ), n * C ( ) ) menor estimativa geralmente está mais próxima do real X (supondo join theta) C ( ) = / =, C s ( ) = / =, n * C ( ) = n * C ( ) = Tamanho estimado =

16 Estimativa de Tamanho de Produtos Junção theta por desigualdade ( () > (), por exemplo) estimativa: cada tupla de > n s / tuplas de e viceversa tamanho estimado (caso médio) = AVG(n * (n s / ), n * (n / )) = n * (n s / ) OU n * (n / )) X (supondo join theta) n * (n / ) = *, = n * (n / ) = * = Tamanho estimado = Junções Complexas - Custo Estimativas de custo apresentadas até agora consideram uma única condição de junção na prática, várias condições podem ser definidas Dada umunção complexa conjuntiva X θ = σ c c cn estima-se o custo de cada condição c i X θ = σ ci escolhe-se a condição c i de menor custo para ser implementada as demais condições c, c,, c i-, c i+,, c n são verificadas a medida que as tuplas de X θ = σ ci são geradas

17 Junções Complexas - Custo Dada umunção complexa disjuntiva X θ = σ c c cn, tem-se as seguintes alternativas aplica-se o algoritmo de laço aninhado mais simples e independente de condição de junção aplica-se ( X θ = σ c ) ( X θ = σ c ) ( X θ = σ cn ) custo total é a soma dos menores custos de cada junção individual tamanho do resultado é dado pela estimativa de tamanho de operações de união (a ser visto) Exercício Estime o tamanho das operações produtórias do Exercício