Dwing. DW demanda SGBDs diferentes!

Transcrição

1 Dwing Processamento de BD em DWing Rubens Melo -DI PUC-Rio DW demanda SGBDs diferentes! Para Sistemas Operacionais, considera-se a necessidade de uma grande quantidade de pequenas operações de acesso (leitura / escrita ), simultâneas. Para DW, considera-se consultas complexas, ad-hoc e data-intensive. 1

2 EM DW, significante diferença: Tecnológica, com relação em como esses sistemas consomem recursos de computação. Na abordagem para a definição de (star) esquemas de BD Processamento de BD em DWing ROLAP pode ser eficiente? Que tecnologias podem melhorar a performance interna do processamento de (BD Rel) DW? 2

3 Processamento ROLAP servers vs. MOLAP servers 1. Estruturas de Indice 2. Materialização de dados Client derivados 3. Algoritmos Query & Analysis Metadado DW Client integração Source Source Source ROLAP Server Relational OLAP Server tools sale prodid date sum p p p utiliários ROLAP server Precisa de Indices especiais, tuning; desnormalizado, etc relational DBMS 3

4 MOLAP Server Multi-Dimensional OLAP Server City A B Sales utilitários M.D. tools multidimensional server Product milk soda eggs soap Date Proprrietario mas podia.. relational DBMS Estruturas de Indices p/ DW Existem os tradicionais Métodos de Acesso de BD B-trees, hash tables, R-trees, grids, Para DWs que são orientados a consulta: inverted lists bit map indexes join indexes text indexes 4

5 Inverted Lists r4 r18 r34 r35 r5 r19 r37 r40 rid name age r4 joe 20 r18 fred 20 r19 sally 21 r34 nancy 20 r35 tom 20 r36 pat 25 r5 dave 21 r41 jeff age index inverted lists data records Usando Inverted Lists Query: Get people with age = 20 and name = fred Lista de age = 20: r4, r18, r34, r35 Lista de name = fred : r18, r52 Resposta ( interseção): r18 5

6 Bit Maps age index bit maps id name age 1 joe 20 2 fred 20 3 sally 21 4 nancy 20 5 tom 20 6 pat 25 7 dave 21 8 jeff data records Usando Bit Maps Query: Get people with age = 20 and name = fred Lista de age = 20: Lista de name = fred : Resposta (interseção): Bom se cardinalidade do domínio pequena Bit vectors podem ser comprimidos... 6

7 Operação de Junção (Join) Combine as tabelas SALE, PRODUCT Em SQL: SELECT * FROM SALE, PRODUCT sale prodid storeid date amt p1 c p2 c p1 c p2 c2 1 8 p1 c p1 c2 2 4 product id name price p1 bolt 10 p2 nut 5 jointb prodid name price storeid date amt p1 bolt 10 c p2 nut 5 c p1 bolt 10 c p2 nut 5 c2 1 8 p1 bolt 10 c p1 bolt 10 c2 2 4 Join Indexes product id name price jindex p1 bolt 10 r1,r3,r5,r6 p2 nut 5 r2,r4 join index aumenta performance sale rid prodid storeid date amt r1 p1 c r2 p2 c r3 p1 c r4 p2 c2 1 8 r5 p1 c r6 p1 c

8 Processamento de BD em DWing Como a Materialização de Dados derivados ajudam na Performance dos DWs? O que Materializar? Gravar no DW resultados úteis p/ queries comuns Exemplo: c1 c2 c3 day 2 p day 1 p2 c1 c2 c3 p p total sales materializar c1 c2 c3 p p c1 c2 c3 p c1 p1 110 p

9 Fatores p/ Materialização Tipo/frequência de queries Tempo de resposta de Queries Custo de armazenamento Custo de atualização Lattice de Agregações 129 all c1 c2 c3 p city product date city, product city, date product, date c1 c2 c3 p p day 2 c1 c2 c p1 day 1 p2 c1 c2 c p1 p city, product, date Usa-se algoritmos p/ decidir o que materializar 9

10 Hierarquias de Dimensão all state cities city state c1 CA c2 NY city Hierarquias de Dimensão all city product date city, product city, date product, date city, product, date state state, product state, date state, product, date Nem todos os arcos foram mostrados... 10

11 Hierarquia do Tempo all weeks years quarters time day week month quarter year days months conceptual dimension table Processamento de BD em DWing Que tipos de algorítmos tem sido propostos para aumentar a performance em DW? 11

12 Algoritmos em DW Precisa-se de algorítmos especiais em DW para: Otimização de Consulta Processamento Paralelo Data Mining... Processamento de BD em DWing Qual a influência dos Star Schemas resultantes dos projetos de DW na performance do BD resultante? 12

13 Esquema OLTP Típico Companhia OC Eficiente para processamento individual de (OCs) ordens de compra Enviado_de (criação e atualização) Enviado_para OC_Item Item Star Schema Companhia Processamento analítico Enviado_de requer nova visão centrada em consultas Compras Item Data Enviado_para 13

14 Star Schema Informação pode ser classificada em dois grupos: fatos e dimensões Companhia OC OC_Item Companhia Compras Item Data Enviado_para Star Schema Enviado_de Enviado_para Item Enviado_de Análise Dimensional Fatos: são os elementos de dados núcleos sendo analisados (no exemplo, compras de itens individuais são os fatos) Dimensões: são os atributos dos fatos (por exemplo, itens comprados e as datas de compra) 14

15 Star Schema Companhia Enviado_de Item Compras Data Enviado_para A questão analítica é tratada mais diretamente: observa-se fatos específicos através de um conjunto de dimensões Star Schema Com este esquema a info pode ser representada mais intuitivamente. Este esquema é mais apropriado para DWs do que os esquemas tradicionais de OLTP. Analistas chegam mais rapidamente aos fatos chaves, usando um conjunto de dimensões apropriadas. 15

16 Star Schema Por definição, um DW responde a um grande volume de consultas ad hoc. Essas consultas devem ser fáceis de formular - isto é um ponto chave para o uso de um DW. Abordagem intuitiva do Star Schema é fundamental para a apresentação de dados. Conseqüentemente, a popularidade deste esquema. Processamento de BD em DWing Como os algorítmos de Otimização de Consulta dos DBMSs relacionais estão sendo mudados para considerarem os Star Schemas nos DWs e aumentar a performance? 16

17 Star Schema Problemas de Desempenho Potenciais Problema de Junção por Pares Join de várias tabelas é por pares Problema da Ordem da Junção Há várias possíveis ordenações dos pares Problema de Junção no StarSchema Tab de fatos é central Erros de Estimativa Erro na escolha da ordem certa é fatal Processamento de BD em DWing Qual o problema de fazer Junções de duas em duas tabelas? 17

18 Star Schema Problema de Junção por Pares SGBDRs tradicionais não são projetados para consultas complexas que podem ser especificadas com o Star Schema. A recuperação de informações em tabelas diferentes em uma consulta simples é bastante limitada:sistemas tradicionais fazem junção em duas tabelas de cada vez. Star Schema Problema de Junção por Pares Uma junção complexa em mais de duas tabelas necessita que a consulta seja quebrada em uma seqüência de junções por pares. Isto não foi uma séria limitação em DBs OLTPs, mas com certeza o é em ambientes para DW. 18

19 Star Schema Junção por Pares Companhia Compras Companhia+compras Companhia+compras+ Enviada_de Enviada_de Enviado_para Companhia+compras+ Recebida_de+Enviada_para Companhia+compras+ Recebida_de+Enviada_para+ item Item Data Resultado Final Processamento de Junção de Consulta STAR Convencional Vendas jan, lápis, leste, 100 jan, lápis, oeste, 200 fev, rádio, sul, 125 mar, relógio, oeste, 225 Período jan,..., jan,..., fev,..., mar,..., Vendas+Período jan,..., lápis, leste, 100 jan,..., lápis, oeste, 200 fev,..., rádio, sul, 125 mar,..., relógio, oeste, 225 Produto rádio,... lápis,... relógio,... Mercado leste,... oeste,... sul,... Vendas+Período+Produto jan,..., lápis,..., leste, 100 jan,..., lápis,..., oeste, 200 fev,..., rádio,..., sul, 125 mar,..., relógio,..., oeste, 225 Vendas+Período+Produto+Mercado jan,..., lápis,..., leste,..., 100 jan,..., lápis,..., oeste,..., 200 fev,..., rádio,..., sul,..., 125 mar,..., relógio,..., oeste,...,

20 Processamento de BD em DWing Em que ordem essas junções devem ser feitas? Star Schema Problema da Ordem de Junção A ordem na qual a junção é realizada afeta dramaticamente o desempenho da consulta. Quando consultas complexas são tratadas por SGBDRs tradicionais, estes enfrentam sérios problemas de desempenho referentes à ordem de junção. 20

21 Star Schema Problema da Ordem de Junção O número de combinações a serem avaliadas cresce exponencialmente com o número de tabelas sendo juntadas O problema de seleção da melhor ordem de junção por pares raramente pode ser resolvido em tempo razoável. O número de ordens de junção por pares para um conjunto de N tabelas é N! Star Schema Problema de Junção do Star Schema Porque o número de combinações é freqüentemente muito grande para avaliação total, SGBDRs escolhem um subconjunto interessante para a avaliação. Esses subconjuntos diferem entre SGBDRs. Em geral, o sistema inicia escolhendo combinações de tabelas que são diretamente relacionadas. Essa estratégia funciona para esquema OLTPs tradicionais, que contém uma rica rede de tabelas inter-relacionadas, mas falha para Star Schema. 21

22 Star Schema Problema de Junção do Star Schema Em DW a única tabela diretamente relacionada à maioria das outras tabelas é a tabela de FATOS. Assim, a tabela de fato é a candidata natural para a primeira junção por pares. Mas, a tabela de fato é, tipicamente, a maior na consulta, o que conduz à seleção de uma ordem de junção por pares que gera um conjunto resultante intermediário muito grande - isto afeta o desempenho. Processamento de BD em DWing E se for escolhida a ordem errada para fazer Junções dos pares de tabelas? 22

23 Star Schema Problema de Erro de Estimativa SGBDRs tradicionais não podem selecionar com precisão a melhor de duas ordenações para a junção por pares, para o conjunto limitado de ordenações a serem avaliadas. Nesses SGBDRS, a consulta é analisada e o plano é selecionado baseado em estimativas de quão grande será o resultado intermediário. Apesar de, em geral, essas estimativas serem realizadas a partir de estatísticas obtidas dos próprios dados, elas não são boas para consultas complexas, típicas de DW. Star Schema Problema de Erro de Estimativa Propagação de erros só piora a situação! Erros pequenos tornam-se enormes após a propagação em cada nova estimativa. Também, os SGBDRs OLTP tradicionais não trabalham 100% em uma ordenação ótima de junções de pares - a ordenação ótima pode não ser obtida por razões de erros no processo de estimativa de custos da execução da consulta. 23

24 Processamento de BD em DWing Como solucionar o problema da junção por pares? Os provedores dos SGBDRs tradicionais estão começando a oferecer soluções para esses problemas críticos de desempenho Infelizmente, essas soluções ainda são restritas e não atendem às necessidades do implementador de DW. Estão melhorando recentemente. 24

25 Star Schema Pseudo-Soluções para os Problemas de Desempenho Escolhendo melhores junções por pares Melhorando o desempenho do Star Schema com paralelismo Star Schema Melhorando as Junções por Pares Otimização: tentar mais combinações de ordenações de junções por pares. SGBDs que possuem essa otimização: ORACLE, Sybase, Informix, CA Ingres, Teradata, etc. Estratégia: selecionar somente tabelas relacionadas. 25

26 Star Schema Melhorando as Junções por Pares Às vezes, considerar esses produtos Cartesianos melhora o desempenho da consulta -porem tabelas de fato em um Star Schema são tipicamente muito mais longas do que as tabelas de dimensão. Como tabelas de fato são escolhidas muito cedo para a junção por pares, um resultado intermediário muito grande pode ser gerado. Porém, esta estratégia é viável somente se o produto Cartesiano das dimensões selecionadas é muito menor do que a tabela de fato. Star Schema Melhorando as Junções por Pares Se existem linhas de ITEM, 500 de Enviado_de, 500 de Enviado_para, de Data e de Companhia, o tamanho do resultado final intermediário poderia ser de A natureza multiplicativa da junção Cartesiana ajuda na otimização somente para problemas relativamente pequenos trilhões de linhas 26

27 Processamento de BD em DWing Como resolver o problema através de paralelismo? Star Schema Melhorando o Desempenho com Paralelismo Motivação: multiprocessamento simétrico de alto-desempenho (SMP) e, agora, os sistemas de processamento maciçamente paralelo (MPP) tem aparecido. Paralelismo não é suficiente para superar as limitações de um SGBDR projetado para OLTP. 27

28 Star Schema Melhorando o Desempenho com Paralelismo Aumentando-se os recursos computacionais ( speed-up ) sem aumentar o volume de dados, podemos reduzir o tempo de execução de uma consulta simples. Também, podemos aumentar os recursos computacionais o suficiente para compensar o aumento de dados para o processamento ( scale-up ). Star Schema Melhorando o Desempenho com Paralelismo Esta solução não considera critérios de custodesempenho - apenas injeta recursos computacionais para tornar o problema suportável. Exemplo: um algoritmo paralelizável que processa uma consulta em uma multi-tabela em 500 segundos pode, em um sistema SMP com 10 processadores, processar a mesma consulta em 50 segundos; com um super algoritmo que é 10 vezes mais eficiente podemos então processar essa consulta em 5 segundos. 28

29 Star Schema Melhorando o Desempenho com Paralelismo Porém, SGBDRs tradicionais não escalam perfeitamente com processos adicionais. Todos apresentam overhead com paralelismo. Exemplo: aumentando-se de 10 para 20 CPUs, reduz-se o tempo de execução de uma consulta de 60 para 45 minutos somente (em vez de 30 minutos). Star Schema Melhorando o Desempenho com Paralelismo Em geral, uma consulta não pode ser quebrada em um número arbitrário de partes. Processos freqüentemente necessitam de coordenação entre si. Também, existem limites físicos para o número de CPUs que sistemas atuais podem suportar (Ex. 30 CPUs para sistemas SMP). 29

30 Processamento de BD em DWing Que os DBMS tem feito para cuidar dos BDs relacionais representando Star Schemas? Star Schema Modelo relacional é apropriado para DW! O padrão SQL e a riqueza de ferramentas reforçam a idéia de que SGBDR é uma escolha natural para o repositório do DW! É necessário uma nova forma para o processamento eficiente de consultas complexas 30

31 Linguagem Star Schema STARjoins / STARindexes STARjoin é uma junção multitabela paralelizável, high-speed, single-pass. SGBDRs com STARjoin realizam junção com mais do que duas tabelas em uma operação simples. Star Schema STARjoins / STARindexes STARindexes são índices especializados para acelerar o desempenho de uma junção e que proporcionam o uso de combinação da tradicional B-Tree e bitmap indexes. STARindexes são criados para um ou mais colunas de chaves estrangeiras de tabela de fato. STARindexes contêm informação altamente comprimida que relaciona as dimensões de uma tabela de fato às linhas daquelas dimensões. 31

32 Star Schema STARjoins / STARindexes Assim, o algoritmo STARjoin pode usar o STARindex para identificar eficientemente todas as linhas requeridas em um junção particular. Star Schema STARjoins / STARindexes Companhia Enviado_de Compras Item Data Enviado_para Um STARindex de Compras poderia conter qualquer combinação de campos de chaves estrangeiras. Um STARindex simples de Compras que contém (Companhia, Item, Data, Enviado_de, Enviado_para) seria suficiente para processar qualquer consulta deste Star Schema. Mas... a consulta que referencia somente Enviado_de e Enviado_para pode ser melhor executada por um STARindex que contém (Enviado_de, Enviado_para) 32

33 Star Schema Desempenho das STARjoins 500 Items, 200 Companhias, 300 Datas e 1 milhão de Compras Consulta seleciona 50 Itens, 20 Companhias e 30 Datas e, em última instância, registros de Compras (Tabela de Fatos) (considere distribuição uniforme) Star Schema Desempenho das STARjoins Junção por pares tradicional junção Compras + Item linhas junção (Compras + Item) +Data linhas junção (Compras + Item +Data) + Companhia linhas linhas 33

34 Star Schema Desempenho das STARjoins Produto Cartesiano de 50 Itens, 20 Companhias e 30 Datas = 50 x 20 x 30 = linhas. Junção desse produto Cartesiano com Compras = = linhas Star Schema Desempenho das STARjoins Uma STARjoin bem restrita deveria gerar combinações quase igual (pouco maior...) a seleção de linhas requeridas 34

35 Star Schema STARjoin Paralela Em geral, soluções de paralelismo não são escaláveis ou devido a tarefa não ser decomponível ou porque os processos paralelos necessitam de coordenação entre eles. Porém o STARjoin é inerentemente paralelizável! Cada processo envolvido dá sua própria parte do join space (espaço de soluções) e o join space pode ser decomposto em um número arbitrário de partes. Cada processo trabalha com a sua parte. Não há necessidade de coordenação entre processos. Processamento de Junção de Consulta STAR Convencional (lento) Vendas jan, lápis, leste, 100 jan, lápis, oeste, 200 fev, rádio, sul, 125 mar, relógio, oeste, 225 Período jan,..., jan,..., fev,..., mar,..., Vendas+Período jan,..., lápis, leste, 100 jan,..., lápis, oeste, 200 fev,..., rádio, sul, 125 mar,..., relógio, oeste, 225 Produto rádio,... lápis,... relógio,... Mercado leste,... oeste,... sul,... Vendas+Período+Produto jan,..., lápis,..., leste, 100 jan,..., lápis,..., oeste, 200 fev,..., rádio,..., sul, 125 mar,..., relógio,..., oeste, 225 Vendas+Período+Produto+Mercado jan,..., lápis,..., leste,..., 100 jan,..., lápis,..., oeste,..., 200 fev,..., rádio,..., sul,..., 125 mar,..., relógio,..., oeste,...,

36 Processamento de Junção de Consulta STAR Convencional Otimizada Vendas jan, lápis, leste, 100 jan, lápis, oeste, 200 fev, rádio, sul, 125 mar, relógio, oeste, 225 Período jan,..., fev,..., mar,..., Produto rádio,... lápis,... relógio,... Mercado leste,... oeste,... sul,... Período+Produto+Mercado jan, rádio, leste jan, rádio, oeste jan, rádio, sul jan, lápis, leste jan, lápis, oeste jan, lápis, sul... mar, relógio, oeste mar, relógio, sul Vendas+Período+Produto+Mercado jan,..., lápis,..., leste,..., 100 jan,..., lápis,..., oeste,..., 200 fev,..., rádio,..., sul,..., 125 mar,..., relógio,..., oeste,..., 225 Processamento de Junção de Consulta STAR mais Otimizada Período jan,..., fev,..., mar,..., Vendas / Período Índice de Junção Produto rádio,... lápis,... relógio,... Vendas / Produto Índice de Junção AND Vendas jan, lápis, leste, 100 jan, lápis, oeste, 200 fev, rádio, sul, 125 mar, relógio, oeste, 225 Mercado leste,... oeste,... sul,... Vendas / Mercado Índice de Junção

37 Alternativas de Indexação Avançada para Processamento de Consulta Complexa Clientes Produtos Índices bit-vector Idade sexo educação (milhões de registros) Mercados Detalhes de Vendas produto_chave tempo_chave cliente_chave mercado_chave like %sapato% (milhares de registros) Tempo Índice textual (centenas de registros) (bilhões de registros) Índice de Junção tempo_período (centenas de registros) Índice B-Tree Processamento de BD em DWing Que outros esforços tem sido feitos na busca de melhor performance para os DWs? 37

38 Outras Estratégias de Processamento de Consultas Agregação baseada em hash Aumentar sort buffers Aumentar buffer cache Arquiteturas de 64-bit Algoritmos de paralelismo Otimização histogramas / estatísticas decisões run-time Trabalhos atuais p/ estender SGBDs p/ DW Otimização da estratégia de execução para Star Join Queries Indexação de tabelas de dimensão Rapidez de pesquisa de substrings Índices geográficos Compressão de dados 38

39 Trabalhos atuais p/ estender SGBDs p/ DW Processamento paralelo Smarter caching Extensões de SQL Event tracking Ferramentas administrativas WEB OLAP Outros Tópicos de Pesquisa Gerência de dados de entrada Cubos como objetos Visões Materializadas Algoritmos para Multi-way join Caching de Predicados Compressão de dados... 39

40 Resumo Mercado de DW está crescendo muito 100% 80% 60% 40% 20% 0% Novos Projetos (META Group) Hardware $1 bilhão $3.5 bilhões SGBD $700 milhões $3 bilhões Outros softwares $300 milhões $1.5 bilhões Total $2 bilhões $8 bilhões Resumo Solução de DW tem que dar solução para todos os aspectos de BD: Carga, armazenamento, gerência e consulta Porém de BDs bem mais complexos Produtos vem atropelando... Pesquisa corre atrás... 40

41 Ferramentas Hummingbird-Genio ETI Sagent Informatica IBM (Informix) (Red Brick) Microsoft Oracle Sybase (Tandem) Teradata... Brio Business Object Cognos MicroStrategy INF Advantage... Referências Ralph Kimball, The Data Warehouse Toolkit, John Wiley&Sons, Inc., 1996 W.H.Inmon, Building the Data Warehouse, John Wiley&Sons, Inc., 1993 Neil Raden, Modeling a Data Warehouse, Information Week, Jan.29, 1996 R.Kimball, K.Strechio, Why Decision Support Fails and How To Fix It, SIGMOD Record, 24(3), September 1995 Artigos do Kimball na revista DBMS 41

42 Departamento de Informática PUC-Rio Tec BD Data Warehousing 42