Alexandre Schlöttgen Data Warehouse Curso de Pós Graduação em Ciência da Computação Tópicos Avançados em Modelos de Banco de Dados Profs: Clésio Santos e Nina Edelweiss Junho de 2003 Roteiro da apresentação 1 - O que é um Data Warehouse? 2 - Arquiteturas de DWs 2.1 Arquitetura de integração 2.2 Arquitetura de acesso aos dados 2.3 Arquitetura funcional 3 - Modelagem de Dados para DW 4 - Ferramentas Comerciais 1. O que é um Data Warehouse? DW é uma coleção de informações corporativas extraídas de sistemas transacionais, organizada por assunto, com o objetivo de dar suporte à tomada de decisões estratégicas, através do processamento analítico destas informações. 1 2 3 Informações corporativas: O DW armazena e trata e informações de vários departamentos e processos de negócio. Um DW é composto por vários Data Marts (DM). Cada DM atende a uma unidade estratégica do negócio ou departamento. Extraída de Sistemas transacionais: Sistemas OLTP (on-line transaction processing) Aplicações do dia-a-dia grande volume de pequenas transações (de 1 à 4 registros) Inserção, atualização, consulta e deleção Organizada por assunto : O DW armazena as informações agrupadas por assuntos de interesse da empresa, enquanto que os sistemas operacionais (OLTP) são orientados aos processos desenvolvidos. Exemplo: OLTP ( Pedido, Nota Fiscal, Pagamento) DW ( Vendas ) 4 5 6 1.2 Características de um DW Decisões Estratégicas Decisões para 6 meses à 5 anos Histórico de informações de 1 à 10 anos Exemplo: Análise de segmentação de Clientes Análise de Vendas Lucratividade x Campanha de Marketing Análise de Atendimento ao Cliente 7 processamento analítico OLAP ( On-Line Analytic Processing ) atividades de consulta e apresentação de dados númericos e textos associados. Suporte a operações matemáticas (somatórios, porcentagem, variações, funções) Grande quantidade de registros analisados 8 Extração de dados de fontes heterogênias (60% do tempo de projeto) Integração dos dados (transformações) Não volátil (dados somente são inseridos e consultados) Instantâneos do tempo Existência obrigatória do elemento tempo. Uso constante de Metadados em todo DW 9
1.2 Características de um DW Consultas intensivas, complexas e Ad-hoc. Modelos de dados multidimensional (mais intuitivo para executivos e usuários comuns) Estruturas simples de armazenamento dos dados para aumentar a velocidade de consulta (Matrizes esparsas, Modelo Multidimensional) Nenhuma preocupação com Redundância. Alta preocupação com a forma de visualização dos dados. 10 2. Arquiteturas de DW Arquiteturas de Integração Como é a divisão e integração dos dados Arquiteturas de acesso aos dados Quais as tecnologias utilizadas para armazenar e recuperar os dados Arquiteturas funcionais Divisão dos módulos funcionais 11 2.1 Arquiteturas de integração de um DW De modo geral: Arquitetura Global Centralizada ou Distribuída Arquitetura de Data Mart Independente Arquitetura de Data Marts Integrados 12 2.1.1 Arquitetura Global Ideal Trata a empresa como um todo Menor redundância de dados Manutenção mais fácil Altíssimo tempo de desenvolvimento 2.1.2 Arquitetura de Data Mart Independente Realidade atual Muitas ferramentas de apoio Não há comunicação entre departamentos Muitos dados redundantes Menor tempo de desenvolvimento Consultas mais limitadas 2.1.3 Arquitetura de Data Marts Integrados Médio tempo de desenvolvimento Solução intermediária da Arquitetura Global e à de Data Marts Independentes 13 14 15 2.2 Arquitetura de acesso aos dados ROLAP (Relacional - OLAP) MOLAP (Multidimencional - OLAP) HOLAP (Híbrido - OLAP) DOLAP (Desktop - OLAP) 16 2.2.1 ROLAP Os dados do DW são armazenados nos próprios SGBDs relacionais dos bancos de dados fontes, com as tabelas sendo implementadas com estruturas relacionais clássicas. Oferecem todas as vantagens de um SGBD convencional, A palavra ROLAP vem de R (relacional) + OLAP, e significa fazer consultas OLAP em SGBDs relacionais. 17 2.2.2 MOLAP A arquitetura MOLAP utiliza SGBDs multidimensionais, otimizados ao máximo para as consultas OLAP e com tratamento dimensional nativo. Exigem a migração dos dados do SGBD relacional para o armazenamento multidimensional e a sua constante atualização. 18
2.2.3 HOLAP 2.2.4 DOLAP Arquitetura funcional É um misto de arquitetura ROLAP com MOLAP. A idéia é armazenar os dados de maior granularidade do DW em estruturas relacionais normalizadas e os agregados de menor granularidade em estruturas dimensionais nativas como cubos OLAP. A palavra HOLAP vem de H (híbrido) + OLAP e significa fazer consultas OLAP tanto em bancos de dados relacionais, quanto em banco de dados multidimensionais. 19 A palavra DOLAP vem de D (Desktop) + OLAP e significa processar consultas OLAP em máquinas desktop e não nos SGBDs. A idéia é diminuir a carga de trabalho do SGBD do DW, de modo que o processamento massivo dos dados seja feito na máquina cliente e não no servidor de banco de dados, que fica somente com a tarefa de garantir a integridade dos dados e de atualizar os cubos OLAP das máquinas cliente. 20 21 3 - Modelagem de Dados para DW 3.1 Modelo Multidimensional 3.1 Elementos básicos (cont.) Modelos ER (Entidade-Relacionamento) Mais conhecido por desenvolvedores Facilita o projeto de extração dos dados de BDs Relacionais Modelos Multidimensionais Mais simples para usuários comuns Facilidade na elaboração de consultas Maior clareza no objeto de análise Elementos básicos Fatos coleção de ítens de dados de medida e contexto cada fato representa um item, transação ou evento do negócio. Dimensões elementos que participam de um fato contexto do fato são descritivas e classificatórias Medidas (variáveis) Atributos numéricos que representam um fato representam uma performance de um indicador de negócio relativo as dimensões de um fato 22 23 24 3.1 Exemplos dos elementos básicos: 3.2 Visualização do Modelo 3.2 Exemplo de Cubo Assunto do Negócio : Vendas Fato : Vendas Dimensões : Localização,, Tempo Medidas : Número de s vendidos, Valor das vendas O caminho mais popular é desenhar um Cubo. Mas um Cubo possui apenas 3 dimensões e usualmente os modelos possuem mais de 3 dimensões. (Hipercubo). Transmitir a idéia de dimensão, perspectiva de visão, fatiamento do cubo, visão dimensional. Localização Tempo 25 26 27
3.3 Operações básicas no Cubo Drill Down (alto nível => baixo nível) Roll UP (baixo nível => alto nível) 3.3 Exemplo das Operações Roll UP (mais detalhado => menos detalhado) 3.3 Exemplo das Operações Slice Corte do Cubo e análise somente da fatia Slice ( fatiar o cubo ) Dice (Mudança de perspectiva) 28 29 30 3.4 Modelo Estrela (Star Schema) Cliente Tempo Fato de Vendas Região Vendedor 31 3.4 Representação Relacional Tempo Fornecedor Chave_tempo Chave_fornecedor Código do Fornecedor Compra Nome do Fornecedor Área do Fornecedor Chave_tempo Comprador Chave_comprador Chave_fornecedor Chave_Comprador Chave_produto ---------- Chave_ Código do Comprador Valor da Compra Nome do Comprador Número de Itens Código do Endereço Grupo do 32 3.5 Modelo Floco de Neve (SnowFlake) Aplicação da Terceira Forma Normal sobre as entidades dimensão. Os desenvolvedores freqüentemente elegem o modelo SnowFlake pelo fato de preservar a utilização de meios de armazenamento. Evita redundâncias de valores textuais 33 Cliente 3.5 Modelo SnowFlake Vendedor Tempo Fato de Vendas Região Tipo Estado Cidade 3.6 Comparação de modelos Estrela SnowFlake Espaço de armazenamento Velocidade de Consulta Entendimento Do Usuário Semântica Hierárquica Alto Alto Ótimo Baixa Médio Baixo Médio Alta 4. Ferramentas Comerciais Atualmente, o mercado de BI (Business Intelligence) aponta para valores de 4 à 5 bilhões de dólares [PAL 2001]. As primeiras empresas de BI e DW foram compradas pelas gigantes: IBM, Computer Associates, Oracle, Informix, Microsoft e Sybase. 34 35 36
4. Ferramentas Comerciais Computer Associates: adquiriu a Platininum e a Sterling, que por sua vez, já havia comprado outras empresas menores. IBM: parceria com a Hyperion Informix: adquiriu Metacube, Red Bricks e Ardent Oracle: Oracle Express, Darwin da Thinking Machines Referências Inmon, W.H. Como Construir o Data Warehouse.- 2 ed. Campus. Rio de Janeiro, 1997. Kimball, R. Data Warehouse Toolkit Makron Books. São Paulo, 1998. PALESTINO, C. B. BI-Business Intelligence (modelagem & tecnologia). Axcel Books. Rio de Janeiro,2001 POE V., KLAUER P., BROBST S. Building a data warehouse for decision support, Prentice Hall PTR, New Jersey 1998 TANLER R., The Intranet data warehouse: tool and techniques for building an intranet-enabled data warehouse. USA, 1997. Referências KIMBALL R, A Dimensional Modeling Manifesto, 1997. Disponível por WWW em http://www.dbmsmag.com (10/10/2001) MACHADO, F. N. R. Projeto de Data Warehouse: Uma visão multidimensional. Érica. São Paulo, 2000 Golfarelli, M., Maio D., Rizzi,, The Dimensional Fact Model: A Conceptual Model for Data Warehouses. Cooperative Information Systems (IJCIS), vol. 7, no. 2-3, pag. 215-247, 1998. 37 38 39