DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago

Transcrição

1 DATA WAREHOUSE Rafael Ervin Hass Raphael Laércio Zago

2 Roteiro Introdução Aplicações Arquitetura Características Desenvolvimento Estudo de Caso Conclusão

3 Introdução O conceito de "data warehousing" data da metade da década de Ele consiste em um modelo arquitetural para o fluxo de dados dos sistemas de informação operacionais para os ambientes de suporte à decisão. Ele abrange os mecanismos de obtenção, armazenamento e disponibilização dos dados para os ambientes de suporte à decisão.

4 Aplicações On- Line Analytic Processing (OLAP) para suporte a tomada de decisões; Data mining, que usa o data warehouse como fonte de informações para sistemas de descoberta de dados; Database marketing, que utiliza o data warehouse para prover serviços personalizados para compradores específicos.

5 OLAP On- Line Analytic Processing Consultas ad- hoc; Slice- and- Dice; Drill Down/ Up; Geração de Queries.

6 Arquitetura

7 Bancos de Dados Operacionais / Camada de Banco de Dados Externo Armazenamento dos dados de sistemas de informação operacionais; Fontes de informação externas, como bancos de dados públicos; Possivelmente Heterogêneos.

8 Camada de Acesso à Informação A camada com a qual o usuário final lida diretamente; Representa as ferramentas que o usuário final normalmente usa no dia a dia; Inclui o hardware e software envolvido na visualização e impressão de relatórios, planilhas, grafos e gráficos para análise e apresentação.

9 Camada de Acesso de Dados Envolvida com a permissão da camada de acesso à informação para "conversar" com a camada operacional. Uso de uma linguagem de dados comum: SQL; Responsável pelo interfaceamento entre ferramentas de acesso à informação e bancos de dados operacionais.

10 Diretório de Dados Repositório de informações de metadados; Metadados são os dados sobre os dados internos à organização; Usuários finais devem ser capazes de acessar dados do data warehouse, sem ter de conhecer onde os dados residem ou a forma na qual ele é armazenado.

11 Camada de Gerenciamento de Processos Escalonamento das várias tarefas que devem ser realizadas para gerar e manter as informações do data warehouse e do diretório de dados; Controlador de alto nível das tarefas para os muitos processos (procedimentos) que devem ocorrer para manter o data warehouse atualizado.

12 Camada de Mensagens de Aplicação Transporte de informação pela rede de computação organizacional; As mensagens de aplicação são também chamadas de "middleware"; Podem ser usadas para isolar aplicações, operacionais ou informacionais, do formato exato dos dados no outro lado.

13 Camada de Data Warehouse O núcleo do data warehouse; Onde os dados são primariamente guardados para uso informacional; No data warehouse físico, cópias de dados operacionais ou externos são armazenados em um formato de fácil acesso e altamente flex ível.

14 Camada de Plataforma de Dados Também chamada de gerenciamento de cópia ou gerenciamento de replicação; Inclui todos os processos necessários para selecionar, editar, sumarizar, combinar e carregar data warehouses e dados de informações de acesso de bancos de dados operacionais ou ex ternos.

15 Características Orientado à Assunto; Integrados; Não- Volátil; Variável no Tempo; Accessível; Orientado à Processo.

16 Desenvolvimento de Data Warehouse

17 Desenvolvimento de Data Warehouse É um deposito de dados de fontes múltiplas; Processado para armazenamento em modelos dimensionais; Não é volátil, a informação muda com menos freqüência; Granularidade dos dados mais espessa; Política de atualização.

18 Desenvolviemento de Data Warehouse Componente para aquisição e préprocessamento dos dados; Geralmente são uma ou duas ordens de magnitudes maiores que os banco de dados fontes (terabytes);

19 Modelagem do Data Warehouse Utiliza modelos dimensionais; Gera matrizes multidimensionais a partir relações inerentes aos dados. Chamados cubos de dados; Podem ter mais de 3 dimensões, os chamados hipercubos;

20 Modelo de cubo de dados

21 Modelo de cubo de dados Dados podem ser consultados em qualquer combinação das dimensões; Através do pivoteamento (ou rotação) pode mudar a orientação dimensional de um cubo de dados;

22 Modelo de cubo de dados Rotação em um cubo de dados

23 Modelagem do Data Warehouse Modelos multidimensionais podem ser utilizados em visões hierárquicas; Apresentações roll- up e drill- dow n; Roll- up: segue a direção de baixo para cima na hierarquia, agrupa unidades maiores; Drill- dow n: tem a capacidade oposta, fornece uma visão com uma granularidade mais fina;

24 Modelagem do Data Warehouse Armazenamento multidimensional utiliza tabelas de fatos e dimensões; Tabelas de Dimensões: possui atributos de dimensão; Tabelas de fatos: possui uma tupla por fato registrado, são relacionadas às tabelas de dimensão;

25 Modelo de dados multidimensional

26 Esquemas multidimensionais Estrela Uma tabela de fato possui uma única tabela para cada dimensão; Snow f lak e Variação do esquema estrela; As tabelas do esquema estrela são organizadas hierarquicamente através de sua normalização

27 Esquema Snowflake

28 Indexação Indexação de junção para indexar os dados dimensionais as tuplas na tabela de fatos; Índices de junção são índices tradicionais para a manutenção de relacionamentos entre os valores da chave primária e da chave estrangeira.

29 Construção de um DW Obter uma ampla visão do uso do warehouse; Suporte a consultas ad hoc; Definições sobre como os dados serão obtidos

30 Aquisição dos dados Os dados precisam ser extraídos de fontes múltiplas e heterogêneas; Os dados precisam ser formatados visando à consistência dentro do warehouse; Os dados precisam ser limpos para assegurar a validade; Os dados precisam ser carregados no DW.

31 Processos de armazenamento Armazenamento dos dados de acordo com modelo de dados do warehouse; Criação e manutenção das estruturas de dados necessárias; Criação e manutenção de caminhos de acesso adequados; Fornecimento de dados que variam no tempo conforme novos dados são acrescentados; Suporte a atualização dos dados do warehouse; Atualização dos dados; Elim inação dos dados.

32 Atualização do data warehouse O seu grande volume de dados torna impossível a total recarga; Atualização seletiva; Versões separadas do data warehouse; Mecanismo incremental de atualização de dados.

33 Estudo de Caso: Fingerhut Corp. Empresa de venda por catálogos; O funcionamento da empresa é baseado no uso do seu data warehouse; Possui um corpo de 200 analistas de mercado, 300 designers e 40 cientistas estatísticos que utilizam o DW para a separar o mercado em nichos e tomar decisões;

34 Estudo de Caso: Fingerhut Corp. Transformando o departamento de m arket ing em um grupo de usuários com alto grau de especialização em tecnologia, conseguiu elevar constantemente suas vendas desde o final da década de 1980, chegando a 23% em 1995; Divisão de TI possui 550 membros; 16 dedicados ao data warehouse.

35 Estudo de Caso: Fingerhut Corp. Sintonia entre as equipes de m arket ing e TI fazem com que os m arket eiros possam identificar rápidamente nichos demográficos e nuances de comportamento; Agrupa informações de seus clientes com informações compradas de outras organizações.

36 Conclusão DW serve como um foco para a análise e apoio à decisão através de consultas e relatórios; Estruturas de dados altamente sumarizadas; São desenvolvidos iterativamente, isto é, cada área de atuação é desenvolvida como um projeto separado.

37 Conclusão Oferece inúmeras vantagens para a organização: Vantagens competitivas; Conhecimento aprimorado de relacionamentos entre produtos e serviços; Suporte à Análise; Apoio à decisão;

38 FIM