Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação

Transcrição

1 Curso de Dwing TecBD-DI PUC-Rio Prof. Rubens Melo Arquiteturas de DW e Abordagens de Implementação Arquiteturas e Abordagens de Implementação Arquitetura adequada é fundamental Infra-estrutura disponível Porte da empresa Escopo desejado Recursos... Abordagem de Implementação Bottom-up vs Top Down Tempo, satisfação do,... 1

2 Arquiteturas Arquitetura DW global Centralizada Distribuída Arquitetura Data Marts Independentes Integrados (difícil) Abordagens de Implementação Top Down Análise das fontes de dados Extração Transformação e Carga (ETL) Uso de ODS (Staging Area) Dados e Metadados DW => Data Marts Dados e metadados 2

3 ODS-DDS-Staging Area... Que é ODS? E DDS? Operational vs Dynamic Hoje ODS são chamados DDS ODS permite análises no ambiente operacional e auxilia carga de DW DDS pode ir crescendo ao longo do tempo com alterações incrementais Staging Area é necessária quando a preparação (limpeza, sincronizacao etc) é complexa. Abordagens de Implementação Bottom UP Começa por Data Marts para grupos independentes de s Seleciona Fontes de Dados Modela os DMs com MMD Gera DMs Cria as aplicações OLAP Depois integra (dificil..) os DMs 3

4 Vantagens e Desvantagens Top Down Vantagens Facilita Manutenção (herança de arquit.) Visão horizontal Dados e Metadados centralizados Controles e regras (ETL) centralizados Top Down Desvantagens Implem mais lenta=>expectativas? Maior risco (projeto global) Vantagens e Desvantagens Bottom UP Vantagens Rapidez Ganha confiança e mais investimento Bottom UP Desvantagens LegaMarts (DMs viram legacy) Perde-se a visão horizontal Múltiplas equipes, ferramentas etc Competição entre os DMs 4

5 Abordagens de Implementação DW incremental Começa a modelagem global de DW Inicia um Data Mart piloto Vai criando outros DMs e integrandoos mantendo a visão horizontal Mantem DW e DMs Ferramentas em DWing 1) P/ Consulta e Relatórios simples 2) OLAP tools ROLAP MOLAP HOLAP DOLAP EIS Data Mining 3) Web OLAP 5

6 Questões importantes para Modelagem Dimensional Quando? (Tempo) O que? (Ex.: Produto) (o que analisar do fato) Onde? (Localização Geográfica) Quem? (Ex.: Vendedor) (agente) Fato: Venda Importantíssimo definir as dimensões, os pontos cardeais das estrelas dos fatos Uma célula é a interseção de múltiplas dimensões --> Idéia de cubo Exemplo de uma Fact Table Chaves que juntam os fatos às dimensões Medidas Prod_Code Time_Code Acct_Code Sales Qty

7 Time Time code Quarter code Quarter code Date Month code Month Name Day code Day of week Season Account Account code Key Account code Key account name Account name Account type Account market Exemplo de um Star-Schema Sales Geography code Time code Account code Product code Sales Qty Geography Geography code Region code Region manager State code City code City name Zip code Product Product code Product name Brand manager Brand name Prod. line code Prod. line name Product name Product color Product model Questões importantes para Modelagem Dimensional Comprador c comprou produto p no lugar l no tempo t em qtidade q, a preço unit u, etc Quando? (t) Ex.: Mes, trimestre, ano etc O que? (p) Ex.: sapato, gênero de filme,.. Onde? (l) Ex.: Norte, SP, Belem, Brasil Quem? (c) Ex.: Jovens, Classe b,... Fato: Compra (Outros exs: Venda, Exib de filme Medidas do fato: q,u,... O Modelo Dimensional vem do ER??? 7

8 Questões importantes para Modelagem Dimensional O modelo ER é orientado a entidades e relacionamentos (object) O modelo MMD é orientado a assunto (fato) (subject) Modelo ER --> OLTP Modelo MMD -> OLAP Modelo ER -> BD Relacional Normalizado (BD volátil) Modelo MMD -> BD Relacional Não Normalizado (BD não volátil) Exercício de Modelagem Uma distribuidora de filmes tem sistema de controle de seus filmes que contrata dos vários estúdios Filmes são exibidos em sessões diárias em salas de cinema (com diferentes capacidades) espalhadas por cidades, estados, regiões do pais. Os clientes buscam filmes por ator, diretor, gênero, país etc 8

9 Exercício de Modelagem A distribuidora já tem um sistema (OLTP) com um BD para controle. Ex1: Faça um ER do modelo transacional do BD da distribuidora ER Transacional do exercício Filme(f,) (0:n) <passa no> (0:n) Cinema(c,) Filme(f,) (1:1) <vem do> (1:n) Estúdio(e,) Filme(f,) (1:1) <dirigido por> (0:n) Diretor(d,e,) Diretor(d,e,) (1:1) <é-do> (1:n) Estúdio(e,) Ator(a,) (0:n) <atua no> (0:n) Filme(f,) Diretor(d,e,) (0:1) <é-um> (0:1) Ator(a,) 9

10 Exercício de Modelagem Acontece que os diretores querem analisar seus negócios e sentiram a necessidade de um DW. Após entrevistas com executivos da distribuidora apareceram requisitos de informação: Evolução de público e $$ arrecadado por região, estado e cidade classificados por gênero e sala. Evolução de exibição de filmes por ator e diretor Evolução de público por ator e diretor Como lançar filmes por períodos do ano Exercício de Modelagem Ex2: Projetar o DW com MMD Qual o fato? Quais as dimensões? Onde acontece? (Geo) Quando? (tempo) O que? (outras dimensões de análise) Quem? (agente) Quais as medidas do fato? Ex3 Esse DW pode sair do ER anterior? Ex4: Represente em tabelas esse DW e cheque-o com as análises pedidas 10

11 Tecnologia DW ou OLAP? São diferentes mas complementares Tecnologia DW Usada efetivamente para armazenar e manter informações OLAP Usado para recuperar informações (não volátil) Tecnologias de DW e OLAP são complementares DW deve ser projetado pensando-se na recuperação e visualização dos dados (OLAP) Construir um DW isolado (s/olap) é uma fórmula para o fracasso Total exploração do DW depende de OLAP Tecnologia DW e OLAP DW usa, basicamente, tecnologia relacional (Oracle, DB2, Sybase, SQL Server...) embora não seja BD p/ OLTP OLAP usa visões multidimensionais dos dados para rápido acesso a informações estratégicas OLAP normalmente utiliza arquitetura proprietária Os dados, na visão multidimensional de OLAP, são freqüentemente agregados para maximizar sua eficiência (não normalizados) 11

12 Tecnologia DW e OLAP Dimensões descrevem os componentes de uma área de análise (subject) e o modo para localização de valores medidos (nos fatos) A habilidade de organizar os dados do modo que os s conhecem seus dados é a tal multidimensionalidade Esta habilidade é o que realmente distingue os sistemas OLAP dos sistemas tradicionais OLAP se aplicam bem em Data Marts BDs de produção / arquivos BDs de produção / arquivos DW e Data Marts Sistema Operacional Sistema Operacional DW DW - BD DM BD customizado BD customizado DM DMs extraem e ajustam porções de DWs aos requisitos específicos de grupos / departamentos 12

13 DM em Servidor OLAP Sistema Operacional BDs de produção / arquivos DW Servidor OLAP Sistema Operacional DW - BD BD multidimensional BDs de produção / arquivos Porções de DW são copiadas para um BD multidimensional para otimizar análise de dados Modelagem de DW Para o DW central é necessário Criar um modelo de dados conceitual (ER?) Otimizar esse modelo apropriadamente para a recuperação de dados (desnormalizar?) e para suporte à decisão (agregar?) 13

14 Modelagem de DW - Itens Críticos Entender as diferenças entre o modelo corporativo totalmente normalizado (objeto) e um modelo de DW (assunto) Transformar o modelo corporativo(er) em modelo DW: Removendo os dados puramente operacionais (p/ ser informacional) Adicionando um elemento de tempo nas chaves (ficar temporal) Incluindo dados resumidos e derivados no modelo DW (desnormalizar) Modelagem de Dados Metodo para mapeamento de dados operacionais em informação orientada a assunto Identifica assuntos de negócios (serão *) Define relacionamentos entre assuntos de negócios (* ligadas por dim comuns) Nomeia os atributos para cada assunto de negócio (dimensões) 14

15 ER Transacional => MMD Relacionamentos n:n => podem ser fatos (assuntos de análise) Ex. No caso da distribuidora de filmes: Filme <passa no> Cinema => fato de interesse Ator <atua no> Filme => fato não analisado Dica: Primeiro pensar MMD e depois ver de onde iremos extrair os dados MMD vs ER do exercício ER Filme(f,) (0:n) <passa no> (0:n) Cinema(c,) Filme(f,) (1:1) <vem do> (1:n) Estúdio(e,) Filme(f,) (1:1) <dirigido por> (0:n) Diretor(d,e,) Diretor(d,e,) (1:1) <é-do> (1:n) Estúdio(e,) Ator(a,) (0:n) <atua no> (0:n) Filme(f,) Diretor(d,e,) (0:1) <é-um> (0:1) Ator(a,) MMD Dim: tempo,cidade,ator,diretor,sala,genero Fato: Exibição-filme 15

16 Modelagem de Dados Desenvolver um modelo de DW completo (corporativo) pode ser complexo e muito demorado Uma melhor abordagem é começar com alguns assuntos de interesse imediato para a empresa (DMs) Abordagem Evolucionária Começar pequeno Provar utilidade iterativa Construir sobre sucessos 16

17 Enfatizando ER vs MMD O modelo ER é orientado a entidades e relacionamentos (object oriented) O modelo MMD é orientado a assunto (fato) (subject oriented) Modelo ER --> OLTP, Modelo MMD -> OLAP Modelo ER -> BD Relacional Normalizado (BD volátil) Modelo MMD -> BD Relacional Não Normalizado (BD não volátil) Se existir um ER corporativo como => DW? Senão modelar DW usando ER / MMD Revisão Porque DW nao é apenas um BD e DMs apenas Views? O que é o modelo MMD? Em que nível ele se aplica em Modelagem de DW? Como se modela DW nos níveis Conceitual, Lógico e Físico? Quais as operações do Modelo Relacional? E do Modelo MMD? Que é: Star schema, Snowflake Schema e Constelações? Estes se aplicam em DW ou DM? Quais as dimensões tipicas em MMD? 17