Tópicos Avançados de Bases de Dados

Transcrição

1 , 2004/2005 Tópicos Avançados de Bases de Dados Henrique Madeira 2004/ Data Warehousing e OLAP 2 Data Warehousing e OLAP 1

2 , 2004/2005 Bibliografia (tópico de Data Warehousing) Apontamentos do docente; Livros sobre DW: - The Data Warehouse Lifecycle Toolkit, Ralph Kimbal, Ed. J. Wiley & Sons, Inc, "The Data Warehouse Toolkit", Ralph Kimbal, Ed. J. Wiley & Sons, Inc, 1996; - "Building the data warehouse", W. H. Inmon, Ed. J. Wiley & Sons, Inc, 1996; - "The data model resouce book", L. Silverston, W. H. Inmon e K. Graziano, Ed. J. Wiley & Sons, Inc, 1997; - "Data Warehousing, Concepts, Technologies, Implementations, and Management", Harry Singh, Ed. Prentice Hall, 1998; - "The Internet Data Warehouse", Rick Tanler, Ed. J. Wiley & Sons, Inc, 1997; - "Managing the Data Warehouse", W. H. Inmon, J. Welch, K. Glassey, Ed. J. Wiley & Sons, Inc, 1997; - "Oracle data warehousing", M. Corey e M. Abbey, Osborne McGraw Hill, 1997; 3 Características genéricas das Data Warehouses 4 Data Warehousing e OLAP 2

3 , 2004/2005 O que é uma data warehouse? Base de dados de grande dimensão que armazena dados para apoio à decisão estratégica. São construídas a partir de bases de dados operacionais e de outros sistemas usados numa organização. BD operacionais e outros sistemas Data Warehouse Utilizadores Utilizadores 5 Volume de dados Até 20 Gbytes Pequena dimensão; corre num bom PC De 20 a 100 Gbytes Média dimensão; precisa de workstation poderosa; De 100 Gbytes a 1 TBytes Grande dimensão; servidores poderosos, normalmente com processamento paralelo Superior a 1 TBytes Enorme dimensão; necessita processamento maciçamente paralelo. 6 Data Warehousing e OLAP 3

4 , 2004/2005 Algumas características de DW Dependência temporal; Não volatilidade; Orientadas para fins específicos; Integração e consistência informação; Estrutura de dados optimizada para a consulta. 7 Dependência temporal Os dados na DW foram recolhidos ao longo do tempo (não são instantâneos); É preciso adicionar aos dados o instante temporal a que estes se reportam. 8 Data Warehousing e OLAP 4

5 , 2004/2005 Não volatilidade Os dados numa DW são actualizados; A DW armazena os dados históricos (memória histórica) das BD operacionais de onde foi gerada; Depois de carregados (a partir de uma BD operacional) a única operação é fazer queries. 9 Orientadas para fins específicos Devem ser guardados apenas os dados relevantes para a tomada de decisões; Muitos dados necessários à gestão do dia-a-dia dos sistemas operacionais não têm relevo para a DW. 10 Data Warehousing e OLAP 5

6 , 2004/2005 Integração e consistência de informação No ambiente operacional a mesma informação pode residir em dados com nome e aspecto diferente; É necessário integrar e dar consistência aos dados provenientes das BD operacionais antes de os armazenar na DW. 11 Optimização das consultas Uma vez carregados, os dados só são alvo de consultas; As DW têm quantidades enormes de dados. Visão multidimensional Desnormalização parcial Os dados devem ser armazenados de forma a acelerar ao máximo as consultas 12 Data Warehousing e OLAP 6

7 , 2004/2005 Visão genérica do modelo dimensional 13 Modelo dimensional Modelo usual em bases de dados operacionais: E/R O modelo dimensional é uma alternativa contém a mesma informação... organiza-a de forma simétrica orientada para o utilizador: Fácil compreensão Bom desempenho nas pesquisa Data Warehouses construídas sobre E/R complexos falham 14 Data Warehousing e OLAP 7

8 , 2004/2005 Modelo multidimensional Continente Leiria Continente Coimbra Hipermercado Produto Leite Farinha Açúcar Café Vendas Jan Fev Mar Abr Data 15 Exemplo de esquema em estrela Tempo Cadeia de Lojas ID_data Dia Dia_da_semana Semana_do_ano Mês Trimestre Ano Produto ID_produto Nome Tipo Marca Categoria Embalagem Descrição Venda ID_data ID_produto ID_loja Unid_vendidas Custo_compra Valor_venda Nº_Clientes Loja ID_loja Nome Localidade Distrito Área Nº_Caixas 16 Data Warehousing e OLAP 8

9 , 2004/2005 Modelo em estrela O modelo dimensional típico conduz a uma estrutura em estrela, contendo uma tabela central com os factos à qual estão ligadas as tabelas das dimensões. Tabela dimensão 1 ID_dimensão 1 Descrição 1 Atributo. Tabela dimensão 2 ID_dimensão 2 Descrição 2 Atributo. Tabela Factos ID_dimensão 1 ID_dimensão 2 ID_dimensão 3 ID_dimensão 4 Facto 1 Facto 2. Facto n Tabela dimensão 3 ID_dimensão 3 Descrição 3 Atributo. Tabela dimensão 1 ID_dimensão 4 Descrição 4 Atributo. 17 Tabela de factos Contém as medidas do negócio Os factos mais uteis são numéricos aditivos Representam relacionamentos M:1 com as dimensões do negócio 18 Data Warehousing e OLAP 9

10 , 2004/2005 Tabelas de dimensão Tabelas companheiras da tabela de factos Cada dimensão representa parâmetros do negócio tempo, clientes, produtos, etc Chave primária determina o dado específico Outros atributos específicos da dimensão Desnormalizada e com hieraquias. 19 OLAP - Online Analytical Processing Pesquisa e apresentação de texto e dados numéricos das Data Warehouses ROLAP (Relational OLAP) Estrutura, interfaces com o utilizador e aplicações que permitem implementar o modelo dimensional num motor de base de dados relacional MOLAP (Multidimensional OLAP) o mesmo sobre um motor não relacional 20 Data Warehousing e OLAP 10

11 , 2004/2005 Pesquisas - baixo nível Tempo ID_data Dia Dia_da_semana Semana_do_ano Mês Trimestre Ano Produto ID_produto Nome Tipo Marca Categoria Embalagem Descrição Cadeia de Lojas Venda ID_data ID_produto ID_loja Unid_vendidas Custo_compra Valor_venda Nº_Clientes Loja ID_loja Nome Localidade Distrito Área Nº_Caixas Select avg(valor_venda x Unid_vendidas) from Venda V, Tempo T, Produto P where JOIN_TABELAS group by P.Marca, T. Mês 21 Interfaces com o utilizador Exploração de dados na Data Warehouse Ferramenta OLAP típica acesso a motor relacional via SQL apresentação em tabela, gráfico, relatório, etc normalmente orientado para pesquisas ad-hoc Outras ferramentas Data mining Modelação 22 Data Warehousing e OLAP 11

12 , 2004/2005 Browsing Explorar uma das dimensões definindo restrições e escolhendo as colunas pretendidas. coluna Nome_Loja Localidade Distrito Area_total Nºcaixas restrição valores Loja Zé Ansião Coimbra distintos Super Mário Aveiro Leiria Super Bill Coimbra Aveiro Loja da Maria Leiria 1000 Loja do Manel Penacova 1500 John's Market Penela Vieiras Pombal Loja 007 Cadeia Joel Loja dos Browsing (exemplo) Quais os nomes e onde se situam as lojas do distrito de Coimbra com área igual a 750 m 2 e com 4 caixas? coluna Nome_Loja Localidade Distrito Area_total Nºcaixas restrição Coimbra valores Loja do Manel Coimbra Coimbra distintos John's Market Penacova Vieiras Loja dos Data Warehousing e OLAP 12

13 , 2004/2005 Pesquisas - Slice and Dice Vendas por tempo e produto Vendas por loja e marca 25 Drill-Down & Roll-Up Drill-Down Categoria mais genérica Roll-up Categoria intermédia Categoria mais detalhada Detalhe completo 26 Data Warehousing e OLAP 13

14 , 2004/2005 Tempo: Drill-Down & Roll-Up Drill-Down ALL Ano Trimestre Roll-up Mês Semana Dia 27 Tempo: Drill-Down (exemplo) Select avg(valor_venda x Unid_vendidas) from Venda V, Tempo T, Produto P where JOIN_TABELAS group by P.Marca, T. Mês; Select avg(valor_venda x Unid_vendidas) from Venda V, Tempo T, Produto P where JOIN_TABELAS group by P.Marca, T. Dia; Questão: como se representa o ALL na pesquisa? 28 Data Warehousing e OLAP 14

15 , 2004/2005 Arquitectura geral da Data Warehouse 29 Elementos básicos de uma data warehouse BDs operacionais Sistemas legados Data warehouse (presentation servers) ROLAP/ MOLAP Utilizadores Ad hoc queries Relatórios Folhas de cálculo, ficheiros,... Fontes externas Data Staging Area Aplicações específicas Modelos e outras ferramentas 30 Data Warehousing e OLAP 15

16 , 2004/2005 Data Marts É, normalmente, um subconjunto de uma DW; Numa Data Mart os dados são focalizados numa área específica (processo de negócio); Muitas vezes uma Data Mart é feita para responder rápidamente a uma área de actividade. 31 Arquitectura de BDs de uma organização 1 BDs operacionais Sistemas legados Data Warehouse Data Mart Folhas de cálculo, ficheiros,... Fontes externas Utilizadores Utilizadores 32 Data Warehousing e OLAP 16

17 , 2004/2005 Arquitectura de BDs de uma organização 2 BDs operacionais Data Mart Sistemas legados Data Warehouse Folhas de cálculo, ficheiros,... Fontes externas Utilizadores Utilizadores 33 Sistemas fonte sistema de registo de transacções gestão de clientes, gestão de produtos, gestão de vendas, etc principais características assumidas disponibilidade pesquisas típicas limitadas a fichas individuais mantêm pouca informação histórica A obtenção de relatórios de gestão é complicada e pesada Pouca ligação com restantes sistemas da empresa registos de facturação não ligados a base de produtos ou clientes 34 Data Warehousing e OLAP 17

18 , 2004/2005 Área de processamento temporário (Staging Area) Área e processos que actuam sobre os dados fonte limpeza transformação combinação preparação Staging Area Data Warehouse 35 Metadados É necessário uma estrutura (na prática outra base de dados) para descrever os dados da DW. Deve descrever: Que dados existem na DW; Qual o seu formato; Onde estão armazenados; Como se relacionam com os dados de outras bases de dados; Qual a proveniência dos dados e quem são os seus donos. 36 Data Warehousing e OLAP 18

19 , 2004/2005 Processos básicos da DW Extracção (a partir dos sistemas fonte) Transformação e limpeza de dados (na staging area) Carregamento e indexação Tratamento de erros Pesquisa (utilização normal) 37 Transformação Limpeza dos dados Eliminação de campos inuteis campos dos sistemas opeacionais que são desnecessários na DW Combinação de fontes de dados coincidência exacta de chaves ou fuzzy matches Criação de chaves primárias da DW independentes dos sistemas operacionais Criação de dimensão temporal Construção de agregados para melhoria de velocidade em pesquisas 38 Data Warehousing e OLAP 19

20 , 2004/2005 Limpeza dos dados Limpeza dos dados correcção de erros (de escrita) correcção de inconsistências (cidade-código postal) eliminação de duplicados (o mesmo nome PEDRO e Pedro) tratamento de faltas de dados (campos vazios) pôr os dados em formatos standard 39 Carregamento Staging Area Transformação Carregamento DW Preenche dimensões e factos temporários com dados do período em causa Realiza o carregamento BULK LOAD carregamento ficha-a-ficha seria demasiado lento Indexa os dados carregados 40 Data Warehousing e OLAP 20

21 , 2004/2005 BD operacionais vs Data Warehouses Dados operacionais Objectivos operacionais Acessos de leitura/escrita Acesso por transacções pré-definidas Acesso a poucos registos de cada vez Dados da Warehouse Registo histórico Acessos só de leitura Acesso por queries ad hoc e relatórios periódicos Muitos registos em cada acesso Dados actualizados em tempo real Estrutura optimizada para actualizações Event-driven: os processos geram dados Carregamentos periódicos de mais dados Estrutura optimizada para queries complexas Data-driven: os dados geram respostas 41 Visão genérica sobre o processo de construção de uma Data Warehouse 42 Data Warehousing e OLAP 21

22 , 2004/2005 Infraestrutura para projecto Construir uma DW é complexo e requer conhecimento especializado em várias áreas Definir equipa; Definir ferramentas e sistemas; Identificar fases do projecto; Definir métodos de trabalho; Identificar responsabilidades para cada tarefa/fase. 43 Esquema geral do projecto de uma Data Warehouse (R. Kimball) Planeamento do projecto Definição dos requisitos do negócio Desenho da arquitectura Modelação dimensional Desenho físico Selecção e instalação de produtos Desenho do Data Staing Colocação em Produção Especificação das aplicações de utilizador Gestão do projecto Desenvolvimento das aplicações 44 Data Warehousing e OLAP 22

23 , 2004/2005 Passos na construção de uma DW Identificação de objectivos (de gestão) a atingir com a DW; Definir infraestrutura para o projecto; Identificar modelo de dados das BD operacionais fonte; Definir modelo de dados para a DW; Definir regras para o mapeamento de dados; Extrair, integrar, purificar e consolidar os dados; Ferramentas de exploração, afinação de desempenho e avaliação de eficácia. 45 Objectivos a atingir com a DW É necessário ter um entendimento profundo do processo de negócio que a DW vai apoiar. Quais são os objectivos e estratégia da empresa/instituição? Qual a informação necessária para atingir esses objectivos? Porque é que a informação é necessária? Quem vai usar essa informação (dentro da empresa)? Como é que a informação vai ser usada? 46 Data Warehousing e OLAP 23

24 , 2004/2005 Identificar modelo de dados das BD fonte Bases de dados operacionais 47 Modelo de dados das BD fonte (cont.) Responder à questão: quais os dados fonte para a DW? Muitas vezes os modelos de dados das BD operacionais não existem ou estão desactualizados; Necessário usar ferramentas de reverse-engineering; Alguns dados da DW podem ter outras origens que não as BD operacionais. 48 Data Warehousing e OLAP 24

25 , 2004/2005 Dados históricos, de referência e sínteses No processo de indentificar os dados a extrair para a DW é útil olhar os dados sob grandes grupos: Dados históricos (factos) Dados correspondentes a entidades que descrevem factos (vendas, encomendas, facturas, consultas, pagamentos, etc) Dados de referência (dimensões) Dados correspondentes a entidades de referência que permitem completar e situar os dados dos factos históricos (clientes, fornecedores, pessoas, etc) Sínteses Dados previamente calculados e que se prevê virem a ser necessários (relatórios de vendas mensais, movimentos semanais de stock, etc) 49 Definir modelo de dados da DW Desenvolver/entender o modelo de negócio da DW, identificar processos de negócio e identificar dados disponíveis (nas BDs operacionais); Par cada processo de negócio: Identificar os factos (valores numéricos); Escolher a granularidade dos factos (determina a precisão com que poderá ser feita a análise); Definir as dimensões de interesse. 50 Data Warehousing e OLAP 25

26 , 2004/2005 Modelos na construção de uma DW Modelo do negócio (ER) Desnormalização sistemática Que transações? Que queries? Modelo dimensional Modelo físico 51 Definir regras para o mapeamento de dados Identificar os dados a extrair; Identificar os dados que faltam (impossíveis de extrair das BD operacionais); Definir regras e processos para integrar, compatibilizar e limpar os dados; Documentar todas os passos para permitir que os dados históricos possam ser entendidos posteriormente. 52 Data Warehousing e OLAP 26

27 , 2004/2005 Extrair, integrar, purificar e racionalizar os dados Usar ou construir as ferramentas que concretizam as regras para mapeamento dos dados; Rever regras e processos de mapeamento sempre que são detectadas inconsistências; Documentar todos os passos. 53 Exploração, afinação e avaliação de eficácia Definição/construção de ferramentas de exploração; Afinação de desempenho; Administração da data warehouse. 54 Data Warehousing e OLAP 27

28 , 2004/2005 O modelo multidimensional 55 Modelo multidimensional Factos armazenados num array multidimensional; As dimensões são usadas para indexar o array; Normalmente construídas sobre bases de dados relacionais. Continente Leiria Continente Coimbra Hipermercado Produto Leite Farinha Açúcar Café Vendas Jan Fev Mar Abr Data 56 Data Warehousing e OLAP 28

29 , 2004/2005 Exemplo de esquema em estrela Cadeia de Lojas Tempo ID_data Dia Dia_da_semana Semana_do_ano Mês Trimestre Ano Produto ID_produto Nome Tipo Marca Categoria Embalagem Descrição Venda ID_data ID_produto ID_loja Unid_vendidas Custo_compra Valor_venda Nº_Clientes Loja ID_loja Nome Localidade Distrito Área Nº_Caixas 57 Modelo em estrela O modelo dimensional típico conduz a uma estrutura em estrela, contendo uma tabela central com os factos à qual estão ligadas as tabelas das dimensões Tabela dimensão 1 ID_dimensão 1 Descrição 1 Atributo. Tabela dimensão 2 ID_dimensão 2 Descrição 2 Atributo. Tabela Factos ID_dimensão 1 ID_dimensão 2 ID_dimensão 3 ID_dimensão 4 Facto 1 Facto 2. Facto n Tabela dimensão 3 ID_dimensão 3 Descrição 3 Atributo. Tabela dimensão 1 ID_dimensão 4 Descrição 4 Atributo. 58 Data Warehousing e OLAP 29

30 , 2004/2005 Algumas características do modelo em estrela Tabela de Factos Constituída por atributos numéricos (factos) e pelas chaves forasteiras que a ligam à tabelas de dimensões; A tabela de factos está bastante normalizada; Contém normalmente uma enorme quantidade de registo (ocupa vulgarmente mais de 95% do espaço da DW). Tabelas de Dimensões Tabela ID_dimensão dimensão 1 Descrição 1 Atributo. Tabela ID_dimensão dimensão 2 Descrição 2 Atributo. Tabela Factos ID_dimensão 1 ID_dimensão 2 ID_dimensão 3 ID_dimensão 4 Facto 1 Facto 2. Facto n Há tantas dimensões quantas vertentes sob as quais se pretende analisar os factos; As tabelas de dimensões são fortemente desnormalizadas, sendo normalmente tabelas com muitos atributos; Normalmente, apesar de terem muitos atributos, contêm poucos registos (quando comparados com a tabela de factos). Tabela ID_dimensão dimensão 3 Descrição 3 Atributo. Tabela ID_dimensão dimensão 14 Descrição 4 Atributo. 59 Passos para definir modelos em estrela 1 - Identificar os processos de negócio/actividade 2 - Identificar os factos; 3 - Identificar dimensões; 4 - Escolher a ganularidade dos dados a registar. Sem perder de vistas os dados efectivamente disponíveis (BDs operacionais, ficheiros, etc) 60 Data Warehousing e OLAP 30

31 , 2004/2005 Exemplo Cadeia de supermercados Cadeia de supermercados de uma mesma empresa Vamos pensar apenas nas vendas (a aquisição de produtos aos fornecedores é global para toda a empresa) Cada supermercado tem vários departamentos (mercearia, higiene e limpeza, etc) Vende vários milhares de produtos Os produtos são identificados univocamente por códigos. código SKU ( Stock Keeping Units ) códigos de barras universais SKU = UPC 61 Dados do negócio Onde recolher os dados? Caixa registadora (POS - point of sales). Na prática, os dados são recolhidos na base de dados que gere as existências, sendo as caixas registadoras meros terminais. O que interessa medir? Vendas Qual o objectivo? Maximização do lucro máximo preço de venda possível mais baixos custos de aquisição e administrativos mais clientes 62 Data Warehousing e OLAP 31

32 , 2004/2005 Factos - Cadeia de Lojas Identificar os factos de Vendas Exemplo de factos relevantes para a gestão: Número de unidades vendidas, custo do produto quando fornecido pelo vendedor, valor total das vendas do produto, número de clientes que comprou o produto. Questão: será que é possível obter dados base (no sistema operacional) para obter estes factos? Dimensão Loja Dimensão Tempo ID_data atributos. Dimensão Produto ID_produto atributos... Factos VENDAS ID_data ID_produto ID_loja ID_promoção Unid_vendidas Custo_compra Valor_venda Nº_clientes ID_loja atributos... Dimensão Promoção ID_promoção atributos Dimensões - Cadeia de Hipermercados Dimensões principais Produto x Tempo x Loja Existirão outras dimensões de interesse? Fornecedores? Promoções? Cliente? Nome do empregado responsável naquele dia? É normalmente possível adicionar dimensões extra às dimensões principais Todas dimensões tomam um só valor para cada combinação 64 Data Warehousing e OLAP 32

33 , 2004/2005 Dimensões - Cadeia de Hipermercados Dimensão Tempo ID_data atributos. Dimensão Produto ID_produto atributos... Factos VENDAS ID_data ID_produto ID_loja ID_promoção Unid_vendidas Custo_compra Valor_venda Nº_clientes Dimensão Loja ID_loja atributos... Dimensão Promoção ID_promoção atributos Granularidade Exemplo: registar as vendas de todos os produtos diariamente Podemos ver de forma detalhada que produtos são vendidos e em que lojas, a que preços e em que dias, Granularidade: produtos x loja x promoção x dia A granularidade determina a dimensionalidade da DW e tem um forte impacto no seu tamanho A granularidade deve ser adequada às necessidades de análise. 66 Data Warehousing e OLAP 33

34 , 2004/2005 Granularidade: alternativas Porquê SKU em vez de marca ou tipo de produto? Valerá a pena ter tantas unidades de um determinado tamanho para um dado produto? Ao nível da factura tamanho da base de dados poderia tornar-se gigantesco identificação do cliente não existe assim não é possivel analisar os dados de comportamento de compras Semanal ou mensal perder-se-iam efeitos interessantes a nível diário variações de vendas entre 2ªs e Sábados efeitos de promoções de dois dias 67 Detalhe selectivo Porque é que os dados devem ser expressos com um detalhe grande num Data Warehouse? Não por ser necessário aceder a valores específicos mas as pesquisas cortam dimensões selectivamente e de forma precisa Select Join Group By produto, mês 68 Data Warehousing e OLAP 34

35 , 2004/2005 Refinar o modelo Detalhar as dimensões Rever os factos Verificar a consistência (entre factos, entre factos e dimensões, etc) Reavaliar granularidade 69 Exemplo 1 - Cadeia de lojas Produto ID_produto Número Nome Marca Categoria Subcategoria Departamento Tam_embalagem Tipo_embalagem Tipo_dieta Peso Unidade_de_peso Quant_caixa Caixas_p_pallete Larg_prateleira Altura_prateleira Profun_prateleira... Tempo ID_data Dia_do_mês Dia_da_semana Dia_do_ano Semana_do_ano Mês Número_do_mês Trimestre Período_fiscal Flag_feriado Flag_dia_semana Flag_últ_dia_mês Estação_ano Aconteci_espec. ID_produto ID_data ID_Loja ID_Promoção Unid_vendidas Custo_compra Valor_venda Nº_clientes Promoção ID_promoção Número Nome_promo Tipo_red_preço Tipo_anúncio Tipo_cartaz Tipo_coupons Meio_anúncio Meio_cartaz Custo_promoção Início_promoção Fim_promoção... Loja ID_loja Nome Número_loja Endereço Localidade Código_postal Distrito Região Telefone Fax Gestor_loja Área_total Área_mercearias Área_congelados Área_bazar Nº_Caixas Data_inauguração Data_ult_remod Data Warehousing e OLAP 35

36 , 2004/2005 Exemplo 1: Dimensão tempo Tempo ID_data Dia_do_mês Dia_da_semana Dia_do_ano Semana_do_ano Mês Número_do_mês Trimestre Período_fiscal Flag_feriado Flag_dia_semana Flag_último_dia_mês Estação_ano Acontecimento_espec. Existe sempre, pois representa a dependência temporal inerente à DW; Deve descrever o tempo tal como ele é visto para fins de gestão da actividade (negócio) em causa; Deve conter a caraterização do tempo nos atributos pelos quais se pretende posteriormente fazer pesquisas; É gerada, normalmente, de uma forma sintética (i.e., sem ser a partir de uma BD operacional) para todo o período de tempo considerado na DW. 71 Exemplo 1: Dimensão produto Produto ID_produto Número Nome Marca Categoria Subcategoria Departamento Tam_embalagem Tipo_embalagem Tipo_dieta Peso Unidade_de_peso Quantidade_caixa Caixas_por_pallete Largura_prateleira Altura_prateleira Profud_prateleira... Deve conter a caraterização dos produtos tal como eles são vistos pelo gestor da cadeia de lojas; Contém todos os atributos pelos quais se pretende posteriormente fazer perguntas; Como acontece normalmente nas tabelas de dimensões, é uma tabela bastante desnormalizada. 72 Data Warehousing e OLAP 36

37 , 2004/2005 Exemplo 1: Dimensão loja Loja ID_loja Nome Número_loja Endereço Localidade Código_postal Distrito Região Telefone Fax Gestor_loja Área_total Área_mercearias Área_congelados Área_bazar Nº_Caixas Data_inauguração Data_ultim_remod.... Contém a caraterização das lojas tal como eles são vistos pelo gestão da cadeia de lojas; Contém todos os atributos pelos quais se pretende posteriormente fazer perguntas, incluindo atributos de natureza geográfica (localização) e de natureza temporal (datas de inauguração, ). 73 Exemplo 1: Dimensão promoções Promoção ID_promoção Número Nome_promo Tipo_red_preço Tipo_anúncio Tipo_cartaz Tipo_coupons Meio_anúncio Meio_cartaz Custo_promoção Início_promoção Fim_promoção... Contém a caraterização das promoções efectuadas; Neste exemplo há apenas uma dimensão de promoções (para todos os tipos de promoções), mas seria possível ter em alternativa uma dimensão para cada tipo de promoção; A dimensão promoção representa, neste exemplo, uma dimensão muito sensível e importante, pois as promoções são um dos aspectos em que o gestor mais facilmente pode actuar quando pretende incrementar as vendas numa loja ou num determinado produto. 74 Data Warehousing e OLAP 37

38 , 2004/2005 Cálculo simplificado do espaço ocupado Granularidade = Produtos vendidos / em cada loja / em cada dia Tempo = 3 anos Nº Produtos = (apenas 20% dos produtos são vendidos diariamente) Lojas = 100 Tamanho médio de registo = 8 atributos x 4 Bytes = 32 Bytes Nº de registos de factos = 3 x 365 x x 100 = Tamanho aproximado da DW = 32 x = 70 GBytes Despreza-se o espaço ocupado pelas tabelas de dimensões; Não considera o armazenamento dos índices nem vistas materializadas; 75 Exemplo 2: Existências em armazéns Caracterização da actividade de gestão de existências Recepção; Recolha do stock; Inspecção; Embalagem; Armazém Entrada no stock; Saída Autorização de venda; Procedimentos excepcionais: Detecção de falha na inspecção Devolução ao fornecedor Deteriorização no manuseamento Perda do produto Devolução do cliente Reentrada no stock ; 76 Data Warehousing e OLAP 38

39 , 2004/2005 Ex. 2: Fotografia periódica de existências Tempo Produto Existências ID_tempo ID_produto ID_armazém Quant_existente Valor_de_custo Último_preço_venda Quant_saída Armazém Registo periódico das existências em stock; A Quantidade_existente não é aditiva na dimensão tempo A Quantidade_saída permite saber quantos produtos saíram no intervalo de tempo correspondente a dois registos. 77 Ex. 2: Registo de transações de existências Tempo Produto Existências ID_tempo ID_produto ID_armazém ID_transacção Nº_Documento Quantidade Quant_existente Armazém Transacção Contém um registo por cada possível alteração (transacção) das existências, constituindo a forma mais detalhada de representar a evolução do stock; O conjunto de possíveis transacções é reduzido. Necessita de atributos como Quant_existente (típicos do modelo fotográfico ) para dar uma visão prática do processo. 78 Data Warehousing e OLAP 39

40 , 2004/2005 Ex. 2: Cálculo simplificado do espaço ocupado Tempo = 3 anos Fotografia periódica das existências Nº Produtos = Armazéns = 4 Tamanho médio de registo = 7 atributos x 4 Bytes = 28 Bytes Nº de registos de factos = 3 x 365 x x 4 = Tamanho aproximado da DW = 28 x = 61,32 GBytes Tempo = 3 anos Registo de transacções de existências Nº Produtos = Armazéns = 4 Tamanho médio de registo = 7 atributos x 4 Bytes = 28 Bytes Nº entregas (no armazém) por ano = 10 Nº de transacções por cada entrega de produto = 50 Nº de registos de factos = 3 x x 4 x 10 x 50 = Tamanho aproximado da DW = 24 x = 84 GBytes 79 Redução espaço ocupado: abordagem simplista Em muitas situações poderá ser aceitável ter informação detalhada para as existências apenas relativa ao último mês: Exemplo (método da fotografia periódica das existências) Registo diário das existências do último mês; Média semanal das restantes semanas do ano (48 semanas); Média mensal dos meses dos últimos dois anos. Nº de fotografias = 30 (dias) + 48 (semanas) + 24 (meses) = 102 (em vez de 3 x 365 = 1100) 80 Data Warehousing e OLAP 40

41 , 2004/2005 Cruzamento de dados entre processo de negócio diferentes Data Mart - marketing Como cruzar os dados? Definições e carregamentos de dimensões e factos de forma independente? Data Mart - facturação 81 Mais do que uma estrela Loja Vendas ID_data ID_produto ID_Loja Unid_vendidas Custo_compra Valor_venda Nº_Clientes Tempo Produto Existências ID_tempo ID_produto ID_armazém Quant_existente Quant_saída Valor_de_custo Últim_preço_venda Armazém Uma ou mais estrelas interligam-se por uma ou mais dimensões; As dimensões que promovem a interligação têm de ser conformes (conter informação consistente entre si); Drill across: consulta à DW que cruza mais do que uma estrela. 82 Data Warehousing e OLAP 41

42 , 2004/2005 Exemplo de múltiplas estrelas Armazenistas distribuidores Encomendas Dimensão: Tempo Dimensão: Componente Dimensão: Fornecedor Dimensão: Contrato Vendas Dimensão: Tempo Dimensão: Componente Dimensão: Cliente Dimensão: Contrato Existências Dimensão: Tempo Dimensão: Componente Dimensão: Armazém 83 Exemplo de dimensões conformes Dimensão_1 Dimensão_5 Dimensão_4 Tabela de Factos Dimensão_2 Tabela de Factos Dimensão_6 Dimensão_1 Dimensão_3 Dimensão_7 Dimensão10 Tabela de Factos Dimensão_9 Dimensão_8 Têm de ser conformes 84 Data Warehousing e OLAP 42

43 , 2004/2005 Factos não aditivos (ou semi-aditivos) Os factos não são aditivos ao longo de uma ou mais dimensões quando a sua soma não tem significado real (mas a média já pode ter, pelo que o facto é útil). Nem sempre é fácil para o utilizador perceber que está a fazer adições de factos não aditivos, o que pode levar a conclusões erradas. Exemplos: Factos que representam níveis estáticos como saldos de contas ou existências num inventário; A não aditividade pode resultar de peculiariedades do modelos de estrela (por exemplo, o facto Nº_Clientes no exemplo Cadeia de Lojas ) 85 Grandes dimensões Em certas situações dimensões como Produtos ou Clientes podem ter milhões de registos; É muito frequente estas dimensões terem até uma centena de atrubutos; Pode ser interessante normalizar parcialmente estas dimensões 86 Data Warehousing e OLAP 43

44 , 2004/2005 Flocos de neve Produto ID_produto Número Nome ID_Tam_emb ID_marca Peso Unidade_de_peso Quantidade_caixa Caixas_por_pallete Largura_prateleira Altura_prateleira Profud_prateleira... ID_Tam_emb Tipo_embalag ID_marca ID_marca Categoria ID_subcat ID_subcat Categoria ID_dept ID_Dept Departamento Uma dimensão pode ter múltiplas hierarquias (flocos de neve); Uma hierarquia consiste numa cadeia de típicos relacionamentos 1 para N 87 Vantagens e desvantagens de flocos Vantagens Economiza espaço; Desvantagens Aumenta o tempo de resposta a queries; Torna a construção das queries mais complexa. Por muito grande que seja uma dimensão, ela representa sempre uma percentagem pequena da espaço ocupado pela tabela de factos, pelo que estruturar uma dimensão em flocos de neve raramente se justifica 88 Data Warehousing e OLAP 44