Ana Carolina Salgado Fábio Ávila PROJETO DE DATA WAREHOUSE

Transcrição

1 Ana Carolina Salgado Fábio Ávila PROJETO DE DATA WAREHOUSE

2 Local Atlanta Denver Uvas Produto Detroit Cerejas Melões Vendas Sales Maçãs Peras Pêras T1 T2 T3 Tempo T4 2

3 Local Membro Atlanta Denver Uvas Produto Detroit Cerejas Dimensão Melões Célula Maçãs Pêras Dia 1 Dia 2... Jan. Fev Níveis T1 T2 T3 Tempo T4 Tempo Início Fim Trimestre 1 1 dejulho 30 de Setembro Trimestre 2 1 de Outubro 31 de Dezembro Propriedades Trimestre 3 1 de Janeiro 31 de Março Trimestre 4 1 de Abril 30 de Junho 3

4 Componentes de Modelagem do DW Tabelas de Dimensão Geográfica Produto Dimensão Tabela-Fato Medidas Geográfica Produto Tempo Und. $ Fatos Tempo 4

5 Dimensões comuns Tempo Útil quebrar em data e hora separadamente Ano calendário vs. Ano fiscal Propriedades mais específicas Existe apenas no DW Região (Bairro, Município, Estado, Cidade, País) Produto Classificação Cliente Contas / Centros de Custo 5

6 Esquema Estrela (Star) Dim_Funcionario Chave_Funcionario Codigo_Funcionario.. Dimension Table Dim_Tempo Chave_Tempo Data. Dim_Entregador Chave_Entreegador Codigo_Entregador.. Tabela Fato Fato_Vendas Chave_Tempo Chave_Funcionario Chave_Produto Chave_Cliente Chave_Entregador Qtd-Prod Valor-Total.. Dim_Cliente Chave_Cliente Codigo_Cliente.. Dim_Produto Chave_Produto Codigo_Produto. 6

7 Esquema Floco de Neve (Snowflake) Fato_Vendas Chave_Tempo Chave_Funcionario Chave_Produto Chave_Cliente Chave_Entregador RequiredDate. Tabela-Dimensão Principal Dim_Produto Chave_Produto Nome Tamanho CodigoMarca MarcaProduto CodigoMarca CodigoCategoria Tabelas-Dimensão Secundárias Categoria CodigoCategoria Nome 7

8 Hierarquias de Dimensão Hierarquia Consolidada Local da Loja Continente País Região Cidade Loja Local da Loja Continente Hierarquia em Separado Continente País País Região Região Cidade Cidade Loja Loja 01 8

9 Exemplo de um DW em Esquema Estrela com Dados 9

10 Dimensões Compartilhadas Na mesma tabela-fato: Role-Playing Dimension Dimensão 1 Dimensão 3 Dimensão 5 Fatos Fatos Dimensão 2 Dimensão 4 Dimensão 6 10

11 Minidimensões Caso de conformed dimension Agrupamento de atributos de dimensões Necessário produzir chave na tabela-fato Exemplos comuns Atributos de clientes Faixas de valores Dados demográficos 11

12 Visão Geral de Ciclos de Carga de DW Processo ETL extrai dados novos e modificados Processo ETL insere ou modifica dados no DW baseado em modificações Staging Database Data Warehouse Extrai mudanças das fontes de dados Atualiza o DW baseado nas modificações Usuários modificam dados em aplicações

13 Tipos de ETL Full: apaga todos os registros e carrega novamente. Partição: mesmo que full, mas usando um filtro de critério, que define uma partição. Incremental Log: usa o log do DBMS ou um log construído por triggers ou pela aplicação. Timestamp: um carimbo numérico e incremental no registro marca os que forem sendo inseridos ou atualizados. Não resolve deletes, que precisariam ser tratados por estratégia de log. Snapshot: uma foto dos dois lados é tirada e comparada para gerar as operações de inserção, exclusão e atualização. 13

14 Slowly Changing Dimensions Tipo 0: dimensão estática Tipo 1 Tipo 2 Carga efetuada uma única vez Dimensão atualizada ou recarregada. Atributos são sobrescritos. Gerenciamento através de tuplas com período de validade ou registro de versão. Permite mudanças ilimitadas 14

15 Slowly Changing Dimensions Tipo 3 Gerenciamento através de novos campos. O número de mudanças fica limitado. Tipo 4 Gerenciamento através de uma tabela auxiliar 15

16 Slowly Changing Dimensions Tipo 6 ( ) Implementação Surrogate key (ao invés da Natural Key) é colocada na tabelafato. 16

17 Degenerate Dimensions Formadas a partir de um atributo da tabela-fato Dimensão modo de expedição (ship mode dimension) modo expedição (ship mode) origem da perna (leg origin) Dimensão expedidor (shipper dimension) Dimensão data (date dimension) Dimensão container (container dimension) destino da perna (leg destination) origem da viagem (trip origin) destino da viagem (trip destination) expedidor (shipper) remetente (consignor) data da viagem (voyage date) data da perna (leg date) item (item) contêiner (container) BOL # (degen) taxa (fee) tarifa (tariff) peso (weight) volume (cubes) Dimensão porto (port dimension) Dimensão remetente (consignor dimension) Dimensão item (item dimension) Bill of Landing Number. Documento emitido pela empresa de transporte ao transportador que funciona como um recibo do que está sendo transportado e como definição de contrato de transporte (citando os portos envolvidos). 17

18 XML/A: XML for Analysis Padrão de indústria para soluções OLAP Proposta inicial: Microsoft, Hyperion e SAS Mais de 25 entidades aderiram posteriormente Versão 1.0 publicada em 2001 Baseado em outros padrões: XML, SOAP, HTTP. Encapsula outras linguagens: MDX, DMX e SQL. Especifica cubos, dimensões, tarefas administrativas, etc. Demo no SSDT (SQL Server Data Tools) 18

19 Cenários de Business Intelligence Relatórios Data Analysis Colaboração

20 Tendências em Business Intelligence Self-service e Analytics Adoção crescente por um grande número de organizações Soluções verticais

21 Papéis num Projeto de BI Analista de Negócio Gerente de Projeto Arquiteto de BI Deselvolvedor de BI Criador de Relatórios Information worker Testador Administrador de BI

22 Modelos de Dados Modelos Semânticos Apresenta dados para usuários como informação útil Agrega contexto e estrutura aos dados Modelagem de Dados Requer conhecimento do negócio e aspectos técnicos da solução É um processo iterativo Ajuda a garantir que a solução continua a suprir os requisitos

23 Business Intelligence Data Warehousing Tecnologias de BI da Microsoft Microsoft SQL Azure and the Windows Azure Marketplace Microsoft SQL Server Integration Services SQL Server Master Data Services SQL Server Data Quality Services SQL Server Database Engine SQL Server Analysis Services SQL Server Reporting Services Microsoft PowerPivot Technologies Microsoft Excel Data Mining Add-In PowerPivot Add-In MDS Add-In Reports, KPIs, and Dashboards Power View Microsoft SharePoint Server

24 Modelos Semânticos de BI no SSAS Power View Excel PowerPivot Third-Party Applications SharePoint Insights BI SEMANTIC MODEL Data Model Multidimensional Tabular Business Logic and Queries MDX DAX Data Access ROLAP MOLAP VertiPaq Direct Query

25 O que será usado no Projeto Hardware e SO Notebook com no mínimo 4GB de memória Windows 7 ou 8 SQL Server 2014 Excel Download da versão de avaliação Enterprise de 180 dias Adicione seu usuário como administrador do SQL Server e do SSAS durante a instalação. A versão 2013 é recomendável, mas também funcionará a Datas Na 2010, é necessário instalar o add-in do PowerPivot separadamente. Primeira parte será divulgada dia 11/nov Segunda parte será divulgada dia 25/nov Aulas apenas para tira-dúvidas (presença não obrigatória): 2 e 9/dez Apresentação final: 16/dez 25