Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Transcrição

1 Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade

2 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI - Slides confeccionados pelo autor. 3 MODELAGEM DIMENSIONAL PROJETO-DW E DM CARLOS BARBIERI 4 2

3 PROJETO DE DW FASES PLANEJAMENTO/LEVANTAMENTO DE NECESSIDADES MODELAGEM DIMENSIONAL PROJETO FÍSICO DW/DM PROJETO DAS APLICAÇÕES OLAP/MINING ETC-EXTRAÇÃO-TRANSFORMAÇÃO E CARGA CONSTRUÇÃO TESTE IMPLEMENTAÇÃO ACOMPANHAMENTO 5 PLANEJAMENTO DEFINIR: ESCOPO DO PROJETO ÁREAS DE NEGÓCIO-PRIORIDADES ARQUITETURA DO DW: DW OU DW+DM(EVOLUTIVO) RECURSOS: REDE-BD-GATEWAYS-TOOLS -TREINAMENTO PLANEJAMENTO DE CAPACIDADE P/FUTURO ETAPAS-ATIVIDADES-PRODUTOS ATIVIDADES PRODUTOS LIBERADOS ESTRATÉGIAS: ATUALIZAÇÃO/PERIODICIDADE CRONOGRAMAS 6 3

4 PROJETOS DE DW ESTRATÉGIAS DUAS ABORDAGENS DISTINTAS: MONOLÍTICA(TUDO DE UMA VEZ) BILL INMON-PRISM-DATA WAREHOUSE INCREMENTAL-PASSO A PASSO RALPH KIMBALL-DATA MARTS CONVERGÊNCIA(MELHOR DE 2 MUNDOS): DATA MARTS COM PLANO DE INTEGRAÇÃO DEFINIDO PARA O DW PASSO A PASSO COM CUIDADOS DE CONFORMIDADE DE MÉTRICAS, DIMENSÕES COMPARTILHADAS 7 CONCEITOS DW FORMADO GRADATIVAMENTE DE DMARTS DMARTS SÃO PROJETADOS POR ASSUNTO COM CRITÉRIOS DE INTEGRAÇÃO DMARTS SÃO COMPOSTOS DE N CUBOS CADA CUBO É UMA VISÃO DIMENSIONAL DE DADOS FORMADO POR: 1 TABELA FATO E N TABELAS DIMENSÕES-FORMANDO AS INFORMAÇÕES BASE(GRANULAR) N TABELAS AGREGADAS OS CUBOS SÃO IMPLEMENTADOS SEPARADAMENTE OS CUBOS PODEM SER JOINED CRIANDO VIEWS DIMENSIONAIS 8 4

5 DATA WAREHOUSE DATAMART/ODS DADOS OPERACIONAIS/ SISTEMAS TRANSACIONAIS OPERATIONAL DATA STORE CONSOLIDAÇÃO ODS ETC-EXTRAÇÃO-TRANSFORMAÇÃO-CARGA INTEGRAÇAO MIDDLE UP DATA WAREHOUSE MIDDLE-UP ÁREA-1 ÁREA-2 ÁREA-3 FERRAMENTAS DATA MART DISTRIBUIÇÃO DATA MART RECURSOS HUMANOS DATA MART FINANCEIRA QUERY/REPORT EIS-OLAP MINING 9 CUBO CUBOS COMO VISÃO DIMENSIONAL PODEM SER MATERIALIZADOS/IMPLEMENTADOS EM: MOLAP- Multidimensional FORMA FÍSICA DE UMA ESTRUTURA DIMENSIONAL. ROLAP: Relacional - FORMA FÍSICA DE TABELAS RELACIONAIS VISTAS COMO ESTRUTURAS DIMENSIONAIS VIEWS COM MENOR PERFORMANCE- DADO BASE-ACESSO ACESSO DIRETO AO RELACIONAL COMO VIEW AGREGADOS SÃO CRIADOS NO RELACIONAL HOLAP- Híbrido - FORMA MISTA ORIGINADA DAS OUTRAS ANTERIORES 10 5

6 MODELAGEM DIMENSIONAL TABELAS FATOS MÉTRICAS E VALORES TABELAS TEXTOS, CAMPOS DIVERSOS, USADOS EM SELECÃO, TITULO, ETC 11 GRANULARIDADE HIERARQUIA DE DIMENSÕES MODELO DIMENSIONAL CONCEITOS PRODUTO PAIS CATEGORIA TABELAS REGIÃO SUB CATEGORIA ANO ESTADO PRODUTO TRIM CIDADE LOJA VENDAS TABELA FATO MES DIA GEOGRAFIA MÉTRICAS: QUANTIDADE VALOR TEMPO 12 6

7 MODELAGEM DIMENSIONAL ESTRUTURAS SCHEMA ESTRELA: DIMENSÕES DESNORMALIZADAS VOLTADO PARA ACESSOS C/ PERFORMANCE SCHEMA SNOWFLAKE: TRADICIONAL+ E/R NORMALIZADO HIERAQUIAS MANTIDAS MUITAS TABELAS-->MUITAS JUNÇÕES-1:N SCHEMA STARFLAKE DIMENSÕES COM M X N COM OUTRAS TABELAS 13 MODELO DIMENSIONAL CONCEITO STARFLAKE PAIS CATEGORIA PRODUTO REGIÃO ESTADO SUB CATEGORIA PRODUTO ANO TRIM CIDADE MÉTRICAS: QUANTIDADE VALOR MES LOJA VENDAS DIA GEOGRAFIA CLIENTE M X N C/C TEMPO CLIENTE CARACTE- RISTICAS 14 7

8 MODELAGEM DIMENSIONAL TABELAS FATOS: CONTÉM VALORES(MÉTRICAS) PODEM TER VÁRIAS NO SCHEMA/DMART ESQUEMA MULTIFATO->N CUBOS CONCEITO DE CONFORMIDADE DE DIMENSÕES PK=CONCATENAÇÃO DE FK DAS DIMENSÕES TABELAS DIMENSÕES PONTOS DE ENTRADA HIERARQUIAS-NÍVEIS DE QUEBRA GRANULARIDADE COERENTE COM FATO 15 GRANULARIDADE DE FATOS E DADOS NÍVEL ATÔMICO DE DADOS NA(S) ENTIDADE(S)/TABELA(S) FATO/ POSSIBILIDADES: NÍVEL DE TRANSAÇÕES(DOCUMENTO-NF) NF) NÍVEL DE ÍTEM DE UM DOCUMENTO (NF,OC, OEXPEDIÇÃO, APÓLICE) TEMPO: NÍVEL DIÁRIO NÍVEL SEMANAL NÍVEL MENSAL, ETC CONSIDERAÇÕES: VOLUMES DE DADOS NECESSIDADE DE INFORMAÇÕES P/ NEGÓCIO DISPONIBILIDADE DO DADO FONTE 16 8

9 DIMENSÕES PONTOS DE ENTRADAS DA ESTRUTURA DIMENSÕES E SEUS ATRIBUTOS SERVEM TAMBÉM COMO FILTROS E COMO HEADER DOS RELATÓRIOS DIMENSÕES TÍPICAS: PRODUTO/SERVIÇO-O O QUE VENDO CLIENTE-QUEM COMPRA TEMPO-QUANDO FOI FEITO A COMPRA LOCAL(ARMAZÉM,LOJA,ETC)-ONDEONDE STATUS, PROMOÇÕES-CONDIÇÕES DA COMPRA DESCREVER TODOS OS ATRIBUTOS DAS DIMENSÕES DEVEM SER ATRIBUTOS DESCRITIVOS SEM CAMPOS NULOS NORMALMENTE UM DM TEM ENTRE 4-15 DIMENSÕES MENOS=FALTOU OBSERVAÇÃO(TEMPO-ESPAÇO-TIPO) MAIS=DIMENSÕES SUPÉRFLUAS SÃO OS DESCRITORES DAS TFATOS CONCEITO DE SK-INDEPENDÊNCIA 17 HIERARQUIAS DIMENSÕES CLIENTE PAÍS ESTADO 2 HIERARQUIAS Entrega Venda TEMPO ANO Drill down (ou Roll Down) Descer a hierarquia CIDADE CLIENTE VENDAS TRIM MES DIA ZONA VENDA PRODUTO Duas Dimensões Drill up (ou Roll up) Subir a hierarquia REGIÃO VENDA TERRIT. VENDAS MARCA DIMENSÕES PRODUTO CLASSE CALENDÁRIO NORMAL CALENDÁRIO FISCAL 18 9

10 ALTERAÇÕES EM DIMENSÕES DIMENSÕES SOFREM ALTERAÇÕES DADOS SÃO ALTERADOS NO AMBIENTE TRANSACIONAL INCLUSÃO : NOVOS CLIENTES, NOVOS PRODUTOS, NOVAS NF- RESOLVIDO PELO ETC PERIÓDICO MODIFICAÇÕES/DELEÇÕES:ESTRATÉGIA DE PRESERVAÇÃO DA MEMÓRIA DAQUELES MEMBROS DE PRODUTO FOI MODIFICADO NA SUA DESCRIÇÃO MAS CONTINUOU COM A MESMA CHAVE CLIENTE ALTEROU A SUA FICHA CADASTRAL, EVOLUINDO EM ESCOLARIDADE, CLASSE SOCIAL, NÍVEL SALARIAL, ETC ESTRATÉGIAS DE MANUTENÇÃO DEPENDEM DA DINÂMICA DAS DIMENSÕES: LEMBRAR: DW E DATA MART VIVEM DE DADOS HISTÓRICOS. LOGO A DATA ASSOCIADA A CADA REGISTRO DE DIMENSÕES DÁ IDÉIA DO PERÍODO DE VALIDADE DAQUELES VALORES DA 19 CHAVES DE DIMENSÕES E DE FATOS RECOMENDAÇÃO - USAR SURROGATE KEY(SK) SK=CHAVE SEQUENCIAL, SEM SENTIDO EMBUTIDO Campos Identity CRIA MAIOR ESTABILIDADE EVITA CONFLITO DE MUDANÇAS DE CHAVES E DE SUAS SEMÂNTICAS EVITAR/CUIDADO COM O USO DE SMART KEY(CHAVES COM SEMÂNTICA EMBUTIDA) 20 10

11 FATOS E DADOS ESCOLHER PARA CADA TFATO OS ATRIBUTOS NUMÉRICOS E ADITIVOS TÍPICOS: QUANTIDADE VENDIDA VALOR VENDIDO CUSTO DO PRODUTO (VENDIDO) LUCRO CONSUMO MANTER CONFORMIDADE/COERÊNCIA TAMBÉM ENTRE FATOS E AS MEDIDAS/VALORES, COM O MESMO SENTIDO, FÓRMULAS DE CÁLCULOS, ETC GRANULARIDADE DA TFATO ESTA DIRETAMENTE RELACIONADA COM A DAS TDIM LEMBRE-SE PORÉM: AS TFATOS SÃO GIGANTESCAS(ALTO VOLUME) E ISSO REQUER COMPROMISSOS NA ESCOLHA DE SEUS CAMPOS 21 FATOS E DADOS VALORES ADITIVOS, SEMI E NÃO ADITIVOS DEPENDEM DA EX: LOJA,DIA,PRODUTO(QTD, VALOR_VENDA,VALOR_CUSTO) VALORES ADITIVOS-SOMAM SOMAM EM TODAS AS DIMENSÕES EX:VALOR-VENDIDO- ADITIVO EM TODAS AS DIMENSÕES VALORES SEMI-ADITIVOS-SOMAM EM CERTA EX: QTD-VENDIDA ADITIVO POR PRODUTO-QTD TOTAL VENDIDA DO PRODUTO EM TODAS AS LOJAS NÃO ADITIVA POR LOJA: QTD TOTAL DE TODOS OS PRODUTOS POR LOJA VALORES NÃO-ADITIVOS-NÃO SOMAM EM NENHUMA EX: LUCRO: (VALOR_VENDA VALOR_CUSTO/VALOR_CUSTO) 22 11

12 FATOS SEM DADOS TABELAS FATOS SEM PRESENÇA DE DADOS PODEM ACONTECER MAS NÃO SÃO COMUNS CONTÉM SOMENTE AS CHAVES DAS DIMENSÕES SERVEM PARA CONTROLE DE EVENTOS E SUAS OCORRÊNCIAS, SEM NECESSIDADE DE REGISTRO DE DADOS ADITIVOS EX: CONTROLE DIÁRIO DE PRESENÇA DE ESTUDANTES DIA, ESTUDANTE,CURSO(0). NÃO CABERIA NOTA(NORMALMENTE POR MÊS, OU SEMESTRE), NEM FREQUÊNCIA(TALVEZ UM TAG?) 23 FATOS SEM DADOS ALUNO DISCIPLINA CHAVE-ALUNO CHAVE-DIA CHAVE-DISCIPLINA MÉTRICA(???) DIA 24 12