Introdução à teoria de Data Warehouse. Prof. Rodrigo Leite Durães

Transcrição

1 Introdução à teoria de Data Warehouse Prof. Rodrigo Leite Durães

2 Organizações: necessidade de INFORMAÇÃO para tomada de decisões Exemplos: FACULDADE - abertura de mais vagas para um determinado curso BIBLIOTECA - aquisição de mais exemplares de um determinado livro SUPERMERCADO - compra de um determinado produto

3 Informação registro de fatos do Mundo Real Dados Exemplos: FACULDADE - candidato se inscreve no vestibular -> Qtde de candidatos inscritos por vaga BIBLIOTECA - usuário faz reserva de livro -> Livros mais pedidos, menos pedidos SUPERMERCADO - cliente compra produto -> Produtos mais vendidos em determinado período, produtos menos vendidos

4 Registro de fatos do mundo real

5 ORGANIZAÇÃO FATOS DADOS FERRAMENTAS MUNDO REAL INFORMAÇÃO NEGÓCIOS DECISÕES UTILIZAÇÃO

6 Dado & Informação Dado = É uma representação,, um registro de uma informação.. Ex.: 37 Informação = Aquilo que nos fornece conhecimento sobre a realidade a ser analisada. Ex.: 37 é o número de alunos matriculados na disciplina BDI

7 Data Warehouse Grande base de dados capaz de integrar,, de forma concisa e confiável,, as informações de interesse para a organização, que se encontram pelos sistemas operacionais e em fontes externas,, para posterior utilização para o apoio à tomada de decisão.. é um armazém de dados históricos,, cuja finalidade é apresentar as informações que permitam identificar indicadores, evolução de valores ao longo de uma janela de tempo (Machado, 2004)

8 Data Warehouse "Ambiente de suporte à decisão que alavanca dados armazenados em diferentes fontes e os organiza e entrega aos tomadores de decisão" (Singh, 2001)

9 Justificativas para utilização da tecnologia de DW Existência de sistemas de fornecedores diferentes Falta de padronização e integração dos dados existentes nos diversos sistemas Dificuldade na recuperação de dados históricos em períodos superiores ao ano atual de operações Desempenho da consulta em bases de dados OLTP extremamente fraco, prejudicando o desempenho dos sistemas

10 Características de um Data Warehouse Disponibiliza informações para o apoio a decisões na organização Orientado por assunto Não-volátil Transforma e integra dados a partir de fontes heterogêneas Faz com que informações de uma organização possam ser facilmente acessadas Determina padrões de comportamento

11 Resultado de um projeto de Data Warehouse Informação disponível para gestão Visão de curvas de comportamento Agilidade de ferramentas para apoio à decisão Segurança de informações para decisão

12 Exemplos de informações obtidas utilizando DW Qual o total de vendas de um determinado produto foi verificada em determinada região no último semestre? Qual o total de compras de um determinado produto um determinado cliente realizou no primeiro trimestre deste ano?

13 Sistemas Operacionais X Data Warehouse Uso Características Tipo de processamento Unidade de trabalho Número de usuários Tipo de usuário Contém estruturas de dados otimizadas para Volume de dados históricos Sistemas Operacionais Local onde os dados são colocados OLTP Inclusão, alteração e exclusão Milhares Operadores Entradas e edições Pequeno Data Warehouse Local a partir de onde as informações são obtidas OLAP Carga e consulta Centenas Comunidade gerencial Extração e consulta Grande

14 Data Mart Representa um subconjunto de dados do DW São direcionados a um departamento ou uma área específica de processos do Data Warehouse negócio Pedidos Inventário Mercado Vendas

15 Componentes de um DW Fontes de Dados Staging Area Data Warehouse Data Marts Acesso de dados do usuário Entrada de dados Acesso a dados

16 Tecnologias de um Sistema de DW Bancos de dados relacionais Contêm e gerenciam grandes quantidades de dados Suportam processos de limpeza, transformação e preparação de dados Bancos de dados de Processamento Analítico Online (OLAP) Fornecem uma visão intuitiva e multidimensional dos dados Fornecem obtenção rápida de dados Ferramentas de Extração, Transformação e Carga Extraem dados a partir de fontes heterogêneas Transformam os dados de origem para carregar no destino

17 Entendendo o projeto de DW O esquema Estrela Tabelas de Fatos Tabelas de Dimensões O esquema Snowflake

18 O esquema Estrela Uma das estruturas de armazenamento dos dados de um DW Representam eventos ou processos específicos de negócio Contém uma tabela de fatos cercada por várias tabelas de dimensões Um Data Mart possui um ou mais esquemas Estrela

19 O esquema Estrela Employee_Dim EmployeeKey EmployeeID... Tabela de Dimensões Time_Dim Tabela de Fatos Sales_Fact TimeKey TheDate... Shipper_Dim ShipperKey ShipperID... TimeKey EmployeeKey ProductKey CustomerKey ShipperKey Sales Amount Unit Sales... Product_Dim ProductKey ProductID... Customer_Dim CustomerKey CustomerID...

20 Tabelas de fatos Tabela central em um esquema Estrela, apresentando dados numéricos no contexto das entidades de negócio Descrevem os eventos específicos de negócio, como compras, vendas, pedidos etc. É composta basicamente por medidas e chaves estrangeiras Medidas Coluna numérica quantitativa da tabela de fatos Representam os valores que são analisados

21 Componentes das Tabelas de fatos Tabelas de de Dimensões Tabela sales_fact customer_dim 201 ALFI Alfreds Foreign Keys Medidas product_dim Chai customer_key product_key time_key quantity_sales amount_sales ,789 time_dim 134 1/1/2000

22 Granularidade da Tabelas de fatos Menor nível de detalhe armazenado em cada uma das dimensões associadas à tabela de fatos No exemplo anterior, a granularidade da tabela de fatos sales_fact são os dados de venda por ID do cliente, ID do produto e data do pedido. Todas as medidas da tabela de fatos respeitam sua granularidade

23 Granularidade da Tabelas de fatos DETALHES GRANULARIDADE DETALHES GRANULARIDADE Exemplo Exemplo Data Hora Cliente Valor 50 registros/mês Mês Cliente Valor 1 registro/mês

24 Tabelas de dimensões Descrevem entidades do negócio, como um produto, cliente, vendedor, tempo Contêm atributos que fornecem contexto para os dados numéricos Apresentam os dados organizados em hierarquia (dias que são organizados em meses, meses que são organizados em trimestres e trimestres que são organizados em anos)

25 Componentes de um banco de dados OLAP Medidas numéricas Valores de dados, ou fatos, que os usuários analisam, como total de vendas, unidades etc. Originam da tabela de fatos Dimensões Cubos Tipicamente organizadas em hierarquias Originam das tabelas de dimensões Combinam as dimensões e medidas em um modelo conceitual Unidade lógica de armazenamento em um DB OLAP

26 Dimensões OLAP

27 Dimensões OLAP Dimensões lhe permite Slice Dice Hierarquias lhe permite Drill Down Drill Up

28 Cubos OLAP Dimensão Região Atlanta Chicago Denver Detroit Q1 Q2 Q3 Dimensão Tempo Q4 Cherries Melons Apples Dimensão Produto

29 Cubos OLAP Dimensão Região Atlanta Chicago Fato Vendas Denver Dallas Q1 Q2 Q3 Dimensão Tempo Q4 Grapes Cherries Melons Apples Dimensão Produto

30 Definindo um cubo Slice Dimensão Região Atlanta Chicago Denver Detroit Q1 Q2 Q3 Dimension Tempo Q4 Grapes Cherries Melons Apples Dimensão Produto