Motivação. Análise de Dados. BD x DW OLTP. Data Warehouse. Revisão Quais as diferenças entre as tecnologias de BD e DW? OLAP Modelos Multidimensionais

Tamanho: px

Começar a partir da página:

Download "Motivação. Análise de Dados. BD x DW OLTP. Data Warehouse. Revisão Quais as diferenças entre as tecnologias de BD e DW? OLAP Modelos Multidimensionais"

Caio Alcaide Marinho
6 Há anos
Visualizações:

1 Data Warehouse Análise de Dados Motivação Revisão Quais as diferenças entre as tecnologias de BD e? Modelos Multidimensionais BD x OLTP dados volume dados granularidade dados atualização dados uso Característica número usuários tipo usuário tipo interação integridade processamento BD instantâneos/voláteis alto fixa (detalhada) contínua alto funcionários predefinida verificada na execução de operações operacional OLTP históricos/não-voláteis muito alto variável periódica médio/pequeno nível gerencial predefinida e ad hoc verificada na execução dos processos ETC informativo On-Line Transaction Processing processamento baseado em transações Características processamento orientado à aplicação execução de transações diárias da organização operações realizadas pelas transações I, E, A ou C de dados ênfase na eficiência processamento rápido e seguro operações não alteram a estrutura dos dados

2 OLTP Exemplos de Operações Domínio Exemplo: Setor de Vendas de uma Loja incluir um novo produto alterar o preço de um produto consultar o preço dos fornos micro-ondas remover os liquidificadores fornecidos pela On-Line Analitical Processing processamento baseado em análises Características processamento orientado à tomada de decisões operações realizadas C de dados ênfase na flexibilidade analítica possibilidade de definir diversas visões de dados operações alteram a estrutura dos dados Exemplos de Operações Construção Domínio Exemplo: Setor de Vendas de uma Loja quantos liquidificadores foram vendidos no período de maio a setembro? qual a marca de forno micro-ondas mais vendida para clientes das classes A e B? qual a média de tempo que clientes da classe A levam para trocar de forno micro-ondas nas cidades de Florianópolis e Lajes? Análise Filtragem Agregação Organização H BD Dirigido para análise Dirigidos para transação BD BD Professora Mara Abel - UFRGS

3 de Análise Usuários de Análise Usuários Data Mining Diversas Ambiente do Data Mining Diversas Ambiente do DM DM DM n classe mais comum de ferramenta analítica manipulação de esquemas multidimensionais operações de reorganização de dados exemplos: Oracle, SQL Server, Informix, DSS MicroStrategy, SAS DM n de Análise Usuários de Análise Usuários Data Mining Diversas Ambiente do Data Mining Diversas Ambiente do DM DM ferramentas para descoberta de tendências ou padrões implícitos nos dados base: técnicas de aprendizado de máquina (redes neurais, algoritmos genéticos,...) e análise estatística DM n ferramentas mais simples atuam diretamente sobre o esquema predefinido do exemplos: geradores de relatórios, browsers DM n

4 Modelos Multidimensionais Fato Modelos manipulados pelas ferramentas Modelos para representação de assuntos passíveis de análise foco na definição de perspectivas de visão de dados relacionados Conceitos fatos dimensões medidas (variáveis ou valores) Representação de um assunto Um assunto pode ser dado operacional, transação do negócio ou evento Um fato é composto por dimensões e medidas Exemplos (domínio Loja): vendas promoções compras de fornecedores Identificação de Fatos O que é geralmente considerado um fato? algo que pode ser representado por um ou mais atributos numéricos possui indicadores passíveis de análise algo que é evolutivo muda seus valores com uma certa freqüência Exemplo é fato: venda (possui quantidade e valor; ocorre diariamente) não é fato: representante (não evolui com freqüência) Dimensão Representação dos contextos relevantes para a análise de um fato Exemplo: Fato: Vendas Dimensões: Clientes, Produtos, Tempo, Locais,... Uma dimensão pode conter membros ser organizada em hierarquias

5 Identificação da Dimensão Com base nas perguntas exemplo, podese identificar as seguintes dimensões QUANDO: Tempo ano mês dia (implícito optou-se por granularidade dia) ONDE: Filial FATO: Vendas id_filial id_representante PercVendRepr O QUÊ: Produto preço (implícito) id_filial QUEM: Representante região id_representante estado nome filial (explícito) Ronaldo (explícito) dos Santos Mello - Universidade Federal de Santa Catarina UF Dimensão - Membro Um membro dá mais detalhes sobre uma dimensão provê uma granularidade menor (mais fina) Exemplos: dimensão Tempo dia, semana, horário dimensão Locais região, cidade, continente Dimensão - Hierarquia Visualização Uma hierarquia define os níveis de granularidade de cada dimensão (ordenação de membros) mais abaixo na hierarquia mais detalhado (menor granularidade) Exemplos para a dimensão Tempo hierarquia ano-trimestre-mês-dia hierarquia semana-dia-hora Uma visão multidimensional é usualmente representada por um cubo adequado à visualização de até dimensões análise tridimensional é a mais utilizada em geral hipercubo: cubo com mais de dimensões dimensão y Cubo do fato A dimensão z dimensão x medidas

6 Visualização - Exemplo Cubo do Fato Vendas RS Dimensão Local Estado Cidade Fpolis Lajes P. Alegre Caxias Sul Volume de vendas 0 0 Dimensão Tempo Ano Modelos Multidimensionais Modelos lógicos estratégias para implementação de esquemas multidimensionais Duas abordagens esquema estrela (STAR) esquemas floco de neve (SNOWFLAKE) Faet Consul Sharp Marca Dimensão Produto Micro-Ondas Tipo Tabela de Tempo ano trimestre mês dia Tabela de Local Esquema Estrela Tabela de Fatos: Vendas id_local id_cliente qtde_vendida valor_vendido percentual_lucro Tabela de Produto tipo marca modelo preço Tabela de Cliente id_local id_cliente região nome estado classe cidade endereço filial Esquema Estrela Tabelas de Dimensões (pontas da estrela) tabelas geralmente derivadas das tabelas de dados operacionais (exceto dimensão Tempo) dados menos variáveis a cada carga do mantém dados sobre todos os membros hierarquias implícitas Tabela de Fatos (centro da estrela) tabela para fins de análise atributos: chave primária composta + medidas tabela de relacionamento: várias associações :N dados mais variáveis a cada carga do

7 id_mês nome_mês id_ano id_dia número_dia id_mês Dia Tempo Esquema Floco de Neve Mês id_estado nome_estado id_região id_dia id_semana Semana id_semana id_trimestre id_cidade nome_cidade id_estado Tabela de Fatos: Vendas id_local id_cliente qtde_vendida valor_vendido percentual_lucro id_local nome_filial id_cidade Produto Cliente id_cliente nome Ronaldo Estado dos Santos Mello - Universidade Cidade Federal Local de Santa Catarina UF Esquema Floco de Neve Variante do modelo estrela tabelas de dimensões estão normalizadas (FN) representação explícita das hierarquias Vantagem evita redundância (mais economia de espaço) Desvantagem maior número de tabelas (maior número de junções) Modelo estrela é considerado mais apropriado desperdício de espaço é menos crítico que tempo para recuperação de dados em um Requisitos rapidez de acesso e cálculo flexibilidade de visualização suporte à operações ad hoc ou pré-agendadas reuso de resultados analíticos correlacionar um resultado com outras dimensões Funcionalidades principais definição de hipercubos aplicação de operações analíticas navegação, consulta e reorganização de hipercubos visualização de hipercubos definição de fórmulas aplicadas a dimensões Ronaldo cálculos dos Santos predefinidos Mello - Universidade Federal de Santa Catarina UF Operações Principais operações Pivot rotação do hipercubo Drill-Down e Roll-Up modificação da granularidade do hipercubo navegação nas hierarquias de dimensões Slice-and-Dice redução do número (projeção) de dimensões do hipercubo mantém a mesma perspectiva de visualização Operações podem ser combinadas para se obter a visualização desejada

8 Rotação do cubo dimensão A 0 dimensão B Pivot 0 Pivot (B,C) dimensão B Ronaldo dos Santos Mello - Universidade Federal dimensão de Santa Catarina C UF dimensão A Pivot - Exemplo 00 Pivot (local, produto) 00 Drill-Down Aumento no nível de detalhe (- granularidade) dimensão A 0 dimensão B dimensão A.x (x = x) (x = x) (x = x) Drill-Down (A.x,B.y) (y = y) (y = y) (y = y) Ronaldo dos Santos Mello - Universidade Federal de dimensão Santa Catarina B.y UF Drill-Down - Exemplo 00 Drill-Down (local.região.estado, produto.tipo.marca) RS 0 PR Faet Consul 0 00 Sharp 0 0

9 Roll-Up Diminuição no nível de detalhe (+granularidade) dimensão A.x (x = x) (x = x) (x = x) 0 dimensão B.y dimensão A Roll-Up (A,B) 0 Ronaldo dos Santos Mello - Universidade Federal dimensão de Santa B Catarina UF 0 0 (y = y) (y = y) (y = y) Roll-Up - Exemplo Faet RS 0 PR 0 00 Sharp 0 Consul Roll-Up (produto.tipo) PR 0 00 RS 0 Slice-and-Dice Projeção de dimensões ( fatia e corta ) dimensão A.x (x = x) (x = x) (x = x) 0 dimensão B.y dimensão A.x (x = x) Slice-and-Dice (A.x = x, (y = y) B.y = y B.y = y) (y = y) Ronaldo dos Santos Mello - Universidade Federal dimensão de Santa B.y Catarina UF 0 0 (y = y) (y = y) (y = y) 0 Slice-and-Dice - Exemplo RS 0 PR Faet 0 00 Sharp 0 Consul Slice-and-Dice ( local.região.estado =, produto.tipo.marca = walita produto.tipo.marca = sharp ) 0 00 Sharp

Documentos relacionados

Sumário. 1 Introdução 2 BD Orientado a Objetos 3 BD Objeto-Relacional 4 Noções Básicas de Data Warehouse 5 XML e BD XML. Motivação

Sumário. 1 Introdução 2 BD Orientado a Objetos 3 BD Objeto-Relacional 4 Noções Básicas de Data Warehouse 5 XML e BD XML. Motivação Sumário 1 Introdução 2 BD Orientado a Objetos 3 BD Objeto-Relacional Noções Básicas de Data Warehouse 5 XML e BD XML Motivação Sistemas de Apoio à Decisão Objetivo análise de dados históricos da organização