Fundamentos DW
Cenário Atual Grande e desordenada coleção de aplicações operacionais, frágeis e muitas vezes não integradas... Dificultando a disponibilização de informações estratégicas para tomada de decisão.
Cenário Atual... No coração deste ambiente está a idéia do Data Warehouse, integrando e consolidando, dados disponíveis em diferentes acervos... para fins de exploração e análise... para atender às expectativas e necessidades de nível estratégico na empresa.
Cenário Atual Aplicações do negócio Bases de dados operacionais Aplicações sobre o negócio Sistemas de suporte à decisão Sistemas de informações executivas Bases de dados tático-estratégicas Melhor funcionalidade e desempenho para cada caso específico.
Cenário Atual Ambiente de Dados Operacional X Gerencial Bases Operacionais p/aplicações/transações necessidades cotidianas volume pequeno podem ser atualizadas valores atuais evitam redundâncias Bases Estratégicas p/ negócios/análises Tático- necessidades gerenciais volume elevado não são atualizadas valores historiados redundâncias permitidas são
Cenário Atual Extração de Informações Sist1, Sist2, Sist3 Relatórios simples Relatórios complexos 90 80 70 60 50 40 30 20 10 0 1 Trim. 2 Trim. 3 Trim. 4 Trim. Leste Oeste Norte EIS área 1 1 Trim. 2 Trim. 3 Trim. 4 Trim. 90 80 70 60 50 Leste 40 Oeste 30 Norte 20 10 0 1 Trim. 1 Trim. 2 Trim. 3 Trim. 4 Trim. 2 Trim. 3 Trim. 4 Trim. EIS área 2 Planilhas
Cenário Atual Várias plataformas de hardware e software; Constantes alterações nos sistemas ; Dificuldades na recuperação de dados históricos; Sistemas de fornecedores diferentes; Falta de padronização das informações existentes nos diversos sistemas; Informações dispersas geograficamente.
Ambiente de Informações Data Warehousing Processamento informacional para suportar o processo de tomada de decisão complementando o processamento transacional existente, que suporta a operação do negócio
Ambiente de Informações APLICAÇÕES I N T E G R A Ç Ã O DATA WAREHOUSE ODS METADADOS INTERNET E INTRANET DATA MART DATA MART DATA MART
Ambiente de Informações Componentes Aplicações família de sistemas, origem da maior parte dos dados detalhados que alimentam o Data Warehouse Internet e Intranet linhas de comunicação de acordo com a perspectiva da arquitetura, através das quais os dados fluem e os diferentes componentes interagem entre si
Ambiente de Informações Camada de Integração Camada onde os dados não integrados do ambiente transacional são combinados e transformados em dados corporativos EXTRAÇÃO TRANSFORMAÇÃO * CONSOLIDAÇÃO * CONVERSÃO * LIMPEZA POPULAÇÃO I N T E G R A Ç À O DATA WAREHOUSE ODS SISTEMAS QUE SUPORTAM A OPERAÇÃO DO NEGÓCIO
Ambiente de Informações Operational Data Store (ODS) É o conjunto de dados da empresa, com uma estrutura derivada do modelo corporativo, que serve como base para o processamento operacional integrado APLICAÇÕES OPERACIONAIS ODS
Ambiente de Informações Tipos de Operational Data Store (ODS) Síncrono Bases atualizadas por um mesmo processo Store and Forward Atualização cíclica por período (hora em hora) Batch Atualização 24 horas
Ambiente de Informações Diferenças entre DW/DM e ODS dw / dm ods Foco Usuários Business Intelligence gestores de negócio knowledge workers Business Management gerentes de operações funcionários operacionais Objeto da análise processo decisório indicadores de desempenho fluxo integrado de atividades operacionais Tipo de dados Flexibilidade estáveis (mudanças via inclusão de snapshots) históricos alguns dados detalhados + sumários estáticos acesso aos dados dinâmicos (mudanças dependentes de seus detalhes) correntes dados detalhados + sumários dinâmicos atualização dos dados
Ambiente de Informações análises estratégicas suporta atividades como: análise de tendências DW ou ODS dw / dm reconhecimento de padrões de comportamento identificação do perfil demográfico segmentação de clientes identificação de hábitos de consumo análise de rentabilidade do cliente para empresas que já possuem uma visão integrada dos dados dos sistemas transacionais ou não necessitam tê-la no nível operacional ods análises táticas / operacionais suporta atividades como: interação com clientes, com objetivo de tratá-los com preferência e familiaridade análises comparativas baseadas em dados atuais (não históricos) necessidade de integração de vários canais de marketing ex: callcenter, e-commerce para empresas que necessitam da visão integrada dos dados no nível operacional
Ambiente de Informações Data Warehouse É um conjunto de dados atuais e históricos, extraídos de vários sistemas operacionais, destinados a fornecer informações que auxiliem o processo de tomada de decisão DADOS DW INFORMAÇÕES APLICAÇÕES INTEGRAÇÃO DE DADOS DISPONIBILIZAÇÃO DE INFORMAÇÕES
Ambiente de Informações Data Mart É um conjunto de dados do data warehouse, customizados para atender a necessidades de análises específicas de uma área ou processo do negócio da empresa FOCO DATA MART
Ambiente de Informações Data Mart X Data Warehouse DATA MART Menor custo e esforço para implementação inicial Aumento da credibilidade a partir da experiência dos usuários Controle do data mart pela própria área de negócio a qual atende DATA WAREHOUSE Inclusão de requisitos de todas as funções de negócio Definições de dados e regras de negócios consistentes Gerência centralizada
Ambiente de Informações Metadados Metadados de Integração Metadados de Disponibilização I N T E G R A Ç Ã O DATA WAREHOUSE ODS DATA MART DATA MART DATA MART APLICAÇÕES METADADOS INTERNET E INTRANET
Ambiente de Informações Metadados Metadados de Integração Metadados dos dados fonte descrição dos objetos e relacionamentos (tabelas, arquivos) Metadados de extração mapeamento origemxdestino, programas de extração Metadados de transformação regras de transformação, procedimentos de criação de chaves artificiais Metadados do conteúdo do DW descrição dos objetos do DW, DDL s
Ambiente de Informações Metadados Metadados de Disponibilização Metadados de extração de DW para DM mapeamento origemxdestino; regras de consolidação; programas de extração Metadados do modelo dimensional descrição dos fatos, dimensões, atributos Metadados de saídas descrição das saídas
Ambiente de Informações TIPOS DE DECISÕES ESTRUTURADA SEMI- ESTRUTURADA NÃO ESTRUTURADA EIS ODS DATA WAREHOUSE DATA MART DATABASE MARKETING DATA MINING
Ambiente de Informações EIS Executive Information System interface big botton informações integradas e sumarizadas consultas e relatórios estruturados funcionalidades avançadas altamente user friendly e intuitivo
Ambiente de Informações Data Mining Técnicas de análise de dados destinadas a descobrir e entender comportamentos, tendências, anomalias e outras relações não óbvias, presentes em grupos (clientes, produtos, lojas, regiões, etc), que sejam relevantes para um determinado negócio ou atividade
Ambiente de Informações Tipos de usuário MINERADOR EXECUTIVO OPERADOR GERENTE EXPLORADOR
Ambiente de Informações Tipos de usuário Executivo suas necessidades, na maioria da vezes, são conhecidas antes de uma pesquisa pesquisa detalhes sobre itens que não estão de acordo com sua expectativa Gerente possui necessidades bem definidas que raramente mudam - sabe o que quer antes de executar uma pesquisa cria os relatórios básicos do negócio
Ambiente de Informações Tipos de usuário Explorador opera com a intuição e observação as análises e procedimentos que utiliza não são estruturados, são heurísticos (você chega a verdade pelos seus próprios meios), e tendem a envolver grande volume de dados, incluindo histórico Minerador procura metodicamente preciosidades nos dados da empresa, necessitando dos mesmos no seu maior detalhe utiliza várias técnicas: árvores de decisão, redes neurais, algoritmos genéticos etc.
Ambiente de Informações Tipos de usuário Operador utiliza dados recentes, detalhados, do dia-a-dia, para executar suas análises táticas normalmente executa queries padronizadas, estruturadas, e necessita de respostas imediatas raramente faz uso de dados históricos requer uma interface simples e fácil de usar
Ambiente de Informações Tipos de usuário e consultas Não Estruturada MINERADOR EXPLORADOR Semi- Estruturada EXECUTIVO GERENTE Estruturada OPERADOR
Ambiente de Informações Ferramentas de consultas Query and reporting consultas estruturadas visão tabular dos dados resultado formato de relatório Olap consultas semi-estruturadas visão multidimensional dos dados resultado grades e tabelas
Ambiente de Informações Ferramentas de consultas Data mining consultas não estruturadas conhecimento escondido (relacionamentos, padrões e tendências) análises estatísticas, árvores de decisão e redes neurais
Data Mining DataMining (ou mineração de dados) é o processo de extrair informação válida, previamente desconhecida e de máxima abrangência a partir de grandes bases de dados, usando-as para efetuar decisões cruciais. Pode ser considerada uma forma de descobrimento de conhecimento em bancos de dados (KDD - Knowledge Discovery in Databases),área de pesquisa de bastante evidência no momento, envolvendo Inteligência Artificial e Banco de Dados.
Data Mining Mathematics Statistics Heuristics Artificial Intelligence Machine Learning Data Mining Business Applications
Data Mining O Data Mining descende fundamentalmente de 3 linhagens. A estatística É a base da maioria das tecnologias a partir das quais o Data Mining é construído. Envolve conceitos como distribuição normal, variância, análise de regressão, desvio simples,... todos usados para estudar dados e os relacionamentos entre eles. Essas são as pedras fundamentais onde as mais avançadas análises estatísticas se apóiam.
Data Mining Inteligência Artificial A segunda linhagem do DM é a Inteligência Artificial, ou IA. Essa disciplina, que é construída a partir dos fundamentos da heurística (você chega a verdade pelos seus próprios meios), em oposto à estatística, tenta imitar a maneira como o homem pensa na resolução dos problemas estatísticos. Em função dessa abordagem, ela requer um impressionante poder de processamento, que era impraticável até os anos 80, quando os computadores começaram a oferecer um bom poder de processamento a preços mais acessíveis
Machine Learning Data Mining Pode ser melhor descrita como o casamento entre a estatística e a IA. A machine learning tenta fazer com que os programas de computador aprendam com os dados que eles estudam, tal que esses programas tomem decisões diferentes baseadas nas características dos dados estudados, usando a estatística para os conceitos fundamentais, e adicionando mais heurística avançada da IA e algoritmos para alcançar os seus objetivos
Data Mining De muitas formas, o DM é fundamentalmente a adaptação das técnicas da Machine Learning para as aplicações de negócios. Desse modo, podemos descrevê-lo como a união dos históricos e dos recentes desenvolvimentos em estatística, em IA e Machine Learning. Essas técnicas são usadas juntas para estudar os dados e achar tendências e padrões nos mesmos. Hoje, o Data Mining tem experimentado uma crescente aceitação nas ciências e nos negócios que precisam analisar grandes volumes de dados e achar tendências que eles não poderiam achar de outra forma.
Ambiente de Informações Data Warehouse Coleção de dados orientada por assuntos, integrada, variante no tempo, e não volátil, que tem por objetivo dar suporte aos processos de tomada de decisão (Inmon)
Características do DW Orientado por assunto: Armazena informações sobre temas específicos importantes para o negócio da empresa; OPERA CIONAL DATA WAREHOUSE empréstimo clientes cartão bancário vendas DATA MART crédito DATA MART produtos ORIENTADOS A APLICAÇÕES ORIENTADOS AO ASSUNTOS
Características do DW Integrado: Refere-se à consistência de nomes das variáveis, etc., no sentido de que os dados foram transformados até um estado uniforme; OPERA CIONAL DATA WAREHOUSE Aplicação A - m,f B - 1, 0 C - x, y D - masculino feminino m,f
Variante no tempo : O dado no data warehouse refere-se a algum momento específico, significando que ele não é atualizável, apresentando uma característica temporal; Não volátil : "load and access" - O data warehouse permite apenas a carga inicial dos dados e consultas a estes dados. Características do DW
Características do DW altera inclui OPERA CIONAL lê DATA WAREHOUSE lê carrega deleta Dados atualizados regularmente, registro a registro O dado é carregado periodicamente no DW e a partir daí é apenas acessado
Benefícios do DW Fornecer acesso a dados: consistentes, confiáveis, separados e/ou agregados... no tempo exato... para criar vantagens competitivas através da utilização da informação.
Benefícios do DW Revitalizar os sistemas de negócios......ao mover a maior parte do processamento informacional para o Data Warehouse, a sobrecarga de manutenção existente no ambiente de sistemas de negócio, é amplamente aliviada: menor; mais simples; com foco no objetivo. Promover a reengenharia do negócio.
Alternativas de Implementação Modelo Top-Down Vantagens: Integridade; Consistência; Resolutividade Desvantagens: Implementação e gerenciamento complexos, com prazos longos, num custo elevado;
Alternativas de Implementação Modelo Top-Down DATA MART DATA WAREHOUSE DATA MART ETL1 ETL2 DATA MART
Alternativas de Implementação Modelo Bottom-Up (Data Mart ) Vantagens Data Warehouse temático ; Implementação menos complexa, com prazo curto, num custo baixo ; Acesso mais rápido aos dados; Desvantagens Problemas potenciais de integridade e consistência.
Alternativas de Implementação Modelo Bottom-Up (Data Mart ) DATA MART DATA MART DATA WAREHOUSE ETL1 DATA MART ETL2
Construção do DW Conhecimento do Negócio Tecnologia Metodologia
Construção do DW Conhecimento do Negócio Conhecimento: Conhecimento: Informação valiosa da mente humana. Inclui reflexão, síntese, contexto (Davenport, 1998) Matéria Prima: Informação Informação: dados dotados de relevância e propósito. (Davenport, 1998) Requisitos de qualidade: Origem e Processo de alimentação do DW
Construção do DW Tecnologia: O poder das ferramentas OLAP Mostre-me o que é importante (Exception Reporting) Deixe-me ver os detalhes (Drill Down) Deixe-me ver os dados mais sumariados (Drill Up) Deixe-me ver outros dados, mudar o meu ponto de vista (Drill Across) Deixe-me ver os melhores e os piores (Ranking) Deixe-me comparar com anos anteriores (Análise Comparativa)
Construção do DW Metodologia: O modelo de dados Base 1 Base 2 Base 3 Base n Data Warehouse
Construção do DW Metodologia:O modelo de dados Modelo de dados integrado Identificação da fonte correta a partir do significado do dado no dw este deve ser identificado entre os sistemas de origem Dados consolidados analisar e combinar dados das diversas fontes em uma estrutura única e integrada reconciliar sinônimos, homônimos e análogos entender regras de negócio e nuances de significado
Construção do DW Metodologia:O modelo de dados Modelo de dados integrado Dados padronizados e consistentes especificar como tratar o dado para estar de acordo com a estrutura integrada do dw especificar regras de conversão, valores default Limpeza dos dados correção dos dados com defeito estabelecer conjunto de valores de referência auditar os dados de origem em relação a esta referência
Construção do DW Metodologia: A arquitetura de dados Data Warehouse virtual MIDDLEWARE EXTRAÇÃO TRANSFORMAÇÃO LIMPEZA INTEGRAÇÃO SUMARIZAÇÃO
Construção do DW Metodologia: A arquitetura de dados Data Warehouse virtual É necessário refletir sobre: Impacto nos OLTP s Consistência de extrações, transformações etc... Metadados Dados históricos Alterações de dados
Construção do DW Metodologia: A arquitetura de dados Data Mart s sem arquitetura DATA MART DATA MART DATA MART
Construção do DW Metodologia: A arquitetura de dados Data Mart s sem arquitetura É necessário refletir sobre: Extrações redundantes Metadados diversos e espalhados Consistência dos dados históricos integrados Dificuldades de manutenções nos DM Esforços duplicados, soluções diferenciadas Impacto na origem
Construção do DW Metodologia: A arquitetura de dados Ambiente e construção integrados I N T E G R A Ç Ã O DATA WAREHOUSE ODS DATA MART DATA MART DATA MART APLICAÇÕES METADADOS INTERNET E INTRANET
Construção do DW Metodologia: A arquitetura de dados Ambiente e construção integrados Mantém uma base sólida para evolução Redundância controlada e gerenciada Aquisição de dados controlada, consistente e documentada Metadados consistentes Mantém integridade histórica Necessidades corporativas e departamentais são atendidas Facilita a administração de manutenções e evoluções
Construção do DW Metodologia: Equipe Gerente do Data Warehouse Define as estratégias pertinentes ao DW Planeja e gerencia o DW Comunica os objetivos do DW para a equipe de desenvolvimento Arquiteto de Dados Desenvolve o modelo de dados Analisa as exigências de dados Desenha as estruturas dos dados Define as visões gerenciais p/ os dados
Construção do DW Metodologia: Equipe Administrador de Metadados Define os padrões de metadados Gerencia o repositório dos metadados Administrador do BD Cria as estruturas físicas no BD Monitora o carregamento dos dados e a performance das consultas Analista de processos e aplicações Desenvolve as aplicações de decisão
Construção do DW Metodologia: Equipe Usuário de nível gerencial Descreve os dados necessários Especifica as regras de negócio Testa os resultados das transformações dos dados Especialistas em Aplicações Operacionais Indica onde estão os dados nos sistemas transacionais
Construção do DW Metodologia: Equipe Analista e programador de conversões Desenvolve os programas para selecionar e carregar os dados Indica as fontes de dados para o DW Especialista em suporte técnico Desenvolve as atividades técnicas como instalar e configurar máquinas Instrutor Treina os usuários para acessar o DW
Extração de Informações (com Data Warehouse) Sist1, Sist2, Sist3... Relatórios legais e relatórios operacionais Data Warehouse 90 80 90 80 70 60 50 40 30 20 10 0 1 Trim. 2 Trim. 3 Trim. 4 Trim. Leste Oeste Norte 1 Trim. 2 Trim. 3 Trim. 4 Trim. 90 80 70 60 50 40 30 20 10 0 1 Trim. 2 Trim. 3 Trim. 4 Trim. Leste Oeste Norte 1 Trim. 2 Trim. 3 Trim. 4 Trim. 70 60 50 40 30 20 10 0 1 Trim. 2 Trim. 3 Trim. 4 Trim. Leste Oeste Norte 1 Trim. 2 Trim. 3 Trim. 4 Trim. Relatórios simples Relatórios complexos EIS OLAP Data Mining
Administração de um DW Gerenciamento da aquisição de dados Gerenciamento da segurança de acesso Gerenciamento da utilização do sistema Gerenciamento de mudanças Gerenciamento da infra-estrutura tecnológica
Desafios Dados Integração de dados e metadados de várias fontes; Qualidade dos dados: limpeza e refinamento; Sumarização e agregação dos dados; Sincronização das fontes para assegurar a atualidade do data warehouse.
Desafios Projetos Prazo longo p/ implementação; Custos altos; Gerenciamento complexo Taxa de crescimento: 40% a.a.
Modelagem Dimensional
Modelagem Dimensional Conceitos Vantagens do modelo Objetos do modelo Opções do modelo Etapas da modelagem
Conceitos Modelagem Representação dos dados e das diferentes visões através das quais os usuários analisam as informações ------------------------------- ------------------------------ ------------------------------ ------------------------------ ------------------------------ ------------------------------ ------------------------------- -------------------------------
Conceitos Modelagem Dimensional Técnica utilizada para modelar informações, representando as diferentes visões pelas quais um mesmo conjunto de informações pode ser analisado
Conceitos Modelagem Dimensional A idéia associada ao modelo Dimensional é que quase todos os tipos de dados de negócio podem ser representados como um cubo de dados, onde as células do cubo contém valores mensuráveis e as bordas definem as dimensões. Obviamente podem existir mais que três dimensões no negócio; portanto, o cubo também pode ser chamado de hipercubo.
MERCADOS Conceitos Modelagem Dimensional VALOR VENDIDO PERÍODOS DE TEMPO VENDAS
Conceitos Modelo ER X Modelo Estrela(Dimensional) Modelo Entidade-Relacionamento Modelo Estrela
Vantagens Modelagem Dimensional O modelo é mais intuitivo para o usuário, o que leva a uma facilidade de navegação pelas informações; Representa uma plataforma padronizada e previsível, permitindo ao gerenciador do banco de dados e à ferramenta de acesso otimizarem a apresentação e performance;
Vantagens Modelagem Dimensional Preparado para mudanças inesperadas no comportamento do usuário; Existem técnicas padronizadas para tratar situações de modelagens comuns no ambiente de negócios.
Objetos do Modelo DATA MÊS VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG PRODUTO COD_ PROD CLIENTE COD_CLI REGIÃO COD_REG É composto de uma tabela dominante, chamada tabela fato, e um conjunto de tabelas menores, chamadas tabelas dimensões.
Objetos do Modelo Tabela Fato DATA MÊS CLIENTE COD_CLI VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG VALOR VENDIDO QTDE VENDIDA PRODUTO COD_ PROD REGIÃO COD_REG Corresponde a um conjunto de medidas que podem ser analisadas através de várias visões e que contribuem para apurar o resultado de um processo de interesse.
Objetos do Modelo Tabela Fato Chave composta Tempo é sempre parte da chave Usualmente numérica Fatos tipicamente aditivos
Objetos do Modelo Fatos DATA MÊS CLIENTE COD_CLI VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG VALOR VENDIDO QTDE VENDIDA PRODUTO COD_ PROD REGIÃO COD_REG Dados, normalmente numéricos, dos quais podem derivar diferentes informações dependendo da visão empregada sobre os mesmos.
Objetos do Modelo Fatos Os fatos melhores e mais úteis são numéricos. Em praticamente todas as consultas feitas à tabela de fatos, solicitaremos que sejam usadas centenas, milhares e até milhões de registros para construir um conjunto de respostas. A única forma viável de compactá-los será adicioná-los.
Objetos do Modelo Fato Aditivo Fatos Valores aditivos são aqueles que podem ser manipulados à vontade (soma, subtração, etc...) a partir de combinação de dimensões Exemplo: No caso varejista, por exemplo, a tabela de Vendas pode totalizar além das unidades vendidas, também o valor vendido, o valor descontado na venda a cada combinação de tempo, produto e região
Objetos do Modelo Fato Semi Aditivo Fatos Fatos que só poderão ser somados ao longo de algumas dimensões Exemplo: Os níveis de estoque tradicionais não são aditivos ao longo do Tempo. (Não podemos dizer se o estoque de ontem é diferente do de hoje). Podemos no entanto combinar níveis de estoque ao longo do tempo utilizando uma média.
Objetos do Modelo Fato Não Aditivo Fatos Fatos não aditivos simplesmente não podem ser adicionados. Somos forçados a realizar contagens se quisermos resumir registros ou estaremos limitados a imprimir fato um a um.
Objetos do Modelo Tipo de Fato: Agregação É uma tabela fato representando a sumarização das medidas de uma tabela fato básica Cada agregação, definida de acordo com seu nível de granularidade, deve ser uma tabela fato e ser suportada por um conjunto de dimensões contendo somente atributos definidos para o seu nível de granularidade
Objetos do Modelo Tipo de Fato: Agregação Fato não agregado DATA MÊS VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG PRODUTO/ CATEGORIA COD_ PROD COD_CATE CLIENTE COD_CLI VALOR VENDIDO QTDE VENDIDA REGIÃO COD_REG Valor vendido e quantidade vendida por produto, mês, cliente e região
Fato agregado Objetos do Modelo Tipo de Fato: Agregação DATA MÊS CLIENTE COD_CLI VENDAS REALIZADAS MÊS COD_CATE COD_CLI VALOR VENDIDO QTDE VENDIDA CATEGORIA COD_CATE Valor vendido e quantidade vendida por categoria, mês, cliente
Objetos do Modelo Tipo de Fato: Agregação Ser completamente transparente para os usuários Possibilitar ganhos de performance no maior número de queries possível (ou para usuários de maior prioridade) Impactar o mínimo possível o custo da extração Impactar o mínimo possível as responsabilidades administrativas do dba
Objetos do Modelo Saída % DE PARTICIPAÇÃO DO MERCADO = QTDE CONTRATOS MERCADO SOMATÓRIO QTDE CONTRATOS MERCADO Geralmente corresponde a indicadores de evolução potencial do negócio que são medidas calculadas, derivadas das medidas básicas do fato.
Objetos do Modelo Dimensão DATA MÊS CLIENTE COD_CLI VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG VALOR VENDIDO QTDE VENDIDA PRODUTO COD_ PROD REGIÃO COD_REG Perspectiva através da qual uma ou mais medidas da tabela fato podem ser analisadas; Uma dimensão é composta por atributos, altamente correlacionados, e é identificada através de um atributo chave, geralmente criado no data warehouse.
Chave simples Objetos do Modelo Dimensão Serve como cabeçalho das linhas e colunas das análises e filtro nas consultas Descrição única para cada registro Usualmente não dependente do tempo Desnormalizada Hierarquias implícitas
DATA MÊS CLIENTE COD_CLI SEXO_CLI Objetos do Modelo Atributo de Dimensão VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG VALOR VENDIDO QTDE VENDIDA PRODUTO COD_ PROD NOME_CAT REGIÃO COD_REG NOME_REG Dados, normalmente textos e não aditivos, que descrevem e qualificam uma dimensão; Através de cada atributo de uma dimensão é possível visualizar as medidas da tabela fato; O poder de análise está intimamente relacionado à qualidade e profundidade dos atributos das dimensões.
Objetos do Modelo Tipo de Dimensão Dimensão descaracterizada São dimensões que não possuem uma tabela específica mas a chave é colocada diretamente na tabela de fatos. Ocorre geralmente com controle de documentos onde o grão da tabela de fatos representa o próprio documento
Objetos do Modelo Tipo de Dimensão Dimensão descaracterizada DATA DATA_PEDI ATACADISTA COD_ATAC ENTREGAS REALIZADAS DATA_PEDI COD_PROD COD_ATAC COD_FORN NUM_PEDI qtd_pedi qtd_rece PRODUTO COD_ PROD COD_CATE FORNECEDOR COD_FORN O campo número do pedido de compras (num_pedi) aparentemente formaria uma dimensão, mas não existem outros elementos para sua composição.
Objetos do Modelo Tipo de Dimensão PRODUTO Dimensão descaracterizada DATA DATA_PEDI ATACADISTA COD_ATAC ENTREGAS REALIZADAS DATA_PEDI COD_PROD COD_ATAC COD_FORN NUM_PEDI qtd_pedi qtd_rece COD_ PROD COD_CATE FORNECEDOR COD_FORN PEDIDO NUM_PEDI Apesar da literatura apresentar desta forma, muitos projetos implementam estes atributos em dimensões reais (tabela), respaldados na forma de pesquisa e apresentação das ferramentas de consulta.
Objetos do Modelo Tipo de Dimensão Dimensão em conformidade: É uma dimensão que significa a mesma coisa em qualquer tabela fato a qual ela está vinculada CLIENTE
Objetos do Modelo Hierarquia de Dimensão TEMPO PRODUTO MERCADO ANO MÊS QUINZENA SEMANA DIA MARCA LINHA PRODUTO PAÍS REGIÃO ESTADO CIDADE LOJA Corresponde a uma estrutura, composta por atributos de uma dimensão, que possibilita a visualização em níveis, das medidas da tabela fato a que a mesma está associada Os valores das medidas de um nível correspondem à soma dos respectivos valores do nível imediatamente inferior Uma dimensão pode possuir mais que uma hierarquia
Objetos do Modelo Hierarquia de Dimensão Produto Marca Tempo Ano Mercado País Consultas Vendas por Marca, Trimestre e Região Linha Produto Trimestre Mês Região Estado Vendas por Linha, Ano e Estado
Objetos do Modelo Dimensão - Alteração 1º - SOBRESCREVER O ATRIBUTO CÓDIGO NOME ESTADO CIVIL CÓDIGO NOME 123 ANTONIO SILVA SOLTEIRO ESTADO CIVIL 123 ANTONIO SILVA CASADO 3º - CRIAR NOVO ATRIBUTO CÓDIGO NOME ESTADO CIVIL ESTADO ORIGEM 123 ANTONIO SILVA CASADO SOLTEIRO 2º - CRIAR NOVO REGISTRO CÓDIGO NOME ESTADO CIVIL CÓDIGO NOME ESTADO CIVIL 123 ANTONIO SILVA SOLTEIRO 489 ANTONIO SILVA CASADO
Objetos do Modelo Dimensão - Granularidade a granularidade determina o maior nível de detalhe da informação que se deseja atingir em uma análise quanto maior o nível de granularidade, maior é o detalhamento do dado que se pode obter; porém, isso significa um volume também maior a granularidade do modelo dimensional refere-se à combinação do menor grão de cada dimensão envolvida
Objetos do Modelo Dimensão - Granularidade ANO FAMÍLIA REGIÃO VENDA SEMESTRE MÊS CATEGORIA PONTO VENDA DIA HORA PRODUTO VENDEDOR PERÍODO PRODUTO UNIDADE VENDA
Objetos do Modelo Fato X Dimensão TABELA FATO TABELA DIMENSÃO É composta por medidas Medidas são geralmente numéricas e aditivas A identificação é composta pela identificação das dimensões associadas Os valores das medidas não são previsíveis durante a modelagem É composta por atributos Atributos são geralmente textos e não aditivos Tem identificação própria Os valores dos atributos são previsíveis durante a modelagem
Opções do Modelo StarSchema DATA MÊS CLIENTE COD_CLI VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG VALOR VENDIDO QTDE VENDIDA PRODUTO COD_ PROD COD_CATE REGIÃO COD_REG Técnica de modelagem que consiste em manter uma tabela dimensão desnormalizada, ligada diretamente a tabela de fato
Opções do Modelo SnowFlake DATA MÊS CLIENTE COD_CLI VENDAS REALIZADAS MÊS COD_PROD COD_CLI COD_REG VALOR VENDIDO QTDE VENDIDA PRODUTO COD_ PROD COD_CAT REGIÃO COD_REG PRODUTO CATEGORIA COD_ CAT Técnica de modelagem que consiste em normalizar uma tabela dimensão, ou seja, remover atributos do tipo texto de baixa cardinalidade das dimensões e colocá-los em dimensões secundárias, estabelecendo um relacionamento entre as mesmas
Opções do Modelo SnowFlake Recomendado quando: Representa uma redução considerável do espaço em disco ocupado Contribui para a estabilidade na manutenção de uma dimensão Não recomendado quando: Compromete a performance durante a navegação (browsing) pelo modelo Compromete a compreensão do modelo por parte do usuário final
Etapas da Modelagem Escolha o processo do negócio; Escolha o grão; Escolha as dimensões que serão aplicadas para cada registro da tabela de fatos; Escolha os fatos mensuráveis que irão popular cada registro da tabela de fatos.
DÚVIDAS
Bibliografia
Bibliografia SODRÉ, Eliana. Curso Implementação do Processo de Data Warehousing. Belo Horizonte, 2000. INMON, W.H., Como Construir o Data Warehouse. 2a. edição.ed. Campus.Rio de Janeiro.1997. PRODABEL, Metodologia para Projetos de Recuperação de Informações através da modelagem dimensional. Belo Horizonte, 2000.
Bibliografia CAMPOS, Maria Luiza; Filho, Arnaldo V. Rocha. Data warehouse (Tutorial). UFRJ [Online]. 1998. [Capturado em out. 1999]. Disponível na Internet: http://genesis.nce.ufrj.br/dataware/tutorial/ tutorial.html.