Bancos de Dados IV. Data Warehouse Conceitos. Rogério Costa

Transcrição

1 Bancos de Dados IV Data Warehouse Conceitos Rogério Costa 1

2 Data Warehouse - O que é? Conjunto de dados orientados por assunto, integrado, variável com o tempo e nãovolátil

3 Orientado por assunto Sistemas transacionais (OLTP - On-line Transaction Processing) são usualmente orientados por funcionalidade. DWs são orientadas por assunto. Exemplos: Aplicações de vendas: possuem bases de clientes, produtos, estoque,... DW orientado para a análise de vendas: possui histórico das vendas realizadas

4 Integrado Dados de diversas fontes são reunidos sumarizados ou descartados No Data Warehouse a padronização e a unificação permitirão a realização de comparações confiáveis.

5 Integrado Dados deverão estar em um esquema único e coerente de codificação. Integração Semântica O que é óleo em estoque? Inclui navios, dutos? Integração de domínio Codificações iguais para atributos... Exemplo: sistemas com coluna de sexo com valores M e F, 0 e 1, H e M.

6 Não-Volátil Em bases de sistemas operacionais, os dados podem ser incluídos, alterados e excluídos Data Warehouses armazenam dados no formato carga e acesso. Após a carga, as informações devem ficar disponíveis para consulta, mas não o ficam para atualizações.

7 Variável com o Tempo Os dados estão associados a um ponto no tempo, como ano fiscal ou semestre. Informações como a quantidade de dias em um mês ou o dia da semana que um mês é iniciado são importantes.

8 DW - Visão Geral Bancos de dados de sistemas OLTP OLAP, DSS e Data Mining Dados e Metadados Usuários Operacionais Fontes Externas

9 Usuários Típicos Alguns perfis Fazendeiros Usuário típico do nível gerencial Exploradores Tentam encontrar relações entre os dados (data mining) Turistas Realizam buscas aleatórios

10 Tipos de dados Dados Primitivos (operacionais) Derivados de Data Warehouses Suporta decisões cotidianas Suporta decisões de longo prazo Dados mudam constantemente Dados atuais Dados mudam raramente Dados históricos Processamento repetitivo Orientado a aplicações Processamento heurístico Orientados a assunto

11 Tipos de dados Dados Primitivos (operacionais) Otimizados para trabalhar com inclusões, alterações e exclusões, além de consultas. Trabalham com granularidade baixa de dados, em ambiente operacional Derivados de Data Warehouses Otimizados para a realização de consultas em grandes volumes de dados. Trabalham com vários níveis de consolidação, em ambiente de tomada de decisões

12 Tipos de dados Dados Primitivos (operacionais) Dezenas/centenas de registros acessados. Busca pontual por dados (preferencialmente chave) Milhares de usuários Orientado a transações Derivados de Data Warehouses Milhões de registros acessados Acesso seqüencial aos dados Número pequeno de usuários Orientado à análise

13 Novas Estruturas Ao contrário do ambiente OLTP, base do DW é otimizada para consultas Maior utilização de índices Novos tipos de índices mais apropriados Bitmap index, Join Index Novas estruturas auxiliares, como visões materializadas

14 Data Warehouse Um DW é, também, a criação de uma visão dos dados que são gerados e armazenados por diferentes sistemas em diversos bancos de dados. Na montagem do DW, as informações das diversas fontes de dados são colhidas, transformadas, armazenadas, analisadas, consolidadas e disponibilizadas para consulta

15 DW - Componentes Os principais componentes da estrutura de um Data Warehouse são: Dados atuais Dados antigos Dados sumarizados Metadados

16 DW - Componentes Dados atuais dados relativamente recentes, de grande interesse, armazenados no maior nível de detalhe. Grande volume de dados armazenados em disco; Quanto maior o nível de detalhe utilizado no DW (menor granularidade), maior o volume de dados

17 DW - Componentes Dados antigos dados de menor interesse, acessados com menor freqüência e armazenados no mesmo nível de detalhe dos dados atuais. Pela baixa freqüência de acesso, podem ser armazenados em fitas.

18 DW - Componentes Dados sumarizados dados sumarizados e acessados com freqüência são armazenados em disco para facilitar ao acesso. Metadados Contém informações sobre os dados armazenados no data warehouse.

19 DW - Metadados Contém informações como: Estrutura dos dados; Mapeamento da origem dos dados; Algoritmos utilizados para a sumarização das informações; Histórico da extração e transformação das informações; Estatísticas de utilização;

20 DW - Metadados Para a montagem e atualização do DW são importantes diversas meta-informações... Documentação e diagramas CASE dos bancos operacionais e do DW Entrevistas com usuários, administradores e programadores dos bancos e do DW Papel do AD (Administrador de Dados) é essencial 20

21 DW Ciclo de Vida 21

22 Data Warehousing Processo de Imaginar Estudar o potencial Justificar Orçar Decidir Examinar sistemas existentes Entrevistar usuários Escolher ferramentas Construir e avaliar protótipo Implantar Treinar Gerenciar Evoluir 22