Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos

Transcrição

1 Data Warehouses Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos

2 Conceitos Básicos Data Warehouse(DW) Banco de Dados voltado para o suporte à tomada de decisão; Suporte à tomada de decisão: Extraem informações necessárias para a tomada de decisão, utilizando consultas complexas sobre grandes volumes de dados. Possivelmente derivado de vários bancos de dados operacionais; Definição: Segundo W. H. Inmon, Coleção de dados orientada a assuntos, integrada, com séries temporais e não volátil, voltada para o apoio à tomada de decisão. Data Warehousing: É o processo de construção e uso de Data Warehouses.

3 Conceitos Básicos Objetivos Satisfazer necessidades de análise de informações; Monitorar e comparar situações atuais com situação anteriores; Estimar situações futuras.

4 Conceitos Básicos Características Orientado a assuntos; Integrado; Séries temporais; Não volátil.

5 Conceitos Básicos Orientado a Assuntos Organizado em torno de assuntos importantes, como por exemplo: cliente, produto; Focado na modelagem e análise de dados para quem toma decisões, em vez de operações diárias e processamento de transações; Fornece uma visão simples e concisa sobre questões de um assunto particular através da exclusão de dados que não são importantes no suporte ao processo de decisão.

6 Conceitos Básicos Integrado Diferentes nomenclaturas, formatos e estruturas das fontes de dados precisam ser acomodadas em um único esquema para prover uma visão unificada e consistente da informação.

7 Conceitos Básicos Séries Temporais O histórico dos dados por um período de tempo superior ao usual em BDs transacionais permite analisar tendências e mudanças;

8 Conceitos Básicos Não volátil Os dados de um Data Warehouse não são modificados como em sistemas transacionais (exceto para correções), mas somente carregados e acessados para leituras, com atualizações apenas periódicas; Com isso não é necessário ter mecanismos de processamento de transações, recuperação e controle de concorrência.

9 Conceitos Básicos Contexto

10 Conceitos Básicos Arquitetura

11 Conceitos Básicos Tecnologia de DW Ferramentas de ETC (Extração, Transformação e Carga) de grandes volumes de dados de diversas fontes no DW com recursos para conversão, validação, correção e integração dos dados; No repositório de Metadados é o local onde são armazenadas as informações sobre essas fontes. Também ocorre a inclusão também do próprio DW e de DataMarts e aplicações que os acessam; DataMarts são subconjuntos de dados de um DW e geralmente são dados referentes a um assunto em especial; Banco de dados com modelagem dimensional voltado para consultas complexas para a obtenção de informação consolidada; Ferramentas de administração e gerenciamento do DW e seus DataMarts.

12 Conceitos Básicos Tecnologia de DW Ferramentas de prospecção e análise de dados baseadas em OLAP (OnLine Analytical Processing): OLAP é um conjunto de tecnologias projetadas para analisar e acessar dados típicos de suporte a decisão que estão no DW; Fornece dados em alto nível (totais, médias, minimos ); Acessa vários registros; Tem alto desempenho e consultas fáceis e interativas; Lida com dados históricos (dimensão temporal); Oferece visões multidimensionais (perspectivas).

13 Conceitos Básicos Esquema de um DW Tabelas Fato - Dados quantitativos - registro de medidas com dados integrados de várias fontes (muitos registros); Dimensões - Dados qualitativos - organizando conceitos e respectivas instâncias para a seleção dos dados quantitativos, rotulando esses dados e os resultados (poucos registros).

14 Conceitos Básicos Esquema de um DW A modelagem de dados em DW pode ser: Estrela; Floco de Neve; Cubo.

15 Conceitos Básicos Esquema Estrela O esquema estrela é uma estrutura bem simples, com poucas tabelas e ligações bem definidas; Permite a criação de um banco de dados que facilita a execução de consultas complexas, podendo ser realizadas de modo eficiente e intuitivo pelo usuário.

16 Conceitos Básicos Esquema Floco de Neve O esquema floco de neve é uma variação do esquema estrela, no qual todas as tabelas de dimensão são normalizadas na terceira forma normal (3FN); Recomenda-se utiliza-lo apenas quando a linha de dimensão ficar muito longa e começar a ser relevante do ponto de vista de armazenamento.

17 Conceitos Básicos Esquema Cubo É a estrutura multidimensional de dados que expressa a forma na qual os tipos de informações se relacionam entre si; É formado pela tabela de fatos e pelas tabelas de dimensão que a circundam e representam possíveis formas de visualizar e consultar os dados; O cubo armazena todas as informações relacionadas a um determinado assunto, de maneira a permitir que sejam montadas várias combinações entre elas, resultando na extração de várias visões sobre o mesmo assunto.

18 Planejando, projetando e implementando DWs Planejamento: O projeto será no nível departa mental ou empresarial? Tipo de usuário alvo (executivos, unidades) Definição do ambiente Planejamento para integração Definição arquitetura tecnológica SGBD Ferramentas OLAP e Data Mining Ferramentas ETC Ferramentas metadados Mecanismos para transferência de dados entre ambientes heterogêneos (ODBC, XML etc)

19 Planejando, projetando e implementando DWs Levantamento das necessidades: Identificação de dois modelos: Modelo dimensional (modelo entidade relacionamento) Modelo relacionado com as fontes das informações (modelo fonte dos dados) Análise da qualidade e integridade dos dados fonte

20 Planejando, projetando e implementando DWs Modelagem dimensional: Análise dos volumes brutos dos dados visando o processamento para obtenção de informações consolidadas As tarefas de modelagem dimensional deverão ser suportadas por planilhas de apoio, para facilitar os cálculos e estimativas de carga e volumes projetados. Definição fatos e dimensões e respectivos atributos Nível de granularidade e agregadores

21 Planejando, projetando e implementando DWs Projeto físico dos BDs: Desenho físico das estruturas lógicas do modelo dimensional: Estimativa de tamanho do database Criação do database tabelas fato e dimensão relacionamentos indexação atributos de tabelas campos chaves restrições, e implantação de regras.

22 Planejando, projetando e implementando DWs Projeto ETC: Definição dos processos requeridos de extração, transformação e carga do modelo fonte para o modelo dimensional. Definição dos tratamentos a serem utilizados Filtro de dados Integração de dados Condensação de dados (resumidos e sumariados) Conversão de dados e derivação de dados (criação dados virtuais a partir de existentes)

23 Planejando, projetando e implementando DWs Desenvolvimento das aplicações: Desenvolvimento das aplicações para ETC e também para consultas gerênciais Em caso de utilização de ferramentas adquiridas geração de modelos para facilitar ao usuário final a elaboração de consultas

24 Planejando, projetando e implementando DWs Testes: Realizar o máximo possível de simulações de volume e de processamento. E após isso testado em um grupo pequena, e depois de um resultado positivo liberado para uso.

25 Planejando, projetando e implementando DWs Treinamento: Treinar os usuários para o uso correto.

26 Planejando, projetando e implementando DWs Implantação: A implantação deverá ser seguida de rigoroso acompanhamento de uso das aplicações disponibilizadas.

27 Ferramentas Front End As ferramentas Front End executam: Seleção do conjunto de dados necessários; Cálculo e manipulação dos dados; Apresentação das informações; Ferramentas OLAP são mais usadas;

28 Características de ferramentas Front End eficientes facilidades para acesso aos dados, manipulação e apresentação; capacidade de especificar consultas e relatórios com facilidade; suporte para a indústria de padrões de interface, incluindo Microsoft Windows GUI, ODBC, etc. suporte para o desenvolvimento de interfaces amigáveis; habilidade para acessar a funcionalidade nativa de uma variedade de BD e outras origens de dados; habilidade para suportar uma variedade de plataformas servidoras e SGBDs.

29 Ferramentas Back End Extração: Consiste em fazer a extração dos dados no DW; Limpeza de dados: Conserto de erros como tamanhos inconsistentes de campo e entradas erradas; Carga: o processamento de carga é feito em lotes. Lidar com volume de dados muito maiores; Refresh: propagação das atualizações ocorridas.

30 Extração de dados de um DW Ferramentas de consulta e emissão de relatórios; EIS (Executive Information Systems); Ferramentas OLAP; Ferramentas Data mining.

31 Data Mining Data Mining é uma ferramenta de extração de dados. O Data Mining engloba um número de diferentes abordagens técnicas, como clustering, sumarização de dados, regras de classificação e detecção de anomalias.

32 OLAP x Data Mining A diferença básica entre ferramentas OLAP e Data Mining está na maneira como a exploração dos dados é abordada; OLAP: Verificação; Data Mining: Questão total ou parcialmente desconhecida.

33 Data Mining - utilização 1) Explanatório: explicar algum evento ou medida observada, tal como porque a venda de sorvetes caiu no Rio de Janeiro; 2) Confirmatório: confirmar uma hipótese; 3) Exploratório: analisar os dados buscando relacionamentos novos e não previstos.

34 Tipos de OLAP 1) ROLAP: fornecem análise multidimensional de dados armazenados em uma base de dados relacional; 2) MOLAP: permite a execução de análises sofisticadas usando como gerenciador de dados um banco de dados multidimensional; 3) HOLAP: Híbrido, usando as vantagens dos dois métodos.

35 Ferramentas livres Mondrian (servidor OLAP) Jpivot (geração de interfaces OLAP) OpenI (suite) SpagoBI (suite) PentahoBI (suite) BEE Project (suite)

36 Data Warehouse s espaciais Problemas em aberto: 1. Integração do modelo dimensional com algum modelo espacial: Modelagem Operadores Implementação de sistemas integrados 2. Geração de datamarts

37 Operadores e funções de agregação em DW Operadores: Agregação/desagregação: Roll-up, Drill-down, group by Seleção/projeção: Pivot, Slice e Dice Funções de agregação: Distributivas: contagem, mínimo, máximo, soma Algébricas: média, desvio padrão Holísticas: mediana, maior freqüência, rank

38 Slice e Dice Slice: Projeta valores específicos de uma dimensão (extrai uma fatia do hypercubo) Dice: Slices consecutivos (extrai hypercubo menor), usado para fixar uma informação de dimensão ou reduzir as dimensões de apresentação dos dados

39 Roll-up e Drill-down Roll-up (drill-up): sumariza dados, subindo na hierarquia de uma dimensão Apresenta os dados cada vez mais agrupados Drill-down(Roll-down):Reverso de roll-up, isto é, detalha os dados, descendo na hierarquia de uma dimensão, é usado para solicitar uma visão mais detalhada de um conjunto de dados. "Aprofundar"nos dados.

40 Pivot Muda posição ou orientação da dimensões na projeção bidimensional de dados do hypercubo Serve para adicionar ou rearranjar as dimensões das tabelas

41 Operadores em SIG Operadores: disjunto de... encontram... é igual a... dentro de... contém... cobre... é coberto por... sobreposição

42 Operadores em SIG Unário com resultado espacial: Ex.: Municípios ao redor de Campo Belo do Sul Binário com resultado escalar: Distância Área Ex.: Qual a distância de Lages até Vargem? Resp. 64 km

43 Funções de agregação em DW s espaciais Holística escalar: RankArea(), RankPerimeter(), MedianArea(), ModeArea()

44 Funções de agregação em DW s espaciais Distributiva escalar: CountTouches(), CountAt_North_of(), MaxIntersects()

45 Funções de agregação em DW s espaciais Distributiva espacial: SumTouches(), SumAt_North_Of(), SumDisjoint() Algébrica escalar: AvgArea(), MaxNArea()

46 Extensões espaciais em DW s

47 Bibliografia pt/~pbrandao/aulas/0203/bdm/pdfs/datawarehousing.pdf mestrado/files/uploads/dissertacoes/elisabete.pdf /tutorial_OLAP/operations.htm