Data Warehouse. Debora Marrach Renata Miwa Tsuruda

Transcrição

1 Debora Marrach Renata Miwa Tsuruda

2 Agenda Introdução Contexto corporativo

3 Agenda Introdução Contexto corporativo

4 Introdução O conceito de Data Warehouse surgiu da necessidade de integrar dados corporativos espalhados em diferentes máquinas e sistemas operacionais, para torná-los acessíveis a todos os usuários dos níveis decisórios.

5 Introdução Com o surgimento do conceito de Sistemas de Apoio à Decisão (DSS), o Data Warehouse surge como uma solução para suprir as necessidades de informações para o usuário de nível decisório.

6 Agenda Introdução Contexto corporativo

7 Contexto Corporativo Os sistemas de informação operacionais foram concebidos e implantados para agilizar procedimentos administrativos das organizações, sendo mantidos por áreas estanques e independentes.

8 Contexto Corporativo Atualmente, a maioria dos usuários conhece suas necessidades de informação através da aprendizagem adquirida nas três últimas décadas de utilização de utilitários e aplicativos.

9 Contexto Corporativo Os níveis gerencial e estratégico passaram a requerer informações mais trabalhadas.

10 Contexto Corporativo O perfil para o fornecimento de informações é identificado por características essenciais: Ser flexível Favorecer a autonomia dos usuários e auxiliálos nas funções gerenciais; Surge uma nova demanda em complementação às listagens e telas características dos sistemas operacionais.

11 Contexto Corporativo O perfil para o fornecimento de informações é identificado por características essenciais: Ser integrado Os bancos de dados devem ser interligados interna e externamente à organização.

12 Contexto Corporativo O perfil para o fornecimento de informações é identificado por características essenciais: Ser útil Para a mudança de comportamento da organização e para torná-la mais competitiva.

13 Contexto Corporativo O perfil para o fornecimento de informações é identificado por características essenciais: Participação mais ativa do usuário final; Ser mais ágil para atender à necessidade de informações na hora certa.

14 Contexto Corporativo Um possível impacto desta demanda por informações nos processos da área de TI é o crescimento sem controle, do número de programas e de dados, resultando em mais manutenção.

15 Contexto Corporativo Possível impacto da demanda por flexibilidade na área de TI Baixa Produtividade A busca de dados em várias fontes consome tempo.

16 Contexto Corporativo Possível impacto da demanda por flexibilidade na área de TI Falta de integração entre os dados Os formatos dos dados e suas semânticas nem sempre são coerentes entre bases diferentes.

17 Contexto Corporativo Possível impacto da demanda por flexibilidade na área de TI Flexibilidade restrita As mudanças não foram previstas nos requisitos dos negócios.

18 Contexto Corporativo Diferenças entre Sistemas Operacionais e de Suporte á Decisão Tópico ou Função Nível Operacional Nível de Suporte á Decisão Conteúdo dos Dados Valores correntes Dados históricos, consolidados e trabalhados Organização dos dados Orientada á aplicação Orientada á organização Natureza dos dados Estrutura e formato dos dados Dinâmica Dados normalizados Complexos, desejáveis para computação operacional Estática Dados não normalizados Simples desejáveis para análise de negócios Possibilidade de acesso Alta Moderada á baixa Atualização Contínua Periódica Aplicação Estruturada, com processamento repetitivo Não estruturada, com processamento analítico Tempo de resposta entre 2 e 30 segundos Segundos á minutos

19 Contexto Corporativo Diferenças entre Sistemas Operacionais e de Suporte á Decisão Cada tipo de sistema necessita de um projeto de banco de dados com características próprias.

20 Contexto Corporativo Data Warehouse A solução para o atendimento a essas necessidades converge para a integração das diversas bases existentes, para o aperfeiçoamento dos métodos e técnicas de tratamento, e para a agregação de dados e disponibilização de informações.

21 Contexto Corporativo Exemplo As informações sobre cada cliente de um banco estão espalhadas pelos diferentes sistemas e áreas (Conta-Corrente, Poupança, Cartão de Crédito, Aplicações Financeiras etc). Dessa forma, traçar um perfil do cliente é muito difícil, devido à necessidade de acesso a essas diferentes "ilhas" de informação.

22 Contexto Corporativo Exemplo Em um ambiente de Data Warehouse os dados estariam orientados para o perfil de seus clientes. Integrar os dados dos diferentes sistemas operacionais em uma visão consolidada capacita ao usuário a observar o perfil de todas as atividades de um cliente, analisando seu portfólio de um ponto de vista histórico, de forma a lhe oferecer melhores serviços.

23 Base Teórica

24 Agenda Introdução Contexto corporativo

25

26 Toda implementação de um DW envolve trabalho em quatro áreas essenciais: Análise das fontes dos dados Definição da transformação e da integração para aqueles dados (ETL) Construção do DW propriamente dito Disponibilização das ferramentas para acessar o DW e extrair as informações

27

28 Sistemas de origem Data Staging Area Área de apresentação dos dados Data Mart Partição em tempo real Barramento ODS Operational Data System Ferramenta de acesso aos dados

29 Sistemas de origem Sistemas que controlam os processos de negócio, dos quais se extrai os dados para carga no DW.

30 Sistemas de origem Data Warehouse

31 Data Staging Area Área de trabalho para as operações ETL. Estas operações compreendem a armazenagem dos dados extraídos dos sistemas de origem e as operações de verificação e limpeza para garantia da consistência do dado á ser armazenado no DW.

32 Data Staging Area Data Warehouse

33 Data Staging Area O principal requisito da data staging area é que ela não esteja acessível aos usuários e que não forneça serviços de consulta e nem de apresentação.

34 Data Staging Area (Suporte á operação de ETL) Área de trabalho para: Extração dos dados dimensionais dos sistemas fonte operacionais acompanhado de estatística de auditoria Limpeza dos valores dos atributos Validação de nomes e endereços, tratamento para valores descritivos inconsistentes, decodificações faltando, códigos sobrecarregados com significados múltiplos no tempo, dados inválidos, dados faltando.

35 Data Staging Area (Suporte á operação de ETL) Área de trabalho para: Gerenciar atribuições de chaves surrogate Deve ser mantida uma tabela mestre de correspondência para entre a chave surrogate do DW e a chave operacional.

36 Área de apresentação dos dados É o local em que os dados ficam organizados, armazenados e tornam-se disponíveis para serem consultados diretamente pelos usuários.

37 Área de apresentação dos dados

38 Data Mart Em sua forma mais simples, um Data Mart representa um único processo de negócio. Ou seja, é um DW para um único processo de negócio.

39 Data Mart Data Warehouse

40 Partição em tempo real (Casos específicos) No ambiente de Data Warehouse, os dados consistem de um snapshot (retrato no tempo) e abrangem períodos de até 10 anos, sendo atualizados periodicamente e não em tempo real.

41 Partição em tempo real (Casos específicos) A partição em tempo real é uma tabela separada sujeita a regras especiais de atualização e consulta. Contém toda a atividade que ocorreu desde a última atualização do DW estático.

42 Partição em tempo real (Casos específicos) Consulta = Tabela de fatos estática + Tabela de fatos da partição

43 Barramento Compartilhamento de uma arquitetura uniforme de dimensões e fatos em conformidade que permitirá que eles sejam sincronizados em um todo integrado.

44 Matriz de barramento Matriz de relação cruzada entre os processos de negócio e suas dimensões, possibilitando visualizar aquelas dimensões que são compartilhadas entre os vários processos de negócio.

45 Matriz de barramento Data Warehouse

46 ODS - Operational data Store (Casos específicos) São cópias bastante integradas e frequentemente atualizadas de dados operacionais. É implementado para produzir relatórios operacionais principalmente quando os sistemas operacionais não fornecem os relatórios adequados.

47 ODS - Operational data Store (Casos específicos) É um terceiro sistema físico localizado entre os sistemas operacionais e o data warehouse ou uma partição automática especialmente administrada do DW propriamente dito.

48 ODS - Operational data Store (Casos específicos) Evidentemente, você não deve alocar recursos para construir um terceiro sistema físico a menos que suas necessidades corporativas não possam ser atendidas pelo sistema de coleta de dados operacional nem pelo DW.

49 Ferramentas de acesso aos dados Ferramentas OLAP, Geradores de relatórios etc... As ferramentas OLAP permitem a geração de relatórios, a análise de um grande volume de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão.

50 OLAP São aplicações que os usuários finais têm acesso para extraírem os dados de suas bases e construir os relatórios capazes de responder as suas questões gerenciais.

51 Características OLAP - CUBO As informações são armazenadas em cubos multidimensionais, que gravam valores quantitativos e medidas, permitindo visualização através de diversos ângulos.

52 Características OLAP - CUBO As medidas são organizadas em categorias descritivas, chamadas de dimensões e formam a estrutura do cubo.

53 Ferramentas OLAP Cubo Data Warehouse

54 Características OLAP - Drill Across Ocorre um aumento do nível de detalhe da informação e conseqüente diminuição no nível da hierarquia da dimensão. Por exemplo, uma análise de vendas por estado é alterada para uma análise de vendas das cidades de um determinado estado.

55 Características OLAP - Drill Up É o contrário do Drill Down. Diminuição no nível de detalhe e conseqüente aumento no nível da hierarquia da dimensão. Uma análise de vendas é alterada de uma cidade para seu estado correspondente.

56 Características OLAP - Drill Throught Ocorre quando o usuário passa de uma informação contida em uma dimensão para uma outra. Por exemplo, o usuário está realizando uma análise da dimensão tempo e no próximo passo para a analise da dimensão região.

57 Características OLAP - Slice and Dice É uma das principais características de uma ferramenta OLAP. Modifica a posição de uma informação. Troca linhas por colunas de maneira a facilitar a compreensão dos usuários girando o cubo sempre que tiver necessidade.

58 Características OLAP - Slice and Dice Slice Em uma dimensão tempo de um modelo, é selecionado somente o ano de Dice A análise é alterada de região/ano para ano/região.

59 Fim Data Warehouse