DESENVOLVIMENTO DE UM SOFTWARE GERENCIADOR DE SISTEMAS SAD

Transcrição

1 FACULDADE DE INFORMÁTICA DE PRESIDENTE PRUDENTE DESENVOLVIMENTO DE UM SOFTWARE GERENCIADOR DE SISTEMAS SAD FERNANDO LUÍS FELÍCIO Presidente Prudente SP 2005

2 FACULDADE DE INFORMÁTICA DE PRESIDENTE PRUDENTE DESENVOLVIMENTO DE UM SOFTWARE GERENCIADOR DE SISTEMAS SAD FERNANDO LUÍS FELÍCIO Trabalho monográfico apresentado no curso de graduação, Bacharelado em Sistemas de Informação, como requisito parcial para sua conclusão. Área de concentração: Sistemas de Informação. Orientador: MSc. Francisco Assis da Silva Co-Orientador: Esp. Rogério Marcus Alessi Presidente Prudente SP 2005

3 004 FELÍCIO, Fernando Luís. Desenvolvimento de um Software Gerenciador de Sistemas SAD / Fernando Luís Felício. Presidente Prudente: UNOESTE, p. :il. Monografia (Graduação) Universidade do Oeste Paulista UNOESTE: Presidente Prudente SP, Bibliografia. 1. Sistemas de Informação. I. Autor. II. Título.

4 DEDICATÓRIA Dedico este projeto monográfico ao meu líder e amigo de trabalho Samuel Toledo, que nunca mediu esforços e esteve sempre presente em todos os momentos de sua realização. A minha mãe Alda Maria Teixeira Felício, pelo carinho, amor e por se fazer presente em todos os momentos.

5 AGRADECIMENTOS Em primeiro lugar a Deus, pelo dom da vida. A empresa Organização Social Athia que, em todos os momentos, esteve presente no meu crescimento profissional. Agradecimentos também ao professor orientador, MSc. Francisco Assis da Silva que, na rigidez de seus ensinamentos, fez aprimorar meus conhecimentos. A faculdade de informática de Presidente Prudente FIPP, por despertar a vontade da pesquisa. A minha namorada Juliana Parizi, pela paciência de cada momento de ausência para que este trabalho pudesse ser realizado. Aos meus irmãos e amigos, pelo companheirismo e os muitos momentos difíceis e de alegrias compartilhados.

6 EPÍGRAFE [...] talvez não tenha conseguido fazer o melhor, mas lutei para que o melhor fosse feito, não sou o que deveria ser, não sei o que irei ser, mas, graças a Deus, não sou o que eu era.[...] Martin Luther King

7 FELÍCIO, Fernando Luís. Desenvolvimento de um Software Gerenciador de Sistemas SAD. Presidente Prudente: UNOESTE, Monografia de Graduação. Orientador: MSc. Francisco Assis da Silva Co-Orientador: Esp. Rogério Marcus Alessi RESUMO O objetivo do software desenvolvido é o gerenciamento de decisões estratégicas, onde o mesmo deverá possuir diversos recursos de extração, tratamento e gerenciamento dos dados, pois a arquitetura do Data Warehouse em SAD permite que um grande número de usuários possa realizar inferências em um ou mais bancos de dados modelados de uma forma especial, diferente de um banco de dados relacional. O Data Warehouse agiliza o acesso às informações e também permite a formulação de consultas definidas a qualquer momento com um simples movimento de arrastar e soltar objetos em interfaces gráficas. O software desenvolvido denominado SAD Warehousing orienta o usuário a cada tarefa a ser realizada, como conexão a uma base de dados através de alguns sistemas gerenciadores de bancos dados atuais, construção do Data Warehouse, extração dos dados da base de dados operacional para a base de dados do Data Warehouse e consultas com OLAP. O ambiente de dados para suporte aos processos de gerência e tomada de decisão é fundamentalmente diferente do ambiente convencional de processamento de transações. No coração deste ambiente está a idéia do Data Warehouse, integrando e consolidando dados disponíveis em diferentes acervos para fins de exploração e análise, ampliando o conteúdo informacional destes acervos para atender às expectativas e necessidades de nível estratégico na empresa. Esta monografia apresenta o estado da arte conforme a arquitetura do Data Warehouse, introduzindo os principais conceitos na área e discutindo as diferenças deste ambiente para os ambientes e ferramentas usuais de gerenciamento e tratamento de informações, além de mostrar as formas de extração de seus dados, o processo OLAP e geração de cenários com regras embutidas para possíveis análises futuras.

8 FELÍCIO, Fernando Luís. Development of the SAD Systems Manager Software. Presidente Prudente: UNOESTE, Graduation Monograph. Adviser: MSc. Francisco Assis da Silva Co-Adviser: Spe. Rogério Marcus Alessi ABSTRACT The developed software objective is the strategic decisions management, where should possess several extraction resources, handling and management of the data, therefore the Data Warehouse architecture in SAD allows a great number of users to make inferences in modeled databases in a special way different from a database relational. The Data Warehouse improves the information access and also allows the query formulation defined at any moment with a simple movement of to drag and to drop objects in graphic interfaces. The developed software called SAD - Warehousing orients the user to each task to be realized as connection to a database through some current database managers systems, construction of a Data Warehouse, data extraction of the operational database for the Data Warehouse databases and query with OLAP. The data environment for support to the management processes and decision is fundamentally different from the conventional transactions processing environment. The Data Warehouse idea is in environment heart, integrating and consolidating available data in different collections for exploration and analysis, amplifying the informational content of these collections to attend to the expectations and needs of strategic level in the company. This work presents the art state to the Data Warehouse architecture introducing the main concepts in the area and discussing the differences of this environment for the environment and usual management tools and information handling, besides to show the data extraction forms, the process OLAP and sceneries generation with built-in rules for possible future analyses.

9 LISTA DE FIGURAS Figura 1 Estrutura de banco de dados para extração contínua dos dados (MACHADO, 2002, p.28) Figura 2 Consultas com os diferentes níveis de dados a serem usados...22 Figura 3 O ciclo de vida do desenvolvimento no projeto do Data Warehouse (MICHAEL, 2002, p.404) Figura 4 Registros organizados por detalhamentos, nestes casos, por ano...26 Figura 5 A questão da integração dos dados gravados em um banco de dados relacional para um banco de dados do Data Warehouse (MACHADO, 2002, p.31)...28 Figura 6 A questão da variação em relação ao tempo Figura 7 A questão da não-volatilidade, diferenças entre o banco de dados relacional e banco de dados do Data Warehouse...30 Figura 8 Definindo o Nível de granularidade entre o banco de dados operacional e banco de dados do Data Warehouse Figura 9 Níveis duais de granularidade...32 Figura 10 Arquitetura genérica do Data Warehouse Figura 11 Arquitetura de duas camadas Figura 12 Arquitetura de três camadas Figura 13 Exemplo de um modelo Estrela (Star Schema)...43 Figura 14 A tabela dimensão produto de forma normalizada Figura 15 Remoção dos dados puramente operacionais (ANDREATTO, 1999)...47 Figura 16 Adição de um elemento de tempo (ANDREATTO, 1999) Figura 17 Introdução de dados derivados (ANDREATTO, 1999)...48 Figura 18 Relacionamento entre tabelas no modelo E-R (ANDREATTO, 1999)...49 Figura 19 Inclusão de artefatos no Data Warehouse (ANDREATTO, 1999)...50 Figura 20 Alteração do nível de granularidade (ANDREATTO, 1999) Figura 21 União dos dados de diferentes tabelas (ANDREATTO, 1999)...52 Figura 22 Criação de array de dados (ANDREATTO, 1999)...53 Figura 23 Análise de estabilidade dos dados...54 Figura 24 Selecionando os dados a serem pesquisados Figura 25 Uso seletivo da redundância feito pela arquitetura do Data Warehouse (ANDREATTO, 1999)...62 Figura 26 A tabela de fatos e suas dimensões (ANDREATTO, 1999) Figura 27 SQL com o relacionamento entre as tabelas de configuração do banco de dados Interbase Figura 28 Modelo de dados do catálogo do banco de dados Interbase Figura 29 SQL para a obtenção do catálogo do banco de dados Oracle...76 Figura 30 Modelo da tabela de consulta no Oracle Figura 31 Fluxograma descrevendo os passos para a implementação da Unit de conexão com o banco de dados Figura 32 Código fonte de implementação da Unit de conexão com o banco de dados Figura 33 Componente de armazenamento de componentes de conexão com o banco de dados, o componente DataModule_Dados Figura 34 Tela de configuração das tabelas do banco de dados do Data Warehouse Figura 35 Tela do processo de extração conforme o campo...84

10 Figura 36 Demonstrando um tipo de campo configurável do processo de extração...84 Figura 37 Interface demonstrando um cubo OLAP na forma de um grid de várias dimensões desenvolvidas em Delphi...85 Figura 38 Cubo OLAP demonstrado de forma conceitual Figura 39 Tela de sobre (About) do componente HierCube para o cubo OLAP...87 Figura 40 Palheta de componentes do HierCube OLAP Figura 41 Package com as Units e Forms de implementação do componente HierCube OLAP...88 Figura 42 Tela da Unit xhresstr.pas com parte do código traduzido para o português, do componente HierCube OLAP Figura 43 Interface de entrada do software SAD Warehousing Figura 44 Tela demonstrando a interface de opção do tipo de SGBD a ser utilizado pela organização Figura 45 Tela que demonstra a string de conexão, usuário e senha de acesso ao banco de dados operacional da organização...92 Figura 46 Escolha do Banco de dados operacional da organização...93 Figura 47 Tela de demonstração com os dados do banco de dados operacional da organização preenchidos...94 Figura 48 Tela que demonstra a string de conexão, usuário e senha de acesso ao banco de dados do Data Warehouse...94 Figura 49 Tela de confirmação do novo projeto a ser trabalhado com o software SAD Warehouse Figura 50 Tela principal com as opções de configuração e gerenciamento do novo projeto SAD a ser trabalhado Figura 51 Os três passos para a realização de um projeto SAD com o software SAD Warehousing Figura 52 Interface de configuração do banco de dados do Data Warehouse da organização, com as tabelas do estudo de caso do Posto de Combustíveis Figura 53 Tela de demonstração da tabela de FUNCIONARIO Figura 54 Interface de demonstração de configuração da tabela de dimensão e fato do modelo Tipo Estrela Figura 55 Interface de demonstração dos tipos de cada tabela do processo ETL do campo Tipo Estrela do software SAD Warehousing Figura 56 Interface do Painel de Configuração dos campos de cada tabela do processo ETL do software SAD Warehousing Figura 57 Interface com o campo Tipo de Configuração das opções de acordo com as regras de negócio da organização Figura 58 Interface de demonstração do campo Tipo de Configuração com a opção Configurável Figura 59 Interface do campo Loc_Filial_Estado de um tipo estado na forma de string para um formato UF Figura 60 Interface de demonstração do campo ANO de Opção de conteúdo no Campo, representando campos do tipo data Figura 61 Interface que demonstra a ligação dos campos do tipo chave primária e a comparação entre eles Figura 62 Interface Painel de Configuração totalmente configurada...105

11 Figura 63 Interface de demonstração das tabelas do catálogo do banco de dados operacional da organização Figura 64 Interface de demonstração dos campos das tabelas do catálogo do banco de dados operacional da organização Figura 65 Interface de demonstração das tabelas com os campos que são chaves primárias do catálogo do banco de dados operacional da organização Figura 66 Interface de demonstração das tabelas com os campos que são chaves estrangeiras do catálogo do banco de dados operacional da organização Figura 67 Tela de opção para visualização dos dados do campo Tabela 1 ou Tabela Figura 68 Tela de visualização dos dados da opção do botão do campo Tabela 1 ou Tabela Figura 69 Interface de visualização das opções de interação com a extração dos dados Figura 70 Opções de interação com o processo de extração Figura 71 Opções para limpar a base de dados Data Warehouse Figura 72 Interface da Opção Processo de Extração Figura 73 Interface da Opção Processo de Extração com as opções de acordo com o campo a ser configurado pelo usuário, neste caso o campo VENDA_DATA Figura 74 Interface da Opção Processo de Extração com as opções configuradas com o campo FUNC_NOME do tipo VARCHAR(45) Figura 75 Interface da Opção Processo de Extração para o tipo data VENDA_DATA Figura 76 Interface da Opção Processo de Extração para o tipo string FUN_NOME Figura 78 Interface das opções da geração do SQL do Processo ETL, referente ao tipo de consulta no banco de dados operacional Figura 79 Interface do processo automático ETL sendo gerado Figura 80 Interface principal do cubo OLAP do software SAD Warehousing Figura 81 Interface detalhando o campo Funcionário da dimensão FUNCIONARIO do cubo OLAP do software SAD Warehousing Figura 82 Interface detalhando alguns campos numéricos, com valor e quantidade do cubo OLAP do software SAD Warehousing Figura 83 Interface demonstrando a opção de atualização dos dados do cubo OLAP do software SAD Warehousing Figura 84 Interface demonstrando o gráfico gerado com os dados do cubo OLAP do software SAD Warehousing Figura 85 Interface demonstrando as opções de exportação dos dados do cubo OLAP do software SAD Warehousing Figura 86 Interface com a opção do nome do arquivo a ser exportado pelo cubo OLAP do software SAD Warehousing Figura 87 Tela de confirmação do arquivo Exportado Figura 88 Interface de definição das regras após a exportação de um arquivo Figura 89 Relatório em XLS extraído após a exportação dos dados Figura 90 Interface demonstrando um cenário estatístico Figura 91 Interface de verificação das regras estatísticas

12 Figura 92 Tela demonstrando a chamada do help on-line pelo menu principal Figura 93 Interface demonstrando o help on-line do software SAD - Warehousing

13 LISTA DE TABELAS Tabela 1 Neste ambiente há duas espécies de dados, dados primitivos e dados derivados (ANDREATTO, 1999)...21 Tabela 2 Demonstrativos de comparações nas consultas entre os níveis de dados Tabela 3 Comparação entre banco de dados operacionais e Data Warehouse (MACHADO, 2002, p.57)...24 Tabela 4 Relacional versus Bidimensional...46

14 LISTA DE ABREVIATURAS DB DW DM MER SGBD DASD DSS MIS ETL SQL SE OLTP OLAP SPT SIG SAD BI CRM ERP CIO Data Base Data Warehouse Data Mart Modelo de Entidade Relacional Sistema Gerenciador de Banco de Dados Direct Access Storage Device Decision Support Systems Management Information Systems Load Treatment Extraction Structured Query Language Sistema Especialista On-line Transaction Processing Online Analytical Processing Sistemas de Processos Transacionais Sistemas de Informação Gerenciais Sistemas de Suporte a Decisão Business Intelligence Customer Relationship Management Enterprise Resource Planning Chief Information Officer

15 SUMÁRIO 1 INTRODUÇÃO SISTEMAS DE APOIO À DECISÃO Histórico Os dados O ambiente projeto Características do Data Warehouse O ciclo de vida do desenvolvimento Orientado por temas Integrado Variante no tempo Não volátil Granularidade Níveis duais de granularidade Particionamento de dados ARQUITETURA DO DATA WAREHOUSE Arquitetura genérica do Data Warehouse Outras arquiteturas Arquitetura de duas camadas Arquitetura de três camadas MODELO DE DADOS DO DATA WAREHOUSE A questão das dimensões Esquemas do tipo estrela e floco de neve Vantagens do modelo estrela Bancos de dados multidimensionais Conversão do modelo ER para o modelo do Data Warehouse Remoção dos dados puramente operacionais Adição de um elemento de tempo na estrutura da chave Introdução de dados derivados Transformação de relacionamento de dados em artefato de dados Acomodação dos diferentes níveis de granularidade União dos dados comuns de diferentes tabelas Criação de arrays de dados Separação dos atributos de dados de acordo com sua estabilidade DESENVOLVIMENTO DO DATA WAREHOUSE Estratégia evolucionária Aspectos de modelagem Técnicas de gerenciamento da quantidade de dados pesquisados Técnicas para incrementar o desempenho Etapas do desenvolvimento do Data Warehouse Relacional versus multidimensional Um ou mais bancos...66

16 6 EXTRAINDO INFORMAÇÕES DO DATA WAREHOUSE Ferramentas OLAP MOLAP x ROLAP IMPLEMENTAÇÃO DO SOFTWARE Metadados Obtendo informações do catálogo do banco de dados Catálogo do banco de dados Interbase Catálogo do banco de dados Oracle Metadados e catalogo do banco de dados utilizado A Unit de conexão com banco de dados O processo ETL As rotinas de tratamento As rotinas de extração As consultas OLAP ESTUDO DE CASO Interfaces de entrada Interfaces de configuração Processo de Tratamento, Extração e Carga ETL Pesquisa dos dados utilizando On-line Analytical Processing OLAP Estatísticas/cenários e sistema especialista Help on-line CONCLUSÕES Trabalhos futuros REFERÊNCIAS BIBLIOGRÁFICAS ANEXO ANEXO ANEXO

17 15 1 INTRODUÇÃO Atualmente as organizações precisam utilizar todas as informações disponíveis para criar e manter vantagem competitiva. Sai a frente uma organização que consegue tomar decisões corretas e rápidas. Com esta importante tarefa nas mãos, profissionais tomadores de decisão tais como executivos, gerentes e analistas, exigem dos sistemas de suporte à decisão DSS (Decision Support Systems) ou sistemas de apoio à decisão SAD (Decision Apoial Systems), mais recursos para análise, front-ends 1 que suportem consultas ad-hoc 2, interfaces gráficas apropriadas, etc. A idéia do Data Warehouse é integrar os dados internos e externos de uma organização em uma estrutura única permitindo uma melhor utilização dos dados pelos analistas, gerentes e executivos. Uma vez obtida a integração, sistemas de processo analítico on-line 3 OLAP (On-Line Analytical Processing) e cenários de regras fornecem mecanismos sofisticados para análise dos dados. Estudar e conhecer a tecnologia do Data Warehouse pode ajudar os empresários a descobrir novas formas de competir em uma economia globalizada, trazendo melhores produtos ou serviços para o mercado, mais rápido que os concorrentes, sem aumentar o custo do produto ou do serviço. Não existem ainda metodologias formais para implementação do Data Warehouse, ele deve ser adaptado às características e às expectativas de cada organização, mas o principal objetivo em todas elas é o de descobrir maneiras diferentes de atuar no mercado e quais as mudanças internas que devem ocorrer para atender as novas realidades. Esta monografia tem como objetivo fazer um estudo dos principais conceitos necessários para o desenvolvimento de um ambiente do Data Warehouse. Após este capítulo introdutório, a presente monografia está organizada conforme a estrutura que segue. No capítulo 2 iniciam-se os conceitos sobre o Data Warehouse mostrando suas características básicas. No capítulo 3 são elucidas as arquiteturas 1 front-ends: Interfaces para demonstrar algo para o usuário sem que ele se preocupe com o que esta por traz do conteúdo manipulado por ele. 2 ad-hoc: Pesquisa ou realização de algo sem uma forma de manual de instrução, podendo ser de acordo com a experiência de quem utiliza. 3 on-line: Processo de atualização ou visualização em tempo real de algum tipo de documento, registro, etc.

18 16 disponíveis para construção do Data Warehouse, e no capítulo 4 os modelos de dados. O capítulo 5 apresenta alguns detalhes do desenvolvimento propriamente dito do Data Warehouse. O capítulo 6 mostra as técnicas para extrair as informações dos sistemas existentes e transformá-los adequadamente para o Data Warehouse. O capítulo 7 refere-se ao desenvolvimento do software SAD Warehousing. O capítulo 8 é demonstrado um estudo de caso do software desenvolvido, constituído da construção de um modelo do Data Warehouse, as técnicas para extração e análise dos dados de um cubo de decisões utilizando OLAP e verificação de cenários de regras estatísticas. Finalmente, o capítulo 9 relata as conclusões e trabalhos futuros.

19 17 2 SISTEMAS DE APOIO À DECISÃO 2.1 Histórico A evolução dos sistemas de apoio à decisão pode ser dividida em cinco fases entre 1960 e No início da década de 1960 o mundo da computação consistia na criação de aplicações individuais que eram executadas sobre arquivos mestres, caracterizadas por programas e relatórios (MACHADO, 2005, p15). Aproximadamente em 1965 o crescimento dos arquivos mestres e das fitas magnéticas explodiu, surgindo problemas como a complexidade de manutenção dos programas, a complexidade do desenvolvimento de novos programas, a quantidade de hardware para manter todos os arquivos mestres e a necessidade de sincronizar dados a serem atualizados. Por volta de 1970, surgiu a tecnologia de dispositivos de armazenamento direto DASD (Direct Access Storage Device), substituindo as fitas magnéticas pelo armazenamento em disco. Com o DASD surgiu um novo tipo de software conhecido como sistema gerenciador de banco de dados SGBD, que tem o objetivo de tornar o armazenamento e o acesso a dados no DASD mais fáceis para o programador. E com o SGBD surgiu a idéia de um único banco de dados que foi definido como uma única fonte de dados para todo o processamento. Aproximadamente em 1975 surgiu o processamento de transações on-line. Com o processamento de transações on-line de alto desempenho, o computador pôde ser usado para tarefas que antes não eram viáveis, por exemplo, controlar sistemas de reservas, sistemas de caixas bancários, sistemas de controle de produção entre outros. Até o início da década de 1980, novas tecnologias, como os computadores pessoais PC e as linguagens de quarta geração 4GL, começaram a aparecer. O usuário final passou a controlar diretamente os sistemas e os dados, descobrindo que era possível utilizar os dados para outros objetivos além de atender ao processamento de transações on-line de alto desempenho. Foi nesse período também que se tornou viável a construção dos Sistemas de Informação Administrativos MIS (Management Information Systems), hoje conhecidos como

20 18 sistemas de apoio a decisão SAD, eles consistiam em processamento utilizado para direcionar decisões gerenciais (MACHADO, 2002, p.19). 2.2 Os dados Após o advento das transações on-line de alto desempenho, começaram a surgir os programas de extração de dados. Esses programas varrem arquivos de banco de dados usando alguns critérios, e, ao encontrar esses dados, transporta-os para outro arquivo de banco de dados. Com a difusão do programa de extração de dados, começou a caracterizar-se o chamado processo de extração, tratamento e carga de dados ETL. Primeiro havia extrações. Depois, extrações das extrações, e, então, extrações das extrações das extrações, e assim por diante como mostra a figura 1 (MACHADO, 2002, p.28).

21 19 Banco de Dados Servidor Dados Banco de Dados Banco de Dados Dados Banco de Dados Dados Figura 1 Estrutura de banco de dados para extração contínua dos dados (MACHADO, 2002, p.28).

22 20 Com a não utilização arquitetura do Data Warehouse e o processo ETL começaram a surgir problemas conforme: Credibilidade dos dados; Ausência de parâmetros de tempo dos dados; O diferencial algorítmico dos dados; Os níveis de extração; O problema dos dados externos; Nenhuma fonte de dados comum; Produtividade; Localizar e analisar os dados para relatórios; Compilar os dados para relatórios; Obter recursos de análise para realizar os pontos citados acima; Impossibilidade de transformar dados em informações. 2.3 O ambiente projeto A arquitetura de desenvolvimento estruturada utilizando o Modelo Entidade Relacional MER, não é suficiente para atender as necessidades do futuro das organizações (MACHADO, 2005, p.32). A tabela 1 mostra um comparativo onde há duas espécies de dados se fazendo necessário uma mudança de arquitetura, surgindo o ambiente projetado da arquitetura do Data Warehouse.

23 21 Tabela 1 Neste ambiente há duas espécies de dados, dados primitivos e dados derivados (ANDREATTO, 1999). Dados primitivos Dados derivados - baseados em aplicações. - baseados em assuntos ou negócios. - detalhados. - resumidos ou refinados. - podem ser atualizados. - não são atualizados. - exatos em relação ao momento do acesso. - representam valores de momentos já decorridos ou instantâneos. - são processados repetitivamente. - processados de forma heurística. Há quatro níveis no ambiente projetado, o atômico ou Data Warehouse, o departamental e o individual. O nível operacional de dados contém apenas dados primitivos e atende à comunidade de processamento de transações de alto desempenho. O Data Warehouse contém dados primitivos que não são atualizados e dados derivados. O nível departamental de dados praticamente só contém dados derivados. E o nível individual de dados é onde a maior parte da análise heurística 4 é realizada (ANDREATTO, 1999). A figura 2 mostra os tipos de consulta para os quais os diferentes níveis de dados podem ser usados. 4 Heurística: Método de solução de problemas baseado em regras derivadas do senso comum, base geral para a solução de problemas.

24 22 Banco de Dados Operacional Paulo Cardoso Rua dos Passaros, 546 (18) Produto: AM19 Data Warehouse Paulo Cardoso Rua dos Passaros, 546 (18) Produto: AM19 Produto: AM45 Produto: BH76 Produto: TT89 Data Mart Paulo Cardoso Rua dos Passaros, 546 (18) Produto: AM19 Data: 20/04/2005 Estratégico Paulo Cardoso Rua dos Passaros, 546 (18) Produto: AM19 Perfil: Gosta de produtos do tipo... Figura 2 Consultas com os diferentes níveis de dados a serem usados. As consultas com diferentes níveis podem ser demonstradas na tabela 2, conforme um comparativo.

25 23 Tabela 2 Demonstrativos de comparações nas consultas entre os níveis de dados. Operacional Data Warehouse Data Mart Estratégico Paulo Cardoso Rua dos Pássaros, 546 (18) Produto: AM19. Paulo Cardoso Rua dos Pássaros, 546 (18) Produto: AM19. Paulo Cardoso. Produto: AM19. Data: 20/04/2005. Qual o produto comprado pelo cliente Paulo Cardoso? Paulo Cardoso Rua dos Pássaros, 546 (18) Produto: AM45. Paulo Cardoso Rua dos Pássaros, 546 (18) Produto: BH76. Paulo Cardoso Rua dos Pássaros, 546 (18) Produto: TT89. Qual o histórico do cliente Paulo Cardoso? Paulo Cardoso. Produto: AM19. Data: 20/04/2005. Paulo Cardoso. Produto: AM19. Data: 20/04/2005. Recebemos um grupo de clientes em um determinado tempo? Quais são as tendências em relação aos clientes que estamos avaliando? 2.4 Características do Data Warehouse Para entender melhor o que é uma arquitetura para o Data Warehouse a tabela 3 faz uma comparação entre banco de dados operacional e banco de dados do Data Warehouse.

26 24 Tabela 3 Comparação entre banco de dados operacionais e Data Warehouse (MACHADO, 2002, p.57). Bancos de dados Características Data Warehouse Operacionais Objetivo Operações diárias do negócio Analisar o negócio Uso Operacional Informativo Tipo de processamento OLTP OLAP Unidade de trabalho Inclusão, alteração, exclusão Carga e consulta Número de usuários Milhares Centenas Tipo de usuário Operadores Comunidade gerencial Interação do usuário Somente pré-definida Pré-definida e ad-hoc Condições dos dados Dados operacionais Dados Analíticos Volume Megabytes Gigabytes Gigabytes Terabytes Histórico 60 a 90 dias 5 a 10 anos Granularidade 5 Detalhados Detalhados e resumidos Redundância Não ocorre Ocorre Estrutura Estática Variável Manutenção desejada Mínima Constante Acesso a registros Dezenas Milhares Atualização Contínua (tempo real) Periódica (em batch) Integridade Transação A cada atualização Número de índices Poucos/simples Muitos/complexos Intenção dos índices Localizar um registro Aperfeiçoar consultas O Data Warehouse é um banco de dados contendo dados extraídos do ambiente de produção de uma organização, que foram selecionados e depurados, tendo sido otimizados para o processamento de consulta e não para processamento de transações. Em geral, o Data Warehouse requer a consolidação de outros recursos de dados além dos armazenados em banco de dados relacionais, incluindo informações provenientes de planilhas eletrônicas, documentos textuais, documentos eletrônicos em tempo real, cenários analíticos (MACHADO, 2002, p.57). É importante considerar, no entanto, que o Data Warehouse não contém apenas dados resumidos, podendo conter também dados primitivos. É 5 Granularidade: Nível de detalhe ou de resumo contido nas unidades de dados existentes, veja seção 2.10 do capítulo 2.

27 25 desejável prover ao usuário a capacidade de aprofundar-se num determinado tópico, investigando níveis de agregação menores ou mesmo o dado primitivo, permitindo também a geração de novas agregações ou correlações com outras variáveis. Além do mais, é extremamente difícil prever todos os possíveis dados resumidos que são necessários, limitar o conteúdo do Data Warehouse apenas a dados resumidos significa limitar os usuários apenas às consultas e análises que eles puderem antecipar frente a seus requisitos atuais, não deixando qualquer flexibilidade para novas necessidades (MACHADO, 2002, p.58). 2.5 O ciclo de vida do desenvolvimento Uma das grandes diferenças entre o nível operacional de dados e processamento e o nível de dados e processamento do Data Warehouse mostrado na figura 3 diz respeito aos ciclos de vida de desenvolvimento subjacentes (MICHAEL, 2002, p.404). Operações OLTP ETL Decisões Ferramenta Consulta, Relatório, Análise OLTP Data Warehouse Ferramenta Análises poderosas Dados externos Ferramenta Aplicações Figura 3 O ciclo de vida do desenvolvimento no projeto do Data Warehouse (MICHAEL, 2002, p.404).