Luis Fernando Panegassi R.A DATA WAREHOUSE. Jaguariúna

Transcrição

1 Luis Fernando Panegassi R.A DATA WAREHOUSE Jaguariúna 2006

2 Luis Fernando Panegassi R.A DATA WAREHOUSE Monografia apresentada à disciplina Trabalho de Conclusão de Curso, do Curso de Ciência da Computação da Faculdade de Jaguariúna, sob a orientação do Prof. Odair Jacinto da Silva, como exigência parcial para conclusão do curso de graduação. Jaguariúna 2006

3 Panegassi, Luis Fernando. Data Warehouse. Monografia defendida e aprovada na FAJ em 11 de dezembro de 2006 pela banca examinadora constituída pelos professores: Prof. Odair Jacinto da Silva FAJ Orientador Prof. Silvio Petroli Neto FAJ Prof. Convidado Livio FAJ - Convidado

4 DEDICATÓRIA Às minhas filhas Audrey Carolina Panegassi e Adrielly Fernanda Panegassi Pelos momentos compartilhados juntos e pela alegria que me proporcionam. A vida se torna muito mais adorável quando temos inspiração para vivê-la.

5 AGRADECIMENTOS Ao Prof. Odair Jacinto da Silva pela orientação dedicada em todas as fases da realização deste trabalho. A todos os professores do curso de Ciência da Computação da Faculdade de Jaguariúna que também contribuíram para o meu crescimento pessoal e profissional.

6 EPÍGRAFE "O valor das coisas não está no tempo em que elas duram, mas na intensidade com que acontecem. Por isso existem momentos inesquecíveis, coisas inexplicáveis e pessoas incomparáveis". (Fernando Pessoa)

7 Lista de Siglas DSS DASD EIS E/S ER ETL IDC I/O ID KDD L4Gs MIS MIT MOLAP MPP OLAP OLTP PCs ROLAP SGBD SAD SQL SMP TI Decision Support Systems Direct Access Storage Device Executive Information Systems Entradas/Saídas Entidade/Relacionamentos Extract, Transform and Load International Data Corporation Imput/Output Identification Knowledge Discovery in Databases Linguagens de quarta geração Management information systems Massachusetts Institute of Technology Multidimensional On-Line Analytical Processing Matching Pursuit Projection On-Line Analytical Processing On-line Transaction Processing Personal Communications Services Relational On-Line Analytical Processing Sistema de gerenciamento de banco de dados Sistemas de Apoio à Decisão Structured Query Language Symmetric Multi-Processing Tecnologia da Informação

8 Lista de Figuras Figura 1 Figura 2 Figura 3 Figura 4 Figura 6 Figura 5 Figura 7 Figura 8 Figura 9 Figura 10 Figura 11 Figura 12 Figura 13 Figura 14 Figura 15 Figura 16 Figura 17 Figura 18 Figura 19 Figura 20 Os tipos de consulta Comparação entre Banco de Dados Operacionais e Data Warehouse Níveis de granularidade Arquitetura genérica do Data Warehouse Arquitetura de três camadas. Arquitetura de duas camadas. Modelo Estrela A dimensão do produto normalizada. Relacional versus Bidimensional Remoção dos dados puramente operacionais. Adição de um elemento de tempo. Introdução de dados derivados Relacionamento entre tabelas no modelo E-R. Inclusão de artefatos no data warehouse. Alteração do nível de granularidade. União dos dados de diferentes tabelas Modelo corporativo Selecionando os dados a serem varridos. Introdução intencional de dados redundantes. A tabela de fatos e suas dimensões.

9 INMON, William H.. Como construir o Data warehouse. 2ª ed. New York: Editora Campus, RESUMO O ambiente de dados para suporte aos processos de gerência e tomada de decisão é fundamentalmente diferente do ambiente convencional de processamento de transações. No coração deste ambiente está a idéia do Data Warehouse, integrando e consolidando dados disponíveis em diferentes acervos para fins de exploração e análise, ampliando o conteúdo informacional destes acervos para atender às expectativas e necessidades de nível estratégico na empresa. Esta monografia tem por objetivo apresentar o estado da arte da tecnologia de Data Warehouse, introduzindo os principais conceitos na área e discutindo as diferenças deste ambiente para os ambientes e ferramentas usuais de gerenciamento e tratamento de informações, alem de mostrar duas formas de extração de seus dados: a OLAP e o Data Mining, cada uma com suas características, podendo ser usadas separadamente ou em conjunto para um melhor resultado. Palavras-chave: tomada de decisão, integrando e consolidando dados, tratamento de informações.

10 SUMÁRIO INTRODUÇÃO...12 CAP. 1 - EVOLUÇÃO DOS SISTEMAS DE APOIO À DECISÃO Histórico O Ambiente projetado...14 CAP. 2 O QUE É DATA WAREHOUSE Histórico Origem Definições Características de um Data Warehouse Orientado para áreas de interesse Integrado Variante no tempo Não volátil Granularidade Níveis duais de granularidade Metadados...22 CAP. 3 ARQUITETURA DO DATA WAREHOUSE Arquitetura genérica do Data Warehouse Outras arquiteturas Arquitetura de duas camadas Arquitetura de três camadas...26 CAP. 4 MODELO DE DADOS DO DATA WAREHOUSE A Questão das Dimensões Esquemas do tipo Estrela e Floco de Neve Vantagens do modelo estrela Bancos de Dados Multidimensionais Conversão do modelo E-R para o modelo do Data Warehouse Remoção dos dados puramente operacionais Adição de um elemento de tempo na estrutura da chave Introdução de dados derivados Transformação de Relacionamentos entre dados em artefatos dos dados Acomodação dos diferentes níveis de granularidade União dos dados comuns de diferentes tabelas Criação de arrays de dados Data Marts...38 CAP. 5 DESENVOLVIMENTO DO DATA WAREHOUSE Estratégia Evolucionária Aspectos de Modelagem Técnicas de gerenciamento da quantidade de dados operacionais pesquisados Técnicas para incrementar a performance Etapas do Desenvolvimento de um Data Warehouse Relacional versus multidimensional Um ou mais bancos...48 CAP. 6 CARREGANDO O DATA WAREHOUSE Extração Transformação e filtros Derivação e Sumarização...52

11 CAP. 7 EXTRAINDO INFORMAÇÕES DO DATA WAREHOUSE Ferramentas OLAP MOLAP x ROLAP Ferramentas Data Mining...57 CONCLUSÃO...59 BIBLIOGRAFIA...61

12 INTRODUÇÃO Hoje em dia uma organização precisa utilizar toda informação disponível para criar e manter vantagem competitiva. Sai na frente à organização que consegue tomar decisões corretas e rápidas. Com esta importante tarefa nas mãos, profissionais tomadores de decisão tais como executivos, gerentes e analistas, exigem dos sistemas de suporte à decisão DSS (Decision Support Systems) mais recursos para análise, front-ends que suportem consultas ad hoc, interfaces gráficas apropriadas, etc. A idéia de Data Warehouse é integrar os dados internos e externos de uma organização em uma estrutura única permitindo uma melhor utilização dos dados pelos analistas, gerentes e executivos. Uma vez obtida a integração, sistemas como OLAP (On-Line Analytical Processing) e Data Mining fornecem mecanismos sofisticados para análise dos dados. Estudar e conhecer a tecnologia de Data Warehouse pode ajudar os empresários a descobrir novas formas de competir em uma economia globalizada, trazendo melhores produtos ou serviços para o mercado, mais rápido do que os concorrentes, sem aumentar o custo do produto ou do serviço. Não existem ainda metodologias formais para implementação de um Data Warehouse, ela deve ser adaptada às características e às expectativas de cada empresa, mas o principal objetivo em todas elas é o de descobrir maneiras diferentes de atuar no mercado e quais as mudanças internas que devem ocorrer para atender as novas realidades. Este trabalho tem como objetivo fazer um estudo dos principais conceitos necessários para o desenvolvimento de um ambiente de Data Warehouse. No capítulo I é apresentada a evolução dos sistemas de apoio à decisão e o motivo do surgimento da necessidade do Data Warehouse. No capítulo II iniciam-se os conceitos sobre o Data Warehouse, mostrando suas características básicas. O capítulo III mostra as arquiteturas disponíveis para construção de Data Warehouses, e no capítulo IV os modelos de dados. O capítulo V mostra alguns detalhes do desenvolvimento propriamente dito do Data Warehouse. O capítulo VI mostra as técnicas para extrair as informações dos sistemas existentes e transforma-las adequadamente para o Data Warehouse. E finalmente no capítulo VII são apresentadas as técnicas para extração e analise dos dados de um Data Warehouse que são: OLAP e Data Mining.

13 CAP. 1 - EVOLUÇÃO DOS SISTEMAS DE APOIO À DECISÃO 1.1 Histórico A evolução dos sistemas de apoio à decisão pode ser dividida em cinco fases entre 1960 e No início da década de 1960 o mundo da computação consistia na criação de aplicações individuais que eram executadas sobre arquivos mestres, caracterizadas por programas e relatórios. Aproximadamente em 1965 o crescimento dos arquivos mestres e das fitas magnéticas explodiu, surgindo problemas como: a complexidade de manutenção dos programas; a complexidade do desenvolvimento de novos programas; a quantidade de hardware para manter todos os arquivos mestres e a necessidade de sincronizarem dados a serem atualizados. Por volta de 1970, surgiu a tecnologia DASD (Direct Access Storage Device), substituindo as fitas magnéticas pelo armazenamento em disco. Com o DASD surgiu um novo tipo de software conhecido como SGBD (Sistema de Gerenciamento de Banco de Dados), que tinha o objetivo de tornar o armazenamento e o acesso a dados no DASD mais fáceis para o programador. E com o SGBD surgiu a idéia de um banco de dados que foi definido como: uma única fonte de dados para todo o processamento. Aproximadamente em 1975 surgiu o processamento de transações on-line. Com o processamento de transações on-line de alta performance, o computador pôde ser usado para tarefas que antes não eram viáveis como controlar sistemas de reservas, sistemas de caixas bancários, sistemas de controle de produção e outros. Até o início da década de 1980, novas tecnologias, como os PCs (Personal Communications Services) e as L4Gs (Linguagens de Quarta Geração), começaram a aparecer. O usuário final passou a controlar diretamente os sistemas e os dados, descobrindo que era possível utilizar os dados para outros objetivos além de atender ao processamento de transações on-line de alta performance. Foi nesse período também que se tornou viável a construção dos MIS (Management Information Systems), hoje conhecidos como SAD (Sistemas de Apoio à Decisão) eles consistiam em processamento utilizado para direcionar decisões gerenciais [INM97].

14 1.2 O Ambiente projetado A arquitetura de desenvolvimento espontâneo não era suficiente para atender as necessidades do futuro das empresas, fazendo-se necessário uma mudança de arquitetura, surgindo o ambiente projetado de Data Warehouse. Neste ambiente há duas espécies de dados dados primitivos e dados derivados. Há quatro níveis no ambiente projetado o operacional, a atômico ou Data Warehouse, o departamental e o individual. O nível operacional de dados contém apenas dados primitivos e atende à comunidade de processamento de transações de alta performance. O Data Warehouse contém dados primitivos que não são atualizados e dados derivados. O nível departamental de dados praticamente só contém dados derivados. E o nível individual de dados é onde a maior parte das análises heurísticas é feito [INM97]. A Figura 1 mostra os tipos de consulta para os quais os diferentes níveis de dados podem ser usados. Figura 1 Os tipos de consulta. Nos tipos de consultas as informações ficam à disposição com as seguintes características: Dados primitivos: baseados em aplicações, detalhados, podem ser atualizados, exatos em relação ao momento do acesso e são processados repetitivamente.

15 Dados derivados: baseados em assuntos ou negócios, resumidos, ou refinados, não são atualizados, representam valores de momentos já decorridos ou instantâneos e são processados de forma heurística.

16 CAP. 2 O QUE É DATA WAREHOUSE 2.1 Histórico O Data Warehouse é um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de consulta e não para processamento de transações. Em geral, um Data Warehouse requer a consolidação de outros recursos de dados além dos armazenados em banco de dados relacionais, incluindo informações provenientes de planilhas eletrônicas, documentos textuais, etc. A função do Data Warehouse é tornar as informações corporativas acessíveis para o seu entendimento, gerenciamento e uso. Como o Data Warehouse está separado dos Bancos de Dados operacionais, as consultas dos usuários não impactam nestes sistemas, que ficam resguardados de alterações indevidas ou perdas de dados. O Data Warehouse não como um software, que pode ser comprado e instalado em todos os computadores da empresa em algumas horas. Na realidade, sua implantação exige a integração de vários produtos e processos. Nos últimos anos o Data Warehouse vem oferecendo às organizações uma maneira flexível e eficiente de obter as informações que os gestores necessitam, nos processos decisórios e de caracteriza como uma função de apoio à decisão Origem Segundo Haisten (1999), a origem do Data Warehouse vem dos estudos do MIT (Massachusetts Institute of Technology) nos anos 70 que focavam o desenvolvimento de uma arquitetura técnica mais eficiente para sistemas de informações. Pela primeira vez foi feita uma distinção entre sistemas operacionais e aplicações analíticas e surgiu o princípio de separar esse dois tipos de processamentos em projetos e armazéns de dados diferentes. Para Ballard & Herreman (1998) e Teresko (1999), o conceito de Data Warehouse surgiu no inicio dos anos 80 quando os sistemas gerenciais de banco de dados (SGBD) emergiram como produtos comerciais com facilidades para a computação de apoio a decisão (SAD). Teresko (1999) comenta que Bill Inmon, observou que estes repositórios de informações poderiam ser organizados em um bem corporativo que ele chamou de Data

17 Warehouse e por causa disso Inmon é considerado o pai do Data Warehouse. No inicio, o Data Warehouse consistia de instantâneos, ou subconjuntos dos dados operacionais que eram carregados em banco de dados de apoio a decisão em períodos regulares que costumavam ser semanais ou mensais (Ballard & Herreman, 1998). 2.2 Definições A definição clássica de Data Warehouse criada por Inmon (1997) é a seguinte: Data Warehouse é uma coleção de dados orientada por assuntos, integrada, variante no tempo, e não volátil que tem por objetivo dar suporte aos processos de tomada de decisão. Knowles (1996) utiliza um lógica interessante para dizer como o Data Warehouse é importante para a empresa: Poder faz dinheiro. Conhecimento é poder. Data Warehouse aumenta o conhecimento. Portanto, Data Warehouse faz dinheiro.. Gurovitz (1999) cita um estudo do IDC (International Data Corporation) que coloca o Data Warehouse como a melhor chance para a TI (Tecnologia da Informação) mostrar ao que veio gerando ganhos de tempo e dinheiro com informações acessíveis aos executivos quando e como eles quiserem. Segundo Ralph Kimball (1998), uma autoridade nesse assunto, Data Warehouse é o lugar onde as pessoas podem acessar seus dados. Já Wang (1998) tem uma definição um pouco mais elaborada quando diz que Data Warehouse é o processo pelo qual os dados relacionados de vários sistemas operacionais são fundidos para proporcionar uma única e integrada visão de informação de negócios que abrange todas as divisões de empresa Características de um Data Warehouse Herdlein (1996) coloca que construir um Data Warehouse provavelmente envolverá mais recurso humanos e de capital que qualquer outro projeto de TI que a organização já possui. Nessas proporções, as chances de falhas não são pequenas. Muitos projetos de Data Warehouse param por causa de infra-estrutura técnica ineficiente, falta de suporte executivo, inexperiência das equipes de projeto e longo prazo para apresentação de resultados. Conforme Singh (1997), o Data Warehouse, não é simplesmente um produto ou processo, mas uma estratégia que reconhece a necessidade de consolidar os dados

18 armazenados em sistemas de informações dedicados a ajudar os profissionais de negócio a tomarem decisões mais rápidas e efetivas. Para entender melhor o que é um Data Warehouse vamos fazer uma comparação entre ele e os bancos de dados operacionais [DAL99]. Figura 2 Comparação entre Banco de Dados Operacionais e Data Warehouse. O Data Warehouse é um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de consulta e não para processamento de transações. Em geral, um Data Warehouse requer a consolidação de outros recursos de dados além dos armazenados em banco de dados relacionais, incluindo informações provenientes de planilhas eletrônicas, documentos textuais, etc. É importante considerar, no entanto, que um Data Warehouse não contém apenas dados resumidos, podendo conter também dados primitivos. É desejável prover ao usuário a capacidade de aprofundar se num determinado tópico, investigando níveis de agregação menores ou mesmo o data primitivo, permitindo também a geração de novas agregações ou correlações com outras variáveis. Além do mais, é extremamente difícil prever todos os possíveis dados resumidos que serão necessários:

19 limitar o conteúdo de um Data Warehouse apenas a dados resumidos significa limitar os usuários apenas às consultas e análises que eles puderem antecipar frente a seus requisitos atuais, não deixando qualquer flexibilidade para novas necessidades Orientado para áreas de interesse Refere-se ao fato do Data Warehouse armazenar informações sobre temas específicos importantes para o negócio da empresa. Exemplos típicos de temas são: produtos, atividades, contas, clientes, etc. Em contrapartida, o ambiente operacional é organizado por aplicações funcionais. Por exemplo, em uma organização bancária, estas aplicações incluem empréstimos, investimentos e seguros. A principal área de interesse termina sendo fisicamente implementada como uma série de tabelas relacionadas inseridas no Data Warehouse. Por exemplo: vendas, compras, produção, marketing, clientes e produtos. 2.4 Integrado Refere-se à consistência de nomes, das unidades das variáveis, etc., no sentido de que os dados foram transformados até um estado uniforme. Por exemplo, considere-se sexo como um elemento de dado. Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. Conforme os dados são trazidos para o Data Warehouse, eles são convertidos para um estado uniforme, ou seja, sexo é codificado apenas de uma forma. Da mesma maneira, se um elemento de dado é medido em centímetros em uma aplicação, em polegadas em outra, ele será convertido para uma representação única ao ser colocado no Data Warehouse Variante no tempo Refere-se ao fato do dado em um Data Warehouse referir-se a algum momento específico, significando que ele não é atualizável, enquanto que o dado de produção é atualizado de acordo com mudanças de estado do objeto em questão, refletindo, em geral, o estado do objeto no momento do acesso. Em um Data Warehouse, a cada ocorrência de uma mudança, uma nova entrada é criada, para marcar esta mudança.

20 O tratamento de séries temporais apresenta características específicas, que adicionam complexidade ao ambiente do Data Warehouse. Processamentos mensais ou anuais são simples, mas dias e meses oferecem dificuldades pelas variações encontradas no número de dias em um mês ou em um ano, ou ainda no início das semanas dentro de um mês. Além disso, deve-se considerar que não apenas os dados têm uma característica temporal, mas também os metadados, que incluem definições dos itens de dados, rotinas de validação, algoritmos de derivação, etc. Sem a manutenção do histórico dos metadados, as mudanças das regras de negócio que afetam os dados no Data Warehouse são perdidas, invalidando dados históricos Não volátil Significa que o Data Warehouse permite apenas a carga inicial dos dados e consultas a estes dados. Após serem integrados e transformados, os dados são carregados em bloco para o Data Warehouse, para que estejam disponíveis aos usuários para acesso. No ambiente operacional, ao contrário, os dados são, em geral, atualizados registro a registro, em múltiplas transações. Esta volatilidade requer um trabalho considerável para assegurar integridade e consistência através de atividades de rollback, recuperação de falhas, commits e bloqueios. Um Data Warehouse não requer este grau de controle típico dos sistemas orientados a transações. 2.7 Granularidade Granularidade diz respeito ao nível de detalhe ou de resumo contido nas unidades de dados existentes no Data Warehouse. Quanto maior o nível de detalhes, menor o nível de granularidade. O nível de granularidade afeta diretamente o volume de dados armazenado no Data Warehouse e ao mesmo tempo o tipo de consulta que pode ser respondida. Quando se tem um nível de granularidade muito alto o espaço em disco e o número de índices necessários se tornam bem menores, porém há uma correspondente diminuição da possibilidade de utilização dos dados para atender a consultas detalhadas [DAL99]. Há, portanto, um bom motivo para a compactação de dados em um Data Warehouse. Quando os dados são compactados ocorre uma economia incomum sobre o total de DASD

21 utilizado, o número de índices necessários e os recursos de processador necessários para o tratamento dos dados. No entanto, há um outro aspecto da compactação de dados que ocorre à medida que o nível de granularidade é elevado. À medida que o nível de granularidade se eleva, há uma correspondente diminuição da possibilidade de utilização dos dados para atender a consultas. Já com um nível mais baixo de granularidade é possível responder a qualquer consulta [INM97]. Devemos lembrar, porém que em um ambiente de Data Warehouse, dificilmente um evento isolado é examinado. É mais comum ocorrer a utilização de uma visão de conjunto dos dados Níveis duais de granularidade O chamado nível duplo de granularidade, ilustrado na Figura 3, se enquadra nos requisitos da maioria das empresas. Na camada de dados levemente resumidos ficam os dados que fluem do armazenamento operacional e são resumidos na forma de campos apropriados para a utilização de analistas e gerentes. Na segunda camada, ou nível de dados históricos, ficam todos os detalhes vindos do ambiente operacional, como há uma verdadeira montanha de dados neste nível, fazem sentido armazenar os dados em um meio alternativo como fitas magnéticas. Com a criação de dois níveis de granularidade no nível detalhado do Data Warehouse, é possível atender a todos os tipos de consultas, pois a maior parte do processamento analítico dirige-se aos dados levemente resumidos que são compactos e de fácil acesso e para ocasiões em que um maior nível de detalhe deve ser investigado existe o nível de dados históricos. O acesso aos dados do nível histórico de granularidade é caro, incômodo e complexo, mas caso haja necessidade de alcançar esse nível de detalhe, lá estará ele. Alto nível de detalhe Diário Baixo nível de detalhe Mensal Baixa granularidade Alta granularidade

22 Figura 3 Níveis de granularidade. 2.8 Metadados Os metadados são de grande importância para o processo de controle das operações em um Data Warehouse. Os metadados são dados acerca dos dados constantes no Data Warehouse. Durante todas as fases do projeto de um Data Warehouse, e também após o início de sua operacionalização, metadados devem ser armazenados. Existem no mercado ferramentas próprias para armazenar e gerenciar metadados, dos quais o Sybase Warehouse Control Center e o Prism Warehouse Directory são exemplos. Segundo Inmon (1997), os metadados são informações sobre o que está aonde no Data Warehouse. Os aspectos sobre os quais os metadados mantém informações são: A estrutura dos dados, segundo a visão do programador; A estrutura dos dados segundo a visão dos analistas de sistemas de apoio à decisão; A fonte de dados que alimenta o Data Warehouse; A transformação sofrida pelos dados no momento de sua migração para o Data Warehouse; O modelo de dados; O relacionamento entre o modelo de dados e o Data Warehouse; O histórico das extrações de dados.

23 CAP. 3 ARQUITETURA DO DATA WAREHOUSE Para ser útil o Data Warehouse deve ser capaz de responder a consultas avançadas de maneira rápida, sem deixar de mostrar detalhes relevantes à resposta. Para isso ele deve possuir uma arquitetura que lhe permita coletar, manipular e apresentar os dados de forma eficiente e rápida. Mas construir um Data Warehouse eficiente, que servirá de suporte a decisões para a empresa, exige mais do que simplesmente descarregar ou copiar os dados dos sistemas atuais para um banco de dados maior. Deve-se considerar que os dados provenientes de vários sistemas podem conter redundâncias e diferenças, então antes de passá-los para o Data Warehouse é necessário aplicar filtros sobre eles. O estudo de uma arquitetura permite compreender como o Data Warehouse faz para armazenar, integrar, comunicar, processar e apresentar os dados que os usuários utilizarão em suas decisões. Um Data Warehouse pode variar sua arquitetura conforme o tipo de assunto abordado, pois as necessidades também variam de empresa para empresa. É possível definir uma arquitetura genérica onde praticamente todas as camadas necessárias são apresentadas, conforme a arquitetura genérica vista a seguir, ou arquiteturas que utilizam somente algumas das camadas definidas, como as arquiteturas em duas e três camadas. 3.1 Arquitetura genérica do Data Warehouse A seguir é descrita uma arquitetura genérica proposta por [DAL99] e ilustrada na Figura 4. Esta descrição genérica procura apenas sistematizar papéis no ambiente de Data Warehouse, permitindo que as diferentes abordagens encontradas no mercado atualmente possam ser adaptadas a ela devesse considerar que esta arquitetura tem o objetivo de representar a funcionalidade de um Data Warehouse sendo que várias camadas propostas podem ser atendidas por um único componente de software. Esta arquitetura é composta pela camada dos dados operacionais e outras fontes de dados que são acessados pela camada de acesso aos dados. As camadas de gerenciamento de processos, transporte e Data Warehouse formam o centro da arquitetura e são elas as responsáveis por manter e distribuir os dados. A camada de acesso à informação é formada por ferramentas que possibilitam os usuários extrair informações do Data Warehouse. Todas as camadas desta arquitetura interagem com o dicionário de dados (metadados) e com o gerenciador de processos:

24 Camadas de bancos de dados operacionais e fontes externas: É composto pelos dados dos sistemas operacionais das empresas e informações provenientes de fontes externas que serão integradas para compor o Data Warehouse; Camada de acesso à informação: Envolve o hardware e o software utilizado para obtenção de relatórios, planilhas, gráficos e consultas. É nesta camada que os usuários finais interagem com o Data Warehouse, utilizando ferramentas de manipulação, análise e apresentação dos dados, incluindo-se as ferramentas de Data Mining e visualização; Camada de acesso aos dados: Esta camada faz a ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. Esta camada se comunica com diferentes sistemas de bancos de dados, sistemas de arquivos e fontes sob diferentes protocolos de comunicação, o que se chama acesso universal de dados; Camada de metadados (Dicionário de dados): Metadados são as informações que descrevem os dados utilizados pela empresa, isto envolve informações como descrições de registros, comandos de criação de tabelas, diagramas Entidade/Relacionamentos (ER), dados de um dicionário de dados, etc. É necessário que exista uma grande variedade de metadados no ambiente de Data Warehouse para que ele mantenha sua funcionalidade e os usuários não precisem se preocupar onde residem os dados ou a forma com que estão armazenados; Camada de gerenciamento de processos: É a camada responsável pelo gerenciamento dos processos que contribuem para manter o Data Warehouse atualizado e consistente. Está envolvida com o controle das várias tarefas que devem ser realizadas para construir e manter as informações do dicionário de dados e do Data Warehouse; Camada de transporte: Esta camada gerencia o transporte de informações pelo ambiente de rede. Inclui a coleta de mensagens e transações e se encarrega da entrega em locais e tempos determinados. Também é usada para isolar aplicações operacionais ou informacionais, do formato real dos dados nas duas extremidades; Camada do Data Warehouse: É o Data Warehouse propriamente dito, corresponde aos dados utilizados para obter informações. Às vezes o Data Warehouse pode ser simplesmente uma visão lógica ou virtual dos dados, podendo não envolver o armazenamento dos mesmos ou armazenar dados operacionais e externos para facilitar seu acesso e manuseio.

25 Figura 4 Arquitetura genérica do Data Warehouse. 3.2 Outras arquiteturas Arquitetura de duas camadas Uma opção de arquitetura para o Data Warehouse é utilizar um computador de alta capacidade como servidor. Isto é uma incorporação das aplicações utilizadas pelos usuários (front end) com os componentes do servidor (back end). Aplicações front end construídas com ferramentas cliente/servidor fornecem uma interface gráfica amigável, suportam funções específicas da empresa, possibilitam o acesso transparente aos dados dos sistemas já existentes e escondem a complexidade e a falta de consistência dos bancos de dados atuais além de facilitar a utilização e a visualização dos resultados. Os sistemas operacionais de uma empresa podem estar em uso por 15 ou 20 anos e podem ter altas taxas de redundância. A redundância e a falta de consistência dos dados podem dificultar a administração da empresa e o acesso aos dados e impede o desenvolvimento de novas aplicações front end. Uma das maneiras de tratar com esta situação é partir de um só sistema e construir uma espécie de "sistema guarda-chuva" que tenha facilidade de acesso aos dados do servidor principal.

26 Figura 5 - Arquitetura de duas camadas. A arquitetura ilustrada na Figura 4 pode ser usada para construir um Data Warehouse em duas camadas que consiste de componentes dos clientes (front end) e componentes do servidor (back end). Esta arquitetura é atrativa porque ela utiliza os sistemas existentes bem como os servidores de bancos de dados existentes e requer um investimento mínimo em hardware e software. Entretanto, a arquitetura em duas camadas não é escalonável e não suporta um grande número de usuários simultaneamente. Isto estimula o desenvolvimento de estações clientes muito pesadas, pois muito processamento é alocado para processar nestas estações [DAL99] Arquitetura de três camadas Uma alternativa é utilizar a arquitetura de informação em múltiplas camadas, como mostrado na Figura 5. Esta arquitetura flexível suporta um grande número de serviços integrados, na qual a interface do usuário, as funções de processamento do negócio e as funções de gerenciamento do banco de dados são separadas em processos que podem ser distribuídos através da arquitetura de informação. A arquitetura em três camadas é amplamente utilizada para Data Warehouse. Na terceira camada ficam as fontes de dados. Dados e regras de negócio podem ser compartilhados pela organização, assim como os bancos de dados para o Data Warehouse, ficam armazenados em servidores de alta velocidade na segunda camada. Na primeira camada ficam as aplicações de interface com os usuários que devem ser gráficas e baseadas em rede. No ambiente do Data Warehouse, os servidores de banco de dados e os servidores de aplicações da segunda camada fornecem um acesso eficiente e veloz aos dados compartilhados. Os dados de um Data Warehouse são tipicamente estáticos, por exemplo, não variam com o tempo e devem ser integrados, de natureza histórica e sumarizados ou agregados para que sejam significantes para os analistas de negócios. Como mostrado na Figura 5, dados operacionais e bancos de dados para o Data Warehouse são freqüentemente armazenados em servidores fisicamente separados. Bancos de dados operacionais são otimizados para ter alto desempenho no processamento de transações on-line, em inglês conhecido como On-line Transaction Processing (OLTP). Bancos de dados para Data

27 Warehouse são otimizados para ter alto desempenho em consultas e análises, em inglês conhecido como On-line Analytical Processing (OLAP). Figura 6 Arquitetura de três camadas. É importante reconhecer que não existe uma arquitetura "correta" para Data Warehouse. Para algumas organizações pode ser atrativo utilizar a arquitetura em duas camadas, por que ela minimiza o custo e a complexidade de construção do Data Warehouse. Para outras que requerem grande performance e escalabilidade, a arquitetura em três camadas pode ser mais apropriada. No planejamento do Data Warehouse, as organizações devem examinar as alternativas disponíveis de arquiteturas e selecionar aquela que satisfaça os seu requisitos estratégicos e organizacionais [DAL99].

28 CAP. 4 MODELO DE DADOS DO DATA WAREHOUSE O modelo de dados tem um papel fundamental para o desenvolvimento interativo do Data Warehouse. Quando os esforços de desenvolvimentos são baseados em um único modelo de dados sempre que for necessário unir estes esforços os níveis de sobreposição de trabalho e desenvolvimento desconexo serão muito baixos, pois todos os componentes do sistema estarão utilizando a mesma estrutura de dados. Existe um grande número de enfoques sobre modelagem de dados já desenvolvidos por vários autores, a maioria deles pode ser usada para construir um Data Warehouse. Dentre estes modelos apenas o multidimensional será apresentado neste trabalho A Questão das Dimensões Obter respostas a questões típicas de análise dos negócios de uma empresa geralmente requer a visualização dos dados segundo diferentes perspectivas. Como exemplo, imagine-se uma agência de automóveis que esteja querendo melhorar o desempenho de seu negócio, Para isso, necessita examinar os dados sobre as vendas disponíveis na empresa. Uma avaliação deste tipo requer uma visão histórica do volume de vendas sob múltiplas perspectivas, como por exemplo: volume de vendas por modelo, volume de vendas por cor, volume de vendas por fabricante, volume de vendas por período de tempo. Uma análise do volume de vendas utilizando uma ou mais destas perspectivas, permitiria responder questões do tipo: Qual a tendência em termos de volume de vendas para o mês de dezembro para modelos Volvo Sedan preto? A capacidade de responder a este tipo de questão em tempo hábil é o que permite aos gerentes e altos executivos das empresas formular estratégias efetivas, identificar tendências e melhorar sua habilidade de tomar decisões de negócio. O ambiente tradicional de bancos de dados relacional certamente pode atender a este tipo de consulta. No entanto, usuários finais que necessitam de consultas deste tipo via acesso interativo aos bancos de dados, mostram-se seguidamente frustrados por tempos de resposta ruins e pela falta de flexibilidade oferecida por ferramentas de consulta baseadas no SQL (Structured Query Language). Daí a necessidade de utilizar abordagens específicas para atender a estas consultas. Para compreender melhor os conceitos envolvidos, examinemos em maior detalhe o exemplo acima.

29 Chamaremos de dimensões as diferentes perspectivas envolvidas, no caso, modelo, loja, fabricante, mês. Estas dimensões usualmente correspondem a campos não numéricos em um banco de dados. Consideremos também um conjunto de medidas, tal como vendas ou despesas com promoção. Estas medidas correspondem geralmente a campos numéricos em um banco de dados. A seguir, avaliam-se agregações destas medidas segundo às diversas dimensões e as armazenamos para acesso futuro. Por exemplo, calcula-se a média de todas as vendas por todos os meses por loja. A forma como estas agregações são armazenadas pode ser vista em termos de dimensões e coordenadas, dando origem ao termo multidimensional. Intuitivamente, cada eixo no espaço multidimensional é um campo/coluna de uma tabela relacional e cada ponto um valor correspondente à interseção das colunas. Assim, o valor para o campo vendas, correspondente a mês igual a maio e loja igual a Iguatemi é um ponto com coordenada [maio, Iguatemi]. Neste caso, mês e loja são duas dimensões e vendas é uma medida. Teoricamente, quaisquer dados podem ser considerados multidimensionais. Entretanto, o termo normalmente se refere a dados representando objetos ou eventos que podem ser descritos, e, portanto, classificados por dois ou mais de seus atributos. Estruturas relacionais podem ser usadas para a representação e o armazenamento de dados multidimensionais. Neste caso, as abordagens encontradas incluem desde a adoção de formas específicas de modelagem (os chamados esquemas estrela e floco de neve) até mecanismos sofisticados de indexação Esquemas do tipo Estrela e Floco de Neve Em um esquema do tipo estrela ou "star" as instâncias são armazenadas em uma tabela contendo o identificador de instância, valores das dimensões descritivas para cada instância, e valores dos fatos, ou medidas, para aquela instância (tabela de fatos). Além disso, pelo menos uma tabela é usada, para cada dimensão, para armazenar dados sobre a dimensão (tabela de dimensão). No caso mais simples, a tabela de dimensão tem uma linha para cada valor válido da dimensão. Esses valores correspondem a valores encontrados na coluna referente àquela dimensão na tabela de fatos.

30 Este esquema é chamado de estrela, por apresentar a tabela de fatos "dominante" no centro do esquema e as tabelas de dimensões nas extremidades. A tabela de fatos é ligada às demais tabelas por múltiplas junções, enquanto as tabelas de dimensões se ligam apenas à tabela central por uma única junção. A Figura 7 mostra um exemplo de um modelo tipo estrela. Figura 7 Modelo Estrela. A tabela de fatos é onde as medidas numéricas do fato representado estão armazenadas. Cada uma destas medidas é tomada segundo a interseção de todas as dimensões. No caso do exemplo, uma consulta típica selecionaria fatos da figura FATOSVENDAS a partir de valores fornecidos relativos a cada dimensão. Outro tipo de estrutura bastante comum é o esquema do tipo floco de neve ou "snowflake", que consiste em uma extensão do esquema estrela onde cada uma das "pontas" da estrela passa a ser o centro de outras estrelas. Isto porque cada tabela de dimensão seria normalizada, "quebrando-se" a tabela original ao longo de hierarquias existentes em seus atributos. No caso do exemplo, a dimensão produto possui uma hierarquia definida onde categoria se divide em marca e marca se divide em produtos (Figura 8). Da mesma forma, a dimensão tempo inclui ano que contem mês e mês que contem dia do mês. Cada um destes relacionamentos geraria uma nova tabela em um esquema floco de neve.

31 Figura 8 A dimensão do produto normalizada Vantagens do modelo estrela O modelo Estrela tem uma arquitetura padrão e previsível. As ferramentas de consulta e interfaces do usuário podem se valer disso para fazer suas interfaces mais amigáveis e fazer um processamento mais eficiente; Todas as dimensões do modelo são equivalentes, ou seja, podem ser vistas como pontos de entrada simétricos para a tabela de fatos. As interfaces do usuário são simétricas, as estratégias de consulta são simétricas, e o SQL gerado, baseado no modelo, é simétrico; O modelo dimensional é totalmente flexível para suportar a inclusão de novos elementos de dados, bem como mudanças que ocorram no projeto. Essa flexibilidade se expressa de várias formas, dentre as quais temos: Todas as tabelas de fato e dimensões podem ser alteradas simplesmente acrescentando novas colunas a tabelas; Nenhuma ferramenta de consulta ou relatório precisa ser alterada de forma a acomodar as mudanças; Todas as aplicações que existiam antes das mudanças continuam rodando sem problemas; Existe um conjunto de abordagens padrões para tratamento de situações comuns no mundo dos negócios. Cada uma destas tem um conjunto bem definido de alternativas que podem então ser especificamente programadas em geradores de relatórios, ferramentas de consulta e outras interfaces do usuário. Dentre estas situações temos: Mudanças lentas das dimensões: ocorre quando uma determinada dimensão evolui de forma lenta e assíncrona; Produtos heterogêneos: quando um negócio, tal como um banco, precisa controlar diferentes linhas de negócio juntas, dentro de um conjunto comum de

32 atributos e fatos, mas ao mesmo tempo esta precisa descrever e medir as linhas individuais de negócio usando medidas incompatíveis; Outra vantagem é o fato de um número cada vez maior de utilitários administrativos e processo de software serem capazes de gerenciar e usar agregados, que são de suma importância para a boa performance de respostas em um Data Warehouse [DAL99] Bancos de Dados Multidimensionais Embora seja viável utilizar estruturas relacionais na representação de dados multidimensionais, a solução não é ideal. Na Figura 9, é fácil verificar como uma matriz bidimensional representa mais claramente os dados armazenados na forma relacional tradicional. Na matriz, os valores de vendas estão localizados nas interseções dos eixos X e Y da matriz 3x3. Cada eixo corresponde a uma dimensão, e cada elemento dentro de uma dimensão corresponde a uma posição. Um array agrupa informações semelhantes em colunas e linhas. Figura 9 Relacional versus Bidimensional. Além disso, na representação multidimensional, totais consolidados são facilmente obtidos e armazenados, bastando simplesmente adicionar totais de colunas e fileiras. 4.3 Conversão do modelo E-R para o modelo do Data Warehouse Para tal, W. H. Inmon fornece então alguns passos que podem ser seguidos, não se esquecendo de que o fundamental é que as decisões de transformação devem ser tomadas levando-se em consideração os requisitos específicos da empresa. Os passos básicos são:

33 Remoção dos dados puramente operacionais A primeira ação consiste em remover os dados que são usados apenas no ambiente operacional, como vemos no exemplo da Figura 10. Neste, atributos tais como mensagem, descrição e status são retirados, pois é muito pouco provável que estes sejam utilizados no processo de tomada de decisão. Neste momento, pode ser que se pense em manter todos os atributos, pois talvez algum destes seja necessário para alguma decisão específica. Entretanto, deve-se levar em conta o custo para gerenciar grandes volumes de dados [DAL99]. Figura 10 Remoção dos dados puramente operacionais Adição de um elemento de tempo na estrutura da chave A segunda modificação a ser feita no modelo corporativo é adicionar um elemento de tempo a chave das tabelas, se estas já não o tiverem. No exemplo da Figura 11, o campo Data Snapshot foi adicionado como parte da chave. Enquanto no modelo corporativo a chave é apenas a identificação do consumidor, no modelo do Data Warehouse a data do instantâneo deve fazer parte da chave, já que com o passar do tempo os dados do consumidor podem se alterar. Esta técnica é apenas uma forma de tirar instantâneos dos dados. Outra forma de fazê-lo é adicionar dois campos do tipo data, um marcando o início e outro o fim de um determinado intervalo de tempo. Esta técnica é melhor por representar faixas contínuas de tempo ao invés de pontos ou datas específicas [DAL99].

34 Figura 11 Adição de um elemento de tempo Introdução de dados derivados O próximo passo é adicionar dados derivados ao modelo, como mostrado na Figura 12, já que por regra geral estes não existem no modelo corporativo. Devem ser adicionados os dados derivados que serão usados habitualmente de forma que estes sejam calculados apenas uma vez. Dessa forma, haverá uma redução no processamento que deve ser feito para acessar os dados derivados ou sumarizados. Outra razão para o armazenamento de dados derivados é que uma vez calculados e armazenados, a integridade destes aumenta, uma vez que se torna impossível a utilização de diferentes algoritmos para o cálculo destes derivados [DAL99]. Figura 12 Introdução de dados derivados Transformação de Relacionamentos entre dados em artefatos dos dados Os relacionamentos encontrados nas modelagens de dados clássicas assumem que há um e somente um valor de negócio no relacionamento. Levando-se em consideração que nos sistemas operacionais o dado estar integro no momento da transação, esta abordagem é correta. Entretanto, o Data Warehouse por sua característica de armazenar dados históricos, tem muitos valores para um dado relacionamento entre duas tabelas. Dessa forma a melhor

35 maneira de representar o relacionamento entre duas tabelas no Data Warehouse é através da criação de artefatos. Um artefato de um relacionamento é somente a parte do relacionamento que é óbvia e tangível no momento do instantâneo. Em outras palavras, quando o instantâneo é feito os dados associados com o relacionamento que são úteis e óbvios serão colocados no Data Warehouse. O artefato pode incluir chaves estrangeiras e outros dados relevantes, tais como colunas de tabelas associadas, ou este pode incluir somente os dados relevantes, sem incluir as chaves estrangeiras. Como exemplo, consideremos as tabelas e o relacionamento entre estas na Figura 13. Nesta existe um relacionamento entre produto e fornecedor, onde cada produto tem um fornecedor principal. Se fossemos fazer então um instantâneo deste relacionamento, teríamos que considerar a informação do fornecedor principal que está relacionado ao produto. Além disso, outras informações de artefato relacionadas com o fornecedor deveriam então ser capturadas. A tabela de produtos no modelo do Data Warehouse ficaria então como a mostrada na Figura 14 [DAL99]. Figura 13 Relacionamento entre tabelas no modelo E-R. Figura 14 Inclusão de artefatos no Data Warehouse.

36 Acomodação dos diferentes níveis de granularidade Dependendo do caso, o nível de granularidade do sistema transacional pode ser o mesmo do Data Warehouse ou não. Quando o nível de granularidade se altera, o modelo do Data Warehouse deve representar esta mudança, como no exemplo da Figura 15. No exemplo, o modelo de dados corporativo mostra dados da atividade de envio de um determinado produto que são armazenadas toda vez que uma entrega é feita. Quando este é passado para o Data Warehouse, duas agregações são feitas, alterando então a granularidade. Na primeira, o total de entregas é agregado mensalmente, fazendo com que a granularidade seja o mês, já na segunda, existe uma agregação das entregas feitas por mês e local de origem, fazendo então com que a granularidade seja o mês associado ao fornecedor [DAL99]. Figura 15 Alteração do nível de granularidade União dos dados comuns de diferentes tabelas Nesta fase, deve-se considerar a possibilidade de combinar duas ou mais tabelas do modelo corporativo em uma única tabela do modelo do Data Warehouse. Para que esta junção possa ser feita, as seguintes condições devem ser verdadeiras: As tabelas compartilham uma chave comum (ou chave parcial); Os dados das diferentes tabelas geralmente são usados juntos; Padrão de inserção nas tabelas é o mesmo.

37 Como exemplo, consideremos a Figura 16, onde temos as tabelas NOTAS e ITENS DAS NOTAS. Quando estas são colocadas no modelo do Data Warehouse, estas vão para uma mesma tabela. Dessa forma, a junção entre estas tabelas passa a não ser mais necessária quando uma consulta for feita. Neste caso, podemos ver que as três condições são atendidas: as tabelas compartilham parte da chave, ID da Nota; estas duas tabelas geralmente são usadas juntas; e o padrão de inserção é o mesmo, ou seja, sempre que uma nota é inserida seus itens também o são [DAL99]. Figura 16 União dos dados de diferentes tabelas Criação de arrays de dados Os dados no modelo corporativo geralmente estão normalizados, onde a existência de grupos repetitivos não é permitida. Entretanto, em algumas situações no ambiente de Data Warehouse pode haver grupos repetitivos de dados. As condições para existência destes são: Quando o número de ocorrências do dado é previsível; Quando a ocorrência do dado é relativamente pequena (em termos de tamanho físico); Quando as ocorrências do dado geralmente são usadas juntas; Quando o padrão de inserção e remoção dos dados é estável;

38 A Figura 17 mostra uma tabela no modelo corporativo com as previsões de gasto mensais. Quando esta é colocada no modelo do Data Warehouse, os dados são armazenados de forma que cada mês do ano é uma ocorrência no array [DAL99]. Figura 17 - Modelo corporativo. 4.4 Data Marts Da mesma forma que o Data Warehouse, o Data Mart ainda não possui uma definição universalmente aceita e também esta em fase de aperfeiçoamento. Os Data Marts são subconjuntos de dados, dentro de um Data Warehouse, projetados para dar suporte a negócios de unidade organizacionais especificas (NIMER, 1998). Segundo o autor, os Data Marts são muito interessantes para resolver certos problemas, mas não são necessariamente substitutos de um projeto de Data Warehouse. Um Data Mart não deve ser um pequeno Data Warehouse, com a finalidade de ser rápido ou possuir dados ainda não suportados para o Data Warehouse (KIMBALL, 1997). Os projetos de Data Marts se justificam em poucos casos, basicamente naqueles onde a alta gerência ainda não esta convencida quanto a viabilidade e vantagens que a tecnologia do Data Warehouse pode prover as organizações. Neste caso, os Data Marts são viáveis, por apresentarem resultados mais rápidos, demoram entre 4 a 12 meses para serem implementados e, em conseqüência, começam a dar resultados mais rápidos. Os Data Warehouses têm prazos que variam entre 1 a 5 anos para implementação completa.