Data WareHouse e suas aplicações

Transcrição

1 Giulliana M. de Souza Vicentin 51 Data WareHouse e suas aplicações Giulliana Martins de Souza Vicentin (Mestre) Curso de Ciência da Computação - Universidade Tuiuti do Paraná

2 52 Data WareHouse e suas aplicações... Resumo Por se tratar de uma nova tecnologia construir um Data WareHouse não é apenas mais um exercício de integração de sistemas. A metodologia e os princípios do projeto são muito diferentes daqueles utilizados no desenvolvimento de aplicações para o processamento de transações online tradicional. O objetivo deste trabalho é uma breve iniciação ao Data WareHouse, a partir de banco de dados relacionais, apresentando suas principais características e funcionalidades para o apoio a tomada de decisão. Palavras-chave: data WareHouse, banco de dados, apoio a decisão. Abstract The new technology to build a Data WareHouse is not only one more drill to integrate systems. The methodology and principles of this project are very different from the ones which are used to develop applications for the traditional on-line-transactionsl processes. This is a brief iniciation to Data WareHousing which starts from Relational Databases. It show us the main goals and functionalities to back up a decision support. Key Words: data WareHouse, data base, decision support.

3 Giulliana M. de Souza Vicentin 53 Introdução Nos últimos anos o crescimento da tecnologia de hardware, barateou o custo dos equipamentos, aumentou a capacidade de processamento, armazenamento e comunicação de dados (redes de computadores) e reduziu o tamanho dos equipamentos, não sendo mais necessário espaços enormes para alocação destes. A evolução da tecnologia de software, que favorece com uma grande quantidade de opções e escolha daquele que melhor se enquadra as necessidades da empresa. E por que logo agora com tantas opções e com tantas melhorias um dos maiores problemas enfrentados pelas grandes e médias empresas é a gestão eficiente da informação? Muitas organizações estão sendo enfraquecidas pelo seus próprios sistemas que acumulam um volume imenso de dados. No cenário atual onde os administradores das empresas precisam tomar decisões rápidas e certeiras, em resposta aos diversos eventos que ocorrem a todo o instante, como os

4 54 Data WareHouse e suas aplicações... métodos tradicionais de análise de dados são baseados principalmente no manuseio direto pelo homem, tornou-se necessário construir um mecanismo de suporte rápido e eficiente aos processos de tomada de decisão. Observamos com isto uma transferência do poder e da influência das tecnologias de banco de dados para tecnologias de ferramentas de suporte à decisão. O problema começa com uma grande quantidade de informação e uma alta capacidade de armazenar e processar estas informações (problemas de épocas anteriores que hoje são facilmente resolvidos). Recentemente um conjunto de novos conceitos e ferramentas evoluiu, permitindo assim uma solução para auxiliar nas tomadas de decisão. Esta tecnologia é denominada Data WareHouse. O Data WareHouse é um conjunto de dados orientados por assunto, integrado, variável com o tempo e não volátil, que fornece suporte ao processo de tomada de decisão do negócio (Inmon, 1993). O Data WareHouse não consiste apenas em dados, mas também em um conjunto de ferramentas para consultar, analisar e apresentar informações (Inmon, 1997). Os seguintes componentes são os recursos de um Data WareHouse (Singh, 1999): Data Mart (Modelo de Dados): Consiste no subconjunto do DWH (Data WareHouse) da empresa inteira, desempenha o papel do DWH departamental ou regional, que ao ser vinculados vão ajudar a compor DWH da empresa inteira. Data WareHouse Lógico: contém todos os metadados (informações sobre dados), regras de negócio e o processamento lógico necessário para selecionar, organizar, agrupar e pré processar os dados. Banco de dados Físicos: este é Banco de dados físico, onde são armazenados todas as informações da empresa utilizadas pelo DWH. As principais funções do DWH são: - Acessar dados; - Transformar os dados, limpando, reconciliando, sumarizando e agregando os dados; - Distribuir, organizar e combinar dados; - Armazenar dados relacionais, especializados e múltiplas plataformas; - Localizar catálogos de informações e visualização de negócios. O Data WareHouse, literalmente, é um armazém de dados : é uma base de dados carregada de forma incremental em um período de tempo. O Data WareHouse organiza e armazena os dados necessários para processamento informatizado (feito pelo computador) e analítico (feito pelo homem) sobre perspectivas históricas ao longo do tempo, tendo como principal objetivo transformar o dado em informação. É uma

5 Giulliana M. de Souza Vicentin 55 arquitetura que utiliza banco de dados desenvolvido para análise e tomada de decisões em bases sumarizadas e também detalhadas, com o intuito de contemplar os segmentos da empresa ou organização. (Miorelli, 2000) Estrutura do Data WareHouse O Data WareHouse é composto por diversas estruturas distindas entre si, estas estruturas compõem os estados pelos quais os dados podem passar para gerar informação que será avaliada pelo responsáveis de decisão. A primeira estrutura é composta pelos dados atuais. Estes exigem maior atenção pois são armazenados em disco, geralmente em bancos de dados relacionais ou hieráquicos, são volumosos (armazenam o detalhe dos dados) e representam os dados mais recentemente armazenados. Os dados atuais devem ser avaliados e guardado somente aqueles atributos que sejam importantes para a tomada de decisão, estes devem ter armazenamento a longo prazo, e devem ser reduzidos de acordo com o processamento e a capacidade de armazenagem mas principalmente com a sua relevância. A redução dos dados é conhecida como sumarização, essa sumarização é feita de acordo com a granularidade. A granularidade é o nível de detalhe do dado, ou seja, quanto menor o grão maior o volume de dados. Não existe a necessidade de armazenar todos os níveis de sumarização. O metadado é uma das estruturas mais importantes do Data WareHouse, pois é nele que são as informações sobre a estrutura dos dados, algoritmos usados para sumarização, histórico da extração e transformação dos dados, estatísticas, hierarquias e medições. O Modelo Relacional O Modelo Entidade-Relacionamento (MER) é um modelo de dados conceitual de alto nível, cujos conceitos foram projetados para estar o mais próximo possível da visão que o usuário tem dos dados, não se preocupando em representar como estes dados estarão realmente armazenados. O modelo Entidade Relacionamento é utilizado principalmente durante o processo de projeto de banco de dados. (Miorelli, 2000) Um SGBD, Sistema Gerenciador de Banco de Dados, armazena e gerencia dados de forma segura e eficiente, baseado no modelo de entidade-relacionamento, que trabalha com entidades e relacionamentos. Este modelo não se preocupa com arquitetura ou problemas de performance que possam ocorrer, isto será avaliado quando o modelo for implementado. Para gerar o modelo de entidade-relacionamento são aplicadas regras conhecidas com Normalização, estas regras foram criadas para

6 56 Data WareHouse e suas aplicações... reduzir a redundância dos dados e melhorar o armazenamento dos dados. Cada entidade possui um conjunto particular de propriedades que a descreve chamado atributos. Um atributo pode ser dividido em diversas sub-partes com significado independente entre si, recebendo o nome de atributo composto. Um atributo que não pode ser subdividido é chamado de atributo simples ou atômico. Os atributos que podem assumir apenas um determinado valor em uma determinada instância são denominados atributos simplesmente valorados, enquanto que um atributo que pode assumir diversos valores em uma mesma instância é denominado multi valorado. Um atributo que é gerado a partir de outro atributo é chamado de atributo derivado. Um atributo pode ter valor nulo, ou seja para determinadas situações não assumir nenhum valor. Uma restrição muito importante em uma entidade de um determinado tipo entidade é a chave. Um tipo entidade possui um atributo cujos valores são distintos para cada entidade individual. Este atributo é chamado atributo chave e seus valores podem ser utilizados para identificar cada entidade de forma única. Muitas vezes, uma chave pode ser formada pela composição de dois ou mais atributos. Uma entidade pode também ter mais de um atributo chave. Cada atributo simples de um tipo entidade está associado com um conjunto de valores denominado domínio, que especifica o conjunto de valores que podem ser designados para este determinado atributo para cada entidade. As chaves são atributos com caracterísitcas especiais, elas podem representar regras e restrições que serão implementadas no banco de dados. As chaves podem ser: - Candidatas: Quando o atributo apresenta as características de ter um único valor, que não se repete nas demais linhas da tabela; - Primárias: Dentre as chaves candidatas é escolhida uma única que vai ser a chave única para a tabela (por tabela só deve existir uma chave primária). As demais chaves candidatas poderão ser tornar índices; - Concatenadas: Quando a tabela não tiver nenhum atributo que possa ser chave primária, a combinação de dois ou mais campos desta tabela poderá se tornar a chave primária; - Estrangeiras: Utilizada para criar os relacionamentos entre as tabelas. Quando uma tabela tem relacionamento com outra, a ligação entre elas é feita pela chave primária que passa a ser atributo na outra tabela. O modelo relacional é a implementação do modelo físico de entidade-relacionamento onde as entidades

7 Giulliana M. de Souza Vicentin 57 são representadas por tabelas que são compostas por colunas (atributos) que descrevem linhas de dados, também conhecidas como tuplas ou registros. Os relacionamentos são ações ou fatos que integram as entidades no mundo, estes relacionamentos podem ter a seguinte cardinalidade: - 1:1 Quando um elemento do conjunto A (Entidade A) corresponde a um único elemento do conjunto B (Entidade B); - 1:N Quando um elemento do conjunto A corresponde a vários elementos do conjunto B; - N:N Quando um elemento do conjunto A corresponde a varios elementos do conjunto B e um elemento do conjunto B corresponde a vários elementos do conjunto A. O grau de um tipo relacionamento é o número de tipos entidade que participam do tipo relacionamento. Geralmente os relacionamentos são Binários. O grau de um relacionamento é ilimitado, porém, a partir do grau 3 (ternário), a compreensão e a dificuldade de se desenvolver a relação corretamente se tornam extremamente complexas. Tabela é uma relação que consiste em um conjunto de colunas com um título e um conjunto de linhas. Coluna é uma tabela vertical onde são selecionados valores do mesmo domínio. Uma linha é composta de uma ou mais colunas (Inmon, 1997). Em um banco de dados relacional, todos os dados estão em tabelas. Uma tabela mantém dados relacionados com uma classe particular de objetos (uma entidade). Tabelas são compostas por linhas e colunas. Existe exatamente um conteúdo de dado em cada coluna de cada linha. Modelo dimensional dos dados Modelagem dimensional é um novo nome para a técnica antiga usada para criar bancos de dados simples e compreensíveis. É a representação dos dados com formato de um cubo, contendo três, quatro ou até cinco ou mais dimensões (Figura 1). A modelagem dimensional nos permite visualizar dados. (Kimball, 1998) A maior vantagem deste modelo é a facilidade de compreensão pelos usuários, permitindo que o usuário navegue facilmente. O Data WareHouse preocupa-se muito com a consistência de dados, esta consistência é medida globalmente, de um modo geral não se preocupa com cada transação individualmente, mas sim com a carga atual de dados novos, que seja um conjunto completo e consistente de dados. A análise multidimensional é a habilidade em manipular dados que foram FIGURA 1-MODELO DIMENSIONAL

8 58 Data WareHouse e suas aplicações... agregados em várias categorias ou dimensões. A proposta da análise multidimensional é auxiliar o usuário a sintetizar a informação através de uma visão comparativa, personalizada e projetada para a análise dos dados históricos. A visão multimensional é muito mais útil para os analistas do que a tradicional representação dos dados do modelo relacional, pois permite que os negócios da empresa possam ser visualizados sob diferentes perspectivas. Características (Inmon, 1997): - Chave deve ser única; - Permitir gerenciar número de níveis de agregações; - Dimensão não precisa ser uma hierarquia, pode ser uma combinação de atributos. A dimensão tempo Os sistemas Data WareHouse tratam o tempo de forma diferente dos Sistemas de Processamento de Transações On-Line (OLTP) onde as informações são atualizadas constantemente a medida que as transações são concretizadas. Estes bancos de dados são conhecidos como banco de dados instântaneos. Para o Data WareHouse esse tipo se chama inconsistência temporal, ou seja, a existência de alterações nos dados entre as consultas. Os sistemas de processamento de transações online não tem um suporte para representar corretamente um histórico passado, por este motivo o Data WareHouse trabalha com uma sequência de tempo explícita, onde os instantâneos do sistemas de processamento de transações on-line são transferidos para o Data WareHouse como uma seqüência de camada de dados, onde cada Data WareHouse é uma seqüência de tempos. Ao serem incluídos instantâneos estáticos no Data WareHouse em intervalos regulares definidos os dois problemas anteriores passam a ser solucionados. (Kimball, 1998) A dimensão fatos Todo modelo dimensional é composto por uma tabela com uma chave formada por várias partes que compões uma tabela principal, esta tabela é denominada tabela de fatos e um conjunto de tabelas menores que se relacionam com a tabela principal são chamadas tabelas de dimensão. Estas tabelas formam as medidas básicas de informações do negócio. A tabela de fatos armazena medições numéricas do negócio, cada uma das medições é obtida na interseção de todas as dimensões. As medições representam as quantidades e valores dos dados que podem ser agregados sem perderem seu significado. Os Fatos melhores e mais utéis são do tipo de dado numérico e devem ser: continuamente valorados (diferentes a cada medida) e aditivos (podem ser adicionados a diversas dimensões).

9 Giulliana M. de Souza Vicentin 59 As tabelas dimensionais armazenam as descrições textuais das dimensões no negócio. Cada uma destas descrições, ajuda a definir um componente da respectiva dimensão. Os melhores atributos são textuais, discretos e usados como fonte de restrições e cabeçalhos de linha no conjunto de resposta ao usuário. A chave de uma tabela fato é a composição das chaves das tabelas dimensão. O resultado é que existirá uma linha na tabela fato para cada combinação única dos domínios de todas as chaves de todas as tabelas dimensão. Agregações Agregações são sumarizações de dados com o objetivo principal de melhorar a performance de acesso. Geralmente armazenadas em tabelas fatos separadas (Inmon, 1997). As agregações podem ser acumuladas através de agrupamentos diferentes, freqüentemente, através de várias dimensões ou combinação de dimensões (Valsoir Júnior, 1997). Por exemplo: diário, semanal, mensal, anual, etc. A agregação também é conhecida como sumarização, e deve ser feita de acordo com a granularidade. A granularidade é o nível de detalhe do dado, sendo inversamente proporcional ao volume de dados residente no Data WareHouse. Não existe a necessidade de armazenar todos os níveis de sumarização, devem ser armazenados apenas:os níveis necessários para o negócio. Técnica Star Schema Também conhecido como esquema Estrela, neste caso o modelo dimensional é assimétrico, existindo uma tabela dominante no centro do diagrama com múltiplas relações com as outras tabelas. Esta técnica pré processa os dados em uma tabela de fato central, com tabelas de dimensão relacionada. As chaves únicas de cada tabela dimensão compões a chave combinação na tabela de fatos. Cada uma das tabelas secundárias possui apenas uma ligação com a tabela central. Onde a tabela principal é conhecida como tabela de fatos e as outras tabelas são conhecidas como tabelas de dimensão (Figura 2). FIGURA 2: ESQUEMA ESTRELA

10 60 Data WareHouse e suas aplicações... Os benefícios desta técnica são que os dados estão pré-processados em dimensões conhecidas e caracterizadas em um conjunto específico de necessidades de informação do negócio, tornando o acesso pelo usuário mais eficiente (Inmon, 1997). Técnica Snow Flake No esquema Floco de Neve, as tabelas de dimensões são normalizadas. Mas este esquema é somente uma alternativa de construção do modelo de dados multidimensional, podendo rapidamente ser transformado num modelo estrela (Figura 3). FIGURA 3: ESQUEMA FLOCO DE NEVE As hierarquias têm significado e importância dentro da análise multidimensional. No modelo star, elas estão todas em vista da desnormalização das entidades, um dos conceitos básicos de modelagem multidimensional. Conclusão O Data WareHouse, cujo principal componente é um banco de dados somente leitura para fins de suporte a tomada de decisão deve ser aplicado sobre um banco de dados relacional. Para que o objetivo seja alçado é necessário um bom planejamento das tabelas de fatos e de dimensões. Para sobreviver às mudanças do futuro o analista de negócio deve de analisar, planejar e reagir as mudanças de condições do negócio com rapidez. O Data WareHouse pode tornar-se uma excelente ferramenta no auxílio à tomada de decisão para esses analistas, pois sendo bem elaborado e implementado de acordo com a inteligência do negócio permite o atendimento aos novos tipos de consultas e análises dos negócios. Sendo que seu objetivo básico é adicionar valor ao negócio. O Uso de Data WareHouse está associado a vários benefícios de custo, economia de tempo e aumento da produtividade. Passos do Processo do Projeto (Kimball,1998): - Escolha um processo do negócio para modelar;

11 Giulliana M. de Souza Vicentin 61 - Escolha o grão do processo do negócio, onde o grão é o nível fundamental atômico dos dados que representarão o processo na tabela de fatos. - Escolha as dimensões que serao aplicadas a cada registro da tabela de fatos. - Escola os fatos mensuráveis que irão popular cada registro da tabela de fatos. Os dados a serem garimpados freqüentemente estão alocados em grandes arquivos. Para fornecer informações coerentes a partir de dados desestruturados são necessárias ferramentas para formatar esses dados. Para obter resultados desejados é necessário manipular e sincronizar os dados em um formato compatível com a ferramenta utilizada. Devido à natureza emergente do mercado de ferramentas de data mining, observa-se que existe uma grande relevância na utilização de data warehouse com data mining, onde a combinação destas tecnologias seria o ideal para suporte a decisão. Assim recomenda-se um estudo sobre a utilização destas tecnologias, para trabalhos futuros.

12 62 Data WareHouse e suas aplicações... Referências bibliográficas INMON, W. H. (1993). Building the Data warehouse. New York: Wiley Computer Publishing.. (1997). Data Warehouse Tool Kit. São Paulo: Makron Books. INTRODUÇÃO A SISTEMAS DE BANCO DE DADOS. (1999). São Paulo: Ed. Campus. KIMBALL, R. (1998). Data WareHouse Toolkit, São Paulo. MIORELLI, S. H.(2000). Proposta de um Roteiro para Projetar um Data WareHouse. SILBERSCHATZ, A.(2000). Sistema de Banco de Dados MAKRON BOOKS. SINHG, H. S. (1999). Data WareHouse, Conceitos, Tecnologias Implementação e Gerenciamento. São Paulo: Makron Books. VALSOIR JR., T. (1997). Apresentação Sybase Data WareHousing Aspectos Estratégicos e de Implementação, Curitiba, 1997.