HELENA CAROLINA COSTA E LIMA UTILIZAÇÃO DE DATA WAREHOUSE E DATA MINING NO ACOMPANHAMENTO DAS ATIVIDADES DE PESQUISA DO CEULP/ULBRA

Transcrição

1 HELENA CAROLINA COSTA E LIMA UTILIZAÇÃO DE DATA WAREHOUSE E DATA MINING NO ACOMPANHAMENTO DAS ATIVIDADES DE PESQUISA DO CEULP/ULBRA Palmas - TO 2006

2 HELENA CAROLINA COSTA E LIMA UTILIZAÇÃO DE DATA WAREHOUSE E DATA MINING NO ACOMPANHAMENTO DAS ATIVIDADES DE PESQUISA DO CEULP/ULBRA Relatório apresentado como requisito parcial das disciplinas de Trabalho de Conclusão de Curso em Sistemas de Informação I (TCC I) e Trabalho de Conclusão de Curso em Sistemas de Informação II (TCC II) do curso de Sistemas de Informação, orientado pelo Profº. MSc. Fabiano Fagundes. Palmas - TO 2006 /1

3 HELENA CAROLINA COSTA E LIMA UTILIZAÇÃO DE DATA WAREHOUSE E DATA MINING NO ACOMPANHAMENTO DAS ATIVIDADES DE PESQUISA DO CEULP/ULBRA Relatório apresentado como requisito parcial das disciplinas de Trabalho de Conclusão de Curso em Sistemas de Informação I (TCC I) e Trabalho de Conclusão de Curso em Sistemas de Informação II (TCC II) do curso de Sistemas de Informação, orientado pelo Profº. MSc. Fabiano Fagundes. BANCA EXAMINADORA Prof. M.Sc. Fabiano Fagundes Centro Universitário Luterano de Palmas Prof. M.Sc. Fernando Luiz de Oliveira Centro Universitário Luterano de Palmas Prof. M.Sc. Parcilene Fernandes Brito Centro Universitário Luterano de Palmas Palmas - TO Julho 2006 III

4 SUMÁRIO 1 INTRODUÇÃO REVISÃO DE LITERATURA Data Warehouse Banco de Dados Operacionais X Data Warehouse OLAP (On-Line Analytical Processing) Características de um DW Componentes de um Data Warehouse Modelagem Dimensional Esquema Estrela Tabela de Fatos Tabela de Dimensão Metadados Data Marts Extração de Conhecimento em Bases de Dados - KDD Data Mining Técnicas de Data Mining Ferramentas de Data Mining Funções do Data Mining MATERIAIS E MÉTODOS Metodologia Materiais Local e Período Resultados e Discussões Atividades de Pesquisa do Proict Processo de Descoberta de Conhecimento Conhecimento do Domínio Pré Processamento Modelagem Dimensional Extração de Padrões Pós-Processamento IV

5 Primeira Questão Segunda Questão Terceira Questão Quarta Questão Quinta Questão Sexta Questão Utilização do Conhecimento CONSIDERAÇÕES FINAIS REFÊRENCIAS BIBLIOGRÁFICAS V

6 LISTA DE FIGURAS Figura 1 - Elementos básicos do Data Warehouse [KIMBALL, 2002] Figura 2 - Exemplo de um modelo dimensional utilizando o Esquema Estrela [TISSOT, 2004] Figura 3 - Data Marts Departamentais Figura 4 - Processos do KDD [FIGUEIRA, 1998] Figura 5 - Etapas do processo de um KDD [REZENDE et. al., 2003] Figura 6 Árvore de Decisão Figura 7 - Modelo Dimensional Figura 8 - Carga da Tabela F_Prod_Proict Figura 9 - Carga da Tabela F_Evento Figura 10 - Apresentação da Ferramenta de Data Mining Figura 11 Relação dos Projetos desenvolvidos por Curso Figura 12 Quantidade de Professores por curso Figura 13 Relação de Publicações Jornada e Publicações Externas Figura 14 Projetos Desenvolvidos Figura 15 - Porcentagem das Áreas de Conhecimento Figura 16 Porcentagem dos Projetos Aprovados nas Jornadas Científicas.. 64 Figura 17 Relação entre Quantidade de Artigos e Professores Figura 18 Relação de Carga Horária com Trabalhos Desenvolvidos Figura 19 Média dos Alunos do Proict VI

7 LISTA DE TABELAS Tabela 1 Resumo das diferenças entra BDs Operacionais e DWs Tabela 2 Diferenças entra OLTP e OLAP [VAISMAN, 1998] Tabela 3 Dados dos Alunos Bolsistas de Tabela 4 Representação dos Atributos da tabela F_Prod_Proict Tabela 5 Representação dos Atributos da tabela D_Professores Tabela 6 Representação dos Atributos da tabela D_Aluno Tabela 7 Representação dos Atributos da tabela D_Data Tabela 8 Representação dos Atributos da D_Projeto Tabela 9 Representação dos Atributos da tabela F_Eventos Tabela 10 Representação dos Atributos da D_Evento Tabela 11 Representação dos Atributos da F_Jornada Tabela 12 Representação dos Atributos da D_Artigos Tabela 13 Quantidade de Projetos desenvolvidos Tabela 14 - Relação de Carga Horária com Trabalhos Desenvolvidos VII

8 LISTA DE ABREVIATURAS DW (Data Warehouse) Proict (Projetos de Iniciação Científica) COPPEX (Coordenação de Pesquisa, Pós Graduação e Extensão) CEULP/ULBRA (Centro Universitário Luterano de Palmas) KDD (Knowledge Discovery in Databases) OLTP (On-line Transaction Processing) OLAP (On-line Analytical Processing) DM (Data Mart) VIII

9 RESUMO Tradicionalmente, uma das dificuldades existentes na extração de informações dos dados de um departamento de uma instituição deve-se a falta de integração dos dados relacionados. O mesmo dá-se com os dados pertinentes aos Projetos de Iniciação Científica (Proict), oriundos da COPPEX Coordenação de Pesquisa, Pós Graduação e Extensão do CEULP/ULBRA, Estes documentos encontram-se armazenados em diversos formatos, tais como: tabelas em Word, planilhas eletrônicas, formulários, entre outros. Dessa forma, a realização de uma análise completa desses dados torna-se uma tarefa complexa. A partir do problema apresentado, este trabalho propõe a estruturação de um modelo de Data Warehouse com o objetivo de organizar e integrar as informações dos documentos que compõem o Proict, e utilizar as técnicas de Data Mining para extrair informações que serão úteis para a COPPEX. Palavras-chave: Data Warehouse, Data Mining, Extração de Conhecimento IX

10 1 INTRODUÇÃO Devido ao crescimento das organizações e empresas, a quantidade de informação armazenada em bases de dados, formulários, documentos, tem aumentado consideravelmente, sendo que, a maioria das empresas muitas vezes não possui controle de todas as informações que estão disponíveis, uma vez que estas encontram-se espalhadas em diversos ambientes. Com isso, fazem-se necessários e têm-se buscado meios para organizar estas informações propiciando a geração de conhecimento, de tal forma que os dados que anteriormente eram desconsiderados tornem-se fontes de conhecimento. Estas buscas por conhecimento motivam o desenvolvimento de um ambiente específico, com ferramentas e técnicas de análise de dados que têm por objetivo auxiliar a extração de conhecimento a partir de dados e auxiliar a tomada de decisão [GARCIA et al., 2001]. Para a organização destes dados e interação dos mesmos para extração de conhecimento pode-se utilizar o Data Warehouse (DW) que é um dos processos que realiza a preparação dos dados de um sistema, que dará suporte à tomada de decisão, onde os dados passam por uma série de transformações, entre elas, a limpeza e a verificação de consistência desejada na análise [KIMBALL, 1998]. Estes dados são organizados e armazenados em repositórios para que seja realizada uma análise destes dados com o objetivo de buscar informações úteis para o ambiente que o DW foi aplicado. Anteriormente muitos dados eram inutilizados devido à falta de organização dos mesmos por estarem dispersos em bases relacionais, ou espalhados em relatórios distintos, com isso deixando de ser fonte de informação. Com a estruturação de um projeto de DW, o resultado é um conjunto de informações úteis, que irá servir de auxílio, segurança e irá

11 possibilitar uma visão abrangente para análise de negócios [MACHADO, 2000]. A quantidade de aplicações das tecnologias de DW tem crescido nos últimos anos, e as alterações constantes nessa arquitetura têm permitido o rápido aumento do volume de dados acessados [INMON et al., 1999]. A partir dos dados armazenados em um DW é possível utilizar ferramentas que irão realizar a análise e interpretação dos dados. Um dos meios utilizados é o Data Mining, ferramenta que busca automatizar o processo de extração de conhecimento, auxiliar a descoberta de relacionamento entre os dados tendo como objetivo encontrar padrões válidos e úteis aos mesmos [FAYYAD et al., 1996]. O processo de Data Mining utiliza métodos matemáticos, algoritmos entre outros, para efetuar as análises dos dados, sendo que algumas técnicas que auxiliam a mineração de dados são árvores de decisão, indução de regras, redes neurais, entre outros. O objetivo de se desenvolver um DW e um Data Mining é possibilitar a extração de conhecimento a partir de uma base de dados dimensional, aplicando técnicas que irão auxiliar os administradores e gestores de negócios a analisarem as informações encontradas. Este trabalho visa organizar e implantar um DW juntamente com a utilização de uma ferramenta de Data Mining para os dados de Produção Científica do CEULP/ULBRA, uma vez que estes encontram-se dispersos através de documentos como: relatórios, base de dados e tabelas. O objetivo do trabalho é encontrar informações úteis a serem utilizadas e aplicadas no acompanhamento das Atividades de Pesquisa do CEULP/ULBRA. Para tanto, serão apresentados os passos e etapas necessárias para estruturação do DW, juntamente com os resultados encontrados através da utilização de ferramentas de Data Mining sobre o estudo de caso realizado sobre os dados de Produção Científica do CEULP/ULBRA. XI 11

12 2 REVISÃO DE LITERATURA Para este trabalho, foram desenvolvidos estudos e pesquisas sobre Data Mining e DW, apresentando os fundamentos práticos e teóricos necessários para atingir o objetivo do trabalho proposto. Para isso, serão apresentadas as etapas e os processos que compõem um Data Mining e um DW. 2.1 Data Warehouse Data Warehousing corresponde ao processo de preparar os dados de uma base operacional de forma que esta se torne uma fonte de informações para realizar suporte à tomada de decisões. Nesse processo, os dados sofrem uma série de transformações, entre elas, a limpeza, a verificação de consistência e a totalização em níveis hierárquicos desejados na análise [KIMBALL, 1998]. A construção de um Data Warehouse exige um alto nível de complexidade sendo necessária a utilização de uma metodologia consistente com um trabalho desenvolvido por pessoas capacitadas e ainda um grande investimento em ferramentas para auxiliar a implantação do ambiente [TISSOT, 2004]. O conceito de Data Warehouse pode ser apresentado como: Um conjunto de dados orientado por assuntos, não volátil, variável com o tempo e integrado, criados para dar suporte à decisão [INMON,1997]. É um processo que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos a empresa, usados para atender à necessidade de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte à decisão [HARJINDER,1996].

13 É uma coleção de técnicas e tecnologias que juntas disponibilizam um enfoque pragmático e sistemático para tratar com o problema do usuário final que precisa acessar informações que estão distribuídas em vários sistemas da organização [BARQUINI, 1996]. Como resultado de desenvolvimento de um DW, obtém-se um conjunto de subsídios, que irão auxiliar o processo de tomada de decisão, permitindo maior abrangência na visão da empresa para análise de negócios e mais segurança nas decisões a serem tomadas [MACHADO, 2000]. A estrutura de um Data Warehouse compreende a utilização de diversas ferramentas que extraem dados de sistemas operacionais da empresa, um banco de dados que o mantém e sistemas que disponibilizam estes dados aos usuários. Algumas vantagens do DW são: a redução do tempo para a aquisição de informações úteis a tomada de decisão, cancelamento de tarefas operacionais, tais como, identificação e pesquisa de dados, confiabilidade das informações e igualdade de informações sobre o desempenho dos negócios [KIMBALL, 1998]. Assim, a partir de experiências de grandes quantidades de dados inutilizados e falta de conhecimento do que são realmente importantes vividas dentro de empresas, [Kimball, 2002], define alguns objetivos importantes para a utilização de um DW: Fazer com que informações de uma empresa possam ser facilmente acessadas: Permitir fácil acesso aos dados, tanto o conteúdo quanto as ferramentas que serão usadas no DW devem ser de fácil acesso aos usuários, devem retornar os resultados das consultas com menor tempo de espera possível, e os dados devem ser compreensíveis, intuitivos e óbvios. Apresentar informações de modo confiável e consistente: Os dados que irão compor o DW devem ser confiáveis. Mesmo sendo obtidos de várias fontes diferentes, precisam ser filtrados, submetidos a um teste de qualidade e ser liberados somente quando estiverem aptos a serem utilizados. Ser adaptável e flexível a mudanças: as mudanças ocorrem a todo instante, não podendo ser evitadas. Por isso o DW deve ser projetado para acompanhar estas mudanças. 13

14 Segurança das informações: as informações importantes estão armazenadas no DW, por isso deve-se ter o controle ao acesso às informações confidenciais da empresa. Funcionar como a base para tomada de decisões: as informações que pertencem ao DW devem ser apropriadas para auxiliar a tomada de decisões, uma vez que serão apresentadas às evidências a partir dos resultados obtidos. Com a implantação de um DW, é possível estruturar um repositório de dados que será uma fonte de informações que irá auxiliar a tomada de decisão, fazendo com que diversos dados isolados sejam transformados em informações úteis ao ambiente que está sendo trabalhado Banco de Dados Operacionais X Data Warehouse Os dados armazenados em banco de dados tradicionais que utilizam o modelo de Entidade Relacionamento são empregados em diferentes sistemas de aplicação, como exemplo, portais, empresas que possuem um sistema de gerenciamento, entre outros. Estas bases são denominadas operacionais. Já um DW possui um conjunto de dados derivados dos dados operacionais que oferecem suporte à tomada de decisão. Estes dados são referidos como dados "gerenciais", "informacionais" ou "analíticos" [INMON,1996]. Os bancos de dados operacionais são utilizados para armazenar informações de operações obtidas no dia-a-dia, os funcionários registram e executam operações pré-definidas e suas informações podem mudar de acordo com a necessidade da empresa. À medida que vão sofrendo alterações os dados vão sendo excluídos, pois a estrutura não exige grande capacidade de armazenamento. O DW armazena dados tanto detalhados como resumidos, e são voltados às necessidades da gerência no processo de tomada de decisões, possui um armazenamento de informações históricas de anos e através disso possui uma grande capacidade de processamento e armazenamento. A tabela 1 apresenta algumas diferenças definidas por [INMON, 1997] e [KIMBALL, 1998] existentes entre Bancos de Dados Operacionais e um Data Warehouse: 14

15 Tabela 1 Resumo das diferenças entra BDs Operacionais e DWs. Característica Banco de Dados Operacionais Data Warehouses Objetivo Operacional Informativo Tipo de Processamento OLTP (On-line Transaction Processing) OLAP (On-line Analytical Processing) Tipo de Operação Inclusão, Alteração, Exclusão Carga e Consulta Número de Usuários Milhares Centenas Tipo de Usuários Operadores Tomadores de Decisão Interação do Usuário Somente pré-definida Pré-definida e ad-hoc Condições dos Dados Dados Operacionais Dados Analíticos Volume Megabytes Gigabytes Gigabytes Terabytes Histórico 60 a 90 dias 5 a 10 anos Granularidade Detalhados Detalhados e Resumidos Estrutura Estática Variável Acesso a registros Dezenas Milhares Atualização Continua (em tempo real) Periódica (em batch) Integridade Transação A cada Atualização Número de Índices Poucos/Simples Muitos/Complexos Intenção dos Índices Localizar um registro Aperfeiçoar Consultas Para auxiliar os usuários nas funções diárias em BD é utilizado o sistema OLTP (On-Line Transaction Processing). Seu objetivo principal é efetuar o máximo de transações possíveis no menor tempo de processamento. Normalmente estes sistemas são pouco flexíveis ao se tratar de quantidade de relatórios e consultas, pois possui limitações impostas por seu modelo de dados. Nos DWs, que possuem uma quantidade de dados maior e suas consultas são de grande complexidade e os requisitos são difíceis de definir, é necessária a utilização de ferramentas que sejam flexíveis, ou seja, auxiliam na organização e extração de dados de um DW. Para a realização desta análise são utilizados os sistemas OLAP (On-Line Analytical Processing), que permitem aos usuários capacitados, que tenham conhecimento sobre as 15

16 ferramentas, acessarem os dados com maior facilidade, obtendo-se uma visão dimensional dos Dados. As principais diferenças existentes entre os sistemas OLTP e OLAP estão apresentadas na Tabela 2. Tabela 2 Diferenças entra OLTP e OLAP [VAISMAN, 1998] Características Transacional OLTP Analítico OLAP Usuários típicos Usuário em Geral Gerentes, analistas de negócio Aplicação do Sistema Operações do dia-a-dia Análises do negócio Interação do usuário Pré-determinado Ad-hoc Características do trabalho Leitura/gravação Leitura Unidade de Trabalho Transação Consulta Processamento Orientado a processos Orientado a assuntos Atualização Um registro por vez Vários registros por vez A seguir será apresentado o conceito sobre as ferramentas OLAP e suas características e métodos de aplicação OLAP (On-Line Analytical Processing) As ferramentas OLAP são aplicadas na fase final de um DW, sendo utilizadas pelos usuários finais que irão através desta ferramenta acessar e extrair dados em uma base dimensional. Assim, auxiliam o processo tomada de decisão ao realizarem a análise dos dados que compõem os DWs e Data Marts. Segundo [INMON et al., 1999], as ferramentas OLAP são definidas como: uma tecnologia de software que permite aos analistas, gerentes e executivos a obterem os dados de uma forma rápida, consistente e com acesso interativo para uma grande variedade de possíveis visões da informação na empresa. Mais sucintamente, OLAP é um conjunto de funcionalidades que tem, como principal objetivo, facilitar a análise multidimensional [INMON et al., 1999]. As ferramentas OLAP disponibilizam algumas operações para os usuários acessarem os dados. Segundo [KIMBALL, 2002], as principais são: 16

17 Drill Down Esta operação é utilizada para obter resultados mais detalhados, onde os atributos das dimensões atuam como principal ator sobre esta operação. Sendo utilizada para agrupar todos os resultados de uma consulta. Esta operação pode ocorrer de forma automática, onde os atributos são prédefinidos, ou de forma configurável, onde o usuário escolhe qual atributo deseja adicionar a consulta a fim de obter um resultado mais detalhado. Drill Up Uma operação Drill Down acrescenta atributos das dimensões para obter detalhamento nos resultados; Já operação Drill Up exclui do resultado as colunas de agrupamento, sendo que estas não necessitam ser retiradas na mesma seqüência em que estas foram adicionadas, criando um menor nível de detalhamento nas sumarizações. Drill Across A operação Drill Across realiza uma alteração na tabela de fatos que será analisada, conservando o mesmo nível de granularidade e detalhamento da consulta. Várias tabelas de fato, que estão relacionadas em uma ordem de processos interligados, possuem a capacidade de compartilhar das mesmas dimensões, sendo assim possível a execução da operação Drill Across entre elas Características de um DW As características de um DW, segundo [INMON, 1997], são definidas como: orientado por temas ou assuntos, integração dos dados, variáveis no tempo, não-volátil e granularidade dos dados. Estas características serão descritas nos subitem a seguir: 17

18 Orientado por temas As informações que serão armazenadas em um DW são organizadas por temas ou assuntos de acordo com a necessidade da empresa. Os temas que serão armazenados em um ambiente de DW possuem um conjunto de tabelas que estão relacionadas e que possuem informações necessárias para auxiliar a tomada de decisão. Integração dos Dados A integração dos dados é uma outra característica do ambiente de DW. Os dados que estão sendo implantados das bases operacionais são consolidados de maneira que se obtenha um significado uniforme. Um exemplo clássico é do atributo sexo, que pode ser tratado como: m/f, ou 1/0, masculino/feminino, ao serem transportados para o DW, estes dados são convertidos para uma única forma. Variante no Tempo A estrutura dos dados em um DW sempre possui um atributo de tempo, assim, a cada alteração sofrida por um dado, uma nova entrada de dados é gerada, sem que os dados anteriores sejam sobrepostos. Assim, em um DW a data é um componente indispensável sendo considerado como componente chave, pois sua estrutura é projetada através de dimensões de tempo. Ao contrário dos sistemas operacionais, que possuem apenas um sistema de atualização, à medida que novos dados vão sendo inseridos no banco, os antigos são perdidos. Uma das grandes dificuldades encontradas em um ambiente de DW se deve ao fato de que este pode ter dados que não são apenas anuais ou mensais, pois podem existir dados que são diários ou semanais. Os dados devem seguir esta variação de tempo, pois, um dado hoje pode não ter uma informação significativa, porém, no futuro, juntamente com os demais dados que serão inseridos no decorrer do tempo, estes dados podem resultar em informações úteis a serem utilizadas no ambiente em que pertence. 18

19 Não-Volátil Uma vez que os dados armazenados em um DW não sofrem atualizações, estes são carregados apenas uma vez podendo a partir disto serem consultados. Já nos sistemas operacionais existem inúmeras transações de atualizações sendo realizadas a todo o momento, com isso é necessário possuir um grande controle para que não haja nenhuma contradição caso uma transação seja interrompida indevidamente. Em um DW não é necessário este controle, uma vez que os dados estão carregados no DW, estes são disponíveis para serem acessados pelos usuários. Mesmo que os dados sejam armazenados diversas vezes ao longo do tempo, o DW, por possuir o atributo do tempo, permite que estes dados sejam inseridos e consultados n-vezes sem que nenhuma informação se perca. Granularidade A granularidade em um DW refere-se ao nível de detalhes existentes. Em uma consulta, quanto maior o nível de detalhamento dos dados, menor será a granularidade, ou o inverso, quanto menos detalhe na consulta maior será a granularidade. Para [Inmon, 1997], a granularidade é a questão mais importante em um projeto devido ao fato de que ela afeta intensamente o volume de dados existentes no DW, e ainda as consultas que serão realizadas. O balanceamento dos volumes de dados do DW é realizado de acordo com a granularidade de uma consulta. Os dados podem ser divididos em particionamentos que são unidades físicas menores, que têm como objetivo facilitar o trabalho, permitindo flexibilidade no gerenciamento dos dados. Existem diversas formas de divisão dos dados, por exemplo: data, área de pesquisa, área geográfica entre outros. 19

20 2.1.4 Componentes de um Data Warehouse Segundo [KIMBALL, 2002], os componentes que formam um DW completo são: Sistemas Operacionais de Origem Data Staging Area Área de Apresentação de Dados Ferramenta de Acesso a Dados A figura 1 apresenta a forma como estes componentes se relacionam. Sistemas Operacionais de Data Staging Área Área de Apresentação de dados Ferramentas de acesso a dados Origem Extrair Serviços: Filtrar, combinar, e padronizar dimensões de conformidade Carregar NENHUM SERVIÇO DE CONSULTA AO USUÁRIO. Data mart n 1: Dados DIMENSIONAIS e atômicos e de resumo baseado em um único processo de negócio Acessar Ferramentas de consulta especificas. Criadores de relatórios. Extrair Armazenamento de dados: tabelas relacionais e arquivos simples. Barramento do DW: fatos e decisões em conformidade Aplicações de análise. Modelagem: Processamento: previsão, Extrair Classificação e processamento seqüencial. Carregar Data mart n 2... (projetado da mesma forma) Acessar pontuação e exploração de dados. Figura 1 - Elementos básicos do Data Warehouse [KIMBALL, 2002] A figura 1 apresenta os elementos que compõem um DW, estes elementos serão apresentados nos tópicos a seguir: 20

21 Sistemas Operacionais de Origem Sistemas Operacionais de Origem são os sistemas que buscam as transações de dados. As consultas são limitadas sendo realizadas em somente um registro por vez. Os Sistemas Operacionais de Origem são partes externas ao DW, pois não possuem nenhum ou pouco controle sobre o formato e conteúdo dos dados e possuem um pequeno volume de dados históricos. Data Staging Área A Data Staging Area (Área de Preparo de Dados) é uma área de armazenamento, atua de forma abrangente, desde o acesso a base dos sistemas operacionais de origem até área de apresentação dos dados. Um dos requisitos de preparo dos dados é que estes não estejam disponíveis para uso aos usuários, sem permitir consultas e serviços de apresentação de dados, pois os dados devem ser primeiramente transformados e organizados pelos profissionais responsáveis e somente após esta preparo os dados serão disponibilizados para os usuários finais. Esta área de preparo é formada por dados oriundos das fontes externas ao DW, juntamente com um conjunto de técnicas denominadas por ETL (extract + transformation + load), ou seja, extração, transformação e carga. No processo de extração é realizada a leitura dos dados brutos encontrados nas bases de dados de origem. Estes dados são interpretados das fontes externas e compreendidos, com isto, os dados que serão carregados no DW, são reproduzidos para a área de preparo onde futuramente serão utilizados. Após o processo de extração, inicia-se o processo de transformação onde são executadas algumas operações, como filtragem dos dados, limpeza, conflitos de domínio, tratamento de elementos ausentes, padronização dos dados, correção de escrita. O processo de carga utiliza uma estrutura onde os dados são apresentados através de tabelas dimensionais. Após os dados serem indexados, carregados, agregados apropriadamente e feito à verificação da qualidade, os usuários serão avisados que os novos dados estão publicados. 21

22 Área de Apresentação dos Dados A Área de Apresentação de Dados é o ambiente em que os dados são organizados, gravados e disponibilizados aos usuários para realizarem consultas, gerar relatórios e para as demais aplicações de analise. Através das ferramentas de acesso aos dados, estes se tornam acessíveis e visíveis aos usuários. Ferramentas de Acesso a Dados O último componente de um Data Warehouse são as ferramentas de acesso a dados, que serão utilizadas para consultar os dados na área de apresentação. Uma ferramenta pode ser bem simples para a realização de consultas especificas ou mais sofisticada como uma aplicação de modelagem ou mineração de dados, como por exemplo, a ferramenta Crystal Reports que gera relatórios a partir de um DW ou ainda uma ferramenta de mineração de dados que utiliza algoritmos para realizar as consultas desejadas Modelagem Dimensional A maioria dos sistemas de informação que são usados no dia-a-dia de um ambiente é modelada com métodos que retornam respostas rápidas as consultas quando são utilizadas pequenas quantidade de dados. Assim, os sistemas guardam os dados normalizados, sendo o modelo composto basicamente por tabelas e relacionamentos entre si. Em caso de grande volume de dados a serem sumarizados, o modelo relacional normalizado não é totalmente apropriado, neste caso é necessário que os dados sejam transformados para que os dados que se encontram armazenados nestas bases sejam organizados e utilizados de forma útil ao ambiente, isso é possível através do modelo dimensional. A modelagem dimensional é definida por [KIMBALL, 2002], como um processo estruturado desenvolvido para se obter um modelo de dados dimensional. É composto por uma entidade central ou fato, que apresenta a 22

23 melhora dos negócios do cotidiano de uma organização, e um conjunto de entidades menores ou dimensões, que estão localizadas ao redor da entidade central Esquema Estrela O Esquema Estrela é formado por um modelo simples, composto por poucas tabelas e relacionamentos bem estruturados [POE, et al., 1998]. Com isso, facilita a compreensão e leitura dos dados, não apenas para os analistas, mas também para os usuários finais que não estão familiarizados com banco de dados. Possibilita o desenvolvimento de um banco de dados que realiza com facilidade consultas complexas, podendo ser feitas de forma eficiente e de modo direto pelo usuário. A figura 2 apresenta um modelo dimensional utilizando o Esquema Estrela. Figura 2 - Exemplo de um modelo dimensional utilizando o Esquema Estrela [TISSOT, 2004] O Esquema Estrela possui esta nomenclatura devido à disposição das tabelas no modelo, que é formado por uma tabela central, denominada a tabela de fatos, e esta está relacionada com várias outras tabelas, chamadas de tabelas de dimensão (os conceitos de tabelas de fatos e tabelas de dimensão são apresentados nas seções seguintes). 23

24 Tabela de Fatos A tabela de Fatos é a principal tabela que compõe um modelo dimensional, armazenam medições (linha em uma tabela de fatos) numéricas ou métricas de desempenho que está relacionada a um assunto ou processo de negócio. Todo registro de uma tabela de fato está ligado a um conjunto de dimensões que indicam a granularidade dos fatos que estão armazenados e definem qual o alvo destas medidas. Quanto menor a granularidade de um fato, maior será o nível de detalhe armazenado [KIMBALL, 2002] Tabela de Dimensão As tabelas de dimensão sempre acompanham uma tabela de fatos, ela possui os descritores textuais de um processo, as tabelas de dimensão são formadas diversos atributos, que servem de base para definir regras de agrupamento e filtros para consultas em uma tabela de fato. Os atributos nas tabelas de dimensão possuem um papel essencial do DW, por serem a origem de todas as restrições e rótulos de relatórios, os atributos são fundamentais para que o DW seja utilizado e compreendido [KIMBALL, 2002]. Os dados que estão armazenados nas dimensões foram carregados do banco de dados de origem e são utilizados para realização de consultas e abastecimento do DW Metadados Os metadados são definidos normalmente como dados sobre dados, isto é, a abstração dos dados ou mesmo, dados de nível superior que descrevem dados de um nível inferior. Sem a criação de metadados, os dados não possuem significado. Em um DW os metadados apresentam uma importância muito maior que a atribuída no ambiente operativo, é responsável pela integração das bases de dados que constituem o DW [INMON,1997]. Os metadados 24