Trabalho de Conclusão de Curso

Transcrição

1 a BACHARELADO EM SISTEMAS DE INFORMAÇÃO Trabalho de Conclusão de Curso Projeto: Transformação de Dados para Data Warehouse Alunos: Flavia de Paiva Barbosa Karla Maiana da Cunha Oliveira UC Professor: Cândido Salgado

2 Flavia de Paiva Barbosa Karla Maiana da Cunha Oliveira TDDW Transformação de Dados para Data Warehouse Monografia submetida ao XXXXXXXXXXXXXXXXXXXXXXXXXXX XXXXXXXXXXXXXXXXXXX Universidade Católica de Brasília para obtenção do Grau XXXXXXXXXXXXXXXXXXXXXXX. Brasília

3 TERMO DE APROVAÇÃO Monografia defendida e aprovada como requisito parcial para obtenção do grau de Bacharel em Sistemas de Informação, defendida e aprovada, em XX de XXXX de 2007, pela banca examinadora constituída por: Prof. Cândido Salgado Filho Orientador Prof. Vilson Hartman Examinador Interno Brasília UCB 3

4 AGRADECIMENTOS Agradecemos a Deus pela força incessante nos momentos mais difíceis, aos nossos Pais pelo apoio e compreensão infindáveis, aos nossos Amigos por nos proporcionar momentos inesquecíveis ao longo dessa jornada, aos nossos Mestres pelo privilégio do aprendizado e a Nossa determinação e lealdade ao propósito deste Projeto. 4

5 Resumo A informação constitui-se como o principal instrumento utilizado pelas Organizações na busca pelo diferencial competitivo. Entretanto, a melhor informação caracteriza-se pelo nível de disponibilidade, acuracidade e direcionamento para o negócio ao qual se aplica. BI (Business Intelligence) é uma metodologia que se baseia na aplicação de tecnologias e conceitos como mecanismo para o alcance de informações acertadas e fundamentais para o processo decisório. Sua edificação comporta a utilização de ferramentas como Data Warehouse, utilizada no armazenamento dos dados padronizados e oriundos de variadas bases de dados, e a utilização do processo que compreende as técnicas de Extração, Transformação e Carga dos dados (Extract, Transform and Load - ETL) focado na proposta de captura, padronização e entrega dos dados. ETL não se restringe apenas a uma etapa no complexo processo de definição estratégica, mas a uma etapa que envolve quase a totalidade do tempo, esforço e despesa para se alcançar o objetivo final desse processo. 5

6 Abstract Information is main instrument used by organizations in the search for competitive differential. However, the best information is characterized by the level of availability, accuracy and targeting for the business to which it applies. BI (Business Intelligence) is a methodology that is based on the application of technologies and concepts such as mechanism for the reach of information right and fundamental to decision making. His building includes the use of tools such as Data Warehouse, used in the storage of standardized data deriving from varied databases, and the use of the process that includes the techniques of Extraction, Transformation and Load of Data (Extract, Transform and Load-ETL) focalized in the capture, standardization and delivery of data. ETL is not limited to only one step in the complex process of defining strategic, but a step that involves almost all the time, effort and expense to achieve the final goal of this process. 6

7 SUMÁRIO Resumo... 5 Abstract... 6 Lista de Figuras... 9 Capítulo 1 - Introdução Motivação Problemas Diagnosticados Surgimento da Necessidade da Pesquisa...13 Capítulo 2 - Objetivo da Pesquisa Objetivo Geral Objetivos Específicos...14 Capítulo 3 - Proposta da Pesquisa Resultados Esperados Restrições da Pesquisa Proposta Recursos Necessários para Execução do Novo Software Relação Custo x Benefício Áreas Afetadas pela Pesquisa...16 Capítulo 4 - Business Intelligence Capítulo 5 - Data Warehouse Capítulo 6 - Extração, Transformação e Carga Staging Area Modelo Dimensional Tabela Fato Tabela Fato de Transação Tabela Fato de Imagem Periódica Tabela Fato de Imagem Acumulada Tabela Dimensão Documento Lógico Fontes Heterogêneas Detecção de Mudanças Qualidade dos Dados...46 Capítulo 7 - Ferramenta para Tratamento de Dados Especificação de Requisitos Identificação dos Interessados no Sistema Principais Necessidades dos Interessados

8 7.1.3 Requisitos Funcionais Realizar Conexão Visualizar Tabelas Padronizar Dados Monitorar as execuções efetuadas Gerar dados estatísticos e logs de execução Visualizar todos os projetos departamentais Gerar mapas de execução Requisitos Não-Funcionais Segurança Restrições do Sistema Interface Entre os Agentes Externos e o Sistema Contexto de Utilização do Sistema Procedimento Contra Perdas de Informações Tratamento de Erros Possibilidades de Evolução Futura... Erro! Indicador não definido. Referências Bibliográficas

9 Lista de Figuras Figura 1 - Componentes de um Business Intelligence Figura 2 - A questão da não-volatilidade (Fonte: Inmon, 2002) Figura 3 - A questão da variação em relação ao tempo (Fonte: Inmon, 2002) Figura 4 - Estrutura do Data Warehouse (Fonte: Inmon, 2005) Figura 5 - Granularidade (Fonte: Inmon, 2002) Figura 6 - A questão da integração (Fonte: Inmon, 2002) Figura 7 - Áreas de preparação (Fonte: Kimball, 2004) Figura 8 - Integração de fontes de dados heterogêneas (Fonte: Kimball, 2004) Figura 9 - Tabela fato (Fonte: Kimball, 2002) Figura 10 - Tabela dimensão (Fonte: Kimball, 2002)

10 Capítulo 1 - Introdução A competitividade, característica do ambiente empresarial e que define as regras do processo decisório nas organizações, é o principal combustível na reavaliação dos dados que influenciam direta e indiretamente o ambiente de negócio das empresas. Sendo assim, é preciso inovar e estar atento a todos os fatores que possam causar queda na produtividade e no crescimento da organização. Surge então a necessidade de integrar os dados internos e externos ao âmbito empresarial, no intuito de gerar informações consistentes e que sirvam como base para a tomada de decisões estratégicas. A Inteligência do Negócio (Business Intelligence BI) surge em meados dos anos 80 e compreende: a aplicação de tecnologias e conceitos em processos empresariais com o objetivo de extrair informações acertadas e fundamentais para a tomada de decisão, favorecendo o aumento da vantagem competitiva. Esta atividade realizada pelo BI se contempla com o estreitamento da comunicação entre os setores departamentais, com as atividades e dados coordenados, além de permitir à organização responder mais rapidamente às mudanças que ocorrem no mercado. No entanto, para que este auxílio ocorra de forma eficaz o BI se estrutura basicamente em três pilares: Processo Decisório, Armazém de dados (Data Warehouse - DW) e Extração, Transformação e Carga (Extract, Transform and Load - ETL). [Kimball, 2002] A tecnologia de Data Warehouse é responsável por integrar bases de dados dando suporte para a atuação da equipe estratégica. As organizações, em sua grande maioria, possuem bancos de dados departamentais e independentes e isso facilita a duplicidade e inconsistência das informações. Um exemplo dessa divergência pode ocorrer ao se levantar dados que foquem um mesmo propósito, mas expostos por equipes distintas: os valores 10

11 identificados por cada uma certamente apresentarão conteúdos divergentes. A faixa de diferenciação reportada nestes dados provocaria dúvidas na Diretoria ao tomar uma decisão que afetaria o rumo do seu negócio. Sem uma unificação e integração dos dados o processo decisório passaria a ser feito de forma intuitiva e empírica. [Inmon, 1997] Segundo Gupta (1997), Data Warehouse é um ambiente estruturado, extensível, projetado para a análise de dados não voláteis, lógica e fisicamente transformados, provenientes de diversas aplicações, alinhados com a estrutura da empresa, atualizados e sumarizados para análise rápida. A principal característica de um DW é formar um histórico com as informações relevantes que passam pela organização com o intuito de se fazer projeções no negócio baseados em fatos que ocorreram no ambiente interno e externo à empresa ao longo de um determinado tempo. Para isso, antes de sua formação, estes dados são capturados de diversas fontes e posteriormente transformados, de modo a eliminar inconsistências e ambigüidades, evitando que nada seja desconsiderado por uma simples questão de sincronização em seu formato. Esta descrição é conceitualmente conhecida como ETL. Ao formar este armazém de dados, os usuários finais poderão ter acesso dinâmico a estas informações a partir de ferramentas OLAP (On-Line Analytic Processing). Estas aplicações extraem os dados do DW e constroem relatórios que respondem a suas perguntas gerenciais. ETL compreende o estabelecimento de conexões com fontes de dados operacionais. Essas conexões possuem características particulares, de acordo com cada fabricante. Cada fonte deve receber um tratamento especial de modo a possibilitar que a organização utilize dados provenientes das suas diversas fontes. Após essa etapa, os dados lidos passam por uma fase de limpeza, tratamento e conversão para que sejam adequados às regras de negócio e possam ser armazenados na base DW. Para que se tenha um retorno sobre o que ocorreu na fase de ETL, relatórios devem ser apresentados com percentuais de leitura, transformações 11

12 bem sucedidas e cargas na base de dados do DW. Essa visão levará ao Administrador de dados respostas para o aperfeiçoamento dos padrões e conseqüente aumento do grau de confiabilidade dos dados primários. [Kimball, 2004] Diante desta necessidade de dados de qualidade a Administração de Dados revela então uma dependência do processo de ETL. Com isso, cada vez mais as empresas vêm buscando o domínio sobre todos os padrões e formas utilizadas nos dados dos sistemas, pois isso minimiza problemas no processo de extração de dados. 1.1 Motivação A crescente necessidade de aprimorar os meios de auxílio à tomada de decisão dentro das empresas possibilitou o desenvolvimento de tecnologias que visam integrar as diferentes fontes de informação, de modo a assegurar a acuracidade destes dados. O ETL tem papel fundamental dentro desse processo, pois engloba a extração dos dados transacionais, a transformação e carga em uma base corporativa e analítica. É importante que durante a etapa ETL exista uma preocupação quanto à qualidade e confiabilidade dos dados para que seja evitada a duplicidade de informações e inconsistências no DW. A tomada de decisão possui papel fundamental para a permanência de uma organização no mercado e precisa ser baseada em informações confiáveis, seguras e coerentes com os seus objetivos. 1.2 Problemas Diagnosticados Necessidade da apresentação de dados estatísticos referentes às cargas efetuadas tempo de execução, número de registros lidos com sucesso, não lidos, transformados, gravados com sucesso e rejeitados; 12

13 Dificuldades com a má administração dos dados propiciam a ocorrência de inconsistências e duplicidades, uma vez que um mesmo dado pode aparecer em mais de uma base com nomes e formatos diferentes; Dificuldades em se conseguir uma conversão de dados sincronizada com todos os bancos e com um alto nível de qualidade e segurança; Complexidade em estabelecer conexões com todos os bancos de dados transacionais existentes, devido a diferenças em suas estruturas e gerenciamentos; Dificuldades em se identificar as reais alterações ocorridas na base de dados transacional, forçando a leitura de todos os registros. 1.3 Surgimento da Necessidade da Pesquisa Tendo em vista as falhas encontradas e a importância da etapa de ETL, torna-se evidente a necessidade de construção de uma ferramenta que evite ou minimize os impactos negativos nas fases seguintes do BI. 13

14 Capítulo 2 - Objetivo da Pesquisa 2.1 Objetivo Geral Detalhar o processo de ETL e produzir uma ferramenta que contemple algumas das funcionalidades executadas nessa etapa. 2.2 Objetivos Específicos Possibilitar que a administração dos dados seja executada de maneira eficiente, auxiliada pela criação de metadados e padronização dos tipos dos campos; Possibilitar a conversão automática dos tipos de dados quando repositórios com definições diferentes forem utilizados; Possibilitar o estabelecimento de conexão com os diversos bancos de dados; Possibilitar a identificação dos registros que realmente deverão ser carregados, evitando as leituras de toda a base; Possibilitar a geração de dados estatísticos e logs de execução. 14

15 Capítulo 3 - Proposta da Pesquisa 3.1 Resultados Esperados Obter ao final da pesquisa, uma ferramenta ETL que possibilite uma eficiente administração e permita que seja alcançado um alto nível de qualidade dos dados. 3.2 Restrições da Pesquisa Proposta Apesar da citação inicial, não será detalhado o ponto que faz referência à possibilidade de identificação dos registros que realmente deverão ser carregados, o que evitaria a leitura de toda a base. Além disso, não será esmiuçado o ponto que faz referência a geração de dados estatísticos e logs de execução. 3.3 Recursos Necessários para Execução do Novo Software Descrição do Hardware Ideal o Cliente: Processador AMD Turion 1.6 GHz ou Intel Core 2 Duo 1.6 GHz, Memória RAM 2 GB, HD 120 GB. o Servidor: Processador Opteron Dual Core 2.6 GHz, 4 GB RAM, 4 HDs Ultra SCSI, 300 GB com possibilidade de expansão. Descrição do Hardware Mínimo o Cliente: Processador AMD Sempron 1.6 GHz ou Intel 1.3 GHz, Memória RAM 512 MB, HD 80 GB. o Servidor: Processador AMD Turion 1.6 GHz ou Intel Core 2 Duo 1.6 GHz, Memória RAM 2 GB, HD 120 GB. Descrição do Software o Sistema operacional Unix ou Windows de 32 bits, Máquina Virtual Java 5. 15

16 Configuração da Rede o LAN ou Ethernet, 100 mbps. Configuração do Banco de Dados o O banco de dados estará presente no Servidor. Banco: MySQL 5. Pessoal Exigido o Um Gerente de Projeto, dois Analistas/ Programadores. 3.4 Relação Custo x Benefício Pesquisa economicamente viável, demandando gastos referentes aos recursos materiais e humanos para o desenvolvimento e manutenção. O custo ao final do Projeto é justificado pelo benefício fornecido pela utilização da ferramenta que proporcionará melhor utilização e armazenamento de dados de importância fundamental para a tomada de decisão. 3.5 Áreas Afetadas pela Pesquisa Dentre as diversas áreas que se encontram envolvidas no foco desta Pesquisa, podemos ressaltar: - Setor Estratégico: Responsável por analisar as informações que foram capturadas, tratadas e entregues numa base unificada. Passará a analisar dados provindos de uma fonte especialmente tratada e padronizada; - Administração de Dados: Responsável pelo aperfeiçoamento dos padrões utilizados e busca por uma maior confiabilidade dos dados. Passará a analisar os resultados obtidos do processo de transformação e padronização e verificarão se esse processo deverá sofrer ou não alteração; 16

17 - Administração de ETL: Responsável pelo manuseio da ferramenta que realizará o processo de Extração, Transformação e Carga. Passará a analisar se as funcionalidades da ferramenta condizem com o que definido; - Administração de Banco de Dados: Responsável pelo gerenciamento dos bancos de onde os dados serão provindos. Passará a disponibilizar os mecanismos de acesso a estes bancos para possibilitar a extração destes pela ferramenta de ETL. 17

18 Capítulo 4 - Business Intelligence O termo Business Intelligence (BI) foi cunhado pelo grupo Gartner, no final dos anos 80 e definido como um processo que engloba o acesso e exploração da informação, a análise destas informações, bem como o desenvolvimento de conhecimento e compreensão, o que leva a uma melhor tomada de decisão. Business Intelligence pode ser entendido também como um conceito que envolve a Inteligência Competitiva (CI), a Gerência de Conhecimento (KMS) e a IBI (Internet Business Intelligence), pesquisa e análise de mercado, relacionados à nova era da Economia da Informação, dedicada a captura de dados, informações e conhecimentos que permitem as organizações competirem com maior eficiência no contexto atual, é um conjunto de ferramentas utilizado para manipular uma massa de dados operacional em busca de informações essenciais para o negócio [Mello, 2006]. Mais detalhadamente, CI é um processo sistemático que visa descobrir as forças que regem os negócios, reduzir o risco e conduzir o tomador de decisão a agir antecipadamente, bem como proteger o conhecimento gerado. KMS teve sua discussão emergida nos anos 90 e objetiva gerenciar o conhecimento acumulado dos recursos humanos da empresa a fim de transformá-los em ativos da empresa. Ela cria condições para que o conhecimento seja criado, socializado, externalizado dentro da empresa, transformando-o de tácito em explícito. IBI consiste na incorporação da web no conceito de BI, e na utilização deste meio como troca de informações dentro e fora das empresas. Dentre as vantagens remetidas ao uso do BI podem-se ressaltar aquelas que estão relacionadas com o acesso a informação de qualidade que permite que as empresas conheçam melhor a sua realidade, quer seja interna, quer seja voltada para o exterior, permitindo-lhes obter importantes indicadores que irão melhorar o desempenho da sua atuação e a inovação tão necessária ao seu crescimento. Mais especificamente, o BI é um conceito que permite: 18

19 Alinhar projetos de tecnologia com as metas estabelecidas pelas empresas na busca pelo máximo retorno do investimento; Ampliar a compreensão das tendências dos negócios, ao propiciar mais consistência no momento de decisão de estratégias e ações; Permitir uma análise de impacto sobre rumos financeiros e organizacionais, com o objetivo de criar mudanças nas iniciativas gerenciais; Facilitar a identificação de riscos e gerar segurança para migração de estratégias, criando maior efetividade nas implementações dos projetos; Permitir um planejamento corporativo mais amplo, ao substituir soluções de menor alcance por resultados integrados pela informação consistente; Gerar, facilitar o acesso e distribuir informação de modo mais abrangente, para obter envolvimento de todos os níveis da empresa e todos aqueles que possam, ao usá-la, agregar mais valor; Ligar e consolidar dados de diferentes sistemas de modo a oferecer uma visão comum do desempenho da empresa; Automatizar tarefas, eliminando os erros ao colocar as pessoas no fim dos processos; Oferecer dados estratégicos para análise com um mínimo de atraso em relação a uma transação ou evento dentro da empresa; Torna-se imprescindível ressaltar que Business Intelligence é um conceito em constante evolução que deve estar sempre alinhado aos interesses da empresa e caminhar em direção ao alcance das metas estabelecidas. No entanto, para que a utilização do BI tenha como premissa a corretitude e com isso, um alcance mais efetivo do que se deseja com o seu uso, dois pontos importantes na infra-estrutura tecnológica do processo de BI devem ser assegurados [Almeida, Ishikawa, Reinschmidt & Roeber, 1999]: 19

20 Sistemas de Front-End: SAD (Sistemas de Apoio a Decisão. Ex: ERP Enterprise Resource Planning; CRM Customer Relationship Management), EIS (Executive Information System), Enterprise Reporting (Relatórios Corporativos), Dashboards (Painéis de Controle) e ferramentas de consulta analítica OLAP (On-line Analytical Processing); Sistemas de Back-End: Armazém de dados (Data Warehouse), Data Mart, ferramentas de dados (Data Mining) e ferramentas de tratamento de dados ETL (Extraction Transformation and Load). Figura 1 - Componentes de um Business Intelligence O processo de ETL, como alicerce para o BI, tem como importância garantir a edificação de uma base de dados consistente para que possa ser evitada uma possível visão dissonante sobre a mesma informação. 20

21 As ferramentas de ETL possibilitam cinco operações principais: A primeira delas refere-se à extração dos dados que podem estar em fontes internas (sistemas transacionais, bancos de dados etc.) ou externas (em sistemas fora da empresa). Em seguida, é preciso fazer a limpeza dos dados. Nessa etapa, são corrigidas algumas imperfeições contidas na base de dados transacional, com o objetivo de fornecer ao usuário dados concisos, não redundantes e com qualidade, permitindo uma análise baseada nos valores mais próximos dos reais. A terceira operação refere-se ao processo de transformação do dado. Normalmente, os dados vêm de vários sistemas diferentes e por isso se faz necessário padronizar os diferentes formatos em um só. A quarta etapa diz respeito ao processo de carga do DW, que em geral é feito a partir de um banco de dados temporário, no qual os dados armazenados já passaram pela limpeza e integração. E, finalmente, há a etapa de atualização dos dados (Refresh). Estes dados serão posteriormente utilizados para o auxílio de tomada de decisão. 21

22 Capítulo 5 - Data Warehouse Data Warehouse é o conjunto de dados baseado em assuntos, integrado, não-volátil, e variável em relação ao tempo, de apoio às decisões gerenciais [Inmon, 1997]. A primeira característica do DW ressaltada neste conceito: ser baseado em assunto, assim o é por ter a responsabilidade de retornar informações referentes ao negócio da empresa. No entanto, antes que estas informações possam estar disponibilizadas é necessário que haja uma integração entre os dados das diferentes aplicações existentes na organização. O papel da integração é padronizar os dados existentes, obrigando que a inserção ocorra com dados num formato uniforme. A característica de não-volatilidade do Data Warehouse referese ao fato de que, como se constitui em um histórico, não ocorrem atualizações nos dados em seu ambiente, o seu propósito é armazenar as suas diferentes versões para se estabelecer projeções ou simulações de cenários. Como dito anteriormente, o DW também é variável em relação ao tempo, isso se manifesta da seguinte maneira [Inmon, 1997]: O horizonte de tempo válido para o Data Warehouse é significativamente maior do que o dos sistemas operacionais. Um horizonte de tempo de 60 a 90 dias é o normal para os sistemas operacionais; um horizonte de tempo de 5 a 10 anos de dados é o normal para o Data Warehouse. Bancos de Dados operacionais contêm dados de valor corrente dados cuja exatidão é válida para o momento de acesso. Assim sendo, dados de valor corrente podem ser atualizados. Dados existentes no Data Warehouse não passam de uma série sofisticada de instantâneos, capturados num determinado momento. A estrutura de chaves dos dados operacionais pode conter, ou não, elementos de tempo, como ano, mês, dia. A estrutura de chave do Data Warehouse sempre contém algum elemento de tempo. 22

23 Não-volatilidade Operacional Data warehouse inserir alterar deletar acesso inserir deletar alterar carga acesso Manipulação dos dados registro por registro Carga em massa/ acesso dos dados Figura 2 - A questão da não-volatilidade (Fonte: Inmon, 2002) Variação em relação ao tempo Operacional Data warehouse horizonte de tempo atual até dias alteração de registros estrutura de chaves pode/não pode conter elemento de tempo horizonte de tempo 5-10 anos imagens sofisticadas de dados estrutura de chaves contém elemento de tempo Figura 3 - A questão da variação em relação ao tempo (Fonte: Inmon, 2002) A estrutura do Data Warehouse é caracterizada pela diferenciação dos dados em: [Inmon, 1997] Dados em nível de detalhe mais antigo: Neste caso os dados armazenados possuem um tempo de alocação mais significativo, como por exemplo, 10 (dez) anos. Dados em nível de detalhe corrente: Neste caso os dados armazenados possuem um tempo de alocação corrente e uma probabilidade maior de ter realizada a sua consulta. 23

24 Dados em nível levemente resumido, referentes apenas a um departamento ou pequena parte da organização: Neste caso os dados são armazenados em DataMarts. Dados em nível altamente resumido: Neste caso os dados armazenados permitem uma maior possibilidade de consultas. [Inmon, 1997] Dados que apresentam alta probabilidade de acesso e baixo volume de armazenamento reside em um meio rápido e relativamente caro. Dados que apresentam baixa probabilidade de acesso e grande volume de armazenamento residem em um meio menos dispendioso e de acesso mais lento. Altamente resumido Vendas mensais por linha de produtos M e M e t a d a o d o Levemente resumido (datamart) Detalhes atuais Vendas semanais por linha de subprodutos Detalhes das vendas Transformação operacional Detalhes antigos Detalhes das vendas Figura 4 - Estrutura do Data Warehouse (Fonte: Inmon, 2005) Esta diferenciação dos dados quanto ao seu detalhamento se traduz como Granularidade. Quanto mais alto o nível de granularidade, menos detalhe contido em seus dados. Quanto menor o nível de granularidade, mais detalhe contido em seus dados. Essa característica do Data Warehouse também definirá a sua proporção (tamanho). No exemplo da figura 4, observa-se que no lado esquerdo ocorre o aparecimento de um baixo de nível de granularidade: cada chamada telefônica é registrada em detalhe, ou seja, 24

25 ao final de um mês cada cliente possui em média 200 registros que acarretam, juntos, um valor próximo a 40 mil bytes. No lado direito o nível de granularidade é alto: para cada mês, há um registro para cada cliente, e este registro necessita de aproximadamente 200 bytes. Percebe-se então, uma discrepância no detalhamento nos dois casos. [Inmon, 1997] Alto nível de detalhe Granularidade Baixo nível de detalhe EXEMPLO: Os detalhes de cada chamada telefônica por cliente por mês bytes por mês 200 registros por mês EXEMPLO: O resumo das chamadas telefônicas por cliente por mês 200 bytes 1 registro por mês 01 atividaderec. 02 data 02 tempo 02 para quem 02 chamada completada 02 tempo completado 02 longa distância 02 celular 02 taxa especial atividaderec. M 02 mês e t 02 chamadasacum a 02 duraçãomedia d 02 longadistanciaacum a 02 InterrupçãoAcum d o Figura 5 - Granularidade (Fonte: Inmon, 2002) A enorme quantidade de dados de detalhe corrente que será atingido pelo Data Warehouse será inevitável, e a dificuldade em gerenciar essa gama de dados será proporcional ao seu tamanho. No entanto, para facilitar esta atividade a técnica de Particionamento de Dados é utilizada. Particionar significa distribuir os dados em unidades físicas menores com a finalidade de aumentar a flexibilidade no gerenciamento dos dados e melhorar o desempenho das consultas realizadas. 25

26 Quando os dados residem em unidades físicas de tamanho maior, entre outras coisas, eles não podem ser [Inmon, 1997]: Reestruturados facilmente; Indexados livremente; Pesquisados sequencialmente, se necessário; Reorganizados facilmente; Recuperados facilmente; Monitorados facilmente. Existem diversas formas de se organizarem a estruturação dos dados no Data Warehouse. Dentre as mais utilizadas encontram-se [Inmon, 1997]: Dados Cumulativos Simples: Neste caso os dados são transportados do ambiente operacional para o DW e depois são compactados em forma de registros. Esta compactação terá como regra a forma como o DW foi organizado. As transações são resumidas por dia. Dados de Resumo Rotativo: Neste caso os dados são transportados do ambiente operacional para o DW e a forma como eles são organizados ocorre da seguinte maneira: Nos primeiros sete dias da semana, a atividade é resumida em sete posições diárias. Depois estas sete posições são acumuladas e colocadas na primeira posição semanal. E assim, mensalmente e anualmente. Existem algumas vantagens e desvantagens na utilização destas duas formas de estruturação dos dados [Inmon, 1997]: Dados de Resumo Rotativo: Bem compactado; Alguma perda de detalhe; Quanto mais antigos os dados se tornam, menos detalhes são mantidos. 26

27 Dados Cumulativos Simples: Grande demanda por armazenamento; Nenhuma perda de detalhe; Muito processamento para qualquer tratamento de dados. O Data Warehouse é formado pelos dados oriundos dos sistemas operacionais existentes na organização. No entanto, a captura destes dados constitui uma tarefa nada simples, pois é necessário que algumas medidas sejam tomadas já que estes sistemas muitas vezes não estão integrados. A falta de integração é identificada, por exemplo, quando mesmos dados são rotulados de maneiras diferentes ou então quando os mesmos dados existem em locais distintos. Um exemplo simples da falta de integração é o fato de os dados não poderem ser codificados de forma coerente, como exemplificado na codificação de gênero. Em uma aplicação, o gênero é codificado como m/f. Em outra, ele é codificado como 0/1. À medida que os dados passam para o Data Warehouse, os diferentes valores precisam ser corretamente decodificados e recodificados com o valor apropriado. [Inmon, 1997] A transformação de campos é outra questão de integração. O mesmo campo existe em quatro aplicações com quatro nomes diferentes. Para que os dados sejam passados corretamente para o Data Warehouse é necessário que ocorra um rastreamento comparativo entre os diferentes campos existentes e os campos do DW. [Inmon, 1997] Para que a utilização do DW ocorra de forma eficiente e eficaz é necessário que haja uma aplicação de esforço anterior a sua implementação, pois é preciso que os dados contidos nele estejam integrados. 27

28 Figura 6 - A questão da integração (Fonte: Inmon, 2002) Uma das partes mais complexas do processo de edificação do Data Warehouse é o processo de preparação dos dados que serão inseridos. Nesta fase, algumas atividades são essenciais para que ao final haja sucesso. Dentre ela temos [Inmon, 1996]: A extração de dados do ambiente operacional para o ambiente de Data Warehouse demanda uma mudança na tecnologia; A seleção de dados do ambiente operacional pode ser muito complexa; Os dados são reformatados; Os dados passam por uma limpeza; Acesso a diferentes fontes de dados; 28