Fundamentos e Aplicações de BI

Transcrição

1 Fundamentos e Aplicações de BI Graduação Tecnológica: Tecnologia da Informação Autor: Prof. Carlos Eduardo Gertners de Magalhães

2 SUMÁRIO SUMÁRIO... 2 LISTA DE FIGURAS... 3 UNIDADE I INTRODUÇÃO AO BUSINESS INTELLIGENCE Histórico Evolução Objetivos de BI Dado versus Informação versus Conhecimento versus Decisão UNIDADE II FERRAMENTAS DE BUSINESS INTELLIGENCE BPM BAM Data Warehouse Metadados Data Mart Data Mining EIS OLAP ETL DSS Árvore de Decisão Redes Neurais Geradores de Consultas e Relatórios GIS e GPS UNIDADE III ESTUDOS DE CASO ANEXO 1 Bibliografia/Webliografia

3 LISTA DE FIGURAS Figura 1: Principais componentes do DW Figura 2: Indicação de agregação de algumas dimensões Figura 3: Sugestão de consulta baseado em alguns itens da dimensão Figura 4: Exemplo de um Modelo Multimensional Estrela Figura 5: Estrutura de uma árvore de decisão Figura 6: Exemplos de Treino Figura 7: Árvore de decisão baseada no exemplo do treino Figura 8: Relação entre elementos da árvore, atributos, valores e classificações Figura 9: Árvore de decisão quando Aspecto=Sol e Vento=Fraco Figura 10: Árvore de decisão quando Aspecto=Sol ou Vento=Fraco

4 UNIDADE I INTRODUÇÃO AO BUSINESS INTELLIGENCE 1.1-Histórico O conceito prático, de Business Intelligence (BI), foi usado pelos povos antigos. A sociedade do Oriente Médio antigo utilizavam os princípios básicos do BI quando cruzavam informações obtidas junto à natureza em benefício de suas aldeias. Analisar o comportamento das marés, os períodos chuvosos e de seca, a posição dos astros, entre outras eram formas de obter informações que seriam utilizadas para tomar decisões importantes, permitindo a melhoria de vida de suas respectivas comunidades. É evidente que o mundo em que vivemos mudou desde então, porém o conceito permanece inalterado. A necessidade de cruzar informações para a realização de uma gestão empresarial eficaz é atualmente uma realidade tão encravada em nossa sociedade quanto no passado. Business Intelligence ou Inteligência de negócios refere-se ao processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a gestão de negócios. A Inteligência Empresarial, ou Business Intelligence, é um termo do Gartner Group. O conceito surgiu na década de 80 e descreve as habilidades das corporações para acessar dados e explorar as informações (normalmente contidas em um Data Warehouse/Data Mart), analisando-as e desenvolvendo percepções e entendimentos a seu respeito, o que as permite incrementar e tornar mais pautada em informações a tomada de decisão. As organizações tipicamente recolhem informações com a finalidade de avaliar o ambiente empresarial, completando estas informações com pesquisas de marketing, industriais e de mercado, além de análises competitivas. Organizações competitivas acumulam "inteligência" à medida que ganham sustentação na sua vantagem competitiva, podendo considerar tal inteligência como o aspecto central para competir em alguns mercados. Cada sistema de BI determina uma meta específica, tendo por base o objetivo organizacional ou a visão da empresa, existindo em ambos objetivos, sejam eles de longo ou curto prazo. O grande desafio de todo indivíduo que gerencia qualquer processo é a análise dos fatos relacionados a seu dever. Ela deve ser feita de modo que, com as ferramentas e dados disponíveis, o gerente possa detectar tendências e tomar decisões eficientes e no tempo correto. Com essa necessidade surgiu então o conceito de Business Intelligence. 4

5 A história do Business Intelligence que conhecemos hoje, começa na década de 70, quando alguns produtos de BI foram disponibilizados para os analistas de negócio. O grande problema era que esses produtos exigiam intensa e exaustiva programação, não disponibilizavam informação em tempo hábil nem de forma flexível, e além de tudo tinham alto custo de implantação. Com o surgimento dos bancos de dados relacionais, dos PCs e das interfaces gráficas como o Windows, aliados ao aumento da complexidade dos negócios, começaram a surgir os primeiros produtos realmente direcionados aos analistas de negócios, que possibilitavam rapidez e uma maior flexibilidade de análise. 1.2-Evolução O atual interesse pelo BI vem crescendo assustadoramente na medida em que seu emprego possibilita às organizações realizar uma série de análises e projeções, de forma a agilizar os processos relacionados às tomadas de decisão. Período Idade Antiga Século XVI Década de 60 Década de 70 Década de 80 QUADRO EVOLUTIVO DO BI O que aconteceu?. Povos do Oriente Médio cruzavam informações da natureza, marés, etc. para analisarem a viabilidade do cultivo de determinadas espécies, períodos de pesca abundante, etc.. Rainha Elizabeth I, determinou que a base da força inglesa fosse informação e comércio e ordenou então ao filósofo Francis Bacon que inventasse um sistema dinâmico de informação, o qual foi amplamente aplicado pelos ingleses.. Evolução dos computadores que deixaram de ocupar salas enormes, na medida em que diminuíram de tamanho.. As empresas passaram a perceber os dados como uma possível e importante fonte geradora de informações decisórias e que renderiam eventuais lucros.. Época dos cartões perfurados.. Predominância das linguagens de programação: COBOL, ASSEMBLY e FORTRAN.. Evolução das formas de armazenamento e acesso a dados DASD e SGBD. DASD Direct Access Storage Device dispositivo de armazenamento de acesso direto (ex.: HD). SGBD Sistema Gerenciador de Banco de Dados.. Desenvolvido o EIS. EIS Executive Information System ou Sistema de Informação Executiva.. Desenvolvimento e evolução das linguagens de programação CLIPPER e PASCAL.. Início da aplicação do termo Business Intelligence. 5

6 Década de 90 A partir do ano Início do uso do termo CPD nas empresas.. Desenvolvimento do Data Warehouse.. O setor corporativo passou a se interessar pelas soluções de BI.. Evolução dos conceitos de DSS (Decision Support System sistema de suporte à decisão), Planilhas Eletrônicas, Geradores de Consultas e de Relatórios, Data Marts, Data Mining, Ferramentas OLAP, entre outras.. Estreitamento das conexões entre o BI e o ERP. ERP Enterprise Resource Planning. Ou SIGE (Sistemas Integrados de Gestão Empresarial). São sistemas de informação que integram todos os dados e processos de uma organização em um único sistema. A integração pode ser vista sob a perspectiva funcional (sistemas de: finanças, contabilidade, recursos humanos, fabricação, marketing, vendas, compras, etc.) e sob a perspectiva sistêmica (sistema de processamento de transações, sistemas de informações gerenciais, sistemas de apoio à decisão, etc.). Os ERPs em termos gerais, são uma plataforma de software desenvolvida para integrar os diversos departamentos de uma empresa, possibilitando a automação e armazenamento de todas as informações de negócios.. Surgimento do termo e-business. e-business Electronic Business, negócio eletrônico. É o termo que se utiliza para identificar os negócios efetuados por meios eletrônicos, geralmente na Internet. Muitas vezes é associado ao termo comércio eletrônico. Conjunto de sistemas de uma empresa que se interligam e interagem com os sistemas de diversas outras empresas servindo como a infra-estrutura do e-commerce (comércio eletrônico). E-business tem como aplicação a criação de sistemas capazes de prover comunicação entre empresas agilizando os processos de compra e venda entre as mesmas. Existem inclusive sistemas que fazem pedidos automáticos para outras empresas de acordo com o seu estoque de produtos, facilitando assim todo o processo de fabricação e venda. Melhorar a disponibilidade de produtos de acordo com a demanda pelos mesmos. 6

7 1.3-Objetivos de BI Analisar os dados corporativos de maneira simples, no formato correto e no tempo certo, para que a empresa possa tomar decisões melhores e mais rápidas. Essa solução tem como finalidade transformar dados em informação e informação em conhecimento. Cenário encontrado em muitas empresas antes de usar BI. Diferentes Bases de Dados (ERP, Sistemas Internos, etc.).. Integridade dos dados no nível Operacional.. Dificuldade em atender o nível Tático/Estratégico. Nível Estratégico É aquele que geralmente é executado com uma visão mais mediata, isto é, mais a longo prazo e, dada à sua natureza e seu grau de importância para a organização, representa um impacto mais amplo, profundo e duradouro sobre a mencionada organização. É importante frisar que, como o planejamento estratégico, na maioria das organizações, é elaborado pelo seu mais alto escalão hierárquico, o mesmo deverá contemplar uma série de decisões que deverão ser tomadas nos demais níveis hierárquicos da organização. Ex: Missão: é o motivo principal da existência de uma organização, demonstrando seu verdadeiro papel perante as sociedades interna e externa, onde ela atua. Nível Tático Traduzir as decisões estratégicas em ações efetivas a serem implementadas pelos mais diversos setores da organização. Desta forma, o nível tático tem seu foco mais específico. No nível tático, existe um menor nível de incerteza para as tomadas de decisões. O tempo de planejamento no nível tático, é a médio prazo. Ex: Política de Recrutamento e Seleção de Pessoal. Nível Operacional Os esforços são direcionados para cada processo ou projeto da organização. São aplicadas em setores específicos e apresentam impactos limitados. O tempo de planejamento no nível operacional é a curto prazo. As decisões operacionais são eminentemente técnicas, isto é, sem um forte alcance de cunho político-social. Ex: Levantamento da Necessidade de Treinamento.. Criação de Ilhas de informação (Relatórios/Planilhas).. Os dados dos relatórios/planilhas não batem entre si.. Reuniões com decisões inconsistentes. 7

8 Comentários prováveis de ocorrer sem o uso do BI. Mascaram problemas existentes.. Não detalham de onde veio a informação.. Dificuldade em otimizar os resultados. otimizar Dar a uma máquina, a uma empresa o rendimento ótimo, criando as condições mais favoráveis ou tirando o melhor partido possível.. Dificuldade no acompanhamento de resultados.. Dificuldade no redirecionamento estratégico. Alguns benefícios ao usar BI. Analisar com facilidade todos os dados da empresa;. Não depender da geração de relatórios para a tomada de decisão;. Agilidade e precisão na tomada de decisões;. Consistência na avaliação de desempenho da empresa;. Otimização de resultados;. Agilidade e precisão na definição, acompanhamento e realinhamento estratégico;. Analisar e antecipar mudanças no mercado;. Analisar e descobrir novos nichos de mercado;. Analisar e antecipar movimentos e ações dos competidores;. Analisar e descobrir novos potenciais competidores;. Aprender com os sucessos e as falhas anteriores;. Avaliar o impacto de novas tecnologias, produtos ou processos que afetem o seu negócio;. Analisar políticas, leis ou mudanças regulamentais que possam afetar o seu negócio;. Analisar e reformular seus processos e práticas de negócio;. Integridade e unicidade de conceitos e informações;. Maior eficiência operacional e administrativa;. Aumento da competitividade da empresa. 8

9 Exemplo do que se pode conseguir com o BI Resultado de uma pesquisa em 50 empresas de portes variados e em diferentes regiões do Brasil. 1. Está satisfeito com as políticas de tratamento individual? Antes BI (%) Após BI (%) Ótimo Bom Razoável 10 2 Péssimo Nossos produtos e serviços estão sendo bem aceitos pelo mercado consumidor? Antes BI (%) Após BI (%) Ótimo Bom Razoável 8 4 Péssimo O tempo de atendimento aos novos prospects reduziu? prospects = futuros clientes. Antes BI (%) Após BI (%) Ótimo Bom Razoável 22 2 Péssimo O tempo de resposta para questionamentos de clientes está dentro do previsto? Antes BI (%) Após BI (%) Ótimo Bom Razoável 16 6 Péssimo 6 0 9

10 1.4-Dado versus Informação versus Conhecimento versus Decisão O BI, na sua essência, trata apenas da tomada de decisão eficaz. No entanto, é de fundamental importância, sabermos de onde partiu determinada decisão no âmbito da Empresa. Dado é a personificação simplista de uma coisa que não nos traz nenhum sentido ou que nos gera um sentido duplo. Exemplo: Se colocarmos no quadro a sequência 24/05/1975 muitas conclusões podemos analisar:. É uma sequência de números?. Código para determinada ação?. Uma data (para os países que utilizam a forma Ocidental de representação)?. Somente números separados por uma barra invertida. Não é possível ter certeza do que vem a ser esta sequência de números se não temos mais informações sobre ele. No entanto, se um outro detalhe é adicionado ao exemplo: é a data de nascimento da Maria. Assim conseguimos identificar e eliminar as duas primeiras e a última alternativa acima. Agora SABEMOS... Este é o conhecimento! Dessa forma sabmos que a Maria nasceu no dia 24/05/1975. O outro passo, mais importante e o intuito deste trabalho, é a DECISÃO! O que será feito com ela será de responsabilidade dos gestores (tomadores) de decisão... Pode-se mandar um presente, um cartão. Quando não se aplica os conceitos, técnicas e sistemas de Business Intelligence, os gestores e tomadores de decisão possuem apenas a sequência de números... impraticável tomar uma decisão somente com isso. Ou ter a informação completa e consequentemente possuir o conhecimento, no entanto, não tomar uma decisão. Nos 2 casos citados acima, aconteceram falhas, pois quando não se tinha o conhecimento, não tomou-se a iniciativa da decisão e quando tinha o conhecimento, simplesmente o mesmo foi descartado. 10

11 UNIDADE II FERRAMENTAS DE BUSINESS INTELLIGENCE 2.1-BPM BPM Business Performance Management. É uma forma de orientar seus negócios ativamente na direção que você deseja, de forma rápida e precisa, em vez de passivamente criticar os resultados depois dos fatos já terem ocorrido. Esse termo denota uma abordagem de análise global para a tomada de decisões nos negócios, com o objetivo de melhorar a capacidade de entendimento dos negócios e gerenciar sua performance em todos os níveis, incluindo acionistas, gerentes, staff (grupo de trabalho), clientes e fornecedores dentro de um ambiente de gerenciamento integrado. A importância de se obter os indicadores mais rapidamente e com maior precisão é de subsidiar o processo de tomada de decisão em tempo real. Existem 2 tipos de BPM: o Business Performance Measurement (medidas) e o Business Performance Management (gerenciamento). As BPM de medidas são aquelas aplicações que utilizam KPIs (Key Performances Indicators ou indicadores chaves de desempenho) para medir a performance, ou que utilizam a informação comparativa do mercado (comparações com os concorrentes), OLAP navegação entre várias métricas de performance em dimensões de negócio e oferecem apoio na fase de análise do ciclo de negócio. As BPM de gerenciamento são aquelas que apóiam a modelagem ou exploração de cenários e levam o usuário um passo além, possibilitando a consideração das implicações de cursos alternativos de ações (em vez de simplesmente explorar o que aconteceu e porque). Podem suportar modelagem preditiva, fecham as pontas entre os sistemas operacionais e analíticos e permitem o gerenciamento da performance da empresa. Modelagem Preditiva É uma ferramenta de negócio extremamente poderosa e uma fonte de vantagem competitiva para as empresas que fazem uso intensivo dessa ferramenta. Entendimento profundo do seu negócio. O processo de criação de modelos preditivos é extremamente rico na geração de insights de negócio. Um bom modelo preditivo implica na separação dos fatores que melhor explicam uma questão de negócio e, portanto, implica em um profundo conhecimento das variáveis que explicam o comportamento medido. É um conceito que une gestão de negócios e tecnologia da informação com foco na otimização dos resultados das organizações através da melhoria dos processos de negócio. São utilizados métodos, técnicas e ferramentas para analisar, modelar, publicar, otimizar e controlar processos envolvendo recursos humanos, aplicações, documentos e outras fontes de informação. 11

12 2.2-BAM A revolução do BI e do BPM acabou gerando mais uma forma de controle chamada de BAM (Business Activity Monitoring - monitoramento da atividade de negócio). Esse tipo de controle sempre foi perseguido pelas empresas e existia de uma forma ou de outra. Com sua evolução, ela começa a aparecer cada vez mais nas empresas. A idéia é simples: coloque uma interface parecida com a de controle de velocidade dos carros no computador de alguém e a conecte com vários dados críticos de desempenho em tempo real de suas operações, tais como vendas por hora, produtividade, eficiência, etc. A racionalidade da coisa está em que o executivo precisa ter acesso à informação quando ela acontecer, exatamente como os controles de um carro, como a velocidade, que você precisa adaptar as condições da estrada, por exemplo. BAM é um software que pode exteriorizar em tempo real informações de negócio que são importantes de alguma maneira. Você pode organizar os BAMs em 3 tipos básicos: Métricas de Processo São tecnologias de integração de processos que mostram informação em tempo real como parte do processo do mecanismo de integração. Assim você não só pode criar como meta processos acima dos processos existentes na empresa, como exteriorizar suas informações em tempo real e até mesmo calcular hipóteses usando os dados fornecidos. Elas não oferecem uma verdadeira capacidade de decisão, mas somente monitoração sobre um processo. BAM passivo É o que vemos atualmente nas empresas. São servidores de integração que permitem mostrar as informações em tempo real de uma forma simples para os usuários finais. Os usuários podem observar o estado de seus negócios e fazer as mudanças necessárias, embora elas não sejam implementadas pelo sistema BAM. BAM ativo Este tipo de sistema é mais complexo. Usando essa tecnologia, você não só pode monitorar ou calcular usando os dados oferecidos em tempo real, mas também tomar ações usando lógicas pré-programadas. Por exemplo, estabelecer uma regra que faz pedidos para seu fornecedor tão logo o estoque esteja abaixo de um certo limite. O objetivo do Monitoramento de Atividades de Negócio (BAM) é fornecer um gerenciamento com conscientização imediata da mudança dos eventos de negócios em todo o processo, para que as decisões apropriadas e oportunas possam ser tomadas. Em tempo real, o monitoramento das atividades de negócios acionadas por eventos, fornecem alertas, que podem requerer ações imediatas com a mudança dos indicadores de performance chave. As informações provenientes do Monitoramento de Atividades de Negócio proporcionam insights (percepções) aos executivos envolvidos nos processos analisados, permitindo uma constante adequação e planejamento estratégico. Por meio da utilização de informações em tempo real é possivel remover atrasos no gerenciamento e execução de processos de negócio empresariais críticos, o BAM. 12

13 2.3-Data Warehouse É uma coleção de dados derivados dos dados operacionais para sistemas de suporte à decisão. Estes dados derivados são, muitas vezes, referidos como dados gerenciais, informacionais ou analíticos. Os bancos de dados operacionais (OLTP) armazenam as informações necessárias para as operações diárias da empresa, são utilizados por todos os funcionários para registrar e executar operações pré-definidas, por isso seus dados podem sofrer constantes mudanças conforme as necessidades atuais da empresa. Por não ocorrer redundância nos dados e as informações históricas não ficarem armazenadas por muito tempo, este tipo de banco de dados não exige grande capacidade de armazenamento (com algumas exceções). Já um DW armazena dados analíticos, destinados às necessidades da gerência no processo de tomada de decisões. Isto pode envolver consultas complexas que necessitam acessar um grande número de registros, por isso é importante a existência de muitos índices criados para acessar as informações da maneira mais rápida possível. Um DW armazena informações históricas de muitos anos e por isso deve ter uma grande capacidade de processamento e armazenamento dos dados que se encontram de duas maneiras: detlhados e resumidos. Algumas diferenças entre banco de dados OLTP e banco de dados DW: Características Banco de Dados OLTP Banco de Dados DW Objetivo Operações diárias do negócio Analisar o negócio Uso Operacional Informativo Tipo de OLTP OLAP processamento Unidade de trabalho Inclusão, alteração, exclusão Carga e consulta Número de usuários Milhares Centenas ou dezenas Tipo de usuário Operadores Comunidade gerencial Interação do usuário Somente pré-definida Pré-definida e ad-hoc. ad-hoc É um tipo de coleta de dados, ou seja, para resolver determinado problema ou realizar uma tarefa específica. Volume Megabytes gigabytes Gibabytes terabytes Histórico 60 a 90 dias 5 a 10 anos Granularidade Detalhados Detalhados e resumidos Redundância Não ocorre Ocorre Estrutura Estática Variável Manutenção Mínima Constante desejada Acesso a registros Dezenas Milhares Atualização Contínua (tempo real) Periódica (em batch) Integridade Transação A cada atualização Número de índices Poucos/simples Muitos/complexos Intenção dos índices Localizar um registro Aperfeiçoar as consultas 13

14 Com base nestes conceitos podemos concluir que o DW não é um fim, mas o meio pelo qual as empresas dispõem para analisar informações históricas, podendo utilizá-las para a melhoria dos processos atuais e futuros. DW são construídos para que tais dados possam ser armazenados e acessados de forma que não sejam limitados por tabelas e linhas estritamente relacionais. Os dados de um DW podem ser compostos por um ou mais sistemas distintos e sempre estarão separados de qualquer outro sistema transacional, ou seja, deve existir um local físico onde os dados desses sistemas serão armazenados. Figura 1: Principais componentes do DW Supply Chain Cadeia de fornecimento. O Supply Chain Management (SCM) é a gestão da cadeia de fornecimento. A competição no mercado global não ocorre entre empresas, mas entre cadeias de fornecimento. A gestão da logística e do fluxo de informações em toda a cadeia permite aos executivos avaliar, pontos fortes, e pontos fracos na sua cadeia de fornecimento, auxiliando a tomada de decisões que resultam na redução de custos, aumento da qualidade, entre outros, aumentando a competitividade do produto e/ou criando valor agregado e diferenciais em relação a concorrência. É o grupo de fornecedores que supre as necessidades de uma empresa na criação e no desenvolvimento dos seus produtos. CRM Customer Relationship Management. Gestão de Relacionamento com o Cliente. Foi criada para definir toda uma classe de ferramentas que automatizam as funções de contato com o cliente, essas ferramentas compreendem sistemas informatizados e fundamentalmente uma mudança de atitude corporativa, que objetiva ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-relacionando de forma inteligente, informações sobre suas atividades e interações com a empresa. 14

15 O Data Warehouse (DW) consiste em organizar os dados corporativos de maneira integrada, com uma única versão da verdade, histórico, variável com o tempo e gerando uma única fonte de dados, que será usada para abastecer os Data Marts (DM). Isso permite aos gerentes e diretores das empresas tomarem decisões embasadas em fatos concretos, cruzando informações de diversas fontes. Isso agiliza a tomada de decisão e diminui os erros. Antes da popularização dos DW e das ferramentas ERP, uma verdadeira integração de dados era apenas um sonho sistemas trocavam dados na forma que atendesse às necessidades de cada um deles, sendo por isso chamado sistemas integrados, sem que essa integração sequer se aproximasse do que se vê hoje nos ERP, cujos fornecedores têm sistematicamente dado a seus produtos características que os tornam facilmente fornecedores de dados aos warehouses. ERP e a tecnologia de DW podem suprir estas insuficiências, integrando dados, provendo dados históricos e permitindo a recuperação de forma sintética ou analítica. A integração dos dados permite a um executivo ter uma visão corporativa dos dados. Uma vez que o warehouse já esteja construído, a próxima etapa será sua exploração, no sentido de buscar, utilizar, as informações nele contidas. Esse trabalho, que é chamado data mining, permite descobrir padrões importantes, relações de causa e efeito que vinham passando despercebidas, tendências a longo prazo etc., de forma a permitir a melhoria dos processos. As formas de extração mais comuns no mercado para DW são relatórios, consultas, EIS (Executive Information Systems), ferramentas que utilizam OLAP e as ferramentas de Data Mining. A nova tendência é a integração com o ambiente web, permitindo maior agilidade em consultas estáticas e dinâmicas. Os sistemas de base de dados tradicionais utilizam a normalização no formato de dados para garantir consistência dos dados e uma minimização do espaço de armazenamento necessário. Entretanto, algumas transações e consultas em bases de dados normalizadas podem se tornar lentas devido às operações de junção entre tabelas. Um Data Warehouse utiliza dados em formato não normalizado. Isto aumenta o desempenho das consultas e, como benefício adicional, o processo torna-se mais intuitivo para os usuários comuns. Essa maneira de reordenar os dados chama-se Modelagem Dimensional, e o resultado da modelagem é o Modelo Dimensional, ou MD. Geralmente o data warehouse não armazena informações sobre os processos correntes de uma única atividade de negócio e sim cruzamentos e consolidações de várias unidades de negócios de uma empresa. 15

16 A possibilidade de manipular dados e formas de apresentação de maneira rápida é um dos pontos fortes de um data warehouse. Essa característica faz com que os relatórios sejam mais comumente utilizados em tela e não impressos. O analista de informação ou pessoa que precisa dos dados, pode então navegar nas informações por diversas maneiras e ao final pode imprimir e até mesmo salvar aquela visão para uma futura consulta. O banco de dados Teradata foi projetado para trabalhar com Data Warehouse. Existem produtos direcionados para a área de DW em relação a empresas que desenvolvem banco de dados relacionais. Exemplo de empresas que apresentam produtos deste tipo são: Oracle, IBM DB2 e Microsoft SQL Server. As ferramentas para data warehouse consistem em dois tipos: transformação e limpeza de dados; e ferramentas de acesso para usuários finais. Estas ferramentas asseguram que o data warehouse contém integridade de dados, consistência através do tempo, alta eficiência e baixo custo de operação. O elemento importante de um data warehouse é que os dados são armazenados em diferentes níveis de detalhamento (granularidade). Características de um data warehouse Orientado ao assunto: os dados são organizados de acordo com o assunto ao invés da aplicação. Por exemplo, um companhia de seguros utilizando um data warehouse poderia organizar seus dados por consumidor, prêmio e franquia, ao invés de diferentes produtos (automóvel, vida, etc.). Os dados são organizados por assunto, contendo somente as informações necessãrias para o processo de suporte à decisão. Integrado: quando os dados residem em várias aplicações diferentes no ambiente operacional, a codificação dos dados normalmente é inconsistente. Por exemplo, em uma aplicação o gênero pode estar codificado como "m" e "f" e em uma outra, como 0 e 1. Quando os dados são movidos de um ambiente operacional para o data warehouse, estes assumem uma convenção de código consistente - neste caso, o campo gênero é transformado em "m" e "f". Variação em relação ao tempo: O data warehouse contem um lugar para o armazenamento de dados que têm 5, 10 anos ou mais, para serem utilizados em comparações, tendências e previsões. Estes dados não são atualizados. Não-volatilidade: Os dados não são atualizados ou modificados em nenhum momento uma vez que estes entram no data warehouse, são somente acessados. 16

17 Processos em data warehousing A primeira fase do processo de data warehousing consiste em "isolar" a sua informação operacional atual, preservando a segurança e integridade de aplicações de OLTP críticas ao mesmo tempo em que permite o acesso a base de dados. O data warehouse resultante pode consumir centenas de gigabytes, terabytes - de espaço em disco. O que é necessário então são técnicas eficientes para armazenar e acessar grandes quantidades de informação. Além disso, grandes organizações analisaram que somente sistemas de processamento paralelo podem oferecer largura de banda suficiente para estas aplicações. Logo, o data warehouse acessa dados de uma variedade de bancos de dados operacionais heterogêneos. Os dados são então transformados e enviados para o data warehouse em um modelo selecionado. A transformação de dados e o processo de movimentação são executados toda vez que uma atualização nos dados do depósito é requerida, logo deve haver alguma forma de automatização para gerenciar e executar estas funções. A limpeza dos dados é um importante aspecto da criação de um data warehouse eficiente, pois é a remoção de certos aspectos dos dados operacionais, tal como informações de transação de baixo-nível, que retarda muitas consultas. O estágio de limpeza deve ser o mais dinâmico possível para acomodar todos os tipos de consulta, mesmo aquelas que requerem informações de baixo-nível. Os dados devem ser extraídos de fontes de produção em intervalos regulares de tempo e concentrados de maneira central, mas o processo de limpeza deve remover duplicações e conciliar diferenças entre vários estilos de coleções de dados. Uma vez que os dados tenham sido limpos então são transferidos para o data warehouse, que é tipicamente um grande banco de dados em um sistema de alta performance, tanto SMP - Symmetric Multi-Processing ou MPP - Massively Parallel Processing. Um absurdo poder de computação também é um importante aspecto do data warehousing, pela complexidade envolvida no processamento e consultas e pela vasta quantidade de dados que a organização deseja utilizar no depósito. Critérios para data warehouse Desempenho de carregamento - Data warehouses requerem o carregamento incremental de novos dados em bases periódicas entre janelas de tempo estreitas; o desempenho do processamento de carregamento deve ser medido em centenas de milhares de linhas e gigabytes por hora, e não deve restringir artificialmente o volume de dados requerido para o negócio. Processamento de carga - Muitas etapas devem ser tomadas para o carregamento de dados novos ou modificados dentro do data warehouse, incluindo conversões de dados, filtragem, reformatação, checagem de integridade, armazenamento físico, indexação e modificação dos metadados. Estas etapas devem ser executadas como um simples e única unidade de trabalho. Gerenciamento de qualidade dos dados - A mudança para o gerenciamento baseado em fatos exige a mais alta qualidade de dados possível. O warehouse deve assegurar consistência local, consistência global, e integridade referencial mesmo com as fontes 17

18 não confiáveis e o enorme tamanho do banco de dados. Embora o carregamento e a preparação sejam etapas necessárias, não são suficientes. A taxa de desempenho das consultas é a medida de sucesso para aplicações de data warehouse. Quanto mais consultas forem atendidas, mais os analistas são motivados a realizar mais consultas. Desempenho das consultas - O gerenciamento baseado em fatos e a análise ad-hoc não devem ser retardados ou inibidos pela performance do RDBMS de data warehouse; consultas grandes e complexas para operações comerciais essenciais devem ser completadas em segundos, não dias. Escalabilidade em relação ao tamanho do data warehouse - O tamanho dos data warehouses está crescendo a taxas estonteantes. São encontrados tamanhos de GBytes, TBytes e dependendo da empresa em PBytes. O SGBD não deve ter nenhum tipo de limitação na arquitetura, devendo inclusive suportar o gerenciamento modular e paralelo. Outra característica que deve o SGBD deve suportar é a disponibilidade contínua nos eventos de falha de pontos e deve também prover mecanismos fundamentalmente diferentes para recuperação. Deve também suportar dispositivos de armazenamento em massa tais como discos ópticos. Por último, o desempenho das consultas não deve ser dependente do tamanho do banco de dados, e sim na complexidade das mesmas. Escalabilidade maciça a usuários - O acesso aos dados no warehouse não deve mais ser limitado a uma elite de poucos. O servidor de RDBMS deve suportar centenas, até milhares de usuários concorrentes enquanto mantem um desempenho de consultas aceitável. Data warehouse disponível em rede - Data warehouse raramente existem isolados. Múltiplos sistemas de data warehouse cooperam em uma rede maior de data warehouses. O servidor deve incluir ferramentas que coordenam os movimentos de subconjuntos de dados entre warehouses. Os usuários devem estar aptos a visualizar e trabalhar com múltiplos warehouses de um simples workstation cliente. Gerentes de warehouse devem gerenciam e administrar a rede de warehouses de uma simples locação física. Administração do warehouse - A enorme escala e a natureza cíclica através do tempo do data warehouse exige flexibilidade e facilidade administrativa. O SGBD deve prover controles para a implementação de limites de recursos e priorização de consultas para servir às diferentes necessidades de classes de usuários e atividades. O SGBD deve também prover um monitoramento e reconfiguração da carga de trabalho de maneira que os recursos do sistema possam ser otimizados para o máximo desempenho. Análise dimensional integrada - O poder de visões multidimensionais é amplamente aceito, e o suporte dimesional deve ser inerente a este SGBD para fornecer o mais alto desempenho para as ferramentas de OLAP relacionais. O SGBD deve suportar a criação rápida e fácil de resumos pré-computados, comuns em grandes data warehouses. Deve também prover as ferramentas de manutenção para automatizar a criação destas agregações pré-computadas. O cálculo dinâmico de agregados deve ser consistente com as necessidades de desempenho interativas. 18

19 Funcionalidade de consultas avançadas - Usuários finais requerem avançados cálculos analíticos, análises comparativas e sequenciais, e acesso consistente para dados resumidos e detalhados. O SGBD deve prover um conjunto completo de operações analíticas, incluindo operações estatísticas e sequenciais de núcleo. 2.4-Metadados Definidos como dados dos dados, constituem peças fundamentais num DW. Isso porque em um DW, além do banco de dados, gera-se uma documentação muito maior que nos banco de dados tradicionais. É feito o levantamento dos relatórios a serem gerados, de onde vêm os dados para alimentar o DW, os processos de extração, tratamento e rotinas de carga de dados. Tudo isso, acrescido das regras de negócios da empresa, das mudanças ocorridas ao longo do tempo e da frequência de acesso aos dados, gera os metadados. Os metadados mantêm as informações sobre o que está onde num DW. Eles podem surgir de vários locais durante o decorrer do projeto. Podem ser encontrados em vários locais durante o desenvolvimento de um DW. Alguns tipos de metadados: Repositórios de ferramentas CASE Normalmente os dados contidos em ferramentas CASE são estruturados, o que facilita a integração automática entre a origem dos metadados e o repositório do ambiente de DW. Pode-se extrair informações sobre a origem dos dados, o fluxo dos dados (os processos que utilizam e transportam os dados), o formato dos dados e as definições de negócios. Documentação do desenvolvimento dos sistemas operacionais (OLTP) O tipo de metadados potencialmente disponível é idêntico ao item acima. A diferença é que normalmente a documentação de desenvolvimento dos sistemas não está estruturada, o que pode dificultar o entendimento das origens e fluxos dos dados. Código fonte dos sistemas operacionais (OLTP) Quando não existe uma documentação eficiente dos sistemas operacionais, é possível extrair as informações sobre eles através dos programas fontes. Como vasculhar todos os programas de um ou vários sistemas operacionais a procura de regras é um trabalho demorado e oneroso, é possível simplesmente utilizá-los como forma de esclarecer dúvidas que a documentação não contempla, também cobre os mesmos tipos de informações das fontes anteriores. Entrevistas Apesar de não ser uma fonte estruturada de informações, entrevistar profissionais da empresa que entendam do negócio, como gerentes e analistas, é de vital importância. Destas entrevistas pode se obter regras e informações que não estão explícitas na documentação dos sistemas, como requisitos para teste dos dados e indicadores de qualidade dos dados. O próprio ambiente do DW Informações tais como frequência de acesso às informações, em que nível de agregação, tempo de resposta de cada consulta, 19

20 auditoria de acesso de informações por usuários, são informações interessantes de se manter, que podem ser geradas pelo próprio sistema ao longo de sua utilização, podendo ser usadas, dentre outros propósitos, para a criação de estruturas de metadados. Antes do Data Warehouse ser acessado eficientemente, é necessário saber, pelo menos, quais os dados que estão disponíveis e onde eles estão localizados, caso contrário será como tentar encontrar um telefone sem o auxílio de uma lista telefônica. De forma simples podemos dizer que o significado dos dados está nos METADADOS. Os metadados permitirão ao usuário transformar os dados "crus" em informações que gerem conhecimento e tragam vantagem competitiva. Metadados é o principal componente do Data Warehouse. Metadado é a descrição do dado, do ambiente onde ele reside, como ele é manipulado e para onde é distribuído. Metadado é uma documentação. Metadado é uma abstração do dado. É o dado de alto nível que descreve o dado de baixo nível. Metadado é o instrumento que transforma dado "cru" em conhecimento. Por exemplo, é o metadado, na forma de definição de campo, que informa que uma dada cadeia de bits é um endereço de cliente, parte de uma imagem fotográfica ou parte do código de um programa de computador. Como normalmente as aplicações de âmbito operacional da empresa são desenvolvidas em tempos diferentes por pessoas diferentes, não é raro o surgimento de dados inconsistentes ou redundantes. Além disso, as organizações costumam apresentar um outro problema comum: elas têm múltiplas fontes de dados. Cada uma dessas fontes tem seu próprio conjunto de regras pré-definidas, convenções para nomes, e formatos de arquivos, etc. Neste caso, é praticamente impossível para o usuário, e mesmo para o administrador, saber que fonte de dados usar, em diferentes circunstâncias. A Importância dos Metadados O papel dos metadados está ampliando o modo como as organizações desenvolvem uma estratégia de Data Warehousing que pode resultar na criação de arquivos de dados operacionais, Data Warehouses integrados e múltiplos Data Marts. Os metadados devem isolar o usuário da complexidade de acessar informações distribuídas, enquanto facilita a atualização e sincronização de vários bancos de dados. Se isso não funcionar, os usuários voltarão a se encontrar com os problemas que o Data Warehouse pretendia resolver, ou seja, diferentes respostas para a mesma questão e a resultante falta de confiança na informação obtida. 20

21 Sem uma administração de dados efetiva, um Data Warehouse não atingirá o seu objetivo de integração dos dados. Nesse sentido o metadado constitui o principal recurso para a administração de dados no Data Warehouse e constitui um componente formal extremamente importante no processo de Data Warehousing. Sem metadados, os dados não têm significado. Sem metadados, localizar informações contidas em um Data Warehouse torna-se uma tarefa muito difícil, semelhante a procurar o telefone de uma pessoa sem a ajuda de uma lista telefônica. Sem metadados, usuários de negócios serão como turistas deixados em uma nova cidade sem qualquer informação sobre essa cidade, e os administradores do Data Warehouse serão como os administradores da cidade que não têm idéia do tamanho dessa cidade e em que velocidade ela está crescendo. Um Data Warehouse sem metadados adequados é um armário cheio de papéis, mas sem pastas ou etiquetas. Metadados, não só descrevem o conteúdo do Data Warehouse, como também, fornecem ao usuário informações úteis para o julgamento da qualidade do conteúdo. Também pode descrever cada fato contido no Warehouse, em termos de quando ele foi atualizado pela última vez, a fonte do fato e como ele é gerado. A falta de uma abordagem integrada para consolidar, gerenciar e manter os metadados atualizados pode gerar muitos riscos para a credibilidade de um projeto de Data Warehouse: informações incorretas, qualidade dos metadados, perda de produtividade, performance inconstante, dificuldade para atualização e crescimento. Metadados faltantes ou não-confiáveis levam a uma situação familiar onde um departamento diz ao diretor que os lucros da empresa estão crescendo 10%, enquanto um outro diz que baixaram 15%. Cada departamento está usando suas próprias cifras, coletadas de acordo com seus próprios procedimentos e interpretadas pelas suas próprias aplicações. Não é difícil chegar a conclusão que os metadados são importantes em um Data Warehouse. Mas existem algumas perguntas básicas que também devem ser respondidas pelos metadados:. Que tabelas, atributos e chaves o Data Warehouse contém?. Qual é a origem de cada conjunto de dados?. Que transformação lógica foi usada na carga do dado?. Como o metadado tem mudado ao longo do tempo?. Quais aliases5 existem e como eles se relacionam?. Quais são as referências-cruzadas entre termos técnicos e de negócios?. Com qual freqüência os dados são carregados?. Qual o volume de dados existente? 21

22 Tipo de Informação Considerada Metadado Um repositório de metadados é uma ferramenta essencial no gerenciamento de um Data Warehouse, no momento de converter dados em informações para o negócio. Entre outras coisas, um repositório de metadados bem construído deve conter informações sobre a origem do dado, regras de transformação, nomes e aliases, formatos de dados etc. Ou seja, este "dicionário" deve conter muito mais do que descrição sobre colunas e tabelas, deve conter informação que adicione valor ao dado. Metadados são utilizados normalmente como um dicionário de informações e sendo assim, devem incluir, entre outras coisas: Fonte dos dados Qualquer elemento de dado necessita que sua origem seja identificada, seja ela um sistema ou um processo. É importante que a fonte do dado seja única para que não haja confusão. Destino dos dados Tão importante quanto saber a origem do dados é saber o seu destino, principalmente quando esse dado é usado como fonte para outras operações. Esta informação também deve ser única. Formato dos dados O formato dos dados incluem informações do tipo: tamanho do campo e tipo do dado. Nomes e aliases Cada dado deve ter um nome, que deve ser um nome técnico ou relativo à uma área de negócios. Os aliases podem ser usados em qualquer caso. Simplicidade, consistência e revisão constante são chaves para a criação e manutenção de nomes. Os aliases tornam o Data Warehouse muito mais amigável e entendível, principalmente para os usuários de negócios, por permitir, por exemplo, que uma tabela seja chamada de "Produtos vendidos por filial" ao invés de PR-FIL. Também é bastante útil quando diferentes departamentos desejam usar seus próprios nomes para identificar um mesmo dado. Definições de negócios Estas definições são o coração dos metadados. É necessário que um entendimento de cada elemento de dado seja suportado dentro de um contexto de negócio. Também é importante garantir a consistência dessas informações, para que os usuários possam encontrar rapidamente uma definição para a informação que precisam. As definições devem ser objetivas e devem evitar referências a outros metadados, a fim de facilitar seu entendimento. Regras de transformação Estas regras são consideradas as regras de negócio de uma forma codificada. Cada regra deve estar ligada a um elemento de metadado. Se uma regra é utilizada em mais de uma aplicação, deve-se garantir que o resultado seja o mesmo em todas essas aplicações. Atualização dos dados Normalmente, o histórico das atualizações é mantido pelo próprio banco de dados, mas ter um elemento de metadado que possa, por exemplo, identificar a última atualização de um dado pode ser muito útil para usuários que querem determinar o estado de atualidade desse dado ou examinar a consistência de uma dimensão tempo em um Data Warehouse. 22

23 Requisitos de teste Metadados é o local certo para manter os critérios de julgamento de um dado ou validação de uma tabela por uma rotina de teste. Deve-se manter um padrão para esses procedimentos de teste. Indicadores de qualidade Pode haver a necessidade de indicadores para indicar a qualidade de um elemento de dado. A fonte do dado, a quantidade de processamento aplicado à ele e muitos outros fatores podem afetar a qualidade do dado. O uso do dado também pode ser considerado para a criação de indicadores de qualidade. Processos automáticos (triggers) É comum a existência de procedimentos automáticos que procuram manter a consistência do banco de dados durante as atualizações. Esses triggers devem estar liberados para a consulta de usuários e desenvolvedores, a fim de evitar a criação de uma situação que possa "disparar" um processo fora do seu contexto normal de utilização. Gestão das informações Está associada com propriedade e responsabilidade sobre os dados. Deve-se ter definida e acessível a informação de quem é responsável pelos dados e pela entrada de metadados em um Data Warehouse. Acesso e segurança Quanto maior o acesso às informações em um Data Warehouse, maior deve ser o cuidado com a segurança dessas informações. Os metadados devem conter informações suficientes para identificação de quem pode ler, atualizar, excluir ou inserir informações no banco de dados. Também deve haver informações sobre quem controla esses direitos de acesso. Quais são as Fontes de Metadados? Basicamente, existem duas grandes fontes de metadados: a formal e a informal. Estas fontes compreendem os metadados técnicos e de negócios de uma organização. As fontes de metadados formais são aquelas que já foram discutidas e documentadas. Normalmente, estes metadados são armazenados em ferramentas ou documentos que são mantidos, distribuídos e reconhecidos por toda a organização. Estas fontes formais de metadados alimentam tantos os metadados técnicos como os de negócios. Os metadados informais consistem do conhecimento corporativo, políticas e orientações que não estão em um formato padrão. Este é o tipo de informação que as pessoas "apenas sabem" e que faz parte do "conhecimento da empresa". Embora não seja formalmente documentado, este conhecimento é tão importante quanto as fontes formais de metadados. Frequentemente, os metadados informais fornecem algumas das informações mais importantes já que tendem a estar relacionados aos negócios. É importante notar que, normalmente, muitos dos metadados de negócios são informais. Para se atingir um resultado, é necessário que este metadado seja capturado, documentado, formalizado e refletido no Data Warehouse, transformando, dessa maneira, um metadado informal em um metadado formal. 23

24 Como as empresas não são iguais, é muito difícil especificar onde os metadados informais podem ser encontrados, mas de maneira geral as fontes poderiam ser: gestão dos dados, regras de negócios, definições de negócios, transformações e sumarizações. Metadados Técnicos x Metadados de Negócios Existem dois tipos de metadados que podem estar no repositório: técnicos e de negócios. Metadados técnicos fornecem aos desenvolvedores e usuários técnicos de sistemas de suporte à decisão, a confiança de que o dados está correto. Além disso, metadados técnicos são críticos para a manutenção e o crescimento contínuos de um Data Warehouse. Sem metadados técnicos, a tarefa de analisar e implementar mudanças em um DSS é significativamente mais difícil e consome mais tempo. Os metadados de negócios são a ligação entre o Data Warehouse e os usuários de negócios. Esses dados fornecem uma espécie de mapa aos usuários para que eles possam acessar os dados, tanto no Data Warehouse como nos Data Marts. Os usuários de negócios são basicamente executivos ou analistas de negócios e com isso tendem a ser menos técnicos, portanto, eles precisam ter o DSS definido para eles em termos de negócios. Os metadados de negócios mostram em termos de negócios, que relatórios, queries, e dados estão no Data Warehouse, localização dos dados, confiabilidade dos dados, contexto dos dados, regras de transformação que foram aplicadas e quais as origens desses dados. Os projetos de Data Warehouse e Data Mart necessitam ter um repositório de metadados como parte de seus objetivos principais, desde o início do projeto. Esse repositório precisa ser construído com uma tecnologia confiável e considerando os usuários de negócios. Além disso, os metadados necessitam de mecanismos para os usuários nãotécnicos poderem navegar e acessar as informações no repositório. O repositório de metadados ajuda significativamente o DSS a tornar as informações em Data Warehouse e Data Mart mais visíveis, entendíveis e acessíveis aos usuários. Em resumo, um repositório pode viabilizar ou não um Data Warehouse. Metadados para Diferentes Usuários Os Metadados para Usuários de Negócios mostram onde os usuários de negócio podem encontrar as informações, como elas podem ser acessadas, quanto tempo isso levará, e qual a qualidade esperada quando elas forem obtidas. O usuário de negócio sem acesso aos metadados sente-se como um turista em uma nova cidade sem um mapa de orientação, nesse caso os metadados atuam com um centro de informações turísticas que darão informações completas sobre como proceder para chegar aos vários lugares de interesse. 24

25 Os Metadados para Administradores de Dados podem facilitar a tarefa dos administradores através de uma visão especial dos metadados que inclui, entre outras coisas, perfis e medidas de crescimento. Estas informações são importantes para que o administrador possa assegurar que os metadados estejam atualizados e exatos. Os Metadados para Usuários Técnicos afetam a habilidade dos desenvolvedores e analistas para manter e expandir Data Warehouses. Sem esses dados atualizados, eles não serão capazes de manter e expandir esses Data Warehouses que podem se transformar em conflitantes ilhas de informação. O analista (desenvolvedor) começa entrevistando usuários para entender suas necessidades e os metadados mostrarão ao analista como e onde encontrar as informações necessárias para suprir essas necessidades. 2.5-Data Mart Um Data Mart é um Data Warehouse reduzido que fornece suporte à decisão de um pequeno grupo de pessoas. Algumas organizações são atraídas aos Data Marts não apenas por causa do custo mais baixo e um tempo menor de implementação, mas também por causa dos correntes avanços tecnológicos. São elas que fornecem um SAD (Sistemas de Apoio à Decisão) customizado para grupos pequenos, de tal modo que um sistema centralizado pode não estar apto a fornecer. Data Marts podem servir como veículo de teste para companhias que desejam explorar os benefícios do Data Warehouse. O Data Warehouse pode ser uma decisão estratégica, mas não pode ser encarado com imediatismo, ou seja não é apenas algo que se realiza aos poucos, mas também é um processo contínuo de atualização e consolidação dos dados corporativos. Por isso, os investimentos em um sistema desse tipo não devem nem podem ser feitos de uma única vez, mas de forma gradual ao longo do tempo. É preciso ter em mente que as diferenças entre Data Mart e Data Warehouse são apenas com relação ao tamanho e ao escopo do problema a ser resolvido. Portanto, as definições dos problemas e os requisitos de dados são essencialmente os mesmos para ambos. Enquanto um Data Mart trata de problema departamental ou local, um Data Warehouse envolve o esforço de toda a companhia para que o suporte à decisões atue em todos os níveis da organização. Sabendo-se as diferenças entre escopo e tamanho, o desenvolvimento de um Data Warehouse requer tempo, dados e investimentos gerenciais muito maiores que um Data Mart. Os Data Marts atendem as necessidades de unidades específicas de negócio ao invés das necessidades da corporação inteira. Eles otimizam a entrega de informação de suporte à decisão e se focam na sumarizada e/ou dados exemplificativos ao invés do histórico de níveis atomizados. Eles podem ser apropriados e gerenciados por pessoal fora do departamento de informática das corporações. 25

26 A criação de um Dataa Warehouse requer tempo, dinheiro e considerável esforço gerencial. Há um consenso entre os fornecedores de soluções de Data Warehouse. A idéia é começar pequeno, mas pensando grande. E é o que está acontecendo. Na maioria dos casos, as empresas que optam pelo Data Warehouse iniciam o processo a partir de uma área específica da empresa para depois ir crescendo aos poucos. Mesmo no caso de Full Warehouse ou Data Warehouse completos o processo costuma ser organizado a partir dos Data Marts. A variação de custo e duração de um projeto de Data Warehouse depende do tamanho e da infra-estrutura da base de dados a ser trabalhada e também da necessidade de poder de fogo (do quão estratégico e eficiente tem que ser o sistema para o cliente). Acima de tudo, a empresa tem que saber identificar quais são os tipos de informações mais valiosas. Por muitos anos, todos os sistemas que extraíam dados de sistemas legados e os armazenavam de maneira utilizável para suporte à decisão eram chamados Data Warehouse. Ao longo dos últimos anos, uma distinção tem sido feita entre os corporativos Data Warehouses e os departamentais Data Marts, mesmo que geralmente o conceito ainda continue sendo chamado de data warehousing. Debates na indústria em geral indicam que aproximadamente 70 a 80 por cento de todos os Data Warehouses atualmente em produção são, de fato, Data Marts. A crescente popularidade desses mal definidos Data Marts em cima da popularidade dos grandes sistemas de Data Warehouses corporativos é baseada em muitos bons motivos:. Os Data Marts têm diminuído drasticamente o custo de implementação e manutenção de sistemas de apoio à decisão e têm os posto ao alcance de um número muito maior de corporações;. Eles podem ser prototipados muito mais rápido, com alguns pilotos sendo construídos entre 30 e 120 dias e sistemas completos sendo construídos entre 3 e seis meses;. Os Data Marts têm o escopo mais limitado e são mais identificados com grupos de necessidades dos usuários, o que se traduz em esforço/time concertrado. Os departamentos autônomos e as pequenas unidades de negócio frequentemente preferem construir os seu próprio sistema de apoio à decisão via Data Marts. Muitos departamentos de informática estão vendo a efetividade deste approach e estão agora construindo o Data Warehouse por assunto ou um Data Mart por vez, gradualmente ganhando experiência e garantindo o suporte dos fatores chave de gerenciamento, possibilitando, então, benefícios concertos muitas vezes ao ano. Começando com planos modestos e os desenvolvendo na medida em que se adquire mais conhecimento sobre as fontes de dados e as necessidades dos usuários, faz com que as organizações justifiquem os Data Marts na medida que progridem. 26

27 Algumas vezes, projetos que começam como Data Warehouse se transformam em Data Marts. Quando as organizações acumulam grandes volumes de dados históricos para suporte à decisão que se mostram pouco ou nunca utilizados, elas podem reduzir o armazenamento ou arquivamento de informação e contrair o seu Data Warehouse em um Data Mart mais focado. Ou elas podem dividir o warehouse em vários Data Marts, oferencendo tempos de resposta mais rápidos, acesso mais fácil e menos complexidade para os usuários finais. As questões de planejamento, projeto e implementação são as mesmas encontradas em qualquer fase da implementação de um DW, pois uma parte dos especialistas argumenta que o DW é uma evolução natural de um Data mart que começou localizado e cresceu para atender um escopo maior. Essa visão tem defesa menos técnica e mais intuitiva do que sua contra-parte: o Data mart é criado a posteriori do DW, pois ele seria montado com dados extraídos do DW para atender especificamente um setor da organização. Numa visão comparativa dos dados, onde consideramos os quesitos escopo, integração, tempo, agregação, análise e dados voláteis, percebemos que a diferença está no escopo, pois enquanto o DW é feito para atender uma empresa como um todo, o data mart é criado para atender um sub-conjunto da empresa. Repare que atender um sub-conjunto da empresa pode significar reunir dados de outros setores, já que, na prática, raramente um único setor possui ou gera toda informação que precisa. Vem dessa observação a defesa da tese de que o Data mart é construído após o DW. Algumas características do Data Mart:. Dados agregados;. Não possui necessariamente um histórico das informações;. Esquema estrela (fatos e dimensões);. Pode ser reconstruído a partir dos dados existentes no DW;. Pequeno volume de dados;. Otimizado para consultas pontuais. 27

28 Geralmente são dados referentes a um assunto em especial (ex: Vendas, Estoque, Controladoria) ou diferentes níveis de sumarização (ex: Vendas Anual, Vendas Mensal, Vendas 5 anos), que focalizam uma ou mais áreas específicas. Seus dados são obtidos do DW, desnormalizados e indexados para suportar intensa pesquisa. Data marts extraem e ajustam porções de DWs aos requisitos específicos de grupos/departamentos. As questões de planejamento, projeto e implementação são as mesmas encontradas em qualquer fase da implementação de um DW, pois uma parte dos especialistas argumenta que o DW é uma evolução natural de um Data mart que começou localizado e cresceu para atender um escopo maior. Essa visão tem defesa menos técnica e mais intuitiva do que sua contra-parte: o Data mart é criado a posteriori do DW, pois ele seria montado com dados extraídos do DW para atender especificamente um setor da organização. Numa visão comparativa dos dados, onde consideramos os quesitos escopo, integração, tempo, agregação, análise e dados voláteis, percebemos que a diferença está no escopo, pois enquanto o DW é feito para atender uma empresa como um todo, o data mart é criado para atender um sub-conjunto da empresa. Repare que atender um sub-conjunto da empresa pode significar reunir dados de outros setores, já que, na prática, raramente um único setor possui ou gera toda informação que precisa. Vem dessa observação a defesa da tese de que o Data mart é construído após o DW. Os Data Marts podem surgir de duas maneiras. A primeira é top-down e a segunda é a botton-up. Top-down: é quando a empresa cria um DW e depois parte para a segmentação, ou seja, divide o DW em áreas menores gerando assim pequenos bancos orientados por assuntos aos departamentos. Botton-up: é quando a situação é inversa. A empresa, por estratégia sua, prefere primeiro criar um banco de dados para somente uma área. Com isso os custos são bem inferiores de um projeto de DW completo. A partir da visualização dos primeiros resultados parte para outra área e assim sucessivamente até resultar em um Data Warehouse. No DW podemos ter o modelo de dados híbrido ou pode ser completamente relacional, já no DM o modelo é totalmente dimensional. A complexidade de tratamento das informações no DW é maior, porque temos de olhar toda a estrutura da empresa, já no DM fica mais fácil, pois estamos olhando apenas uma parte dela. Portanto, cabe a cada empresa avaliar a sua demanda e optar pela melhor solução. Segundo estimativas, enquanto um Data Mart custa em torno de US$ 100 mil a US$ 1 milhão e leva cerca de 120 dias para estar pronto, um DW integral começa em torno dos US$ 2 milhões e leva cerca de um ano para estar com a sua primeira versão em produção. Modelagem Multidimensional É uma técnica de concepção e visualização de um modelo de dados de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresentá-los em visões (camada de apresentação) que suportam a análise dos valores desses dados. 28

29 Um modelo multidimensional é formado por 3 elementos básicos:. Fatos. Dimensões. Medidas (variáves) Fatos: é uma coleção de itens de dados composto de medidas. É utilizado para analisar o processo de negócio de uma empresa, refletindo assim a evolução dos negócios do dia-adia desta empresa. Ele é implementado em tabelas denominadas tabelas de fato (fact tables) e representado por valores numéricos; Dimensões: são os elementos que participam de um fato e que determinam o contexto de um assunto de negócios. As dimensões podem ser compostas por membros que podem conter hierarquias. Membros são as possíveis divisões ou classificações de uma dimensão. Por exemplo, a dimensão tempo, pode ser dividida nos seguintes membros: ano, trimestre e mês, e a dimensão localização em: cidade, estado e país; Figura 2: Indicação de agregação de algumas dimensões Figura 3: Sugestão de consulta baseado em alguns itens da dimensão 29