PESQUISAS FUTURAS EM DATA WAREHOUSE. Palavras-chave: armazém de dados, banco de dados, sistemas de apoio à decisão.

Transcrição

1 PESQUISAS FUTURAS EM DATA WAREHOUSE Maria Madalena Dias 1, Mauro M. Mattos 2, Wesley Romão 3, José Leomar Todesco 4, Roberto C. Pacheco 5 RESUMO. Este artigo tem como objetivo identificar diferentes áreas de pesquisas em Data Warehouse (DW) nas quais espera-se o desenvolvimento de novas técnicas e produtos nos próximos anos. Para alcançar este alvo é apresentado um estudo da evolução dos sistemas de informação e da história do DW identificando suas principais tendências para o futuro. ABSTRACT. This paper describes different research areas in Data Warehouse (DW) where is expected the development of news tecniques and produts in the next years. For this purpose it show a study of information systems evolution and DW history evolution, identifying the main trends for the DW s future. Palavras-chave: armazém de dados, banco de dados, sistemas de apoio à decisão. 1. Introdução Nos últimos anos, o uso de computadores passou a difundir-se pelos mais variados ramos de atividade e não ficou restrito apenas ao meio técnico. Computadores e sistemas de comunicação são responsáveis pela mudança na natureza de trabalho das pessoas e além disso, estão reformulando o mundo dos negócios. O conceito tradicional de trabalho envolvendo grandes quantidades de papéis, relatórios complicados e tomadas de decisão baseadas em fatos pouco concretos, estão sendo trocados pelo conceito moderno a que um sistema de informações está ligado. Este conceito reúne a utilização das mais variadas tecnologias para o ato de informar somente o que for relevante e de forma coerente e direta. As aplicações computacionais se modificaram a partir do processamento de transações e atividades de monitoração, que dominaram a indústria nas décadas de 60 e 70, para a análise do problema e aplicações de solução na década de Universidade Estadual de Maringá, Departamento de Informática, Maringá - PR. mmdias@din.uem.br 2 Professor da FURB - Fundação Universidade Regional de Blumenau SC. Doutorando em Eng. de Prod. e Sistemas na UFSC - Universidade Federal de Santa Catarina mattos@furb.rct-sc.br 3 Doutorando em Eng. de Produção e Sistemas na UFSC Florianópolis SC. romao@eps.ufsc.br 4 Universidade Federal de Santa Catarina - UFSC, Pós-Graduação em Engenharia de Produção e Sistemas, Florianópolis - SC. tite@eps.ufsc.br 5 Universidade Federal de Santa Catarina - UFSC, Pós-Graduação em Engenharia de Produção e Sistemas, Florianópolis - SC. pacheco@eps.ufsc.br 1

2 Desenvolvimentos tecnológicos em hardware, software e telecomunicações estão fornecendo respostas a várias questões através da introdução de aplicações que podem auxiliar os executivos. As tecnologias baseadas em computadores para análise de informação gerencial estão se tornando ponto fundamental para o sucesso dos negócios. Durante anos, os administradores consideraram a tomada de decisões como sendo uma arte pura - um talento adquirido depois de um longo período de tempo, através da experiência (aprendendo através de tentativas e erros). O gerenciamento era considerado uma arte porque uma variedade de estilos individuais poderiam ser utilizados para resolução de problemas dos mais variados tipos em diversas áreas do negócio de uma empresa. Freqüentemente, estes estilos estão baseados na criatividade, no julgamento, na intuição e na experiência, e não em métodos estruturados. Porém, o ambiente no qual o gerenciamento deve operar nos dias de hoje está se modificando muito rapidamente. Os negócios e seu ambiente são hoje mais complexos do que antes, e a tendência está em direção ao aumento da complexidade. Segundo Turban, em (Turban, 1994), está cada vez mais difícil tomar decisões por dois motivos: primeiro, o número de alternativas disponíveis é muito maior do que antes, em virtude de melhores tecnologias e de sistemas de comunicação. Segundo, o custo com erros pode ser bastante grande, em virtude da complexidade e da magnitude das operações da automação e da cadeia de reação que um erro pode causar em muitas partes da organização. Justamente por isso, os benefícios podem ser extremamente amplos se decisões corretas estiverem sendo tomadas. Além da complexidade do ambiente, a sociedade está vivendo em tempos de competitividade global. Conforme Alter, em (Alter, 1992), os negócios devem ser flexíveis com as necessidades e desejos dos clientes, desde que, estes clientes não estejam mais restritos a um local. Os sistemas de informação são ferramentas importantes nesta tendência mundial, pois estes sistemas podem simplificar customizações de produtos e personalizar ainda mais os serviços. É dentro deste contexto que o termo Data Warehouse foi cunhado no final da década de 70, como uma alternativa de solução ao problema de falta de informações adequadas para suporte a tomada de decisões pelos altos escalões das organizações. O restante deste artigo está dividido em seis seções. A seção 2 apresenta a evolução dos sistemas de informações. Na seção 3 é mostrado um pouco da evolução do conceito de data warehouse. A seção 4 descreve fases evolutivas de data warehouse. Na seção 5 são relacionadas algumas áreas de pesquisas atuais em DW. A seção 6 faz alguns comentários sobre perpectivas futuras de data warehouse. Finalmente, a seção 7 apresenta as conclusões deste artigo. 2. A Evolução dos Sistemas de Informações Segundo Alter, em (Alter, 1992), um sistema de informações é uma combinação de trabalho, informações, pessoas e tecnologia de informações organizadas para alcançar objetivos em uma organização. Um sistema de informações ideal deveria apresentar informações claras, sem interferência de dados que não são importantes, e deve possuir um alto grau de precisão e rapidez para não perder sua razão de ser em momentos críticos. Além disto, a informação sempre deve chegar a quem tem necessidade dela. Para alcançar seu objetivo, um sistema de informações deve sobrepor-se a toda a estrutura organizacional de qualquer empresa, isto para que mudanças de organograma não interfiram no fluxo de informações, e ainda, possuir vários canais de informação. Estes canais são responsáveis pela ligação entre os níveis da empresa e prestam todos os tipos de informação. Um fator que contribui para a efetivação de um sistema de informações, é a capacidade de transformação de fatos simples em informações utilizáveis. Desta forma, as saídas de um sistema de informações podem ser classificadas em duas categorias: a 2

3 apresentação de informações simples em um terminal ou monitor (ou ainda, a apresentação de simulações realizadas com dados armazenados) e, a outra categoria consiste dos vários tipos de informações operacionais. O impacto da tecnologia do computador sobre as organizações e sobre a sociedade está crescendo, uma vez que novas tecnologias surgem e as tecnologias já existentes expandem-se. A interação e a cooperação entre pessoas e máquinas está crescendo rapidamente, de maneira a abranger cada vez mais os aspectos das atividades organizacionais. Mas ao mesmo tempo em que a utilização de computadores tem aumentado nos níveis mais operacionais da empresa, o alto escalão torna-se cada vez mais distante da tecnologia da informação. Esta situação de descaso quase completo, que durou muitos anos, começou a mudar no início dos anos 80 com o advento do microcomputador, com a computação distribuída e com a tecnologia cliente/servidor e a mudança mais relevante, a introdução de programas relativamente fáceis de utilizar. Porém, a constatação da realidade de que, nos próximos anos as empresas irão enfrentar novos desafios devido a: globalização, competição mais acirrada, complexidade oriunda desta nova realidade vai conduzir (e já o tem feito) a uma nova postura por parte das organizações. Como resultado destas tendências e mudanças, é muito difícil confiar no método de tentativa e erro para a tomada de uma decisão final. A utilização de ferramentas e técnicas em constante evolução é a chave para a excelência no gerenciamento. Dentre as ferramentas existentes, pode-se citar: Sistemas de apoio a decisão - DSS; Sist. de apoio a decisão em grupo (GDSS); Sistemas especialistas (ES); Sistemas de informação executiva (EIS). O suporte computacional para esta última categoria de sistemas, tem evoluído, naturalmente, à medida da evolução na área de informática. Este suporte caracteriza-se atualmente, pela tecnologia denominada: data warehouse. Os primeiros esforços neste sentido foram desenvolvidos sobre mainframes e caracterizavam-se basicamente por serem soluções proprietárias. A segunda geração de produtos, já apresenta-se com arquitetura cliente-servidor baseada em servidores relacionais e ferramentas de consulta baseadas em equipamentos ditos desktops. Esta nova geração apresenta melhoramentos na interface de interação com o usuário, mas geralmente possuem ferramentas rudimentares para consulta aos dados e apresentação de relatórios. No entanto, apesar de haverem promessas no mercado, estes sistemas ainda não atendem adequadamente aos usuários que tomam decisões nas organizações. Segundo a empresa MicroStrategy, em (MicroStrategy, 1998), os analistas de decisão necessitam de sistemas com as seguintes características: Uma visão conceitual e multidimensional dos dados da organização; A capacidade de criar conjuntos de critérios complexos que permitam acessar pontualmente a informação desejada; Suporte à consolidação hierárquica dos dados; Capacidade de aprofundar-se em detalhes que poderiam atingir, em última instância, os dados operacionais da organização; Finalmente, mas não menos importante, apresentar rápidos tempos de resposta para as consultas submetidas. 3

4 Veja no Quadro 1 abaixo como as informações eram utilizadas no passado e como deverão ser utilizadas no futuro: Quadro 1 Necessidades de informações no passado e no futuro. PASSADO FUTURO Respostas Lentas Rápidas Foco Interno Externo (melhor atendimento) Riscos Moderados Alto (novos produtos) Metas Controladas Estratégicas Na última década, EIS (Executive Information System) e DSS (Decision Support System) ou SAD foram as tecnologias disponíveis para acesso às informações. No entanto elas atingiam apenas o alto escalão da empresa. No mercado de negócios a tendência é dividir o bolo de informações entre os vários escalões o que é facilitado com o emprego de DW. O DW vem de encontro a estes desafios tornando viável o aproveitamento de informações oriundas do operacional da empresa, tais como: faturamento, folha de pagamento, etc., as quais são tratadas, selecionadas, refinadas e resumidas. São criados metadados, dados desconexos e redundâncias são eliminados e diversos níveis de granularidade são estabelecidos, tudo isto para facilitar a mineração dos dados e para fornecer informações que efetivamente podem auxiliar na tomada de decisões. Segundo Mangold, em seu artigo "Transformando palha em ouro" (Mangold, 1998), a tendência é cada vez maior no sentido de que as organizações passem a ver os dados como um recurso cada vez mais precioso. 3. Evolução do Conceito de Data Warehouse Um DW é um banco de dados orientado a eventos, integrado, variante no tempo e não volátil voltado para aplicações de suporte à decisão de usuários especializados, o qual é derivado de diversos outros bancos de dados operacionais que podem estar implementados em arquiteturas e plataformas múltiplas na organização. No princípio, a expressão representava simplesmente um armazém de dados, como é a tradução de DW, porém ao longo do tempo, tem recebido diversos incrementos em sua estrutura. Ele tem por objetivo oferecer organização, gerenciamento e integração da base de dados, assim como ferramentas de exploração da mesma, para se obter vantagens competitivas no mercado. DW é uma arquitetura e não um produto ou uma simples ferramenta. Um sistema de DW deve possuir as seguintes características principais: ser baseado em banco de dados voltado para consultas complexas; conter informações históricas de qualquer época tais como resumos diários, semanais ou anuais; ser um depósito de informações não voláteis que são regularmente renovadas mas não atualizadas pelos usuários; possuir ferramentas inteligentes de prospecção e análise de dados; permitir a identificação de relacionamentos desconhecidos; possuir ferramentas de administração e gerenciamento; reduzir o acesso aos sistemas transacionais; permitir uma visão geral do negócio; facilitar a análise de tendências de mercado; fornecer informações para SAD (Sistemas de Apoio à Decisão). O DW é capaz de gerar informações estratégicas de decisão que poderão colocar a 4

5 empresa em posição de vantagem perante suas concorrentes. Devido a isto o mercado de DW está crescendo rápido enquanto todos os maiores DBMS e produtores de ferramentas estão tentando responder às necessidades crescentes de acesso aos dados. A tecnologia composta do DW tende a se tornar uma alternativa estratégica para a maioria das organizações. O ambiente de desenvolvimento de aplicações para sistemas de DW consiste de um conjunto de ferramentas que efetivamente permitem a construção de aplicações a serem usadas pelos analistas de SAD. Estas ferramentas permitem além da construção de filtros a serem utilizados para recuperação dos dados, a especificação do tipo de interface a ser utilizada (tabular, gráfica, etc) para apresentação dos dados e, também, a especificação do modo de rotação dos dados nos eixos x e y. A medida em que a tecnologia vai sendo desenvolvida, novos termos técnicos são cunhados para descrever conceitos e/ou papéis a serem desempenhados. E, naturalmente, a busca por terminologia adequada tem seus defensores e opositores. Segundo Luiza, em (Luiza, 1997), um termo genérico mais adequado é Datawarehousing que engloba as seguintes modalidades de DW: Data Warehouse; ODS (Operational Data Store); Data Mart; Servidores OLAP (On-Line Analytical Processing); Data Mining. Pode-se implementar qualquer uma das modalidades acima. No entanto um DW robusto, da ordem de Terabytes, é o produto da evolução e união de diversas tecnologias, das quais as mais relevantes são: Banco de dados cliente/servidor; Discos rígidos de grande capacidade; Computadores de alto desempenho; Interface gráfica; Processamento paralelo; Sistemas operacionais de rede; OLAP; Data Mining. Nem todas estas tecnologias estão no mesmo nível de evolução, sendo que algumas destas tecnologias ainda estão bastante imaturas. Entretanto não faltam críticas a este paradigma chamado DW. Ximenes, em (Ximenes, 1997), afirma que construir DW e data marts com inteligência não é apenas motivo de orgulho tecnológico, mas disso depende a lucratividade da empresa a qual poderá estar em jogo caso o projetista não esteja ciente das dimensões, limitações e perigos deste tipo de projeto. Segundo Ximenes, dificuldades para manter os armazéns íntegros e úteis são a principal causa mortis desses projetos. Os projetos de DW têm a característica de, quando bem sucedidos, apresentar um crescimento muito rápido. No entanto, com os níveis de investimento exigidos por um data warehousing, decisões errôneas podem ser fatais à empresa. Uma outra proposta de terminologia é feita por Cláudia Imhoff, em (Imhoff, 1998). Ela apresenta uma novo conceito, ao qual ela batizou de "data stewardship". A palavra steward origina-se do inglês antigo, e significava "aquele que cuida dos porcos". Utilizando-se de uma metáfora, Imhoff afirma: " o DW não é um chiqueiro, e para que ele não venha a tornar-se um, você deve considerar os benefícios de implementar um data stewardship". A diferença entre a figura do DBA tradicional e o novo Data Stewad reside não só na atividade a qual ele deverá desenvolver, mas também, no seu perfil técnico. Na verdade, esta nova posição é, provavelmente, aquela que exige um dos perfis mais elevados dentro da organização, tendo em vista que ele vai agir como um condutor entre a tecnologia de informática e os usuários finais. Sua função é, garantir que, um dos mais críticos recursos da corporação, seus dados, sejam utilizados a plena capacidade. 4. Fases Evolutivas do Data Warehouse No princípio, os computadores eram utilizados apenas para armazenamento e controle dos dados operacionais da empresa. Na verdade, os recursos computacionais, na maioria das empresas, eram tão escassos que quase sempre não conseguiam suprir suas necessidades 5

6 operacionais. A falta de capacidade de armazenamento e processamento dos mainframes dificultava a utilização dos recursos computacionais na tomada de decisões de grandes empresas, era possível apenas obter determinados relatórios estatísticos que não envolvessem um número muito grande de dados. Na década de 70 surgiram os primeiros sistemas de gerenciamento de banco de dados relacional, como uma revolução na área de informática. Esses tipos de sistemas prometiam sistemas de suporte a decisão capazes de analisar milhões de dados históricos. Nesta mesma década, a teoria da normalização foi inventada por Ted Cod como uma teoria e metodologia para estruturação de dados para aplicações OLTP (On-Line Trasaction Processing). Ela produziu bons resultados nos anos 80 durante a investida direta no desenvolvimento de bases de dados relacionais para propósitos operacionais. Segundo a empresa Information Discovery, sem a teoria da normalização muitos dos projetos que obtiveram sucesso em grande escala, nos anos 80 e 90, poderiam ter falhado. Entretanto, as limitações da teoria da normalização tornou-se evidente quando ela era aplicada à análise dimensional para suporte a decisão. O termo Data Warehouse surgiu ainda na década de 70 como um simples armazém de dados. Com o advento dos microcomputadores, o alto escalão da empresa começou a buscar por novos recursos computacionais para suporte na tomada de decisões. Muitas empresas adquiriam microcomputadores especificamente para servir os pontos estratégicos da empresa. Mas não haviam software especializados para suporte a decisões. No entanto, as linguagens que eram utilizadas no computador ainda eram muito técnicas, muito difíceis de serem entendidas por pessoas que não tivessem uma boa formação na área. Com o surgimento das linguagens de 4a geração, na década de 80, uma nova era deuse início na área de computação. O objetivo principal dessas linguagens foi possuir interfaces amigáveis com o usuário. A intenção era facilitar a programação, tornando possível, principalmente, a definição de uma consulta a uma base de dados pelo próprio usuário final, sem que ele precisasse pedir a ajuda de um programador. Também, no início da década de 80 surgiram as tecnologias DSS e EIS como solução de acesso às informações para tomada de decisão. Os DSS eram desenvolvidos tendo como base os dados operacionais. Os sistemas OLTP tradicionais, projetados para automatizar operações do dia-a-dia, são muito bons para colocar dados em bancos de dados rapidamente, satisfatoriamente e eficientemente, mas não são muito bons para resgatar análises significativas sobre os dados. Na realidade, sistemas OLTP não podem servir de repositórios de fatos e dados históricos, principalmente porque bases de dados OLTP são inconsistentes e mudam constantemente. Assim como ambientes OLTP demandam tecnologias especializadas para satisfazer demandas da aplicação, ambientes de DW requerem igualmente tecnologias especializadas. A base de dados de data warehouse é arquitetonicamente diferente de uma base de dados projetada para OLTP. No final da década de 80 foi introduzido o esquema estrela como uma solução para as limitações da teoria de normalização. Enquanto a teoria da normalização lida com o espaço de dados, esquemas estrela lidam com espaço de agregação. Nesta mesma época, também surgiram os primeiros algoritmos de data mining e constatou-se que as estruturas de dados no data mining necessitavam ser desnormalizadas e super-dimensionadas. O primeiro SGBD especializado para Data Warehouse, chamado RedBrick Warehouse VPT da Red Brick Systems, surgiu no início da década de 90 e possuia três requisitos de um verdadeiro data warehouse, quais eram: permite qualquer questão de negócio ser respondida, permite qualquer dado na empresa ser incluído na análise e apresentava um desempenho razoável. As falhas dos data warehousing para enfocar o conhecimento da cultura do trabalhador 6

7 e as dificuldades técnicas com o desenvolvimento do modelo de dados da empresa e a manutenção do warehouse levou Forrester Research, em 1991, a declarar que data warehousing estava morto, que havia sido substituído por data marting (Demarest, 1994). Na verdade, o conceito de data warehouse representa uma quantidade significtiva de mudanças e é sabido que, em geral, pessoas são resistentes a mudanças. Na Emory University em Atlanta, departamentos resistiram ao DW em função de questões sobre quem poderia controlar os dados, como os dados poderiam ser compartilhados e segurança dos dados (Winkler, 1994). A implementação de um data warehouse não é uma tarefa fácil, gerenciar espectativas do usuário é um dos maiores desafios na implementação de um DW. Em 1995, a metodologia de esquema estrela ganha aceitação difundida para data warehousing. Por outro lado, a comunidade de base de dados multidimensional tenta vender OLTP como o próximo maior passo no projeto de banco de dados, e o mercado de ferramentas de cliente DSS fica mais concorrido (Demarest, 1995). A maioria das maiores companhias de sistemas de gerenciamento de banco de dados (DBMS) abertos, ainda em 95, anuncia ou lança novos produtos sobre modelos de DSS. É difícil separar sistemas de informação de sistemas de DW. Aplicações OLTP continuam a crescer e gerenciar os dados que processam o negócio da empresa. DW agora tem uma missão: gerenciar os dados que analisam o negócio da empresa. Segundo Demarest, em (Demarest, 1995), tecnologias data warehouse necessitam ser avaliadas em cinco áreas críticas: capacidade de armazenamento; carga e desempenho de indexação; integridade operacional, confiabilidade e capacidade de gerenciamento; conectividade cliente/servidor e desempenho de processamento de query. Para Baru, em (Baru, 1996), os sistemas de hardware típicos sobre os quais os sistemas de banco de dados estão sendo implementados incluem SMP's (multiprocessamento simétrico), MPP's (processamento maciçamente paralelo), clusters, processadores de 62-bits, caches de disco e outras configurações de alta disponibilidade. Empregam também aplicações de negócio tradicionais como processamento de transação, suporte a decisão e OLAP e aplicações emergentes que requerem, por exemplo, manipulação de dados históricos; fornecendo suporte à armazenagem terciária e lidando com múltiplas fontes de dados heterogêneos. No princípio, a construção de um DW era feita a partir de um DBMS, mas notou-se que os requisitos do usuário final diferem de um banco de dados de um DW; desta forma, surgiu o conceito de DWMS (Sistemas de Gerenciamento de DW) por Yoshioki Ishii, presidente da software AG for East, Inc. que contempla três tipos de dados (Temporal, Relacional e Multidimensional) (Mohan, 1996). Sistemas DW necessitam fazer mais do que juntar os dados, eles necessitam liberar informação usual para múltiplos usuários com várias ferramentas em empresas distribuídas. Tudo em tempo real. Segundo Rudin, em (Rudin, 1996), em um alto nível, o objetivo do data warehousing e o objetivo da Web são o mesmo: fácil acesso aos dados. Vendedores estão fornecendo rapidamente novas ferramentas de desenvolvimento Web que permitem browsers Web para acessar data warehouses, satisfazendo a necessidade de acesso direto aos dados, independente de quando e onde eles necessitam estar. Arbor Software's, Essbase Web Gateway, MicroStrategy's DSS Web e Information Advantage's Web OLAP são alguns exemplos de vendedores OLAP que fornecem acesso a servidores OLAP de browsers Web [Rudin 96]. Rudin, em (Rudin, 1996), faz algumas estimativas relacionadas a DW, são elas: Em média, a implementação de um DW pode gastar $2 milhões em hardware e $1 milhão em software e demorar de 12 a 18 meses. Estimativas dizem que DW crescerá para $8 bilhões em 1998, que traduz-se em 60% de média anual da taxa de crescimento. Adicionalmente, estes $8 bilhões serão complementados por outros $5 bilhões em serviços de integração. 7

8 Um survey do Meta Group concluiu que 95% de seus respondentes planejam implementar um DW nos próximos anos, enquanto que em 1994 era somente 15%. A empresa HP, também em 1996, relata que um recente projeto de estudo da International Data Corporation concluiu que investimento em DW crescerá de $753 milhões em 1993 a $2.1 bilhão em Tomando como base alguns artigos editados em 1996, tem-se as seguintes tendências relacionadas a DW: Tendências atuais em sistemas de banco de dados incluem a incorporação de processamento paralelo; capacidades objeto-relacional; suporte a data warehousing, data mining e OLAP (Baru, 1996). Além disso, os data marts florescerão porque pessoas querem ter controle descentralizado sobre seus dados. Ferramentas automáticas estão sendo desenvolvidas para ajudar a manter a informação nos data marts atuais e consistente com os dados do DW a nível da empresa (Rudin, 1996). Outra expectativa é que os usuários demandarão data mart dinâmico que construirá dinamicamente informações agregadas (Varney, 1996). Para construir um DW escalável, corporações voltar-se-ão para hardware escalável/paralelo e plataformas de banco de dados (Rudin, 1996). O início da fase de maturação de DW pode ser estabelecido como sendo a partir de Neste ano começou a surgir a preocupação em definir metodologias para o desenvolvimento de sistemas DW. Os sistemas tradicionais, no início da era da computação, eram desenvolvidos sem a utilização de uma metodologia, aí sugiram as abordagens TOP-DOWN e BOTTOM-UP. O mesmo ocorreu com sistemas DW, que a partir de 97 também utiliza essas abordagens. Como ocorre no desenvolvimento de sistemas tradicionais, a abordagem TOP-DOWN é a mais recomendada, no entando, a abordagem BOTTOM-UP pode ser utilizada quando for necessário tratar de um problema específico. Esta última está sendo utilizada na construção de pequenos data marts, os quais posteriormente são agregados em conjuntos maiores denominados Data Warehouse. De acordo com a abordagem BOTTOM-UP, foi definida uma metodologia na qual consumidores primeiro constrõem uma pequena versão de um DW chamado um data mart e então expande gradualmente seu escopo e tamanho. Segundo a empresa Cayenne Software, em (Cayenne, 1997), a Microsoft lançou a Microsoft Repository, que representa um passo importante em direção ao fornecimento de um mecanismo para trocar metadados e modelos entre DW e ferramentas de desenvolvimento. Cerca de 53 companhias de DW e 65 vendedores já estão de acordo com o Microsoft's Open Information Model (OIM), que é o metamodelo no Microsoft Repository. Cada vez mais, vendedores fornecem ferramentas que dão aos usuários acesso a data marts via a World Wide Web, tornando possível fornecer acesso a dados para mais usuários. O mercado de ferramentas de DW e seus usuários concordam que é necessário mover-se rapidamente para uma configuração cliente/servidor e à implementação de DW de nível corporativo e, subsequentemente, os DWs departamentais. Em alguns estudos de caso verificou-se a necessidade de implantação imediata de data mart para alguma área emergente da empresa, considerando os fatores tempo, investimento inicial e retorno de investimento. Apesar de existirem muitas pesquisas sobre DW e, também, muitas ferramentas no mercado para auxiliar usuários de sistemas DW, o tempo de execução para uma busca em um DW ainda é, geralmente, muito grande. Alguns autores afirmam que com DW o tempo de processamento pode ser reduzido de semanas para poucos dias. Radding, em (Radding, 1994), afirma que através de experiência pode-se constatar que o tempo de processamento com DW pode ser reduzido de 50 horas para 1 hora. Gaudin, em (Gaudin, 1997), estima que de 50% a 70% dos DW construídos 8

9 neste ano serão versões mais simples e de informação específica, chamados data mart. Vendedores buscam por produtos que encontrarão esta demanda. Uma das tendências emergentes na indústria de Tecnologia de Informação tem sido a proliferação de data marts. Meta Group estima que data marts estão crescendo de 30% de todas as arquiteturas DW para 48% nos próximos 12 meses. 5. Áreas de Pesquisas Atuais em DW Apesar de ser arriscado especular a respeito do futuro, pode-se ao menos identificar algumas categorias atuais mais importantes para DW, são elas: software x hardware, ferramentas, padronização, inteligência artificial e web. Apesar dos grandes avanços conquistados nas pesquisas de arquitetura de computadores, principalmente na área de processamento paralelo, o futuro do DW depende mais da evolução dos programas de computadores. Nos próximos anos teremos grandes ganhos em performance e qualidade das informações fornecidas para o usuário final decorrentes dos avanços que irão ocorrer nos programas e não na arquitetura e rendimento dos computadores. Segundo o IDC (International Data Corporation), o mercado mundial de software para os DW deve chegar a 5,5 bilhões até o ano A América Latina deve registrar até lá um crescimento anual de 35%. Segundo (Kimball, 1996), das áreas atuais relacionadas aos sistemas DBMS que deverão ter melhoras significativas nos próximos anos destacam-se as seguintes: Otimização da estratégia de execução das Star Join Queries; Indexação de tabelas dimensionais para interfaces, especialmente tabelas dimensionais com milhões de linhas; Acesso (indexação) de chaves compostas em grandes tabelas; Índices Geográficos; Linguagem SQL mais completa incluindo capacidade de processar perguntas de negócios a nível gerencial; Técnicas para compressão de dados em baixo nível; Cache Inteligente; Técnicas para aproveitamento da capacidade de processamento paralelo. A família Data Warehousing é composta por diversas classes de ferramentas, das quais se destacam, além do próprio DW, Data Mart, OLAP Servers e Data Mining. O Data Mart foi definido na arquitetura original do data warehouse alguns anos atrás e tem prevalecido enquanto o data warehouse amadurece. É um tipo de DW menor em que os dados estão mais próximos aos usuários, sendo mais fáceis de serem gerenciados. Facilita a tomada de decisões em nível departamental e permite dados relacionais ou multidimensionais não voláteis. Os servidores OLAP são menores, possuem bons recursos de exploração analítica e permitem dados não voláteis. São uma solução complementar ao DW. Data Mining (mineração de dados) é baseado nos paradigmas de hipótese e descoberta, e pode fazer uso de algoritmos de inteligência artificial. Utiliza ferramentas recentes mas requer suporte intensivo. Data Mining busca padrões e comportamentos na base de dados e pode ser aplicado a banco de dados operacionais ou em DW onde geralmente resulta numa informação melhor, pois os dados normalmente são "limpos" antes de serem armazenados no DW. A velocidade e exatidão das respostas que se desejam obter de um DW dependem da exploração de novas técnicas de mineração de dados e de análise de dados dimensionais, além da melhor utilização dos recursos de processamento paralelo (Meyer, 1998). A publicação Fortune 500 indica que mais de 80% das companhias vêem Data Mining como um fator crítico para o sucesso dos negócios no ano De acordo com Gartner Group, 1997, Data Mining e Inteligência Artificial são as principais tecnologias que trarão impacto na maioria das empresas nos próximos 3 anos. 9

10 Apesar da não aplicabilidade total destes tipos de ferramentas ainda estar relacionadas ao fato da sua inabilidade em tratar dados transacionais nos volumes necessários com uma performance aceitável, a tendência será cada vez mais pela sua utilização, a partir da disponibilidade de hardware utilizando tecnologias SMP e MPP. As tradicionais ferramentas EIS tinham pouca sofisticação e eram destinadas ao alto escalão da empresa. As ferramentas OLAP são mais abrangentes, permitindo fazer análise da informação por várias perspectivas. As modalidades mais comuns são: MOLAP: Multidimensionais; ROLAP: Relacionais; LOLAP: Local, usado em simulação; HOLAP: Híbrido entre MOLAP e ROLAP. As arquiteturas multidimensionais facilitam a consulta e a visualização das informações mas aumentam drasticamente o volume de dados armazenados, o que é uma complicação para o DW onde já se trabalha com grandes volumes. Além disso, elas têm custos de software, armazenamento e pessoal mais altos e possuem estrutura de arquivos proprietária, o que dificulta sua integração com outros produtos e outras tecnologias. Naturalmente há busca de soluções para estes problemas, principalmente no desenvolvimento aprimorado de: Ferramentas de projeto de base de dados multidimensionais; Ferramentas de extração em base de dados multidimensionais; Ferramentas de administração de base de dados multidimensionais; Ferramentas de QA para base de dados multidimensionais; Ferramentas para interpretar perguntas do usuário final. Já a tecnologia relacional é utilizada para grandes volumes de dados mas tem limite a nível de dimensões. As ferramentas ROLAP são consideradas como tendência em DW pelo Gartner Group. Um outro aspecto importante refere-se a padronização das tecnologias disponíveis no mercado. Segundo Meyer, em (Meyer, 1998), as empresas IBM, Informix e Oracle estão usando a terminologia "Servidor Universal" no nome de seus produtos. Com isto, um novo RDBMS estendido está surgindo permitindo técnicas complexas de acesso a dados do tipo imagens, sons e vídeo. Já o grupo Aberdeen acredita que a tecnologia do Servidor Universal se tornará um padrão em breve a medida que esses fabricantes colocarem seus produtos no mercado, fazendo desta tecnologia um dos principais avanços em RDBMS nesta década. As técnicas de Inteligência Artificial que tem sido utilizadas como parte das ferramentas de Data Mining são: Sistemas Especialistas; Lógica Fuzzy; Algoritmos Genéticos; Redes Neurais. Combinação das diferentes técnicas podem ser utilizadas, mas as duas últimas possuem tendências para pesquisas futuras em DW, principalmente as redes neurais. As Redes Neurais foram originalmente desenvolvidas para tratarem de problemas tais como aprendizagem geral dos humanos, fala computacional e reconhecimento de imagens. Entretanto, na atualidade as técnicas de redes neurais tem sido mais utilizadas no tratamento de problemas do mundo real do tipo previsão de interesse de clientes por determinados produtos da empresa e detecção de fraudes em cartões de crédito (Berson, 1998). As modalidades de redes neurais utilizadas no tratamento de problemas em DW são as do tipo não supervisionadas como as Redes ou Mapas de Kohonen e Backpropagation. Neste tipo de rede são formados diversos agrupamentos de informações, onde em cada grupo são unidos os elementos que possuem características semelhantes. Existem alguns tipos de redes, como ART (Adaptive Resonance Theory), onde é possível controlar o grau de similaridade entre os elementos de um mesmo grupo. Devido à complexidade para compreensão dos resultados oriundos destas técnicas, muitas pesquisas deverão ser desenvolvidas com o objetivo de gerar ferramentas que facilitem a compreensão das informações por parte do usuário final. Uma pesquisa recente realizada pelo Data Warehousing Institute, relata que uma das 10

11 maiores justificativas para a adoção de ferramentas WEB reside na redução de custos de instalação e atualização de software desktop, que de outra forma demanda um batalhão de suporte técnico para realizar estas atividades. A IBM, em parceria com a empresa Arbor Software, desenvolveu recentemente o Servidor DB2 OLAP que permite acesso a dados multidimensionais através de navegadores da Web, permitindo que clientes possam realizar análises via Internet. 6. Perspectivas Futuras O conceito de DW pode ser aplicado em praticamente qualquer tipo e tamanho de organização. No entanto, as modalidades mais completas e robustas de DW serão adotadas pelas grandes corporações, onde a competitividade e o volume de negócios e informações justifiquem o porte desse tipo de solução, em bases de dados maiores do que 100 GB. Conforme estudos feitos por Fortune 500, 95% dessas empresas já implementaram ou estão planejando implementar seus Data Warehouses. Muitos produtos específicos para DW são fortes em aplicações simples e repetitivas, mas ineficientes quando confrontados com bancos de dados complexos utilizados em diversas áreas de atuação de suporte à tomada de decisão. Com o objetivo de desenvolver ferramentas mais efetivas, os sistemas relacionais de banco de dados deverão receber melhorias de particionamento, indexação, processamento paralelo e processamento de queries, tais como: Busca de dados paralelo: tabelas e índices podem ser lidos simultaneamente, permitindo que operações tipicamente demoradas, tais como agregações e sumarização sejam completadas muito mais rapidamente; Balanço de carga: distribuição automática do processamento entre as threads e os processadores; Cache Read-ahead: lê à frente de forma inteligente e eficiente e retorna dados que podem vir a ser solicitados. Valioso quando percorrendo o DW para construir o resultado de uma consulta; Backup e restore de alta velocidade: estes são aspectos críticos em ambientes de alto volume e alta concorrência e deverão haver grandes avanços nessa área, incluindo a operação em paralelo onde um banco de dados pode ser copiado para diversos dispositivos simultaneamente, e vice-versa; Carga em paralelo: em DW há um tráfego de importação e exportação de dados que pode ser feito em várias instâncias simultaneamente; Otimização distribuída: o acesso aos dados pode ser feito de forma distribuída, acelerando o desempenho geral das consultas; Ordenação: busca-se avanços na otimização de sort para grandes volumes. Doug Laney, consultor da companhia Prism Solutions, um dos fornecedores de soluções de DW do mercado, identificou os seguintes desafios a serem superados no ambiente de data warehouse: Reengenharia de sistemas para run the business precisará de informação para sugerir o melhor caminho a seguir; Obrigatoriedade de manutenção dos sistemas legados, que agora tem a função de fornecer uma grande variedade de informações aos usuários, está tornando-se assustadora! Como tratar com este problema? A tarefa de juntar sistemas tem tornado-se mais frequente, intrincada e delicada, muito em função das fusões entre empresas, processo este que atualmente está ocorrendo com uma frequência bastante grande; A necessidade de fornecer informação para DSS através da organização demanda repensar as estratégias tradicionais de gerenciamento de dados; A necessidade de analisar a performance do negócio em todos os níveis da organização requer uma grande e profunda base de informação, tendo-se o cuidado de não afetar os sistemas em produção. 11

12 Outra área de grande interesse no futuro de DW é a integração das ferramentas de interface do DW com as facilidades e características da Web, estabelecendo-se padrões de interação com o usuário que serão de domínio público e facilitarão o trabalho de toda a comunidade da organização desde os analistas de SAD e funcionários internos da empresa, através da Intranet e Extranet, até aos clientes através da rede WWW. Data warehousing juntamente com a tecnologia web tornar-se-ão logo a peça fundamental para um sistema de obtenção e distribuição de informações da corporação. Decisões geradas pelo sistema deverão ser conectadas aos sistemas operacionais sem a intervenção humana. Por exemplo: a decisão dobre o estoque, poderia automaticamente disparar uma ordem para merchandising adicional. A possibilidade de obter, analisar e recuperar resultados virtualmente em tempo real, irá transformar, e em alguns casos, revolucionar muitas das noções de como fazer negócios de hoje. 7. Conclusão DW é um repositório de informações que permite fazer análise de tendências e identificar relacionamentos muitas vezes desconhecidos, que em tempos de intensa competitividade, com certeza, torna-se uma ferramenta estratégica. Novas ferramentas estão aparecendo em resposta às necessidades do mercado de sistemas de DW. Com a proliferação das Intranets, uma tendência é o desenvolvimento de ferramentas com interface ao usuário final apresentando as mesmas facilidades e características das interfaces utilizadas atualmente pelos navegadores da Web. DW melhora a eficácia e a disponibilidade dos dados, reduz o tempo de tomada de decisões de negócio, reduz a quantidade de recursos mantidos para a construção e manutenção de relatórios. Entretanto, não há um único produto que atenda às necessidades atuais e futuras de todos. DW é um enfoque tanto filosófico e de arquitetura quanto de tecnologia, e seu mercado está em plena formação. Referências Bibliográficas e Links Relacionados BARU, C.K. Ferformance of future database systems: bottlenecks and bonananzas. VLDB 1996: BERSON, A. & SMITH, S. J. Data Warehousing, Data Mining, & OLAP. McGraw- Hill, CAYENNE. Cayenne Software announces increased support for Microsoft Repository DEMAREST, M. Building the Data Mart. DBMS Magazine, (v7 n8 p44) July DEMAREST, M. A Data Warehouse Evaluation Model. Oracle Technical Journal,(v1 n1 p29), October GAUDIN, S. Data marts becoming preferred approach. 1997, IMHOFF, C. Ensuring data quality through data stewardhip. DM Review Magfazine, april, KIMBALL, R. The DW toolkit. John Wiley & Sons, Inc, LUIZA, M. Tomada de decisão sustentada por DW. Laboratório de Banco de Dados. MANGOLD, J. Turning straw into gold: how data mining transforms data from an expense into an asset. DM Review Magazine, fev, MEYER, D. & CANNON C. Data Warehouse. Prentice Hall, MICROSTRATEGY. Relational OLAP: an enterprise - wide data delivery architecture

13 MOHAN, N. DWMS: Data Warehouse Management System. VLDB, 1996: RADDING, A. Data warehousing directions - The 16,000% ROI RUDIN, K. What s new im data warehousing. DBMS Data Warehouse Supplement, August VARNEY, S.E. Datamarts: coming to an IT Mall Near You! Winkler, C. Data warehousing directions - Surviving the Earthquake XIMENES, F. B. Receita para destruir um DW. Informática Exame, Outubro,