DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP.

Transcrição

1 DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. Eduardo Cristovo de Freitas Aguiar (PIBIC/CNPq), André Luís Andrade Menolli, Ricardo Gonçalves Coelho eduardocristovo@hotmail.com. Universidade Estadual do Norte do Paraná/Campus Luiz Meneghel. Área e sub-área do conhecimento: ciências exatas e da terra, ciência da computação. Palavras-chave: datawarehouse, metodologia, ágil. Resumo A implantação de um ambiente de BI pelas metodologias tradicionais é custosa e trabalhosa, uma nova metodologia denominada Agile ROLAP visa implantar ambientes de BI de forma mais rápida e fácil, em pequenas e médias empresas. No entanto, para que isso seja possível é necessário implementar ferramentas que dêem suporte a essa implantação. Este trabalho pretende criar plug-ins para a ferramenta de ETL Kettle para geração do mondrian schema, e assim auxiliar na implantação da metodologia Agile ROLAP. 1. Introdução Inteligência de Negócio ou Business Intelligence (BI) é o conjunto de tecnologias orientadas a disponibilizar informação e conhecimento para as empresas, permitindo uma melhor visão do que está ocorrendo, isto contribui para uma melhor tomada de decisão (Machado, 2010). As principais ferramentas e tecnologias utilizadas pelos sistemas de BI são os Data Warehouses (DW) e as ferramentas On-Line Analytical Processing (OLAP), que surgiram no começo dos anos 90, como novas ferramentas que foram a base dos sistemas de BI (Shim et al, 2002). A criação de um sistema de BI geralmente passa por alguns passos pré-definidos, estes passos são: Extrair os dados transacionais da organização, colocar estes dados sob uma perspectiva de analise dimensional, e utilizar de uma ferramenta OLAP para visualizá-los e analisá-los. Um problema dessa metodologia de desenvolvimento é que os dados que são armazenados no DW seguem a modelagem dimensional, porém, as bases organizacionais são modeladas de maneira relacional. Para que esta conversão de modelos aconteça é necessário passar pelo processo de Extraction, Transformation and Load (ETL), processo este que pode levar cerca de 80% do tempo necessário para o desenvolvimento de um DW (Menolli, 2006). O processo de ETL da maneira como é realizado atualmente, torna o desenvolvimento de um DW lento e menos adaptável a mudanças vindas do mercado. Com base nisto foi desenvolvida a metodologia Agile ROLAP, que reduz o processo de ETL, diminuindo o tempo necessário para a criação ou alteração de um DW (SOUZA; MENOLLI; COELHO, 2014). Apesar de lento, o processo de ETL conta com diversas ferramentas auxiliares para sua realização. O Kettle Data Integration é uma dessas ferramentas auxiliares, e foi escolhido como alvo deste trabalho por ser uma ferramenta gratuita e de código fonte aberto. A metodologia Agile ROLAP procura se manter fiel a maioria dos processos realizados em um DW comum, o fato de

2 desenvolver adicionais para uma ferramenta de ETL tem como objetivo aproximar ambas metodologias. Dessa forma este trabalho pretende desenvolver plug-ins para a ferramenta Kettle, que atuem na fase de geração do mondrian schema e auxiliem na implantação da metodologia Agile ROLAP. 2. Revisão de literatura A revisão da literatura encontra-se dividida em três sub-seções centradas nos temas: ETL, Mondrian schema e Agile ROLAP. Na primeira sub-seção o leitor irá encontrar uma explicação sobre o processo de ETL para a construção de um DW. Na segunda faz-se uma abordagem relativa ao Mondrian Schema, o que ele é e qual seu papel. Na terceira sub-seção aborda-se o que é a metodologia Agile ROLAP e porque ela foi criada Processo de ETL em Data Warehouse Quando o termo DW tradicional for usado, o leitor deve considerar como tradicional a ideia proposta por Inmon (2002) e seguindo a modelagem dimensional de Kimball e Ross (2002), visto que este é o modelo mais usado atualmente. Na metodologia tradicional de DW o banco ou os bancos de dados transacionais da organização que geralmente estão em um modelo relacional, são transformados em um único banco dimensional. Para que isso aconteça é necessário realizar o processo de ETL. Durante o processo de ETL é necessário criar ferramentas ou configurações que ditem como serão feitas conversões de dados, quais dados serão utilizados, de onde estes dados virão, entre outras coisas necessárias para essa migração do modelo relacional para o dimensional. O local onde estas configurações e dados em transferência serão tratados denomina-se Data Staging Area. "A Data Staging Area abrange tudo entre os sistemas operacionais de origem e a área de apresentação de dados" (KIMBALL; ROSS, 2002). Após as conversões de dados necessárias, tratamento dos dados e junção dos mesmos ocorridos na Data Staging Area, eles são carregados para a área de apresentação, falando de forma mais clara, o modelo relacional se tornou um modelo dimensional. Após os dados estarem na área de apresentação eles são acessados por ferramentas OLAP que são as ferramentas responsáveis por apresentar os dados ao usuário e permitir que o usuário realize diversas formas de consulta. Quando os dados passam por todo este processo pode-se dizer que o DW está montado Mondrian Schema O Mondrian é um servidor Relational On Line Analytical Processing (ROLAP) desenvolvido pela Pentaho. O Mondrian sendo um servidor ROLAP possui as mesmas funcionalidades de um serviço OLAP, visualização de dados, geração de gráficos e relatórios e etc. A grande diferença entre os dois se destaca pelo R da sigla, que faz referencia as bases relacionais, pois, o objetivo de um servidor ROLAP é permitir uma análise dimensional em uma base relacional. Para funcionar o Mondrian precisa de um arquivo no formato Extensible Markup Language (XML), denominado mondrian schema, este arquivo contém as configurações de visualização das dimensões e fatos, bem como faz o mapeamento do banco de dados referente ao DW. O Mondrian Schema realiza as funções de configuração lógica e física de um DW (mapeamento e visualização), ele é capaz de acessar uma base relacional e se tornou um padrão de configuração para várias outras ferramentas OLAP.

3 2. 3. Agile ROLAP A metodologia Agile ROLAP é uma metodologia ágil de desenvolvimento de DW. Ela foi baseada na metodologia Agile BI, porém, diferente do Agile BI, procura utilizar das ferramentas OLAP já existentes, acessando os dados diretamente das bases transacionais através do Mondrian Schema, minimizando assim o processo de ETL (SOUZA; MENOLLI; COELHO, 2014). A metodologia Agile ROLAP passa basicamente pelos seguintes passos: - Levantamento dos dados e requisitos. - Acesso a fonte de dados. - Criação das dimensões de tempo (fisicamente e no Mondrian Schema). - Criação das dimensões (no Mondrian Schema). - Criação dos fatos (fisicamente e no Mondrian Schema). - Exportação do Mondrian Schema. Esta metodologia apresenta como principais vantagens a redução no tempo e investimento necessários para a construção de um DW. A redução no tempo se deve ao fato da minimização do processo de ETL, enquanto que a redução no investimento se deve a própria redução no tempo. Muitas empresas de desenvolvimento de software calculam o custo do sistema de acordo com o tempo de trabalho necessário para seu desenvolvimento. Como desvantagem principal a metodologia Agile ROLAP apresenta a velocidade de execução das consultas. Segundo Kimball e Ross (2002) a modelagem dimensional tem como foco a simplicidade, para que possa ser entendida e processada de maneira simples. Assim um banco de dados modelado de maneira dimensional, na maioria dos casos, irá executar consultas mais rapidamente do que um banco modelado de maneira relacional, no entanto, essa desvantagem não é suficiente para inviabilizar a metodologia Agile ROLAP. A metodologia Agile ROLAP não veio para substituir o DW tradicional, porém, segundo Souza, Menolli e Coelho (2014) ela tem como objetivo atender a empresas de menor porte e possibilitar que essas empresas consigam usufruir das tecnologias de BI com menor investimento e mais rapidamente. Papel que ela tende a ser mais eficaz em desempenhar do que a metodologia tradicional. 4. Desenvolvimento A geração do Mondrian Schema é um processo trabalhoso e demorado, assim foram desenvolvidos plug-ins para a ferramenta Kettle da Pentaho, com o objetivo de auxiliar a criação de um ambiente de inteligência do negócio seguindo a metodologia Agile ROLAP. As ferramentas desenvolvidas no projeto realizam as configurações físicas (mapeamento do banco de dados) e lógicas (visualização dos dados) descritas no Mondrian Schema, os plug-ins pertencentes à parte física, também criam tabelas físicas dentro do banco de dados em alguns casos. Os plug-ins pertencentes à parte física são Dimensão, Dimensão de Tempo, Feriado, Fato e XML Out, conforme ilustra a Figura 1 e suas funções são descritas a seguir: Figura 1: plug-ins físicos.

4 Dimensão: Permite ao usuário mapear uma dimensão comum do banco de dados, isto é, realizar as ligações necessárias para a junção de duas ou mais tabelas, formando o que seria uma tabela de dimensão de um banco de dados dimensional. Dimensão de Tempo: Cria uma tabela de tempo genérica na base de dados, tendo como menor granularidade os dias. Feriado: Configura as datas de feriado de uma tabela de tempo. Fato: Possibilita que o usuário selecione quais campos serão chaves da tabela de fato, além de criar uma view materializada como tabela de fato. XML Out: Exporta as configurações dos plug-ins anteriores e o mapeamento do banco de dados em um arquivo XML. O arquivo XML gerado pelo XML Out será a base para o funcionamento das ferramentas pertencentes à parte da configuração lógica, a arquitetura foi definida desta maneira para que os plug-ins da parte lógica pudessem ser desenvolvidos em paralelo com os da parte física, além de que o processo também ficaria mais semelhante à construção de um DW tradicional, separando as partes físicas e lógicas. Os plug-ins referentes à configuração lógica do Mondrian Schema são Dimensão Lógica, Dimensão Lógica de Tempo, Cubo e Schema Out, conforme ilustra a Figura 2 e suas funções serão explicadas a seguir: Figura 2: plug-ins lógicos. Dimensão Lógica: Configura a visualização de uma dimensão dentro do Mondrian Schema, falando de forma mais clara, nome da dimensão, hierarquias, níveis. Dimensão Lógica de Tempo: Responsável pela configuração de uma dimensão de tempo dentro do Mondrian Schema, mais claramente, nome da dimensão, hierarquias, níveis e temporização do nível (ano, semestre, trimestre e etc...). Cubo: Permite ao usuário a configuração de um Cubo dentro do Mondrian Schema, isto é, usos de dimensões, medidas. Schema Out: Responsável por unir as configurações de todos os plug-ins anteriores, inclusive os da parte física. 5. Resultados e Discussão Foram desenvolvidos os plug-ins Dimensão, Dimensão de Tempo, Feriado, Fato, XML Out, Dimensão Lógica, Dimensão Lógica de Tempo, Cubo e Schema Out. Todos os plug-ins que foram citados já se encontram em uma versão funcional, no entanto, eles estão em fase de testes e ainda podem surgir várias modificações e melhorias até o lançamento de uma versão final. Para validar os plug-ins, foram realizados testes de implantação, utilizando os plug-ins desenvolvidos para criar um DW seguindo a metodologia Agile ROLAP. Nos testes realizados até o momento, os plug-ins se mostraram úteis, viáveis e cumpriram com seus requisitos. Como resultado final da pesquisa, pode-se afirmar que: Os plug-ins desenvolvidos podem auxiliar efetivamente na implantação da metodologia Agile ROLAP, diminuindo o trabalho manual necessário para a geração do Mondrian Schema.

5 6. Conclusões Os plug-ins desenvolvidos até o momento cumprem seu objetivo, todavia, é compreensível que surjam trabalhos futuros. Atualmente já está em desenvolvimento um plug-in que auxiliará na criação de tabelas estrangeiras para o PostgresFDW, possibilitando a integração de mais de uma base de dados. Agradecimentos Agradeço o CNPQ e a Fundação Araucária pelo incentivo e recursos disponibilizados para a realização deste projeto. Referências INMON, W. H.. Building the Data Warehouse. 3. ed. Canada: John Wiley & Sons, p. KIMBALL, Ralph; ROSS, Margy. The Data Warehouse Toolkit: Guia completo para modelagem dimensional. 2. ed. Rio de Janeiro: Campus, p. Tradução de: Ana Beatriz Tavares e Daniela Lacerda. Machado, F. N. R. (2010) Tecnologia e Projeto de Data Warehouse: uma visão multidimensional, 5 ed., Érica, São Paulo. Menolli, A. L. A. (2006) A Data Warehouse Architeture in Layers for Science and Technology, Proceedings of the Eighteenth International Conference on Software Engineering Knowledge Engineering (SEKE'2006), San Francisco, CA, USA. Shim, J. P., Warkentin, M., Courtney, J., Power, D. J., Sharda, R. e Carlsson, C. (2002) Past, Present, And Future Of Decision Support Technology, Decision Support System, V. 33, N. 2, P SOUZA, Elielson B. de; MENOLLI, André L. Andrade; COELHO, Ricardo G.. Uma Metodologia Agile ROLAP para Implantação de Ambientes de Inteligência de Negócios Disponível em: < Acesso em: 09 ago