Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA

Transcrição

1 Universidade Federal da Bahia Instituto de Matemática Departamento de Ciência da Computação MATA67 Projeto Final II Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA João Teixeira de Jesus Salvador, Out/2009

2 Agenda Motivação; Metadados Porque são importantes? Categorias de metadados; Ferramentas de modelagem e gerência de metadados; Especificação dos critérios para análise; Tipos de metadados a serem analisados; 2

3 Metadados De acordo com MENOLLI(2004), Metadados são dados sobre dados, e tem a função de dizer onde está o que dentro de um DW, ou seja, é necessário saber quais os dados estão disponíveis e onde eles estão localizados no DW para que possam ser acessados com eficiência. Segundo PIZANI(2008), uma definição mais apropriada é que contextualizam um dado ou informação. IKEMATU(2001) define metadados de uma forma mais clara afirmando que são dados que descrevem atributos de um recurso, fornece o contexto para entender o dado através do tempo, fornecem o instrumental para transformar dados brutos em conhecimento. 3

4 Categorias de Metadados Em (David(2001) apud MENOLLI(2004)), o autor divide os metadados em duas categorias: Metadados Técnicos - é a descrição dos dados necessários pelas várias ferramentas para armazenar, manipular ou movimentar dados. Estas ferramentas incluem banco de dados relacionais, ferramentas de desenvolvimento de aplicações, ferramentas de modelagem, ferramentas de pesquisa em banco de dados, ferramentas OLAP, etc. Metadados de Negócio - é a descrição de dados necessários pelos usuários de negócio, para entender o contexto do negócio e o significado dos dados. 4

5 Ferramentas de modelagem e gerência de metadados Pentaho Metadata Editor ferramenta da suite Pentaho BI Solutions; FreeMetadata ferramenta da Bpm-Conseil, distribuída como um dos componentes da Vanilla BI Open Source Business Intelligence. Microstrategy solução proprietária de business intelligence. É uma das soluções de BI líderes do mercado, bastante consolidada, para muitos profissionais a solução mais completa e robusta. 5

6 Critérios para análise das ferramentas(i) De acordo com RAINARDI(2008), ferramentas de metadados deveriam gerar e gerenciar os seguintes tipos de metadados: Definição de dados e metadados de mapeamento - contém o significado de cada coluna da tabela fato e dimensões e de onde os dados são provenientes; Metadados de estrutura dos dados - descrevem a estrutura das tabelas em cada armazém de dados(data Store); Metadados dos sistemas fontes - descrevem a estrutura dos dados das bases de dados dos sistemas fontes; Metadados do processo de ETL - descrevem cada fluxo de dados no processo de ETL; 6

7 Critérios para análise das ferramentas(ii) Metadados de qualidade dos dados - descrevem as regras de qualidade dos dados, seus níveis de risco e suas ações; Metadados de auditoria - contém os registros dos processos e atividades no armazém de dados; Metadados de uso - contém um log de evento do uso da aplicação; 7

8 Definições dos tipos(i) Metadados de definições dos dados contém a descrição de cada coluna, tabela fato, atributos de dimensão, chaves. Contém a descrição do negócio do dado no contexto da organização; Metadados de mapeamento dos dados também conhecido como data lineage metadata refere-se a origem de cada dado no DW. A origem de cada coluna das dimensões e fatos. Esses metadados respondem a pergunta: De onde vem este dado? Metadados de estrutura dos dados estes metadados descrevem a estrutura do DW. Eles possuem uma entrada para cada tabela do DW especificando o tipo dos dados, se é chave primária, estrangeira, se pode conter o valor null, etc. Metadados dos sistemas fontes contém as informações sobre as bases de dados de origem dos dados, a estrutura, os tipos de dados, indexes, restrições, views, chaves, etc. 8

9 Definições dos tipos(ii) Metadados dos processos de ETL contém a descrição dos fluxos de dados do ETL, de onde cada dado é extraído, que transformações são feitas no dado, onde é feita a carga, quando um processo de ETL deve ser executado, etc. Metadados de qualidade de Dados descreve as regras de qualidade de dados, qual tabelas e colunas determinada regra é aplicada, os níveis de risco da regra. Esses metadados são usados para determinar qual operação executar quando um dado com erro é detectado. Metadados de auditoria contém os resultados de todos os processos do DW, como os processos de ETL, modificação de dados, logs de segurança, regras de validação. Esses metadados também são usados para verificar quais processos de ETL executou com sucesso. Metadados de uso contém um log que registra quais relatórios ou cubos são acessados, por quem e quando. Esses metadados ajudam a entender o acesso e o uso da aplicação. Por exemplo, quantas vezes um determinado relatório é acessado, por quais usuários, 9 departamentos?

10 Implementação Modelar o modelo dimensional da produção científica da UFBA nas ferramentas a serem analisadas; Analisar e avaliar as funcionalidades de cada ferramenta de acordo com a classificação de metadados citada anteriormente, verificando quais tipos de metadados a ferramenta permite gerar; Análise os resultados, destacando os pontos fortes e fracos de cada ferramenta. 10

11 Referências (I) INMON, W. H., WILEY, J. Como construir o Data Warehouse, 2ª ed. Rio de Janeiro:Campus, AHLERT, HUBERT. Projeto BI-UFRGS: do modelo de dados corporativo ao data warehouse, II Workshop de Tecnologia da Informação das IFES. Caderno de resumos. Gramado: UFRGS, PETRINI, M., FREITAS, M. T., POZZEBON, M. Inteligência de Negócios ou Inteligência Competitiva? Noivo Neurótico, Noiva Nervosa. In: ENANPAD, 2006, Salvador. Anais do 30º Encontro da ANPAD Associação Nacional dos Programas de Pósgraduação em Administração,

12 Referências (II) SALVADOR, H., ARAÚJO, C., VIEIRA, V. Um Banco de Dados Único para os Sistemas Corporativos da UFBA. III Workshop de TI das IFES, Pará, Belém, 2009 (submetido). CARVALHO, J. Modelo de Metadados para Sistemas de Descoberta de Conhecimento em Banco de Dados Utilizando XML, Universidade Estadual de Maringá, Dissertação de Mestrado. 12

13 Referências (III) SANTOS, H. Uma solução de Metadados Baseada nos Padrões MOF e XML, Universidade Federal de Pernambuco, março/2003. Dissertação de Mestrado. IKEMATU, R. Gestão de Metadados: Sua evolução na tecnologia da Informação, DataGramaZero - Revista de Ciência da Informação, v 2, nº 6, dezembro/2001. Disponível em: Acesso em: 21 Set