Ferramentas Livres de Armazenamento e Mineração de Dados

Transcrição

1 Ferramentas Livres de Armazenamento e Mineração de Dados JasperBI, Pentaho, Weka 09/2009 Eng. Pablo Jorge Madril pmadril@summa.com.br Summa Technologies

2 Eng. Pablo Jorge Madril 09/2009 Summa Technologies

3 Agenda Conceitos de BI Visão geral do Pentaho Visão geral do JasperBI Community vs Profissional Conclusões 3

4 Conceitos Armazenamento e Mineração de dados (Data Warehousing and Data Mining) representa o procedimento de extrair informação a partir de dados coletados pelos diversos sistemas administrativos de uma empresa 4

5 Conceitos: Data Warehouse Um Armazém de Dados (Data Warehouse) é uma coleção de dados orientada a assunto, integrada, variante no tempo e não volátil para suporte a decisões de gerenciamento. Tem como objetivo responder as questões mais frequentes dos seus usuários: Executivos: Como anda a nossa margem? G. de Vendas: Quais são os produtos campeões de vendas do semestre por região? Modeladores de Dados: Como integro os dados de todas as bases? Profissionais de BI: Como preparo os relatórios solicitados? 5

6 Conceitos: Estrutura de um Data Warehouse Os dados são organizados em FATOS e DIMENSÕES numa estrutura em fomra de estrela: A conceito básico é o cubo de dados (no lugar da tabela). 6

7 Conceitos: Estrutura do Cubo Dimensões Route Source Time Métricas Packages Last Níveis ground non-ground Membros air sea 7

8 Conceitos: MDX MultiDimensional expressions: Linguagem semelhante ao SQL que permite trabalhar com cubos desenvolvida pela MS e que se tornou padrão Uma tupla que define um elemento do cubo com valor 240 pode ser expressa como: (Source.[Eastern Hemisphere].Africa, Time.[2nd half].[4th quarter], Route.Air, Measures.Packages) Um select ficaria: SELECT { Route.nonground.Members } ON COLUMNS, { Time.[1st half].members } ON ROWS FROM TestCube WHERE ( [Measures].[Packages] ) 8

9 Conceitos: Data Warehouse É usado para: Processamento de informações Consultas e relatórios usando tabelas, gráficos Processamento analítico Operações de OLAP básicas: slice-dice, drilling, pivoting 9

10 Conceitos: Operações básicas de OLAP 10

11 Conceitos: Data Mining É o processo de descoberta de conhecimento em padrões Suporta associações, construção de modelos analíticos, executa classificação e predição, clusterização, apresentando os resultados em feramentas gráficas de visualização O exemplo mais clássico é o da cerveja e as fraldas 11

12 12

13 DEMO do JasperBI Suite e PENTAHO 13

14 Processo de Construção e mineração de um Data Warehouse Knowledge Pattern Evaluation Data Mining Task-relevant Data Data Warehouse Data Cleaning Selection Data Integration 14

15 Funcionalidades básicas das ferramentas Importação e preparação de dados ETL: Extract, Transform and Load Análise OLAP: Online Analytical Processing Geração de relatórios automática Mineração de Dados Padrões repetitivos, Associações e Correlações Classificação e Predição Agrupamento (Clustering) Deteção de Desvios (Outlier) 15

16 DEMO das ferramentas A Infobright oferece soluções para aceleração das queries OLAP e compactação das bases. Infobright fornece as duas ferramentas servidoras (Pentaho e Jasper) integradas em máquinas virtuais (virtual appliance) da VMWare para poder experimentar com elas em forma imediata 16

17 Ferramentas Pentaho Home: Downloads: VMWare Appliance:

18 Dicas de instalação Para testes use o VMWare Appliance da Infobright Instale o VMWare Player Abra com ele o ice32.vmx Para logar no console do Ubuntu, use usuario:ice, password: infobirght (suporta sudo) Descubra o IP da maquina virtual (xx.xx.xx.xx) Com um browser acesse a URL: Acompanhe as instruções da página Em se encontra o Pentaho User Console Em se encontra o Pentaho Admin Console (user: admin, pass: password) 18

19 Componentes do Pentaho BI Server Data Analysis Data Integration / ETL Tool Data Reporting Data Mining 19

20 Ferramentas JasperBI Home: Downloads: VMWare Appliance: downloads 20

21 Dicas de instalação Para testes use o VMWare Appliance da Infobright Instale o VMWare Player Abra com ele o ice32.vmx Para logar no console do Ubuntu, use usuario:ice, password: infobirght (suporta sudo) Descubra o IP da maquina virtual (xx.xx.xx.xx). Aparece na tela após a inicialização. Com um browser acesse a URL: Acompanhe as instruções da página Em se encontra o login do JasperServer. Logar como jasperadmin/jasperadmin para administração e joeuser/joeuser como usuário normal 21

22 Componentes do JasperBI BI Server Data Analysis Data Integration / ETL Tool Data Reporting 22

23 Community vs Profissional 23

24 Community vs Professional: Jasper 24

25 Community vs Profissional: Pentaho 25

26 Conclusões 26

27 Conclusões 27

28 Conclusões Impressionante maturidade e complexidade de ambas ferrramentas Impressionante velocidade de atualização da JasperSoft Impressionante a quantidade e qualidade de código livre disponível BI já!!! 28

29 Muito obrigado pela atenção!! Perguntas? Pablo J. Madril 29

30 Referências Conceitos básicos Wikipedia Data Mining Concepts and Techniques, Jiawei Han and Micheline Kamber ( Data Mining Practical Machine Learning Tools and Techniques, Ian H. Witten and Eibe Frank ( 30

31 31