UNIVERSIDADE POSITIVO ESPECIALIZAÇÃO EM BUSINESS INTELLIGENCE IMPLEMENTAÇÃO BI OPEN SOURCE

Transcrição

1 UNIVERSIDADE POSITIVO ESPECIALIZAÇÃO EM BUSINESS INTELLIGENCE IMPLEMENTAÇÃO BI OPEN SOURCE CURITIBA 2013

2 EDUARDO PHILIPPI ELTON HARRISSON ESTEFANSKI Implementação BI Open Source Trabalho de Conclusão de Curso apresentado ao Curso de Especialização em Business Intelligence da Universidade Positivo. Orientador: Leandro Henrique Souza. CURITIBA 2013

3 SUMÁRIO 1. INTRODUÇÃO METODOLOGIA LISTA DE EMPRESAS QUE USAM PENTAHO NO BRASIL PLANO DE PROJETO VISÃO GERAL DO PROJETO OBJETIVO DO PROJETO PROCESSO DE GERENCIAMENTO DO PROJETO DETALHAMENTO DAS FASES INICIAÇÃO ENTENDIMENTO DO MODELO DE NEGOCIO DA EMPRESA Entender a necessidade do cliente ANÁLISE DA SUA VIABILIDADE Vender a ideia - Retorno/Benefícios (Custo / Tempo) Levantamento de Recursos (Sw da empresa) PLANEJAMENTO DEFINIÇÃO DETALHADA DE REQUISITOS Mapeamento dos dados do sistema HW's para Desenvolvimento EXECUÇÃO ANÁLISE Definições das Visões de Negócios IMPLANTACAO SERVIDOR Configuração do Servidor IMPLANTACAO - BANCO DE DADOS Banco de Dados SGDB (MySQL) DESENVOLVIMENTO MODELAGEM Modelagem Star Schema DESENVOLVIMENTO - ETL e DW Pentaho Data Integration (PDI ou Kettle) DESENVOLVIMENTO METADADOS Pentaho Metadata Editor (PME) DESENVOLVIMENTO - CUBOS OLAP III

4 Pentaho Schema Workbench (PSW ou Mondrian) DESENVOLVIMENTO - VISOES RELATÓRIOS Pentaho Report Designer (PRD) Pentaho Reporting DESENVOLVIMENTO - VISOES ANALITICAS Analysis View Saiku Analytics OpenI Olap Data Visualization TESTE Testa a Aplicação Corrige Erros Pequenos Ajustes IMPLANTAÇÃO Qualificar Funcionários Treinamentos Mudança nas Atividades e Cultura MONITORAMENTO E CONTROLE SUPORTE Acompanhamento Alterações e Mudanças Feedback ENCERRAMENTO FINALIZAÇÃO Conclusão do Projeto Novos Contratos para Manutenção APRENDIZADOS CONCLUSÃO IV

5 ÍNDICE DE ILUSTRAÇÃO FIGURA 01 GRÁFICO DE ESTÁTICAS COMPARATIVAS DE TENDÊNCIA11 FIGURA 02 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: PENTAHO FIGURA 03 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: BUSINESS OBJECTS FIGURA 04 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: COGNOS FIGURA 05 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: HYPERION FIGURA 06 TABELA COM DEPOIMENTOS SOBRE PENTAHO FIGURA 07 WBS FIGURA 08 DESCRIÇÃO DAS FASES FIGURA 09 MODELO RELACIONAL DA EMPRESA FIGURA 10 IMPLANTACAO - SERVIDOR FIGURA 10.1 IMPLANTACAO - SERVIDOR FIGURA 10.2 IMPLANTACAO - SERVIDOR FIGURA 10.3 IMPLANTACAO - SERVIDOR FIGURA 11 IMPLANTACAO - BANCO DE DADOS FIGURA 11.1 IMPLANTACAO - BANCO DE DADOS FIGURA 11.2 IMPLANTACAO - BANCO DE DADOS FIGURA 11.3 IMPLANTACAO - BANCO DE DADOS FIGURA 11.4 IMPLANTACAO - BANCO DE DADOS FIGURA 11.5 IMPLANTACAO - BANCO DE DADOS FIGURA 11.6 IMPLANTACAO - BANCO DE DADOS FIGURA 11.7 IMPLANTACAO - BANCO DE DADOS FIGURA 11.8 IMPLANTACAO - BANCO DE DADOS FIGURA 11.9 IMPLANTACAO - BANCO DE DADOS FIGURA IMPLANTACAO - BANCO DE DADOS FIGURA IMPLANTACAO - BANCO DE DADOS FIGURA IMPLANTACAO - BANCO DE DADOS FIGURA IMPLANTACAO - BANCO DE DADOS FIGURA IMPLANTACAO - BANCO DE DADOS V

6 FIGURA 12 MODELAGEM STAR SCHEMA FIGURA 13 JOB AUTOMATIZAÇÃO DAS ELT`S FIGURA 13.1 ETL001 - CARGA INICIAL (TB_CLIENTE) FIGURA 13.2 ETL002 - CARGA INICIAL (TB_FUNCIONARIO) FIGURA 13.3 ETL003 - CARGA INICIAL (TB_PRODUTO) FIGURA 13.4 ETL004 - CARGA INICIAL (TB_VENDA) FIGURA 13.5 ETL005 - CARGA INICIAL (TB_ORCAMENTO) FIGURA 13.6 ETL006 - CARGA INICIAL (TB_ITEM_ORCAMENTO) FIGURA 13.7 ETL007 - UPDATE NA FATO FIGURA 13.8 ETL008 - UPDATE NA FATO FIGURA 13.9 ETL009 - DESMEMBRAR A MÉTRICA VE_DESCONTO FIGURA ETL010 UPDATE NA FATO FIGURA ETL011 CARGA INICIAL DA DIMENSÃO TEMPO FIGURA 14 DESENVOLVIMENTO METADADOS (PME) FIGURA 14.1 CONEXÃO (PME) FIGURA 14.2 IMPORTANDO TABELAS FIGURA 14.3 CONFIGURAÇÃO STAR SCHEMA FIGURA 14.4 CONEXÀO FÍSICA E DE NEGOCIO/METADADOS FIGURA 14.5 EXIBIR CAMPOS OCULTOS FIGURA 14.6 CONFIGURAÇÃO DE TIPO DE VARIÁVEL FIGURA 14.7 CRIANDO UM CAMPO CALCULADO FIGURA 14.8 CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS FIGURA 14.9 CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS FIGURA 15 PUBLICANDO NO SERVIDOR VI

7 FIGURA 15.1 CONEXÃO EM PENTAHO ADMINISTRATION FIGURA 15.2 CONFIGURANDO PUBLICAÇÃO FIGURA 15.3 MODELO DISPONÍVEL PARA CONSULTA FIGURA 16 DESENVOLVIMENTO - CUBOS OLAP FIGURA 16.1 NOVO SCHEMA FIGURA 16.2 SALVANDO O XML FIGURA 16.3 CRIANDO UM CUBO FIGURA 16.4 INCLUINDO A TABELA FATO FIGURA 16.5 INCLUINDO A DIMENSÃO PERÍODO FIGURA 16.6 CRIADO A HIERARQUIA PERÍODO FIGURA 16.7 INCLUINDO A TABELA TB_DIM_TEMPO FIGURA 16.8 CRIANDO O NÍVEL ANO FIGURA 16.9 ADICIONANDO UMA MEDIDA FIGURA INCLUINDO OS OUTROS NÍVEIS NA HIERARQUIA PERÍODO FIGURA INCLUINDO A DIMENSÃO PRODUTO, ORÇAMENTO E MÉTRICA VALOR FIGURA PUBLICANDO FIGURA PUBLICANDO FIGURA PUBLICANDO FIGURA PUBLICANDO FIGURA PUBLICANDO FIGURA 17 DESENVOLVIMENTO - VISOES RELATÓRIOS (PRD) FIGURA 17.1 WIZARD FIGURA 17.2 CONEXÃO FIGURA 17.3 CONEXÃO FIGURA 17.4 CRIANDO A QUERY PARA RECUPERAR DADOS FIGURA 17.5 EDITOR DE QUERYS FIGURA 17.6 EDITOR DE QUERYS FIGURA 17.7 CRIANDO O LAYOUT DO RELATÓRIO FIGURA 17.8 CRIANDO O LAYOUT DO RELATÓRIO FIGURA 17.9 CRIANDO O LAYOUT DO RELATÓRIO FIGURA CRIANDO O LAYOUT DO RELATÓRIO FIGURA CRIANDO O LAYOUT DO RELATÓRIO VII

8 FIGURA CRIANDO O LAYOUT DO RELATÓRIO FIGURA RESULTADO FIGURA EDIÇÃO FIGURA SALVANDO FIGURA PUBLICANDO FIGURA PUBLICANDO FIGURA PUBLICANDO FIGURA RESULTADO NO PUC FIGURA 18 CRIANDO RELATÓRIOS PELO PUC FIGURA 18.1 ESCOLHENDO O PACOTE FIGURA 18.2 CONFIGURANDO OS GRUPOS E OS DETALHES FIGURA 18.3 ALTERANDO MASCARAS E TIPO DE AGREGAÇÃO FIGURA 18.4 CONFIGURANDO CABEÇALHO E RODAPÉ FIGURA 18.5 RESULTADO FINAL FIGURA 19 - CRIANDO CUBOS OLAP NO PUC COM JPIVOT FIGURA ESCOLHENDO OS FATOS E AS DIMENSÕES NO JPIVOT FIGURA MODELOS DE GRAFICOS NO JPIVOT FIGURA CONFIGURAÇÃO GRAFICA NO JPIVOT FIGURA RESULTADO NO JPIVOT FIGURA 20 - CRIANDO CUBOS OLAP NO PUC COM SAIKU FIGURA ESCOLHENDO OS FATOS E AS DIMENSÕES NO SAIKU 75 FIGURA TIPOS DE GRAFICOS NO SAIKU FIGURA EXEMPLO GRAFICO SAIKU FIGURA EXEMPLO GRAFICO SAIKU FIGURA EXEMPLO GRAFICO SAIKU FIGURA 21 - CRIANDO CUBOS OLAP NO PUC COM OPENI OLAP FIGURA ESCOLHENDO OS FATOS E AS DIMENSÕES NO OPENI 77 FIGURA TIPOS DE GRAFICOS NO OPENI FIGURA EXEMPLO GRAFICO OPENI FIGURA EXEMPLO GRAFICO OPENI FIGURA EXEMPLO GRAFICO OPENI VIII

9 1. INTRODUÇÃO Hoje muito se fala em BI (Business Intelligence), conceito que se tornou generalizado no mundo dos negócios, a ideia é transformar dados em informação e informação em conhecimento, possibilitando controle e autonomia para tomada de decisões de forma ágil e assertiva. A tecnologia é indispensável neste processo, existem hoje no mercado diferentes soluções pagas de BI que se propõem a ajudar as empresas a tomar as decisões mediante dados recolhidos pelos diversos sistemas de informação, as mais conhecidas são: SAP Business Object, IBM Cognos, Oracle Hyperion, porém o custo para a implementação é elevado. 9

10 2. METODOLOGIA O objetivo deste trabalho é implantar uma solução de BI de baixo custo utilizando uma ferramenta Open Source. A plataforma escolhida foi a Pentaho por englobar todas as fases de um BI, o Pentaho é um projeto desenvolvido na linguagem Java e existe em duas versões, Pentaho Community Edition (CE) e Pentaho Enterprise Edition (EE), a primeira tem suporte da comunidade Pentaho, a segunda versão é comercial e possui suporte da empresa Pentaho. Para esboçar o quanto o Pentaho está sendo procurado usamos o Google Trends para extrair estatísticas comparativas de tendência, podemos ver a crescente busca pela palavra Pentaho comparada com as ferramentas pagas nos últimos anos, na analise as palavras usadas foram: pentaho, cognos, hyperion, business object. (Os números no gráfico refletem o número de pesquisas efetuadas para um determinado termo, em relação ao número total de pesquisas efetuadas no Google ao longo do tempo. Não representam os números absolutos referentes ao volume de pesquisa, porque os dados são normalizados e apresentados numa escala de 0 a 100. Cada ponto no gráfico é dividido pelo ponto mais elevado, ou 100. Quando não temos dados suficientes, é apresentado o número 0. Os números junto aos termos de pesquisa acima do gráfico são resumos ou totais.) Fonte: BR&ref_topic=

11 FIGURA 01 GRÁFICO DE ESTÁTICAS COMPARATIVAS DE TENDÊNCIA Fonte: %2C%20%20cognos%2C%20%20hyperion&cmpt=q FIGURA 02 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: PENTAHO Fonte: object%2c%20%20cognos%2c%20%20hyperion&cmpt=q 11

12 FIGURA 03 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: BUSINESS OBJECTS Fonte: object%2c%20%20cognos%2c%20%20hyperion&cmpt=q 12

13 FIGURA 04 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: COGNOS Fonte: %2C%20%20cognos%2C%20%20hyperion&cmpt=q 13

14 FIGURA 05 GRÁFICO DE TERMOS MAIS PROCURADOS COM A PALAVRA: HYPERION Fonte: object%2c%20%20cognos%2c%20%20hyperion&cmpt=q 2.1. LISTA DE EMPRESAS QUE USAM PENTAHO NO BRASIL Empresas que usam o Pentaho dentro de algum nível da sua organização, por Marcio Junior Vieira Diretor de Tecnologia da Ambiente Livre (Publicado em 10 de maio de 2013). Nenhuma informação das descritas foi adquirida por trabalhos realizados nestas empresas e sim por conversar com desenvolvedores que trabalham nestas empresas e relataram o uso de algum componente da suite ou palestras e eventos que apresentaram cases. Bancos e Instituições Financeiras o Caixa Econômica Federal o Banco do Brasil 14

15 Usinas Hidroelétricas o Itaipu Binacional Outras Instituições de Governo o Senado Federal o Serpro o Correios (iniciando) o SESI e Federação das Indústrias o Prodeb o Tecpar o Exercito Brasileiro o Ministério das Comunicações o CGU o Governo do Estado do Rio de Janeiro Transporte o Viação 1001 Indústria e Distribuidores Alimentícios o MDias Branco Prefeituras o Prefeitura Municipal de Fortaleza Empresas e Entidades de Saúde o Secretaria de Saúde de Goias o SESPA Secretária Estadual de Saúde do Pará. Empresas de Telecomunicações o GVT Indústria Automotiva o Renault Mídias de Rádio, TV, Internet. 15

16 o Globo.com Universidades o UFBA o UFPR o CAPES Fonte: FIGURA 06 TABELA COM DEPOIMENTOS SOBRE PENTAHO Alguns depoimentos extraídos da página do pentaho A maior rede de ATM na Argentina Nós substituímos nossa arquitetura rígida para uma solução flexível com Pentaho Data Integration permitindo o processamento de mais fontes, mais volume e mais facilmente. Estamos muito satisfeitos com Datalytics e sua implementação especializada de Pentaho Programa de ação social que visa erradicar o trabalho infantil na América Latina Pentaho Business Analytics permite Fundación Telefónica e seus parceiros para gerir o programa de forma mais eficiente e ajuda as assistentes sociais a tomar medidas mais específicas para erradicar o trabalho infantil. Top alemã navegador desenvolvedora de jogos No Travian Games experimentamos diariamente com inovações jogo de browser, com o objetivo de definir as novas tendências de jogos para o futuro. Pentaho Business Analytics nos ajuda a dar sentido e tirar conclusões a partir do enorme volume de jogos de dados que fluem para o nosso negócio a cada dia e garante que ganhar o máximo de benefício possível a partir deste ativo altamente valioso. DELL Através da nossa relação com a Pentaho, as empresas podem agora tirar partido de uma plataforma líder para análise de negócios Hadoop e integração de dados, como uma parte da Dell Apache Hadoop Solution, com servidores Dell, software e recursos de rede facilmente e rapidamente implantar um fim-solução de ponta para grandes análises de dados, disse John Igoe, Diretor Executivo do soluções de nuvem da Dell." As organizações podem começar a resolver desafios de negócios por meio da análise de dados, com acesso a serviços de treinamento e Pentaho. Fonte: 16

17 3. PLANO DE PROJETO Este projeto tem como objetivo a criação de um BI para a empresa Bunese considerando as seguintes fases: Configuração de banco de dados, Modelagem Dimensional, ETL, Metadados, Geração de cubos olap e relatórios. Como ferramenta de BI será utilizada a suíte Pentaho Opensource e banco de dados MySql VISÃO GERAL DO PROJETO A empresa Bunese é uma micro empresa de pequeno porte que atua no ramo de metalúrgica e projetos arquitetônicos. Hoje a empresa conta com pouco mais de 20 colaboradores e está atuando desde A empresa Bunese faz vendas pela web e loja física, onde o cliente pode solicitar um orçamento diretamente pelo site ou indo ao show room da empresa. Após solicitar o orçamento o arquiteto vai ao local onde o cliente deseja o projeto e realiza todos os estudos e medições necessárias, após 2 dias o cliente é informado do seu orçamento. Com isso se faz necessário acompanhar indicadores estratégicos assim como gerar relatórios diários, para gerar relatórios todas as informações são extraídas diretamente do banco transacional o que gera lentidão no banco assim como falta de agilidade por parte dos analistas em responder as demandas por informação OBJETIVO DO PROJETO Utilizando o banco de dados transacional da empresa Metalúrgica Bunese implantar uma solução Pentaho BI opensource considerando cada ponto: ETL (Pentaho Data Integration Kettle PDI ); Data Warehouse (banco de dados MySQL); Servidor Pentaho Business Intelligence Server (Pentaho Administrator Console 'PAC'); Pentaho User Console ('PUC'); 17

18 Metadados (Pentaho MetaData Editor PME ); Relatórios (Pentaho Report Designer - 'PRD'); Cubos OLAP (Pentaho Analysis - 'Mondrian'); Dashboards (Pentaho Design Studio) PROCESSO DE GERENCIAMENTO DO PROJETO As atividades e tarefas do projeto devem ser corretamente analisadas e controladas para que este seja bem sucedido. As atividades devem ser divididas, os riscos precisam ser avaliados, os custos calculados, o tempo deve ser calculado, os requisitos necessários devem ser levantados e assim por diante como será demonstrado nos tópicos a seguir DETALHAMENTO DAS FASES Na figura 2 é apresentado a WBS do Projeto, em seguida na tabela 6 é apresentado à descrição das fases. 18

19 INICIAÇÃO FIGURA 07 WBS ENTENDIMENTO DO MODELO DE NEGOCIO DA EMPRESA ANÁLISE DA SUA VIABILIDADE Entender a necessidade do cliente Vender a idéia - Retorno/Benefícios (Custo / Tempo) Levantamento de Recursos (Sw da empresa) PLANEJAMENTO DEFINIÇÃO DETALHADA DE REQUISITOS Mapeamento dos dados dos sistema HW's para Desenvolvimento ANÁLISE Definições das Visões de Negócios IMPLANTACAO - SERVIDOR Configuração do Servidor e suite Pentaho IMPLANTACAO - BANCO DE DADOS Banco de Dados SGDB (MySQL) DESENVOLVIMENTO - MODELAGEM Modelagem Star Schema DESENVOLVIMENTO - ETL e DW Pentaho Data Integration (PDI ou Kettle) DESENVOLVIMENTO - METADADOS Pentaho Metadata Editor (PME) DESENVOLVIMENTO - CUBOS OLAP Pentaho Schema Workbench (PSW ou Mondrian) Projeto BI EXECUÇÃO DESENVOLVIMENTO - VISOES RELATÓRIOS Pentaho Report Designer (PRD) Pentaho Reporting Analysis View DESENVOLVIMENTO - VISOES ANALITICAS Saiku Analytics OpenI Olap Data Visualization Testa a Aplicação TESTE Corrige Erros Pequenos Ajustes IMPLANTAÇÃO Qualificar Funcionários - Treinamentos Mudança nas Atividades e Cultura Acompanhamento MONITORAMENTO E CONTROLE SUPORTE Alterações e Mudanças Feedback Conclusão do Projeto ENCERRAMENTO FINALIZAÇÃO Novos Contratos para Manutenção 19

20 FIGURA 08 DESCRIÇÃO DAS FASES. NOME RELACAO DEPENDENCIA INICIO FIM DURACAO INICIAÇÃO 01/01/ /02/ dias ENTENDIMENTO DO MODELO DE NEGOCIO DA EMPRESA 01/01/ /01/ dias Entender a necessidade do cliente Successor Vender a idéia - Retorno/Benefícios (Custo / Tempo) 01/01/ /01/ dias ANÁLISE DA SUA VIABILIDADE 10/01/ /02/ dias Vender a idéia - Retorno/Benefícios (Custo / Tempo) Predecessor Entender a necessidade do cliente Successor Levantamento de Recursos (Sw da empresa) 10/01/ /02/ dias Predecessor Vender a idéia - Retorno/Benefícios (Custo / Tempo) Levantamento de Recursos (Sw da empresa) Successor Mapeamento dos dados dos sistema 07/02/ /02/ dias Successor HW's para Desenvolvimento PLANEJAMENTO 27/02/ /03/ dias DEFINIÇÃO DETALHADA DE REQUISITOS 27/02/ /03/ dias Mapeamento dos dados do sistema Predecessor Levantamento de Recursos (Sw da empresa) Successor Definições das Visões de Negócios 27/02/ /03/ dias Predecessor Levantamento de Recursos (Sw da empresa) HW's para Desenvolvimento Successor Configuração do Servidor e suite Pentaho 27/02/ /03/ dias Successor Banco de Dados SGDB (MySQL) EXECUÇÃO 13/03/ /08/ dias ANÁLISE 19/03/ /04/ dias Definições das Visões de Negócios Predecessor Mapeamento dos dados dos sistema Successor Modelagem Star Schema 19/03/ /04/ dias IMPLANTACAO - SERVIDOR 13/03/ /03/ dias Configuração do Servidor Predecessor HW's para Desenvolvimento 13/03/ /03/ dias IMPLANTACAO - BANCO DE DADOS 13/03/ /03/ dias Banco de Dados SGDB (MySQL) Predecessor HW's para Desenvolvimento 13/03/ /03/ dias DESENVOLVIMENTO - MODELAGEM 30/04/ /05/ dias Modelagem Star Schema Predecessor Definições das Visões de Negócios Successor Pentaho Data Integration (PDI ou Kettle) 30/04/ /05/ dias DESENVOLVIMENTO - ETL e DW 14/05/ /06/ dias Pentaho Data Integration (PDI ou Kettle) Predecessor Modelagem Star Schema Successor Pentaho Metadata Editor (PME) 14/05/ /06/ dias DESENVOLVIMENTO - METADADOS 11/06/ /06/ dias Predecessor Pentaho Data Integration (PDI ou Kettle) Pentaho Metadata Editor (PME) Successor Pentaho Schema Workbench (PSW ou Mondrian) Successor Pentaho Report Designer (PRD) 11/06/ /06/ dias Successor Pentaho Reporting DESENVOLVIMENTO - CUBOS OLAP 25/06/ /07/ dias Predecessor Pentaho Metadata Editor (PME) Pentaho Schema Workbench (PSW ou Mondrian) Successor Analysis View Successor Saiku Analytics 25/06/ /07/ dias Successor OpenI Olap Data Visualization DESENVOLVIMENTO - VISOES RELATÓRIOS 25/06/ /07/ dias Pentaho Report Designer (PRD) Predecessor Pentaho Metadata Editor (PME) 25/06/ /07/ dias Pentaho Reporting Predecessor Pentaho Metadata Editor (PME) 25/06/ /07/ dias DESENVOLVIMENTO - VISOES ANALITICAS 09/07/ /07/ dias Predecessor Pentaho Schema Workbench (PSW ou Mondrian) Analysis View Successor Pequenos Ajustes Successor Corrige Erros 09/07/ /07/ dias Successor Testa a Aplicação Saiku Analytics Predecessor Pentaho Schema Workbench (PSW ou Mondrian) 09/07/ /07/ dias OpenI Olap Data Visualization Predecessor Pentaho Schema Workbench (PSW ou Mondrian) 09/07/ /07/ dias TESTE 16/07/ /07/ dias Testa a Aplicação Predecessor Analysis View 16/07/ /07/ dias Corrige Erros Predecessor Analysis View 16/07/ /07/ dias Predecessor Analysis View Pequenos Ajustes Successor Qualificar Funcionários - Treinamentos 16/07/ /07/ dias Successor Mudança nas Atividades e Cultura IMPLANTAÇÃO 23/07/ /08/ dias Qualificar Funcionários - Treinamentos Predecessor Pequenos Ajustes 23/07/ /08/ dias Predecessor Pequenos Ajustes Mudança nas Atividades e Cultura Successor Acompanhamento Successor Alterações e Mudanças 23/07/ /08/ dias Successor Feedback MONITORAMENTO E CONTROLE 06/08/ /09/ dias SUPORTE 06/08/ /09/ dias Acompanhamento Predecessor Mudança nas Atividades e Cultura 06/08/ /09/ dias Alterações e Mudanças Predecessor Mudança nas Atividades e Cultura 06/08/ /09/ dias Predecessor Mudança nas Atividades e Cultura Feedback Successor Conclusão do Projeto 06/08/ /09/ dias Successor Novos Contratos para Manutenção ENCERRAMENTO 03/09/ /09/ dias FINALIZAÇÃO 03/09/ /09/ dias Conclusão do Projeto Predecessor Feedback 03/09/ /09/ dias Novos Contratos para Manutenção Predecessor Feedback 03/09/ /09/ dias TOTAL PROJETO 01/01/ /09/ dias 20

21 INICIAÇÃO ENTENDIMENTO DO MODELO DE NEGOCIO DA EMPRESA Entender a necessidade do cliente A Bunese necessita acompanhar indicadores estratégicos assim como gerar relatórios diários, conhecer o potencial de seu negócio e ter uma visão estratégia ANÁLISE DA SUA VIABILIDADE Vender a ideia - Retorno/Benefícios (Custo / Tempo) Hoje o cliente não tem integridade de seus dados, onde uma falha humana pode causar graves prejuízos. Para nosso cliente a implantação de um projeto de BI reflete em uma melhor integração das suas informações, possibilitando melhores tomadas de decisões Levantamento de Recursos (Sw da empresa) Para que o sistema possa ser implantado, faz-se necessário que haja uma estrutura básica: Windows XP ou superior; Banco de Dados; ETL (Pentaho Data Integration Kettle PDI ); Data Warehouse (banco de dados MySQL); Servidor Pentaho Business Intelligence Server (Pentaho Administrator Console 'PAC'); Pentaho User Console ('PUC'); Metadados (Pentaho MetaData Editor PME ); Relatórios (Pentaho Report Designer - 'PRD'); Cubos OLAP (Pentaho Analysis - 'Mondrian'); Dashboards (Pentaho Design Studio). 21

22 PLANEJAMENTO DEFINIÇÃO DETALHADA DE REQUISITOS Mapeamento dos dados do sistema Analisar detalhadamente os dados disponibilizados pelo cliente, conforme tabela abaixo: FIGURA 09 MODELO RELACIONAL DA EMPRESA. FONTE: Sistema Bunese Metalúrgica HW's para Desenvolvimento Para implantação do projeto se faz necessário um servidor pentaho para aplicação e máquinas para os desenvolvedores. 22

23 EXECUÇÃO ANÁLISE Definições das Visões de Negócios Entender o direcionamento da empresa e transpor isso para indicadores. Para dar visibilidade aos consultores da Bunese a percebe as tendências do negócio. Principais indicadores: Relatório venda loja física: soma dos produtos vendido na loja física; Relatório venda loja web: soma dos produtos vendido na loja web; Relatório produto + vendido: produtos mais vendidos por mês; Relatório top 10: clientes com maior retorno financeiro para empresa; Relatório receita líquida: soma do total das vendas - os descontos; Relatório receita bruta: soma do total das vendas; Relatório consultor: consultor que mais vendeu do por período; Relatório orçamento x venda: percentual de orçamentos que viraram uma venda IMPLANTACAO SERVIDOR Configuração do Servidor 1. Download: rver/ 2. Ultima versão estável encontrada: biserver-ce stable.zip 3. O arquivo.zip possui duas pastas biserver-ce e administration-console, a primeira é o servidor Web, que por padrão é o tomcat a segunda o administrador das funcionalidades, acessos e conexões. O primeiro passo é descompactar o arquivo em qualquer pasta de sua preferência. Para iniciar o servidor Pentaho execute o arquivo start-pentaho.bat (Windows) ou start-pentaho.sh (Linux) na pasta "biserver-ce/". Deve 23

24 aparecer a mensagem "INFO: Server startup in <tempo> ms" quando finalizar a inicialização. FIGURA 10 IMPLANTACAO - SERVIDOR. Para acessar o PUC (Pentaho User Console): FIGURA 10.1 IMPLANTACAO - SERVIDOR. 24

25 4. Para iniciar o Administration Console execute o arquivo start-pac.bat (Windows) ou start-pac.sh (Linux) na pasta "administration-console/". FIGURA 10.2 IMPLANTACAO - SERVIDOR. Para acessar o Administration Console: login padão: admin, senha padrão: password 25

26 FIGURA 10.3 IMPLANTACAO - SERVIDOR IMPLANTACAO - BANCO DE DADOS Banco de Dados SGDB (MySQL) O banco de dados usado foi o MySql, a versão open source pode ser encontrada no site: instalar na sequencia 01.server: mysql win32.msi, 02.utilities: mysql-installer-community msi, os passos da instalação foram printados para documentação: 26

27 FIGURA 11 IMPLANTACAO - BANCO DE DADOS. FIGURA 11.1 IMPLANTACAO - BANCO DE DADOS. 27

28 FIGURA 11.2 IMPLANTACAO - BANCO DE DADOS. FIGURA 11.3 IMPLANTACAO - BANCO DE DADOS. 28

29 FIGURA 11.4 IMPLANTACAO - BANCO DE DADOS. FIGURA 11.5 IMPLANTACAO - BANCO DE DADOS. 29

30 FIGURA 11.6 IMPLANTACAO - BANCO DE DADOS. FIGURA 11.7 IMPLANTACAO - BANCO DE DADOS. 30

31 FIGURA 11.8 IMPLANTACAO - BANCO DE DADOS. FIGURA 11.9 IMPLANTACAO - BANCO DE DADOS. 31

32 FIGURA IMPLANTACAO - BANCO DE DADOS. FIGURA IMPLANTACAO - BANCO DE DADOS. 32

33 FIGURA IMPLANTACAO - BANCO DE DADOS. FIGURA IMPLANTACAO - BANCO DE DADOS. 33

34 FIGURA IMPLANTACAO - BANCO DE DADOS DESENVOLVIMENTO MODELAGEM Modelagem Star Schema FIGURA 12 MODELAGEM STAR SCHEMA DESENVOLVIMENTO - ETL e DW Pentaho Data Integration (PDI ou Kettle) JOB; Foram feitas 11 transformações para a criação da tabela fato e das dimensões. 34

35 FIGURA 13 JOB AUTOMATIZAÇÃO DAS ELT`S. ETL001; Carga inicial (OLTP, BMWEB, tb_cliente) para (OLAP, DW_BMWEB, tb_dim_cliente). FIGURA 13.1 ETL001 - CARGA INICIAL (TB_CLIENTE). ETL002; Carga inicial (OLTP, BMWEB, tb_funcionario) para (OLAP, DW_BMWEB, tb_dim_funcionario). FIGURA 13.2 ETL002 - CARGA INICIAL (TB_FUNCIONARIO). 35

36 ETL003; Carga inicial (OLTP, BMWEB, tb_produto) para (OLAP, DW_BMWEB, tb_dim_produto). FIGURA 13.3 ETL003 - CARGA INICIAL (TB_PRODUTO). 36

37 ETL004; Carga inicial (OLTP, BMWEB, tb_venda) para (OLAP, DW_BMWEB, tb_dim_venda). FIGURA 13.4 ETL004 - CARGA INICIAL (TB_VENDA). ETL005; Carga inicial (OLTP, BMWEB, tb_orcamento) para (OLAP, DW_BMWEB, tb_dim_orcamento). FIGURA 13.5 ETL005 - CARGA INICIAL (TB_ORCAMENTO). 37

38 ETL006; Carga inicial (OLTP, BMWEB, tb_item_orcamento) para (OLAP, DW_BMWEB, tb_fat_01). FIGURA 13.6 ETL006 - CARGA INICIAL (TB_ITEM_ORCAMENTO). ETL007; Update na fato do valor do produto, campo PR_VALOR, chave PR_COD_PRODUTO = PR_COD_PRODUTO. FIGURA 13.7 ETL007 - UPDATE NA FATO. ETL008; 38

39 Update na fato dos id s CL_COD_CLIENTE e FU_COD_FUNCIONARIO, chave OR_COD_ORCAMENTO = OR_COD_ORCAMENTO. FIGURA 13.8 ETL008 - UPDATE NA FATO. ETL009; Desmembrar a métrica VE_DESCONTO para a granularidade da fato (grão itens de orçamento). FIGURA 13.9 ETL009 - DESMEMBRAR A MÉTRICA VE_DESCONTO. ETL010; 39

40 UPDATE VE_DATA_VENDA = '1990/01/01' E UPDATE VE_DATA_FECHAMENTO = '1990/01/01' ONDE (VE_COD_VENDA < ). UPDATE tb_fat_01.ve_data_venda E tb_fat_01.ve_data_fechamento ONDE (tb_dim_venda.ve_cod_venda = tb_fat_01.ve_cod_venda). UPDATE tb_fat_01.ve_data_venda E tb_fat_01.ve_data_fechamento ONDE (tb_fat_01.ve_cod_venda = tb_fat_01.ve_cod_venda). FIGURA ETL010 UPDATE NA FATO. 40

41 ETL011; Carga inicial da dimensão tempo (OLAP, DW_BMWEB, tb_dim_tempo). FIGURA ETL011 CARGA INICIAL DA DIMENSÃO TEMPO DESENVOLVIMENTO METADADOS Pentaho Metadata Editor (PME) FIGURA 14 DESENVOLVIMENTO METADADOS (PME). 41

42 Conexão em PME: FIGURA 14.1 CONEXÃO (PME). 42

43 Importando tabelas: FIGURA 14.2 IMPORTANDO TABELAS. Configuração Star Schema na ferramenta; 43

44 FIGURA 14.3 CONFIGURAÇÃO STAR SCHEMA. Conexão física (Physical_ View) e de negocio/metadados (Business_View); FIGURA 14.4 CONEXÀO FÍSICA E DE NEGOCIO/METADADOS. 44

45 Para que os usuários não vejam campos, id s por exemplo, marcar Hidden for the user em Physical Table Properties. FIGURA 14.5 EXIBIR CAMPOS OCULTOS. Configuração de tipo de variável em Physical Table Properties : FIGURA 14.6 CONFIGURAÇÃO DE TIPO DE VARIÁVEL. Criando um campo calculado em Physical Table Properties : FIGURA 14.7 CRIANDO UM CAMPO CALCULADO. 45

46 Criando padrões globais para aplicar mascaras, concept editor: FIGURA 14.8 CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS. FIGURA 14.9 CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS. FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS. 46

47 FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS. FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS. FIGURA CRIANDO PADRÕES GLOBAIS PARA APLICAR MASCARAS. 47

48 Publicando no servidor: 1º Criar uma pasta no PUC ( Pentaho User Console), pasta BI_BMWEB criada: FIGURA 15 PUBLICANDO NO SERVIDOR. 2º Conexão em pentaho administration (PAC) : FIGURA 15.1 CONEXÃO EM PENTAHO ADMINISTRATION. 48

49 3º Configurando publicação: FIGURA 15.2 CONFIGURANDO PUBLICAÇÃO. 49

50 Modelo disponível para consulta no PUC. FIGURA 15.3 MODELO DISPONÍVEL PARA CONSULTA DESENVOLVIMENTO - CUBOS OLAP Pentaho Schema Workbench (PSW ou Mondrian) FIGURA 16 DESENVOLVIMENTO - CUBOS OLAP. 50

51 Novo Schema FIGURA 16.1 NOVO SCHEMA. Salvando, para encontrar o xml depois colocar.mondrian no final do arquivo. FIGURA 16.2 SALVANDO O XML. Criando um Cubo: 51

52 FIGURA 16.3 CRIANDO UM CUBO. Incluindo a tabela fato: FIGURA 16.4 INCLUINDO A TABELA FATO. 52

53 Incluindo a dimensão período: FIGURA 16.5 INCLUINDO A DIMENSÃO PERÍODO. 53

54 Criado a hierarquia período: FIGURA 16.6 CRIADO A HIERARQUIA PERÍODO. Incluindo a tabela tb_dim_tempo: FIGURA 16.7 INCLUINDO A TABELA TB_DIM_TEMPO. 54

55 Criando o nível Ano: FIGURA 16.8 CRIANDO O NÍVEL ANO. Adicionando uma medida: FIGURA 16.9 ADICIONANDO UMA MEDIDA. 55

56 Incluindo os outros níveis (Semestre, Trimestre, Mês, Dia) na hierarquia período: FIGURA INCLUINDO OS OUTROS NÍVEIS NA HIERARQUIA PERÍODO. Incluindo a dimensão produto, dimensão orçamento e métrica valor: FIGURA INCLUINDO A DIMENSÃO PRODUTO, ORÇAMENTO E MÉTRICA VALOR. 56

57 Publicando: 1º FIGURA PUBLICANDO. 2º FIGURA PUBLICANDO. 57

58 FIGURA PUBLICANDO. 3º FIGURA PUBLICANDO. FIGURA PUBLICANDO. 58

59 DESENVOLVIMENTO - VISOES RELATÓRIOS Pentaho Report Designer (PRD) FIGURA 17 DESENVOLVIMENTO - VISOES RELATÓRIOS (PRD). Wizard: FIGURA 17.1 WIZARD. 59

60 Conexão: FIGURA 17.2 CONEXÃO. FIGURA 17.3 CONEXÃO. 60

61 Criando a query para recuperar dados: FIGURA 17.4 CRIANDO A QUERY PARA RECUPERAR DADOS. Editor de querys: FIGURA 17.5 EDITOR DE QUERYS. 61

62 FIGURA 17.6 EDITOR DE QUERYS. Criando o layout do relatório: FIGURA 17.7 CRIANDO O LAYOUT DO RELATÓRIO. 62

63 FIGURA 17.8 CRIANDO O LAYOUT DO RELATÓRIO. FIGURA 17.9 CRIANDO O LAYOUT DO RELATÓRIO. 63

64 FIGURA CRIANDO O LAYOUT DO RELATÓRIO. FIGURA CRIANDO O LAYOUT DO RELATÓRIO. 64

65 FIGURA CRIANDO O LAYOUT DO RELATÓRIO. 65

66 Resultado: FIGURA RESULTADO. 66

67 Edição: FIGURA EDIÇÃO. Salvando: FIGURA SALVANDO. 67

68 Publicando: FIGURA PUBLICANDO. FIGURA PUBLICANDO. 68

69 FIGURA PUBLICANDO. Resultado no PUC: FIGURA RESULTADO NO PUC Pentaho Reporting Criando relatórios pelo PUC modelados no Metadata Editor (PME): FIGURA 18 CRIANDO RELATÓRIOS PELO PUC. 69

70 Escolhendo o pacote: FIGURA 18.1 ESCOLHENDO O PACOTE. Configurando os grupos e os detalhes: FIGURA 18.2 CONFIGURANDO OS GRUPOS E OS DETALHES. 70

71 Alterando mascaras e tipo de agregação: FIGURA 18.3 ALTERANDO MASCARAS E TIPO DE AGREGAÇÃO. Configurando cabeçalho e rodapé. FIGURA 18.4 CONFIGURANDO CABEÇALHO E RODAPÉ. 71

72 Resultado final: FIGURA 18.5 RESULTADO FINAL DESENVOLVIMENTO - VISOES ANALITICAS Analysis View FIGURA 19 - CRIANDO CUBOS OLAP NO PUC COM JPIVOT 72

73 FIGURA ESCOLHENDO OS FATOS E AS DIMENSÕES NO JPIVOT FIGURA MODELOS DE GRAFICOS NO JPIVOT 73

74 FIGURA CONFIGURAÇÃO GRAFICA NO JPIVOT FIGURA RESULTADO NO JPIVOT 74

75 Saiku Analytics FIGURA 20 - CRIANDO CUBOS OLAP NO PUC COM SAIKU FIGURA ESCOLHENDO OS FATOS E AS DIMENSÕES NO SAIKU FIGURA TIPOS DE GRAFICOS NO SAIKU 75

76 FIGURA EXEMPLO GRAFICO SAIKU 01 FIGURA EXEMPLO GRAFICO SAIKU 02 FIGURA EXEMPLO GRAFICO SAIKU 03 76

77 OpenI Olap Data Visualization FIGURA 21 - CRIANDO CUBOS OLAP NO PUC COM OPENI OLAP FIGURA ESCOLHENDO OS FATOS E AS DIMENSÕES NO OPENI 77

78 FIGURA TIPOS DE GRAFICOS NO OPENI FIGURA EXEMPLO GRAFICO OPENI 01 FIGURA EXEMPLO GRAFICO OPENI 02 78

79 FIGURA EXEMPLO GRAFICO OPENI TESTE Testa a Aplicação Os usuários testaram exaustivamente o sistema com o intuito de identificar possíveis erros Corrige Erros Caso encontrado erros no sistema, fazer as correções necessárias para seu perfeito funcionamento Pequenos Ajustes Melhorias em relatórios que o usuário só detectou com a entrega do sistema IMPLANTAÇÃO Qualificar Funcionários Treinamentos Elabora treinamentos para qualificar os usuários que iram dar manutenção no sistema e os usuários que iram trabalhar com o sistema. 79

80 Mudança nas Atividades e Cultura Disseminar a nova metodologia de trabalho para que o sistema seja utilizado por todos MONITORAMENTO E CONTROLE SUPORTE Acompanhamento Verificar a estabilidade do sistema após um período de 3 meses Alterações e Mudanças Melhorias identificadas após 3 meses de uso do sistema Feedback Guardar os pontos fortes e fracos do projeto, verificar se o cliente está satisfeito ENCERRAMENTO FINALIZAÇÃO Conclusão do Projeto Entrega do projeto Novos Contratos para Manutenção Caso aja necessidade reavaliar novos contratos para manutenção e melhorias do sistema. 80

81 4. APRENDIZADOS Neste trabalho de implementação de uma solução BI Open Source utilizando Pentaho elegemos três pontos onde entendemos ser necessário cuidados redobrados para não comprometer o projeto como um todo: 1 - Entender a necessidade do cliente: Durante o projeto, percebemos que o cliente teve dificuldade em passar suas necessidades e expectativas, no decorrer do processo de implementação viu a necessidade de gerar mais indicadores não mapeados no início, estas solicitações adicionais não estavam no levantamento de requesitos, entendemos, portanto que para não gerar retrabalho desnecessário o levantamento de requisitos é um ponto fundamental do projeto e deve ser reservado um tempo razoável para mapear todos os pontos possíveis. 2 - Modelagem Star Schema e ETL: Nesta etapa as reuniões com o cliente foram fundamentais para entender as expectativas de análise, neste ponto entendemos que algumas variáveis deveriam ser sumarizadas em um nível de granularidade que não estava de acordo com a menor granularidade da tabela fato, para isso foi necessário desmembrar variáveis. Entendemos que dois caminhos podem ser seguidos, desmembrar variáveis e colocar ou criar um nova fato com granularidade maior, se são poucas as variáveis então a primeira solução atende, caso sejam muitas a ETL pode ficar complexa e custosa demais, logo a melhor solução seria ter mais uma fato. Ex.: O desconto associados a uma venda estava no nível da compra, para mostrar o relatório aberto por produtos se fez necessário a divisão proporcional desse valor para cada item da compra. 81

82 3 - Cultura: É importante que a cultura seja considerada, são muitos os relatórios que são feitos em ferramentas como o Excel que se tornam o modelo comum, os funcionários não têm interesse em mudar, comentários como se está funcionando para que mexer são muito comuns, se faz necessário explicar o que é BI para todos e quais são os seus objetivos, treinamentos são indispensáveis, é importante deixar claro que ninguém vai perder o emprego, BI vem como suporte e não substitui pessoas. 82

83 5. CONCLUSÃO Com esse trabalho chegamos ao nosso objetivo que foi implementar uma solução opensource de BI, após vencidos os obstáculos iniciais a suíte Pentaho se mostrou bastante poderosa, completa e eficiente, existe inclusive a possibilidade de fazer mineração de dados (ferramenta Weka), porêm não era a proposta deste trabalho, vários novos conceitos de business intelligence, data warehouse e ETL foram aprendidos e aplicados na prática. O Pentaho possui uma comunidade muito ativa de usuários e desenvolvedores e isto é um grande diferencial. Enfim, entendemos que a solução não perde em nada para as melhores ferramentas pagas disponíveis no mercado podendo ser implementada em médio prazo e as barreiras não são muito diferentes das encontradas nas ferramentas pagas tendo como diferencial principal o custo. 83