FÁBIO HIDEKI GUTIYAMA RENAN LOTTO SACILOTTO. Desenvolvimento de um data warehouse para o processo de decisão em uma empresa de telecomunicações

Tamanho: px
Começar a partir da página:

Download "FÁBIO HIDEKI GUTIYAMA RENAN LOTTO SACILOTTO. Desenvolvimento de um data warehouse para o processo de decisão em uma empresa de telecomunicações"

Transcrição

1 FÁBIO HIDEKI GUTIYAMA RENAN LOTTO SACILOTTO Desenvolvimento de um data warehouse para o processo de decisão em uma empresa de telecomunicações São Paulo 2009

2 FÁBIO HIDEKI GUTIYAMA RENAN LOTTO SACILOTTO Desenvolvimento de um data warehouse para o processo de decisão em uma empresa de telecomunicações Monografia apresentada à Escola Politécnica da Universidade de São Paulo para Conclusão do Curso de Engenharia de Computação Orientador: Prof. Dr. Jorge Rady de Almeida Jr. São Paulo

3 3

4 4

5 FÁBIO HIDEKI GUTIYAMA RENAN LOTTO SACILOTTO Desenvolvimento de um data warehouse para o processo de decisão em uma empresa de telecomunicações Monografia apresentada à Escola Politécnica da Universidade de São Paulo para Conclusão do Curso de Engenharia de Computação São Paulo

6 ERRATA PÁGINA LINHA ONDE SE LÊ LEIA-SE 6

7 DEDICATÓRIA A todas as pessoas que nos ajudaram diretamente ou indiretamente na realização deste trabalho. 7

8 AGRADECIMENTOS Prof. Dr. Jorge Rady de Almeida Jr., pela orientação durante todo o desenvolvimento do trabalho, e também pela compreensão nas fases onde a dedicação ao trabalho não pode ser grande. Toda a equipe da empresa In.voice que esteve envolvida com o sistema, por disponibilizarem as informações necessárias e por se colocarem a disposição para ajudar. Raphael Mielle Trintinalia e Vitor Araujo Romera, por aceitarem liberar um integrante da equipe para que este trabalho pudesse ser realizado. Deus, por ter evitado que meu laptop fosse roubado com grande parte da monografia. 8

9 9

10 10

11 RESUMO O sistema baseado em data warehouse desenvolvido tem por objetivo auxiliar a solução de problemas da empresa In.voice, a empresa cliente deste projeto. O grande problema abordado diz respeito à manipulação de uma grande quantidade de dados e, conseqüentemente a perda de eficiência na geração de relatórios que utilizam bases de dados tradicionais. O uso de um data warehouse é uma das possíveis soluções para reduzir o tempo de resposta do sistema e apresentar as informações de maneira mais fácil de ser visualizada, assim, este trabalho propõe a modelagem e desenvolvimento da solução baseada em data warehouse para a empresa em questão. O trabalho desenvolvido foi realizado e documentado por etapas com a finalidade de facilitar futuros trabalhos que tenham por objetivo desenvolver sistemas baseados em data warehouse. 11

12 ABSTRACT The data warehouse system developed aims to solve real problems of In.voice, a company considered the client of this project. The main problem analyzed was about the great amount of data managed by usual relational database systems that took a long time to generate reports. The data warehouse technology seemed to be one of the possible solutions for this kind of problem, aiming the quality of information provided by data and response time of the entire system. This work proposes to model and develop the data warehouse solution for In.voice company. The development was made and wrote by steps, so future articles that aim to implement data warehouse systems will find this document useful. 12

13 LISTA DE ILUSTRAÇÕES Figura 1 - Modelo Estrela Genérico Figura 2 - Interface de usuário do pgadminiii Figura 3 - Interface de Usuário do Pentaho Data Integration Figura 4 - Interface de usuário do jpivot, acessando o serviço OLAP do Mondrian.. 35 Figura 5 - Interface de usuário do Schema Workbench Figura 6 - Interface de usuário do Pentaho BI Studio Figura 7 Modelo dimensional modelado Figura 8 - Modelo básico de ETL de carga de dimensões Figura 9 - Modelos de ETL de carga de tabelas-fato (a) série; (b) paralelo Figura 10 Modelo Multidimensional no Schema Workbench Figura 11 - Hierarquia de tempo definida Figura 12 - Diversos fluxos de carga das dimensões Figura 13 - ETL da Tabela fato_registro Figura 14 Tela de boas vindas do sistema web Pentaho BI Studio Figura 15 Tela de entrada no sistema Figura 16 Controle de logins e políticas de segurança Figura 17 Execução da ETL de carga de dimensões através da interface de usuário Figura 18 Execução da ETL de Fato através da ferramenta Pentaho Data Integration Figura 19 Análise de dados armazenados no data warehouse Figura 20 Saída típica de análise de performance após execução de ETL pelo Pentaho Data Integration

14 LISTA DE TABELAS Tabela 1 - Especificação dos atributos da entidade Fato - Registro Tabela 2 Variáveis de desempenho e resultados obtidos

15 LISTA DE ABREVIATURAS E SIGLAS ACID: Atomicity, Consistency, Isolation, Durability ETL: Extract Transform Load OLAP: Online Analytical Processing OLTP: Online Transaction Processing SGBD: Sistema de Gerenciamento de Banco de Dados SQL: Structured Query Language DW: Data Warehouse OP: Operational System (Ambiente Operacional) 15

16 SUMÁRIO 1. Introdução Objetivo Motivação Justificativa Metodologia de trabalho Estrutura de trabalho Restrições Conceitos Ambiente Operacional Modelo ACID Processamento de transação on-line Sistemas de Tomada de Decisão Processamento analítico on-line Data warehouse Modelo Estrela Siglas, Termos e Definições Aplicação Descrição do problema Idéia para resolução Ferramentas Etapas do projeto Primeiros Passos Análise do banco de dados operacional

17 4.3 Especificação de Requisitos Modelagem do banco de dados dimensional Extração, Transformação e Carga Desenvolvimento da base multidimensional (Data warehouse) Desenvolvimento das ETLs Desenvolvimento do Data warehouse Resultados Interfaces de usuário Interface de usuário de carga de dados Interface de usuário de análise de dados e relatórios Testes Teste das ETLs Teste do data warehouse Desempenho Considerações finais Conclusões Contribuições Trabalhos futuros Referências Bibliográficas Anexos Anexo I Anexo II Anexo II.a - Tabela Dimensão Cliente Anexo II.b - Tabela Dimensão Operadora Anexo II.c - Tabela Dimensão Inventario Anexo II.d - Tabela Dimensão Tempo Anexo II.e - Tabela Dimensão Tipo de Serviço

18 8.2.6 Anexo II.f - Tabela Dimensão Centro de Custo Anexo II.g - Tabela Dimensão Unidade de Negocio Anexo II.h - Tabela Dimensão Entidade Anexo II.i - Tabela Dimensão Contas Anexo II.j Tabela Dimensão Fatura Anexo III

19 1. Introdução 1.1 Objetivo Este trabalho de formatura tem como objetivo modelar e criar um sistema baseado em um data warehouse, para auxiliar no processo de decisão de uma empresa de gestão em telecomunicações. O sistema, desenvolvido com o fornecimento de dados da empresa In.voice, utiliza dados de um banco de dados relacional já existente, transforma esses dados, armazena em um data warehouse e fornece informações relevantes por meio de relatórios. 1.2 Motivação Um dos ativos mais importantes das empresas é a informação (INMON & HACKATHORN, 1994), e, o principal motivo que leva uma empresa a investir tempo e dinheiro em um data warehouse, é o ambiente competitivo. A fim de se destacar no mercado, é preciso diferenciação, sendo que o data warehouse leva esse benefício à empresa, pois permite que dados dos sistemas que estão em operação em uma empresa sejam coletados e armazenados no decorrer do tempo, para então serem analisados pelos tomadores de decisão/steakholders de uma empresa. A aplicação em telecomunicação se torna interessante ao passo que o volume, granularidade e complexidade de dados neste setor são muito grandes quando se procura registrar todos os eventos telefônicos de uma determinada região por menor que seja. Atualmente, os sistemas baseados em data warehouse não são estudados em cursos comuns de graduação em engenharia de computação, e, além disso, no meio empresarial, muitas empresas ainda utilizam soluções proprietárias. 1.3 Justificativa As justificativas para a realização do trabalho são: a aplicabilidade prática do sistema; a ampliação de conhecimento para criação de alternativas para sistemas de 19

20 tomada de decisões, baseadas em software de código aberto; além do aprendizado devido à utilização de ferramentas não conhecidas por parte do grupo. A possibilidade de utilizar software de código aberto em um sistema de data warehouse permite que o conhecimento na área de Business Intelligence possa se difundir, além de criar uma alternativa de baixo custo para empresas que necessitam de um sistema de tomada de decisões. O aprendizado dos conceitos teóricos da construção de um data warehouse realiza-se com maior facilidade quando os estudos são acompanhados de uma aplicação prática de tais conceitos (KIMBALL & ROSS, 2002). Portanto, pode-se dizer que a aplicação deste trabalho objetiva a construção de um data warehouse para uma empresa que atua no setor de gestão em telecomunicações, a qual provê serviços para outras empresas que procuram organizar seus gastos com telefonia de forma transparente e eficiente, obtendo, assim controle sobre os gastos dos diversos setores dentro da empresa. Regras de negócio da empresa no que diz respeito à gestão em telecomunicações são baseadas nos registros das faturas de operadoras. Desta forma, o uso de data warehouse para o armazenamento desses dados representaria uma forma eficiente de armazenamento e extração de relatórios, uma vez que o volume de dados é muito grande da ordem de 40 milhões de registros mensais e há necessidade de processamento destes dados para a geração de relatórios que auxiliam o entendimento e análise dos gastos em telecomunicações das empresas que contratam o serviço. 1.4 Metodologia de trabalho A metodologia de desenvolvimento do sistema é constituída das seguintes etapas: Estudo dos conceitos e ferramentas disponíveis: Consiste principalmente do estudo da teoria de data warehouse, analisando as aplicações, os pontos positivos e negativos, e estudo das ferramentas de código aberto disponíveis para apoiar a criação de um sistema baseado em data warehouse. 20

21 Análise do Banco de Dados Operacional (Relacional): Análise do banco de dados relacional da empresa cliente, levantando os principais dados alvos do projeto. Elaboração dos requisitos: Levantamento dos principais requisitos do sistema, de forma a delimitar o escopo e estabelecer a meta a ser alcançada com o sistema. Modelagem do banco de dados dimensional: Criação do modelo do banco de dados dimensional, com o objetivo de alterar a modelagem dos dados para a migração para o data warehouse. Carga de dados do ambiente operacional: Transporte de dados originários do ambiente operacional para a base dimensional de dados. Esta carga é realizada através de rotinas denominadas ETL Extract, Transform and Load (conforme é definido na seção 2.4). Criação do data warehouse: Modelagem do Data warehouse utilizando a ferramenta Mondrian e o modelo dimensional como base. Geração de relatórios: Compreende a modelagem de formas de se obter das informações e apresentação das mesmas para os usuários do sistema. Os documentos de andamento e a monografia foram elaborados paralelamente às etapas descritas, bem como reuniões com a empresa cliente. 1.5 Estrutura de trabalho O capítulo 1 contém uma introdução ao trabalho de conclusão de curso, apresentando o objetivo, motivações, justificativas, a metodologia, a estrutura e as restrições do trabalho. No capítulo 2 são abordados os conceitos mais importantes que embasam o trabalho. O capítulo 3 contém a descrição do problema, e o raciocínio para a resolução do mesmo, bem como as ferramentas utilizadas. No capítulo 4 são abordadas, de forma seqüencial, todas as atividades desenvolvidas desde o início do projeto até sua conclusão. 21

22 No capítulo 5 são apresentados os resultados obtidos com o sistema desenvolvido, e os testes realizados. O capítulo 6 contém as conclusões, contribuições e trabalhos futuros relacionados ao projeto. 1.6 Restrições As restrições impostas inicialmente foram relativas às ferramentas a serem utilizadas. A fim de desenvolver a capacidade de buscar conhecimento de novas tecnologias, uma das restrições foi a utilização de ferramentas de código aberto para a realização do trabalho. O projeto também teve como restrição a utilização de um banco de dados relacional específico, uma vez que a empresa cliente mantinha sua base de dados com essa ferramenta. Portanto, em toda a parte de banco de dados relacional, foi utilizado o sistema gerenciador de banco de dados PostgreSQL. 22

23 2 Conceitos Este capítulo contém os elementos teóricos essenciais que envolvem um sistema baseado em data warehouse. 2.1 Ambiente Operacional O ambiente operacional também conhecido como ambiente transacional é o ambiente necessário para o funcionamento do dia-a-dia da empresa (KIMBALL & ROSS, 2002), normalmente composto por sistemas que operam sobre massas de dados através de operações transacionais (definidas na seção Processamento de transação on-line - item 2.1.2). É neste ambiente que as operações de domínio da empresa acontecem com foco em controle de processos de negócio. Devido à alta taxa de modificações de dados, este ambiente é otimizado para este tipo de tarefa, e normalmente a base do ambiente operacional é um banco de dados relacional, cujos dados são inseridos, alterados, consultados ou removidos Modelo ACID As preocupações mais relevantes do ambiente operacional podem ser resumidas nas propriedades ACID (sigla inglesa para Atomicity, Consistency, Isolation, Durability): Atomicity: As transações que ocorrem na base de dados só devem ser concluídas com sucesso se todas as etapas que as compõem forem concluídas com sucesso, caso uma falhe, a transação deve ser cancelada; Consistency: A consistência dos dados deve ser mantida, e, no caso da tentativa de inserção de um dado com tipo incorreto, a transação deve ser cancelada; Isolation: As transações que ocorrem no banco de dados não interferem entre si, ou seja, há um isolamento entre elas; 23

24 Durability: Os dados inseridos não serão perdidos, mesmo no caso de os mesmos não serem acessados por um longo período. O modelo caracteriza as operações que ocorrem no nível das aplicações e negócios da empresa Processamento de transação on-line O processamento mais utilizado pelas empresas para tratar da manipulação de dados (basicamente para inserção, remoção, consulta e alteração de linhas de tabelas) nos bancos de dados relacionais é o processamento conhecido por OLTP (sigla inglesa para On-Line Transaction Processing). A utilidade do processamento de transação on-line pode ser resumido pelas suas funcionalidades (BROWNING, 2001): Suportar operações de negócio em tempo real; Otimizar transações de inserção ou consulta de linhas no banco de dados; Otimizar a validação de dados; Suportar milhares de usuários. 2.2 Sistemas de Tomada de Decisão O desenvolvimento dos sistemas de informação começou na década de 60 com os master files, arquivos que armazenavam informações. E, com o passar do tempo, a grande quantidade de arquivos de informação tornou esse método de armazenagem inviável (principalmente devido à redundância de informação e ao elevado tempo de resposta), foi então criado o modelo de base de dados (SGBD, uma fonte de dados para todo processo ) (INMON, 1996). Com o advento dos PCs, mais usuários começaram a ter acesso aos dados, o que culminou com a criação de transições online de alto desempenho. E, posteriormente, os chamados programas de extração, que apenas copiam os dados de um sistema para outro segundo algum critério. Esses programas de extração foram sendo utilizados cada vez mais, criando-se uma teia de informações (chamada de Arquitetura Evoluída Naturalmente), onde programas de extração eram utilizados em cima de outro programa de extração, e assim sucessivamente. Mas 24

25 essa nova arquitetura gerou três problemas principais: perda da credibilidade de dados; produtividade; e impossibilidade de transformar dados em informações (INMON, 1996). O data warehouse foi uma das alternativas criadas para resolver essa questão devido suas características (conforme é descrito na seção 2.3). Atualmente, os sistemas de Tomada de Decisão, também conhecidos como sistemas de apoio à decisão (SADs), ajudam os gerentes de nível médio a tomar decisões não usuais (LAUDON & LAUDON, 2007). Sendo que o principal propósito desses sistemas é o de fornecer informações sobre o negócio da empresa (ou partes da mesma), e, através de relatórios, permitir analisar o desempenho corrente da empresa (LAUDON & LAUDON, 2007). O processo de análise das informações utiliza as informações que são inseridas através dos aplicativos da empresa. Pode-se perceber o problema que surge, uma vez que a manipulação de dados e a consulta dos mesmos para a geração de relatórios causam uma sobrecarga. Naturalmente, imagina-se que a melhor solução é separar os dados em dois ambientes, um destinado apenas para o processamento operacional dos dados e outro para a consulta por parte da gerência, e é exatamente isso que um sistema com data warehouse disponibiliza Processamento analítico on-line O processamento analítico on-line (em inglês OLAP Online Analytical Processing) é utilizado por sistemas que têm como objetivo principal consultar uma grande quantidade de dados e disponibilizá-los, para que possam ser analisados. O OLAP permite a análise multidimensional de dados, de forma que os usuários vejam os mesmos dados de diferentes maneiras (LAUDON & LAUDON, 2007). 2.3 Data warehouse O data warehouse é um repositório de dados centralizado, caracterizado por: orientação ao assunto, variante no tempo, não volátil e integrado (INMON, 1996). 25

26 O ambiente operacional é projetado com base nas aplicações e funções da empresa. Por outro lado, o data warehouse é projetado com base nos principais assuntos da empresa, por isso diz-se que ele é orientado ao assunto (INMON & HACKATHORN, 1994). Os dados no ambiente operacional muitas vezes ficam espalhados em diversos bancos de dados, o que pode causar redundância e incoerência nos dados. O data warehouse é estruturado de forma a garantir a integridade dos dados, eliminando alguns dos problemas citados do ambiente operacional. O data warehouse é variante no tempo, ou seja, as informações contidas nele são referentes à evolução ao longo do tempo (usualmente em um período de alguns anos), diferentemente dos dados no ambiente operacional, que representam os dados mais recentes, e normalmente são utilizados em um período da ordem somente poucos de meses (INMON, 1996). A não volatilidade é a característica que diz respeito à alta durabilidade da base de dados, ou seja, o data warehouse permite que os dados sejam armazenados de forma histórica ao longo de vários (INMON, 1996). A consistência dos dados armazenados é garantida ao passo que os dados são somente carregados e acessados. As operações de alteração e remoção de dados são realizadas apenas no ambiente operacional. Assim, uma vez garantida a consistência da massa de dados carregada ao data warehouse, a consistência dos dados armazenados é mantida independentemente da quantidade de vezes que os dados do data warehouse são acessados. De forma diferente dos dados do ambiente operacional necessários para o dia-a-dia da empresa os dados do data warehouse são voltados para a análise e tendência (por isso diz-se que auxiliam no processo de tomada de decisões). Segundo (KIMBALL & ROSS, 2002), o data warehouse deve garantir algumas propriedades. Entre elas: Deve organizar as informações tal que possam ser facilmente acessadas e de forma consistente; Deve ser facilmente adaptável; Deve garantir segurança de dados (do inglês security); e Deve ser essencial para a tomada de decisão. 26

27 2.3.1 Modelo Estrela O data warehouse é baseado em modelagem multidimensional, deste modo, há conceitos de informações do tipo fato e do tipo dimensões. O primeiro deles diz respeito à informação que se deseja medir, normalmente são eventos temporais aos quais se relacionam um número quantidade de unidades de produto vendidas, receitas de uma venda e duração de uma ligação telefônica são exemplos claros de informações do tipo fato. O tipo dimensão refere-se aos dados que qualificam as o evento retratado nome do produto, data da ocorrência da venda e cliente relacionado ao evento são exemplos de possíveis dimensões. O modelo estrela consiste em uma forma de modelagem do banco dimensional, separando os dados em fatos e dimensões com relacionamentos apenas do tipo fato-dimensão (dimensão-dimensão não é possível neste modelo), este tipo de modelagem é representado ilustrado pela Figura 1. Figura 1 - Modelo Estrela Genérico 2.4 Siglas, Termos e Definições são: As principais siglas, termos e definições que são utilizadas neste documento Banco/Base Operacional: Entidade de armazenamento de dados das transações que ocorrem no dia-a-dia da empresa. 27

28 Chave de negócio: (business key) É o elemento identificador de um registro que faz sentido no contexto do negócio da empresa. Chave substituta: (surrogate key) É um identificador atribuído a um registro sem que tenha valor semântico no contexto do negócio da empresa. Normalmente definem-se chaves substitutas para otimizar o tempo de junções entre tabelas de dados. Data Mart (DM): Representa uma parte do data warehouse, normalmente pertencendo a apenas um setor da empresa. Data Warehouse (DW): Segundo (Inmon, 1996), data warehouse é um repositório centralizado que abrange toda a empresa. Sendo que ele é caracterizado por: orientação ao assunto, variante no tempo, não volátil e integrado. Drill-Through: Ato de alterar a visualização de informações para obter um maior ou menor grau de detalhamento dos dados. ETL (Extract, Transform and Load): São rotinas executadas periodicamente que alimentam bases de dados a partir de uma ou mais origens. Envolvem os três passos: extrair (Extract) dados de uma determinada fonte, transformá-los (Transform) de modo a adequá-los ao modelo destino e finalmente carregá-los (Load) na base destino. No contexto de data warehouse, são utilizadas para o transporte de informações originárias do ambiente operacional para o banco dimensional. Linguagem MDX: Multidimensional Expressions é uma linguagem introduzida pela Microsoft em 1997 que provê sintaxes para a obtenção e manipulação de dados multidimensionais. Matriz de Barramento: A matriz de barramento realiza o mapeamento das áreas de negócio da empresa, e as dimensões que são aplicadas a cada uma dessas áreas. Metadados: Dados sobre dados, utilizados para funções relacionadas a ETL, na transferência de dados de OLPT para o data warehouse. Modelo Dimensional: Modelagem específica, onde dados numéricos são organizados de forma a serem agregados de acordo com suas características em comum - dimensões. 28

29 Modelo Relacional: Modelagem específica na qual as tabelas do banco de dados mantêm relações entre si (através de chaves), modelando as entidades reais do negócio da empresa. OLAP (Online Analytical Processing): Análise de uma grande quantidade de dados, normalmente executando operações que não alteram os dados do banco de dados (read-only). OLTP (Online Transaction Processing): Processo utilizado em aplicações orientadas a transações, tais como os bancos de dados relacionais convencionais, que utiliza operações que podem alterar os dados do banco de dados. PostgreSQL: Sistema de Gerenciamento de Banco de Dados (SGBD). Script SQL: Descrição passo-a-passo em linguagem SQL (Structured Query Language) que define operações de consulta, inserção ou remoção de dados de uma base de dados. Tabela Dimensão: As tabelas dimensão são as tabelas "auxiliares", que ficam ao redor da tabela fato (central), e contém os atributos de uma dimensão do negócio. Tabela Fato: A tabela fato é a tabela central, que contém os fatos, valores numéricos, importantes para uma determinada área do negócio. 29

30 3 Aplicação 3.1 Descrição do problema O aplicativo da empresa In.voice que gera relatórios a partir de sua base de dados operacionais começou a apresentar problemas de desempenho depois que o banco de dados relacional passou a ter uma quantidade muito grande de dados. O aumento do número de clientes fez com que mais informações fossem armazenadas, conseqüentemente o tempo demandado para a geração de relatórios cresceu de modo a inviabilizar algumas operações no sistema. Segundo informações da diretoria da empresa In.voice os relatórios demandavam um tempo de até 6 horas para serem gerados. Para então serem enviados para os respectivos clientes, embora a necessidade devesse ser atendida no momento da requisição. A idéia era disponibilizar informações em tempo hábil para os clientes através de uma interface web. Mas, com a quantidade de tempo demandado para geração dos relatórios, isso era inviável até que esse problema fosse resolvido. 3.2 Idéia para resolução O problema de desempenho apresentado pela empresa In.voice demonstra que utilizar o ambiente operacional para levantar relatórios de análise e suporte pode comprometer o banco de dados relacional por um período, além de não responder em um tempo satisfatório. A idéia principal é separar os dois ambientes, para que um suporte os processos e operações do dia-a-dia da empresa, e o outro ambiente suporte o levantamento de informações para relatórios de análise. Com isso surge a idéia de criar um data warehouse. A empresa possui um banco de dados operacional, o que facilita a implementação de um data warehouse, pois todos os dados inseridos já estão sendo armazenados em meio digital. 30

31 3.2.1 Ferramentas A criação do data warehouse foi feita em etapas. Sendo que em cada etapa um determinado software (de código aberto) foi essencial para auxiliar no processo. Segue uma breve descrição de cada uma das ferramentas utilizadas durante o projeto PostgreSQL O PostgreSQL é um sistema gerenciador de banco de dados objeto-relacional de código aberto. Ele suporta os principais tipos de operações realizadas nos banco de dados relacionais comuns, como criação de tabelas, chaves, relacionamentos, entre outros. O banco de dados utilizado pela empresa In.voice é acessado através desta ferramenta. E, através dela, foi criado o modelo dimensional. A manipulação dos esquemas e tabelas pode ser realizado através do PgAdmin III, um software de manipulação e manutenção do banco de dados cuja interface de usuário é ilustrada pela Figura 2. 31

32 Figura 2 - Interface de usuário do pgadminiii Pentaho Data Integration O Pentaho Data Integration, chamado anteriormente de Kettle, é a ferramenta responsável por extrair, transformar e carregar (em inglês, ETL) processos. O objetivo a ser alcançado com a utilização do Kettle é automatizar a transformação dos dados a partir do banco de dados relacional do usuário para o banco de dados dimensional. Sua interface é ilustrada pela Figura 3. 32

33 Figura 3 - Interface de Usuário do Pentaho Data Integration A modelagem da ETL se dá através do encadeamento de operações menores que realizam diversas ações sobre o fluxo de dados representado. Cada uma dessas operações é representada por um bloco e o transporte de dados entre dois blocos é representado por uma flecha do bloco fornecedor ao bloco receptor. As principais operações desta ferramenta que serão utilizadas no desenvolvimento no projeto são: Table input (Entrada do tipo tabela): Lê o conteúdo de uma tabela em uma base de dados relacional e o adiciona ao fluxo de dados. Lookup (Consulta): Baseado em uma coluna já pertencente ao fluxo, consulta uma fonte de dados para procurar outro valor que tenha correspondência àquela do fluxo. Table output (Saída do tipo tabela): Grava o conteúdo do fluxo em uma tabela de um banco de dados relacional. 33

34 Lookup/Update Combination (Combinação de consulta e atualização): Realiza a consulta de um dado em uma base relacional, e compara seus valores com o fluxo. Se houver mudança a base é atualizada conforme a fonte Mondrian Mondrian (ou Pentaho Analysis Services) é um mecanismo OLAP desenvolvido com a finalidade de apresentar dados de uma forma multidimensional. Esta ferramenta basicamente é um software que provê o serviço de bases OLAP através de interfaces web com outros aplicativos. Ele recebe como entrada um arquivo XML definido pelo desenvolvedor do data warehouse e, através das informações contidas nele, realiza as agregações de informações contidas no modelo dimensional utilizado. O objetivo a ser alcançado com a utilização do Mondrian é a criação de um data warehouse a partir do modelo de banco de dados dimensional previamente modelado. O Mondrian é um serviço executado através de servidores de aplicações Web e inclui em seu pacote o componente jpivot que consiste em uma interface de acesso a dados que é ilustrada pela Figura 4. 34

35 Figura 4 - Interface de usuário do jpivot, acessando o serviço OLAP do Mondrian Schema Workbench A modelagem do data warehouse é baseada na definição em XML do modelo multidimensional. Esta ferramenta auxilia esta edição, apresentando o documento sob uma forma de árvore e lista as propriedades de cada um dos atributos em uma lista, para cada um dos níveis da árvore. A Figura 5 ilustra sua interface de edição. 35

36 Figura 5 - Interface de usuário do Schema Workbench Pentaho BI Studio Esta ferramenta é responsável por integrar funcionalidades das demais ferramentas integradas a um sistema web com suporte a definição de políticas de segurança e grupos de usuários. Integra Mondrian (seção ), Pentaho Reporting e Pentaho Data Integration (seção ). A interface de usuário baseada em Web está ilutrada na Figura 6. 36

37 Figura 6 - Interface de usuário do Pentaho BI Studio 37

38 4 Etapas do projeto 4.1 Primeiros Passos Em etapas iniciais de idealização e definição do tema do projeto, havia a preocupação em modelar e desenvolver uma aplicação de data warehouse para um setor para o qual este tipo de modelagem fosse adequada, de modo que fosse possível obter resultados concretos de desempenho e ganho de eficiência operacional, ao passo que se agilizava a capacidade analítica e performática dos relatórios utilizados. Neste foco, a melhor alternativa encontrada foi pesquisar um caso problemático real, segundo o qual fosse possível retirar todas as conclusões e resultados desejados, comparando ganhos antes e depois da implantação da aplicação através de depoimentos de usuários. A empresa In.Voice se dispôs a apresentar o problema de desempenho que enfrentava, e disponibilizou seus sistemas e ambiente operacional para que o projeto pudesse ser desenvolvido. Iniciou-se, assim, um ciclo de reuniões que possibilitaram o início do projeto com a análise dos dados operacionais que, por sua vez, fez parte do levantamento de requisitos do projeto, que definiu aspectos como escopo e restrições no momento inicial. 4.2 Análise do banco de dados operacional A empresa In.Voice apresentou o sistema de manipulação de informações que, além de editar o conteúdo da base de dados, é também utilizado para a geração de relatórios. Este sistema é baseado em um modelo relacional implementado sobre uma base de dados PostgreSQL 8 (conforme definido na seção ). O rápido crescimento da empresa e a desorganização de projetos de desenvolvimento do sistema mencionado, unidas à complexidade das operações de negócio realizadas, fez com que a base incorporasse mais de 100 tabelas de dados dispostas de maneiras muitas vezes redundantes e com normalizações 38

39 inadequadas. O modelo representa o ambiente operacional do projeto de data warehouse de onde se extraem os dados para alimentação da base dimensional. O escopo do trabalho junto à análise de tal estrutura permitiu um refinamento através de um processo de engenharia reversa o qual tomou como ponto de partida os sistemas de geração de relatórios para a conseqüente análise do fluxo de dados e suas respectivas origens na base relacional, resultando na extração da parcela mais significativa (disponível no Anexo I) para a modelagem dimensional e nas quais as próximas etapas do projeto são baseadas. No modelo refinado apresentado, pode-se observar o papel central sobre o conjunto de tabelas Fatura e Inventário, uma vez que estas entidades têm grande importância na análise de custos em telecomunicações das empresas, e uma vez que o significado de negócio dos registros de Fatura são as consolidações de registros telefônicos em conjuntos limitados por data bem definida da ocorrência do evento. A tabela Inventário representa o vínculo entre clientes e suas faturas. O papel centralizador apresentou um caminho para a definição dos dados do tipo Fato, cujas características principais estão em seus atributos temporais e representações numéricas quantitativas. O processo de identificação é descrito posteriormente na etapa de levantamento de requisitos (seção 4.3). 4.3 Especificação de Requisitos As reuniões que se desencadearam após o primeiro contato com a empresa resultou no levantamento de requisitos do projeto de data warehouse, que por fim levou à criação do documento de Especificação de Requisitos, entregue como produto final do primeiro quadrimestre de 2009 da disciplina PCS-2040 (Projeto de Formatura I), porém, após o final desta disciplina, novas reuniões e redefinições do negócio da empresa resultaram em algumas modificações no modelo apresentado que será detalhado nos próximos itens. O principal requisito da empresa era um sistema para geração de relatórios que respondesse em quantidade satisfatória de tempo. Assim, os principais aspectos levantados foram: a. Novo ambiente de geração de relatórios (data warehouse); 39

40 b. Geração de relatórios em tempo aceitável; c. Aumentar o ganho de informação de um relatório; d. Prover métodos analíticos mais eficientes. O item a desta lista representa a independência de um sistema de data warehouse que não deve influenciar os sistemas em operação na empresa. Os itens b, c e d apresentados acima são requisitos relacionados aos antigos sistemas da empresa em operação. No item b da lista, o termo tempo aceitável faz menção ao tempo de geração de um relatório específico de um cliente que varia de alguns minutos a horas de tempo de espera. Para o item c espera-se que, uma vez que relatórios serão gerados em tempos menores, é possível incluir mais informações, facilitando assim o cumprimento da função básica de relatórios que é o auxílio na tomada de decisões. O item d representa o requisito de maior dinamismo no sistema que, uma vez mais ágil, possa oferecer métodos analíticos de dados mais eficientes como recursos de drill-through em tabelas de dados. Após concluído o primeiro documento de especificação, modificações mostraram-se necessárias, dentre estas a principal diz respeito aos dados armazenados no data warehouse cuja granularidade diminuiu, uma vez que o nível de detalhamento requisitado passou do nível de faturas para o nível de registros. Esta modificação gerou um aumento na massa de dados tratados na proporção dada pelo número médio de registros por fatura, ou seja, cada dado de fatura passa a inserir uma quantidade N de registros de telefonia, onde N é o número médio de registros por fatura. O valor depende do porte da empresa Modelagem do banco de dados dimensional A modelagem do banco de dados dimensional inicia-se com a identificação dos dados que representam valores e quantidades relacionados a eventos discretos no tempo e de papel central nas regras de negócio. Define-se, assim, dados do tipo fato e, conseqüentemente, a tabela fato com os diversos atributos do evento. Características do evento de importância relevante ao negócio e definição de relatórios podem ser modeladas em dimensões junto aos seus respectivos atributos. Uma vez concluídas as tabelas, o esquema com as tabelas e relações é criado através de um sistema gerenciador de banco de dados. 40

41 O diagrama representativo do modelo dimensional é ilustrado pela Figura 7 e cada uma das dimensões tem seus atributos detalhados no Anexo II. O método utilizado baseia-se no modelo estrela (conforme descrito na seção 2.3.1). Sua vantagem está em sua simplicidade construtiva e velocidade de acesso aos atributos de uma dimensão. Em contra partida, dados acabam tornando-se mais esparsos e o nível normalização é baixo. Como há poucas dimensões no projeto que possuem mais de três atributos, e o número de dimensões hierarquizadas é pequeno, isto é, não prejudica a normalização dos dados, o modelo estrela foi adotado a priori. Figura 7 Modelo dimensional modelado 41

42 Tabela Fato A tabela fato é produto do levantamento de requisitos e especificação do sistema e pode ser visualizada nos diagrama relacional (Anexo II) da modelagem dimensional; identificada pelo nome Fato_Registro. Os dados da tabela fato dizem respeito à entidade de negócio denominada Registro, o qual, por sua vez, representa a ocorrência de uma chamada telefônica de um cliente e seus atributos de negócio mais relevantes para o uso em relatórios. Esses atributos estão enumerados e detalhados na tabela abaixo (apenas atributos relativos ao negócio são detalhados nesta tabela). Campo Tipo de dado Significado de Negócio Dt_inicio_registro Data Representa a data de início da chamada telefônica Dt_termino_registro Data Representa a data de término da chamada telefônica Fato_duracao Decimal Representa o valor em segundos da duração da chamada telefônica Fato_valor_original Decimal Representa o valor original cobrado pela chamada sem imposto. Fato_valor_retarifado Decimal Representa o valor retarifado da chamada telefônica. Fato_valor_rebilled Decimal Fato_quantidade Inteiro Representa a quantidade Tabela 1 - Especificação dos atributos da entidade Fato - Registro Ao modelo dimensional foram adicionadas colunas responsáveis por fazer a ligação entre os registros da tabela fato e suas dimensões quando aplicáveis (colunas identificadas com o prefixo sk_ em nosso modelo dimensional). Estas colunas são chaves estrangeiras (termo definido na seção 2.4) que apontam para chaves substitutas (surrogate keys, termo definido na seção 2.4), a importância do uso deste tipo de chaves (que não possuem significado de negócio) está em seu tipo 42

43 inteiro que torna a associação entre entidades mais ágil e simples de ser tratada em relação ao uso de chaves de negócio que poderiam ser muitas vezes do tipo cadeia de caracteres o que prejudicaria o desempenho do banco de dados. Uma perda de desempenho em tarefas de união (join) afeta diretamente a etapa de carga de informações ao data warehouse que, ao fazer pré-processamento de dados, internamente realiza diversas vezes esta operação para obter dados sob a forma adequada para ser armazenada em sua arquitetura interna Tabelas Dimensão Assim como a tabela fato, o levantamento de requisitos levou às especificações das tabelas de dimensão. De forma geral as dimensões modeladas foram: dim_unidade_de_negocio: Dimensão da unidade de negócio. dim_ centro_custo: Dimensão do centro de custo. dim_ fatura: Dimensão da fatura. dim_ cliente: Dimensão de cliente. dim_ operadora: Dimensão da operadora. dim_tempo: Dimensão de tempo. dim_ entidade: Dimensão da entidade. dim_ inventario: Dimensão do inventário. dim_ tipo_servico: Dimensão do tipo de serviço. dim_ conta: Dimensão da conta. anexo 8.2. Os atributos das tabelas dimensão e seus significados de negócio estão no Extração, Transformação e Carga As ETLs foram divididas em dois grupos: ETLs das tabelas dimensão; e ETL da tabela fato. Em teoria as ETLs são modeladas de forma a oferecerem um recurso automatizado de extrair dados de fontes distintas; consolidá-los sob um formato padronizado e então inseri-los em uma base centralizada. Esta idéia é utilizada no projeto, sendo que o banco operacional representa a fonte de dados e o banco 43

44 dimensional representa o destino. Para tais processos de carga foram elaborados dois modelos básicos de carga em regras gerais que serão apresentados nas seções e O primeiro deles é voltado à carga de tabelas-dimensões e o segundo, carga de tabelas-fato ETL das tabelas dimensão O Modelo de carga de Dimensões é apresentado na Figura 8. Figura 8 - Modelo básico de ETL de carga de dimensões O processo, em palavras gerais, consiste em extrair dados da fonte e compará-los com os dados presentes no modelo dimensional a fim de identificar linhas que foram modificadas, inseridas ou removidas desde a última carga. Baseado nestas informações, a base dimensional deve ser atualizada a fim de manter o conteúdo sincronizado entre ambos ambientes ETL da tabela fato Em termos de linhas da tabela fato, deve existir uma ligação de cada um dos registros com as respectivas dimensões, quando estas forem aplicáveis. Porém, esta ligação não é explícita no momento em que ocorre a extração desses dados, devido às diferenças entre os modelos operacional e dimensional, uma vez que cada um 44

45 deles têm conceitos para identificadores diferentes. No modelo relacional tradicional utiliza-se o conceito de chaves primárias, normalmente numéricas e únicas para cada registro, de forma similar, o modelo dimensional utiliza o conceito de chave de negócio que por sua vez são mapeadas em colunas numéricas surrogate keys (definidas na seção 2.4) para otimizar a performance do banco, assim deve haver um mapeamento entre ambas as chaves para se manter a consistência entre elas. Foram levantadas duas formas diferentes de realizar a carga da tabela fato: buscas em série ou buscas em paralelo. A Figura 9 ilustra ambos os modelos e suas diferenças construtivas. No modelo em série, após a extração dos dados, as buscas por chaves substitutas ocorre linearmente uma após a outra (Figura 9.a), após o termino das buscas insere-se o fluxo resultante no modelo dimensional; em contrapartida, o modelo paralelo (Figura 9.b) realiza buscas simultâneas de chaves substitutas para então realizar a junção do fluxo novamente para então armazená-lo na base dimensional. O modelo utilizado para o desenvolvimento desta ETL é o modelo de busca em série (Figura 9.a). Inicialmente o modelo em paralelo havia sido desenvolvido, mas devido à ocorrência de deadlocks de acesso ao banco de dados no momento das atividades em paralelo, optou-se pelo modelo em série por evitar este tipo de conflito embora ofereça relativa perda de desempenho. 45

46 Modelo ETL: Carga da Fato (série) Extração de dados de registros no modelo operacional. Busca da PK da dimensão 1 Busca da PK da dimensão 2... Busca da PK da dimensão n Inserção dos dados na base dimensional (a) Modelo ETL: Carga da Fato (paralelo) Extração de dados no modelo operacional Busca da PK da dimensão 1 Busca da PK da dimensão 2... Busca da PK da dimensão n União dos fluxos de dados Inserção dos dados na base dimensional (b) Figura 9 - Modelos de ETL de carga de tabelas-fato (a) série; (b) paralelo Desenvolvimento da base multidimensional (Data warehouse) A modelagem em estrela, conforme previamente apresentado na seção 4.3.1, coloca a tabela fato no centro do modelo e, relacionadas diretamente a ela, uma a uma, as dimensões. Assim, tal modelo deve ser mapeado ao Mondrian de modo que 46

47 este seja capaz de instanciar o cubo e, assim, gerar o data warehouse com os dados organizados em dimensões, cumprindo os objetivos do trabalho. Este mapeamento é realizado através da ferramenta Schema Workbench (apresentado na seção ) que gera um arquivo XML com a sintaxe entendida. A etapa seguinte corresponde à definição das hierarquias dimensionais e por fim, o acabamento final de tratamento de formatações de dados e nomes de campos. Figura 10 Modelo Multidimensional no Schema Workbench. A seguir, são especificadas os detalhes mais relevantes da modelagem multidimensional do data warehouse. 47

48 Métricas As métricas de um modelo multidimensional representam os dados dos eventos do negócio em si. Normalmente são temporais e numéricas, ou seja, têm ocorrência bem definida no tempo e representam entidades quantificáveis no negócio, possibilitando sua agregação em diversos níveis de detalhamento utilizando-se funções matemáticas de agregação (adição, contagem, máximo, mínimo, entre outras). Para o projeto em questão foram definidas como métricas os valores a respeito de uma chamada telefônica (entidade Registro ): Duração; Quantidade; Valor Original; Valor Recobrado; Valor Retarifado. Valores que têm representatividade na criação de relatórios de tomada de decisão para a empresa In.Voice Dimensões sem hierarquia Dimensões simples, sem uma hierarquização de seus membros, seguem a um mesmo modelo em que a dimensão aponta para a tabela do modelo dimensional e extrai dali todos seus membros e atributos, sem organizá-los hierarquicamente. Para o projeto, a maioria das dimensões, exceto da dimensão de tempo, possuem essas características, uma vez que o nível único de detalhamento de cada uma das dimensões é suficiente para a geração dos relatórios Dimensão de tempo A hierarquização de dimensão foi aplicada à dimensão de tempo. Desta forma, houve a hierarquização da tabela dim_tempo em Ano > Trimestre > Mês > Dia. 48

49 Figura 11 - Hierarquia de tempo definida Granularidade A granularidade temporal do modelo em questão segue a mesma granularidade dos dados carregados do ambiente operacional da empresa, que é do nível de registros telefônicos diários. Desta forma, a granularidade permite uma análise profunda e possibilita tanto a análise de registros diários no nível mais baixo, quanto uma análise macro que agrega dados por mês, trimestre ou ano; além da segmentação pelas demais dimensões como fatura ou centros de custo relacionadas. Assim, os usuários desde a tomada de decisão gerencial (pontual) à tomada de decisão estratégica (mais abrangente) são atendidos pelo sistema. 4.4 Desenvolvimento das ETLs Os fluxos de ETLs das tabelas dimensão são muito semelhantes, portanto foi decidido que todas seriam agrupadas em duas ETLs, sendo que os fluxos seriam executados paralelamente. As dimensões dim_unidade_de_negocio, dim_centro_custo, dim_fatura, dim_cliente, dim_operadora, dim_entidade, dim_inventario, dim_tipo_servico e dim_conta tiveram o seguinte fluxo criado: 1. Entrada de dados (Extract): O mecanismo utilizado no software Pentaho Kettle foi o Table input (seção ), apontando para o banco de dados Bunge (nome do banco de dados do ambiente operacional), esquema GP4 (nome do esquema do banco de dados do ambiente operacional), e cada tabela possui um script escrito em SQL, que 49

50 seleciona as informações importantes (sendo que cada dimensão teve origem em uma tabela do modelo relacional); 2. Carga de dados da dimensão (Transform & Load): Os novos dados devem ser comparados com os dados já existentes na dimensão a fim de sincronizar ambas e evitar duplicidade de registros. A Figura 12 ilustra os fluxos de ETL das dimensões. Figura 12 - Diversos fluxos de carga das dimensões A tabela dim_tempo pertence a uma ETL das dimensões, mas possui o fluxo diferente. Isso ocorre pois, para a criação da tabela dim_tempo, foi utilizado um arquivo CSV. O que difere esta dimensão das demais no contexto da ETL é que a entrada de dado é feita não por um script SQL, mas sim por um arquivo do tipo CSV. A ETL da tabela fato segue um fluxo diferente das ETLs das dimensões (Figura 13). O fluxo é o seguinte: 50

51 1. Entrada de dados (Extract): O mecanismo utilizado também foi o Table Input (conforme definido na seção ) do Pentaho Kettle, apontando para o base de dados operacional, utilizando um script na linguagem SQL, o qual é bastante diferente dos utilizados para as ETLs das dimensões, uma vez que a tabela inicial possui todas as chaves de negócio que serão trocadas por chaves substitutas; 2. Busca de Chaves (Transform): Para cada chave de negócio extraída, deve-se saber a correspondente chave substituta, para isto, uma busca baseada na chave de negócio deve ser realizada. Este tipo de busca é realizada pelo componente Lookup (detalhado em ). Têm-se então, 9 etapas de lookup uma para cada dimensão. 3. Inserção (Load): Cada um dos registros chega nesta etapa com seus valores originais extraídos adicionados às chaves substitutas, desta forma, basta mapear as colunas entre o fluxo de dados e a tabela destino, que no caso é a tabela Fato_Registro. O processo de inserção dos dados é realizado pelo componente Table output. Figura 13 - ETL da Tabela fato_registro 51

52 Em termos de desempenho, utilizou-se o armazenamento temporário em memória cachê em cada uma das etapas do fluxo, os resultados comparativos são apresentados neste documento na seção Desenvolvimento do Data warehouse O modelo multidimensional especificado na seção foi implementado utilizando o framework Pentaho, que utiliza como servidor OLAP a ferramenta Mondrian. O data warehouse, assim, foi modelado inicialmente pela definição de um XML no formato reconhecido pelo Mondrian seguindo as especificações do projeto. Após o início do desenvolvimento, tomou-se conhecimento da ferramenta lançada durante o desenvolvimento Schema Workbench que facilita a edição do XML através de uma interface gráfica. Uma vez desenvolvido, o modelo deve ser publicado no Mondrian, isto é feito através da edição de um arquivo de configuração interno à ferramenta e consiste na edição das strings de conexão e definição dos dados apontados. 52

53 5 Resultados 5.1 Interfaces de usuário A ferramenta Pentaho BI Studio contém uma interface baseada em Web. A Figura 14 ilustra a tela de boas vindas do sistema. Figura 14 Tela de boas vindas do sistema web Pentaho BI Studio. 53

54 Após a autenticação na tela de boas vindas, a tela de entrada do sistema, ilustrada pela Figura 15, é exibida. A partir desta tela é possível realizar todas as operações do ciclo do data warehouse: Carga de dados através das ETLs; Atualização dos dados do repositório; Geração e consulta de relatórios administrativos utilizando dados do data warehouse; Navegação analítica através das métricas e dimensões do data warehouse. Em termos de segurança há controle administrativo de login, fornecido por outra interface administrativa, ilustrado pela Figura 16. Figura 15 Tela de entrada no sistema. 54

55 Figura 16 Controle de logins e políticas de segurança Interface de usuário de carga de dados Para realizar a carga de dados, foram preparadas para os usuários duas possibilidades: executar o pacote ETL utilizando a interface de usuário ou a ferramenta Pentaho Data Integration. No primeiro caso, a carga é executada de maneira muito simples, basta um duplo clique no menu à esquerda da interface que corresponde à carga de dado selecionada, e então a rotina se inicia. No momento do término é exibida uma tela com informações do processo executado como sucesso da operação e um conjunto de dados carregados para verificação rápida. A Figura 17 ilustra a tela de término de execução. Outro método é através da ferramenta Pentaho Data Integration, que possui uma interface amigável, porém com mais recursos de personalização e relatório de desempenho. Para obter o pacote não há necessidade de busca entre os arquivos do sistema, foi desenvolvido um repositório onde a ferramenta consegue buscar as rotinas de carga de forma imediata. A Figura 18 ilustra este método de execução. 55

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto OLPT x OLAP Roteiro OLTP Datawarehouse OLAP Operações OLAP Exemplo com Mondrian e Jpivot

Leia mais

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4. SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.1 Armazenamento... 5 4.2 Modelagem... 6 4.3 Metadado... 6 4.4

Leia mais

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP.

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. Eduardo Cristovo de Freitas Aguiar (PIBIC/CNPq), André Luís Andrade

Leia mais

Sistemas de Apoio à Decisão (SAD) - Senado

Sistemas de Apoio à Decisão (SAD) - Senado Sistemas de Apoio à Decisão (SAD) - Senado DW OLAP BI Ilka Kawashita Material preparado :Prof. Marcio Vitorino Sumário OLAP Data Warehouse (DW/ETL) Modelagem Multidimensional Data Mining BI - Business

Leia mais

Uma Ferramenta Web para BI focada no Gestor de Informação

Uma Ferramenta Web para BI focada no Gestor de Informação Uma Ferramenta Web para BI focada no Gestor de Informação Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3.

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3. Sumário Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. 1 2 Introdução Aplicações do negócio: constituem as aplicações que dão suporte ao dia a dia do negócio da empresa,

Leia mais

Business Intelligence e ferramentas de suporte

Business Intelligence e ferramentas de suporte O modelo apresentado na figura procura enfatizar dois aspectos: o primeiro é sobre os aplicativos que cobrem os sistemas que são executados baseados no conhecimento do negócio; sendo assim, o SCM faz o

Leia mais

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br Data Warehousing Leonardo da Silva Leandro Agenda Conceito Elementos básicos de um DW Arquitetura do DW Top-Down Bottom-Up Distribuído Modelo de Dados Estrela Snowflake Aplicação Conceito Em português:

Leia mais

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Data Warehouses Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Conceitos Básicos Data Warehouse(DW) Banco de Dados voltado para

Leia mais

Módulo 2. Definindo Soluções OLAP

Módulo 2. Definindo Soluções OLAP Módulo 2. Definindo Soluções OLAP Objetivos Ao finalizar este módulo o participante: Recordará os conceitos básicos de um sistema OLTP com seus exemplos. Compreenderá as características de um Data Warehouse

Leia mais

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso 5 Estudo de Caso De modo a ilustrar a estruturação e representação de conteúdos educacionais segundo a proposta apresentada nesta tese, neste capítulo apresentamos um estudo de caso que apresenta, para

Leia mais

SAD orientado a DADOS

SAD orientado a DADOS Universidade do Contestado Campus Concórdia Curso de Sistemas de Informação Prof.: Maico Petry SAD orientado a DADOS DISCIPLINA: Sistemas de Apoio a Decisão SAD orientado a dados Utilizam grandes repositórios

Leia mais

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining.

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining. BUSINESS INTELLIGENCE COM DADOS EXTRAÍDOS DO FACEBOOK UTILIZANDO A SUÍTE PENTAHO Francy H. Silva de Almeida 1 ; Maycon Henrique Trindade 2 ; Everton Castelão Tetila 3 UFGD/FACET Caixa Postal 364, 79.804-970

Leia mais

Chapter 3. Análise de Negócios e Visualização de Dados

Chapter 3. Análise de Negócios e Visualização de Dados Chapter 3 Análise de Negócios e Visualização de Dados Objetivos de Aprendizado Descrever a análise de negócios (BA) e sua importância par as organizações Listar e descrever brevemente os principais métodos

Leia mais

4 Aplicação da Sistemática

4 Aplicação da Sistemática 4 Aplicação da Sistemática Este capítulo descreve a aplicação da sistemática definida no Capítulo 3 utilizando dados reais de uma estatística pública e aplicando tecnologias avançadas fazendo o uso de

Leia mais

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Sumário Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Capítulo 2 - Reputação corporativa e uma nova ordem empresarial 7 Inovação e virtualidade 9 Coopetição 10 Modelos plurais

Leia mais

DATA WAREHOUSE. Introdução

DATA WAREHOUSE. Introdução DATA WAREHOUSE Introdução O grande crescimento do ambiente de negócios, médias e grandes empresas armazenam também um alto volume de informações, onde que juntamente com a tecnologia da informação, a correta

Leia mais

Data Warehouse. Debora Marrach Renata Miwa Tsuruda

Data Warehouse. Debora Marrach Renata Miwa Tsuruda Debora Marrach Renata Miwa Tsuruda Agenda Introdução Contexto corporativo Agenda Introdução Contexto corporativo Introdução O conceito de Data Warehouse surgiu da necessidade de integrar dados corporativos

Leia mais

Thiago Locatelli de OLIVEIRA, Thaynara de Assis Machado de JESUS; Fernando José BRAZ Bolsistas CNPq; Orientador IFC Campus Araquari

Thiago Locatelli de OLIVEIRA, Thaynara de Assis Machado de JESUS; Fernando José BRAZ Bolsistas CNPq; Orientador IFC Campus Araquari DESENVOLVIMENTO DE AMBIENTE PARA A GESTÃO DO CONHECIMENTO RELACIONADO AOS DADOS PRODUZIDOS PELO SISTEMA DE GERENCIAMENTO DE TRANSITO DA CIDADE DE JOINVILLE/SC PARTE I Thiago Locatelli de OLIVEIRA, Thaynara

Leia mais

Uma Ferramenta WEB para apoio à Decisão em Ambiente Hospitalar

Uma Ferramenta WEB para apoio à Decisão em Ambiente Hospitalar Uma Ferramenta WEB para apoio à Decisão em Ambiente Hospitalar Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

Modelo de dados do Data Warehouse

Modelo de dados do Data Warehouse Modelo de dados do Data Warehouse Ricardo Andreatto O modelo de dados tem um papel fundamental para o desenvolvimento interativo do data warehouse. Quando os esforços de desenvolvimentos são baseados em

Leia mais

UNIVERSIDADE DO SUL DE SANTA CATARINA MICHEL ANGELO DA SILVA DARABAS

UNIVERSIDADE DO SUL DE SANTA CATARINA MICHEL ANGELO DA SILVA DARABAS UNIVERSIDADE DO SUL DE SANTA CATARINA MICHEL ANGELO DA SILVA DARABAS CONSTRUINDO SOLUÇÕES DE BUSINESS INTELLIGENCE COM PENTAHO BI SUITE COMMUNITY EDITION (CE) Palhoça 2012 MICHEL ANGELO DA SILVA DARABAS

Leia mais

Data Warehouses Uma Introdução

Data Warehouses Uma Introdução Data Warehouses Uma Introdução Alex dos Santos Vieira, Renaldy Pereira Sousa, Ronaldo Ribeiro Goldschmidt 1. Motivação e Conceitos Básicos Com o advento da globalização, a competitividade entre as empresas

Leia mais

Data Warehousing Visão Geral do Processo

Data Warehousing Visão Geral do Processo Data Warehousing Visão Geral do Processo Organizações continuamente coletam dados, informações e conhecimento em níveis cada vez maiores,, e os armazenam em sistemas informatizados O número de usuários

Leia mais

OLAP em âmbito hospitalar: Transformação de dados de enfermagem para análise multidimensional

OLAP em âmbito hospitalar: Transformação de dados de enfermagem para análise multidimensional OLAP em âmbito hospitalar: Transformação de dados de enfermagem para análise multidimensional João Silva and José Saias m5672@alunos.uevora.pt, jsaias@di.uevora.pt Mestrado em Engenharia Informática, Universidade

Leia mais

Uma aplicação de Data Warehouse para apoiar negócios

Uma aplicação de Data Warehouse para apoiar negócios Uma aplicação de Data Warehouse para apoiar negócios André Vinicius Gouvêa Monteiro Marcos Paulo Oliveira Pinto Rosa Maria E. Moreira da Costa Universidade do Estado do Rio de Janeiro - UERJ IME - Dept

Leia mais

Banco de Dados - Senado

Banco de Dados - Senado Banco de Dados - Senado Exercícios OLAP - CESPE Material preparado: Prof. Marcio Vitorino OLAP Material preparado: Prof. Marcio Vitorino Soluções MOLAP promovem maior independência de fornecedores de SGBDs

Leia mais

Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹

Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ ¹Ciência da Computação Universidade Federal de Itajubá (UNIFEI) MG Brasil

Leia mais

Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar

Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar Newton Shydeo Brandão Miyoshi Joaquim Cezar Felipe Grupo de Informática Biomédica Departamento

Leia mais

srbo@ufpa.br www.ufpa.br/srbo

srbo@ufpa.br www.ufpa.br/srbo CBSI Curso de Bacharelado em Sistemas de Informação BI Prof. Dr. Sandro Ronaldo Bezerra Oliveira srbo@ufpa.br www.ufpa.br/srbo Tópicos Especiais em Sistemas de Informação Faculdade de Computação Instituto

Leia mais

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade 4.2 2 1 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI

Leia mais

Adriano Maranhão BUSINESS INTELLIGENCE (BI),

Adriano Maranhão BUSINESS INTELLIGENCE (BI), Adriano Maranhão BUSINESS INTELLIGENCE (BI), BUSINESS INTELLIGENCE (BI) O termo Business Intelligence (BI), popularizado por Howard Dresner do Gartner Group, é utilizado para definir sistemas orientados

Leia mais

e-business A IBM definiu e-business como: GLOSSÁRIO

e-business A IBM definiu e-business como: GLOSSÁRIO Através do estudo dos sistemas do tipo ERP, foi possível verificar a natureza integradora, abrangente e operacional desta modalidade de sistema. Contudo, faz-se necessário compreender que estas soluções

Leia mais

Aplicação de Data Warehousing no Cadastro de Ficha Limpa do TSE

Aplicação de Data Warehousing no Cadastro de Ficha Limpa do TSE Aplicação de Data Warehousing no Cadastro de Ficha Limpa do TSE Mateus Ferreira Silva, Luís Gustavo Corrêa Lira, Marcelo Fernandes Antunes, Tatiana Escovedo, Rubens N. Melo mateusferreiras@gmail.com, gustavolira@ymail.com,

Leia mais

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago DATA WAREHOUSE Rafael Ervin Hass Raphael Laércio Zago Roteiro Introdução Aplicações Arquitetura Características Desenvolvimento Estudo de Caso Conclusão Introdução O conceito de "data warehousing" data

Leia mais

Data Warehouse Processos e Arquitetura

Data Warehouse Processos e Arquitetura Data Warehouse - definições: Coleção de dados orientada a assunto, integrada, não volátil e variável em relação ao tempo, que tem por objetivo dar apoio aos processos de tomada de decisão (Inmon, 1997)

Leia mais

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES w w w. i d e a l o g i c. c o m. b r INDICE 1.APRESENTAÇÃO 2.ESPECIFICAÇÃO DOS RECURSOS DO SOFTWARE SAXES 2.1. Funcionalidades comuns a outras ferramentas similares 2.2. Funcionalidades próprias do software

Leia mais

Técnicas de Business Intelligence na Análise de Dados de Produção. Rafael Deitos

Técnicas de Business Intelligence na Análise de Dados de Produção. Rafael Deitos Copyright 2014-15 OSIsoft, LLC. 1 Técnicas de Business Intelligence na Análise de Dados de Produção Presented by Felipe Trevisan Rafael Deitos Copyright 2014-15 OSIsoft, LLC. Sumário Contextualização Itaipu

Leia mais

Curso Data warehouse e Business Intelligence

Curso Data warehouse e Business Intelligence Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados

Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Disciplina: Ferramentaspara Tomadade Decisão Prof.: Fernando Hadad Zaidan Unidade 1.2 1 Conceitos Iniciais Tomada de Decisão, Modelagem

Leia mais

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO @ribeirord FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO Rafael D. Ribeiro, M.Sc,PMP. rafaeldiasribeiro@gmail.com http://www.rafaeldiasribeiro.com.br Lembrando... Aula 4 1 Lembrando... Aula 4 Sistemas de apoio

Leia mais

IMPLANTAÇÃO DO DW NA ANVISA

IMPLANTAÇÃO DO DW NA ANVISA IMPLANTAÇÃO DO DW NA ANVISA Bruno Nascimento de Ávila 1 Rodrigo Vitorino Moravia 2 Maria Renata Furtado 3 Viviane Rodrigues Silva 4 RESUMO A tecnologia de Business Intelligenge (BI) ou Inteligência de

Leia mais

DESMISTIFICANDO O CONCEITO DE ETL

DESMISTIFICANDO O CONCEITO DE ETL DESMISTIFICANDO O CONCEITO DE ETL Fábio Silva Gomes da Gama e Abreu- FSMA Resumo Este artigo aborda os conceitos de ETL (Extract, Transform and Load ou Extração, Transformação e Carga) com o objetivo de

Leia mais

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados Sistema de Bancos de Dados Conceitos Gerais Sistema Gerenciador de Bancos de Dados # Definições # Motivação # Arquitetura Típica # Vantagens # Desvantagens # Evolução # Classes de Usuários 1 Nível 1 Dados

Leia mais

Edições Edge do SAP InfiniteInsight Visão geral Viabilizando insights preditivos apenas com cliques de mouse, sem códigos de computador

Edições Edge do SAP InfiniteInsight Visão geral Viabilizando insights preditivos apenas com cliques de mouse, sem códigos de computador Soluções de análise da SAP Edições Edge do SAP InfiniteInsight Visão geral Viabilizando insights preditivos apenas com cliques de mouse, sem códigos de computador Índice 3 Um caso para análise preditiva

Leia mais

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5 Para entender bancos de dados, é útil ter em mente que os elementos de dados que os compõem são divididos em níveis hierárquicos. Esses elementos de dados lógicos constituem os conceitos de dados básicos

Leia mais

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence Juntamente com o desenvolvimento desses aplicativos surgiram os problemas: & Data Warehouse July Any Rizzo Oswaldo Filho Década de 70: alguns produtos de BI Intensa e exaustiva programação Informação em

Leia mais

Planejamento Estratégico de TI. Prof.: Fernando Ascani

Planejamento Estratégico de TI. Prof.: Fernando Ascani Planejamento Estratégico de TI Prof.: Fernando Ascani Data Warehouse - Conceitos Hoje em dia uma organização precisa utilizar toda informação disponível para criar e manter vantagem competitiva. Sai na

Leia mais

PENTAHO. História e Apresentação

PENTAHO. História e Apresentação PÓS-GRADUAÇÃO LATO SENSU Curso: Banco de Dados Disciplina: Laboratório de Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 2 2012 Crédito dos Slides: Clever Junior 2 PENTAHO História

Leia mais

AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP.

AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP. AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP. Luan de Souza Melo (Fundação Araucária), André Luís Andrade Menolli (Orientador), Ricardo G. Coelho

Leia mais

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Alcione Benacchio (UFPR) E mail: alcione@inf.ufpr.br Maria Salete Marcon Gomes Vaz (UEPG, UFPR) E mail: salete@uepg.br Resumo: O ambiente de

Leia mais

Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados

Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados slide 1 1 Copyright 2011 Pearson Education, Inc. publishing as Prentice Hall Objetivos de estudo Como um banco de dados

Leia mais

Professor: Disciplina:

Professor: Disciplina: Professor: Curso: Esp. Marcos Morais de Sousa marcosmoraisdesousa@gmail.com Sistemas de informação Disciplina: Introdução a SI Noções de sistemas de informação Turma: 01º semestre Prof. Esp. Marcos Morais

Leia mais

Interatividade aliada a Análise de Negócios

Interatividade aliada a Análise de Negócios Interatividade aliada a Análise de Negócios Na era digital, a quase totalidade das organizações necessita da análise de seus negócios de forma ágil e segura - relatórios interativos, análise de gráficos,

Leia mais

Prova INSS RJ - 2007 cargo: Fiscal de Rendas

Prova INSS RJ - 2007 cargo: Fiscal de Rendas Prova INSS RJ - 2007 cargo: Fiscal de Rendas Material de Apoio de Informática - Prof(a) Ana Lucia 53. Uma rede de microcomputadores acessa os recursos da Internet e utiliza o endereço IP 138.159.0.0/16,

Leia mais

UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado)

UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) SISTEMA INTERNO INTEGRADO PARA CONTROLE DE TAREFAS INTERNAS DE UMA EMPRESA DE DESENVOLVIMENTO

Leia mais

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE Fabio Favaretto Professor adjunto - Programa de Pós Graduação em Engenharia de Produção

Leia mais

BUSINESS INTELLIGENCE -Inteligência nos Negócios-

BUSINESS INTELLIGENCE -Inteligência nos Negócios- UNIVERSIDADE SÃO FRANCISCO CENTRO DE CIÊNCIAS JURÍDICAS, HUMANAS E SOCIAIS BUSINESS INTELLIGENCE -Inteligência nos Negócios- Curso: Administração Hab. Sistemas de Informações Disciplina: Gestão de Tecnologia

Leia mais

Business Intelligence Conceitos, Metodologia de Desenvolvimento e Exemplos de BI

Business Intelligence Conceitos, Metodologia de Desenvolvimento e Exemplos de BI Matriz: Av. Caçapava, 527 CEP 90.460-130 Tecnopuc: Av. Ipiranga, 6681 Prédio 32 Sala 109 CEP 90.619-900 Porto Alegre - RS, Brasil Contate-nos: +55 (51) 3330.7777 contato@dbccompany.com.br www.dbccompany.com.br

Leia mais

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse Definição escopo do projeto (departamental, empresarial) Grau de redundância dos dados(ods, data staging) Tipo de usuário alvo (executivos, unidades) Definição do ambiente (relatórios e consultas préestruturadas

Leia mais

Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional

Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional Margy Ross Presidente Kimball Group Maio de 2009, Intelligent Enterprise.com Tradução livre para a língua portuguesa por

Leia mais

Integração Access-Excel para produzir um sistema de apoio a decisão que simula um Data Warehouse e OLAP

Integração Access-Excel para produzir um sistema de apoio a decisão que simula um Data Warehouse e OLAP Integração Access-Excel para produzir um sistema de apoio a decisão que simula um Data Warehouse e OLAP Wílson Luiz Vinci (Faculdades IPEP) wilson@cnptia.embrapa.br Marcelo Gonçalves Narciso (Embrapa Informática

Leia mais

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence.

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence. Tópicos Avançados Business Intelligence Banco de Dados Prof. Otacílio José Pereira Unidade 10 Tópicos Avançados Business Inteligence Roteiro Introdução Níveis organizacionais na empresa Visão Geral das

Leia mais

CENTRO UNIVERSITÁRIO FEEVALE EDMILSON J. W. FELBER

CENTRO UNIVERSITÁRIO FEEVALE EDMILSON J. W. FELBER CENTRO UNIVERSITÁRIO FEEVALE EDMILSON J. W. FELBER PROPOSTA DE UMA FERRAMENTA OLAP EM UM DATA MART COMERCIAL: UMA APLICAÇÃO PRÁTICA NA INDÚSTRIA CALÇADISTA Novo Hamburgo, novembro de 2005. EDMILSON J.

Leia mais

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence É um conjunto de conceitos e metodologias que, fazem uso de acontecimentos e sistemas e apoiam a tomada de decisões. Utilização de várias fontes de informação para se definir estratégias de competividade

Leia mais

RESUMO DA SOLUÇÃO CA ERwin Modeling. Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios?

RESUMO DA SOLUÇÃO CA ERwin Modeling. Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios? RESUMO DA SOLUÇÃO CA ERwin Modeling Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios? O CA ERwin Modeling fornece uma visão centralizada das principais definições de

Leia mais

Introdução a Computação

Introdução a Computação Introdução a Computação Aula 04 SGBD Sistemas Gerenciadores de Bancos de Dados Prof. MSc. Edilberto Silva edilms@yahoo.com Conceitos Básicos DADOS: são fatos em sua forma primária. Ex: nome do funcionário,

Leia mais

A importância da. nas Organizações de Saúde

A importância da. nas Organizações de Saúde A importância da Gestão por Informações nas Organizações de Saúde Jorge Antônio Pinheiro Machado Filho Consultor de Negócios www.bmpro.com.br jorge@bmpro.com.br 1. Situação nas Empresas 2. A Importância

Leia mais

Processo Decisório, OLAP e Relatórios Corporativos OLAP E RELATÓRIOS CORPORATIVOS

Processo Decisório, OLAP e Relatórios Corporativos OLAP E RELATÓRIOS CORPORATIVOS Processo Decisório, OLAP e Relatórios Corporativos OLAP E RELATÓRIOS CORPORATIVOS Sumário Conceitos/Autores chave... 3 1. Introdução... 5 2. OLAP... 6 3. Operações em OLAP... 8 4. Arquiteturas em OLAP...

Leia mais

Padrões de Contagem de Pontos de Função

Padrões de Contagem de Pontos de Função Padrões de Contagem de Pontos de Função Contexto Versão: 1.0.0 Objetivo O propósito deste documento é apresentar os padrões estabelecidos para utilização da técnica de Análise de Pontos de Função no ambiente

Leia mais

Business Intelligence aplicado a área da saúde: potencializando a tomada de decisão

Business Intelligence aplicado a área da saúde: potencializando a tomada de decisão Business Intelligence aplicado a área da saúde: potencializando a tomada de decisão Daiane Kelly de Oliveira 1, Dorirley Rodrigo Alves 1 1 Instituto de Ciências Exatas e Informática PUC Minas Campus Guanhães

Leia mais

MODELAGEM GRÁFICA DE DATA WAREHOUSES E DATA MARTS USANDO UML

MODELAGEM GRÁFICA DE DATA WAREHOUSES E DATA MARTS USANDO UML 1 MODELAGEM GRÁFICA DE DATA WAREHOUSES E DATA MARTS USANDO UML JOANA SCHEEREN Porto Alegre 2009 2 JOANA SCHEEREN MODELAGEM GRÁFICA DE DATA WAREHOUSES E DATA MARTS USANDO UML Trabalho de Conclusão de Curso

Leia mais

Banco de Dados. Aula 1 - Prof. Bruno Moreno 16/08/2011

Banco de Dados. Aula 1 - Prof. Bruno Moreno 16/08/2011 Banco de Dados Aula 1 - Prof. Bruno Moreno 16/08/2011 Roteiro Apresentação do professor e disciplina Definição de Banco de Dados Sistema de BD vs Tradicional Principais características de BD Natureza autodescritiva

Leia mais

Uma peça estratégica para o seu negócio

Uma peça estratégica para o seu negócio Uma peça estratégica para o seu negócio INFORMAÇÃO GERAL DA EMPRESA CASO DE SUCESSO EM IMPLEMENTAÇÃO BI PERGUNTAS E RESPOSTAS Fundada em 1997, Habber Tec é uma empresa especializada na oferta de soluções

Leia mais

Microsoft Analysis Service

Microsoft Analysis Service Microsoft Analysis Service Neste capítulo você verá: BI Development Studio Analysis Services e Cubos Microsoft Analysis Services é um conjunto de serviços que são usados para gerenciar os dados que são

Leia mais

Criação de Consultas e Relatórios no Access CRIAÇÃO DE CONSULTAS E RELATÓRIOS NO ACCESS

Criação de Consultas e Relatórios no Access CRIAÇÃO DE CONSULTAS E RELATÓRIOS NO ACCESS Criação de Consultas e Relatórios no Access CRIAÇÃO DE CONSULTAS E RELATÓRIOS NO ACCESS Sumário Conceitos / Autores chave... 3 1. Introdução... 4 2. Consultas... 5 3. Relatórios... 8 4. Conclusões... 11

Leia mais

Uma aplicação de Data Warehouse para análise do processo de coleta de sangue e de medula óssea

Uma aplicação de Data Warehouse para análise do processo de coleta de sangue e de medula óssea Uma aplicação de Data Warehouse para análise do processo de coleta de sangue e de medula óssea Rogério de Torres Pelito, Gleise Celeste Gonzaga Pereira, Diana Maria da Silva de Souza, André Luiz Alves

Leia mais

DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS

DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS Flávio Augusto Lacerda de Farias Rogério Tronco Vassoler ** Resumo

Leia mais

Administração de Sistemas de Informação Gerenciais UNIDADE IV: Fundamentos da Inteligência de Negócios: Gestão da Informação e de Banco de Dados Um banco de dados é um conjunto de arquivos relacionados

Leia mais

Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA

Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA Universidade Federal da Bahia Instituto de Matemática Departamento de Ciência da Computação MATA67 Projeto Final II Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto

Leia mais

DELEGAÇÃO REGIONAL DO ALENTEJO CENTRO DE FORMAÇÃO PROFISSIONAL DE ÉVORA REFLEXÃO 4

DELEGAÇÃO REGIONAL DO ALENTEJO CENTRO DE FORMAÇÃO PROFISSIONAL DE ÉVORA REFLEXÃO 4 REFLEXÃO 4 Módulos 0776, 0780, 0781, 0786 e 0787 1/10 8-04-2013 Esta reflexão tem como objectivo partilhar e dar a conhecer o que aprendi nos módulos 0776 - Sistema de informação da empresa, 0780 - Aplicações

Leia mais

CEP 97420-000 São Vicente do Sul RS Brasil. filipe-kulinski@hotmail.com, {maicon.amarante, eliana.zen} @iffarroupilha.edu.br

CEP 97420-000 São Vicente do Sul RS Brasil. filipe-kulinski@hotmail.com, {maicon.amarante, eliana.zen} @iffarroupilha.edu.br 109 Utilização de Businnes Intelligence para análise de evasão escolar nos diferentes níveis de ensino do Instituto Federal Farroupilha Campus São Vicente do Sul Filipe Kulinski Mello 1, Eliana Zen 1,

Leia mais

ALÉM DO BUG TRACKING : GERENCIANDO O SETOR DE SUPORTE COM O MANTISBT

ALÉM DO BUG TRACKING : GERENCIANDO O SETOR DE SUPORTE COM O MANTISBT ALÉM DO BUG TRACKING : GERENCIANDO O SETOR DE SUPORTE COM O MANTISBT Juliano Flores Prof. Lucas Plautz Prestes Centro Universitário Leonardo da Vinci - UNIASSELVI Gestão de Tecnologia da Informação (GTI034)

Leia mais

Bloco Administrativo

Bloco Administrativo Bloco Administrativo BI Business Intelligence Objetivo O objetivo deste artigo é dar uma visão geral sobre o Módulo Business Intelligence, que se encontra no Bloco Administrativo. Todas informações aqui

Leia mais

FERRAMENTAS PARA DESENVOLVIMENTO EM C#

FERRAMENTAS PARA DESENVOLVIMENTO EM C# FERRAMENTAS PARA DESENVOLVIMENTO EM C# Camila Sanches Navarro 1,2, Wyllian Fressatti 2 ¹Universidade paranaense (Unipar) Paranavaí PR Brasil sanchesnavarro@gmail.com wyllian@unipar.br Resumo. Este artigo

Leia mais

ADMINISTRAÇÃO DOS RECURSOS DE DADOS

ADMINISTRAÇÃO DOS RECURSOS DE DADOS Capítulo 7 ADMINISTRAÇÃO DOS RECURSOS DE DADOS 7.1 2003 by Prentice Hall OBJETIVOS Por que as empresas sentem dificuldades para descobrir que tipo de informação precisam ter em seus sistemas de informação?

Leia mais

Bases de Dados aplicadas a Inteligência de Negócios

Bases de Dados aplicadas a Inteligência de Negócios Agenda Bases de Dados aplicadas a Inteligência de Negócios Professor Sérgio Rodrigues professor@sergiorodrigues.net Sistemas de Gerenciamento de Bancos de Dados (SGBD) Tipos de Banco de Dados Noções de

Leia mais

Automação do Processo de Instalação de Softwares

Automação do Processo de Instalação de Softwares Automação do Processo de Instalação de Softwares Aislan Nogueira Diogo Avelino João Rafael Azevedo Milene Moreira Companhia Siderúrgica Nacional - CSN RESUMO Este artigo tem como finalidade apresentar

Leia mais

Projeto de Data Mart utilizando ferramentas Open Source

Projeto de Data Mart utilizando ferramentas Open Source Projeto de Data Mart utilizando ferramentas Open Source Braian O. Dias 1 1 Curso de Ciência da Computação Universidade de Passo Fundo (UPF) 99001-970 Passo Fundo RS Brasil 1 braian.d@gmail.com Resumo.

Leia mais

CONHECIMENTOS ESPECÍFICOS

CONHECIMENTOS ESPECÍFICOS CONHECIMENTOS ESPECÍFICOS Acerca dos conceitos básicos de gerenciamento de projetos e considerando o PMBOK, julgue os itens a seguir. 51 No gerenciamento de um projeto, deve-se utilizar não apenas as ferramentas

Leia mais

Percio Alexandre de Oliveira Prof. Maurício Capobianco Lopes - Orientador

Percio Alexandre de Oliveira Prof. Maurício Capobianco Lopes - Orientador Percio Alexandre de Oliveira Prof. Maurício Capobianco Lopes - Orientador Índice Introdução Objetivos Data Warehouse Estrutura Interna Características Principais elementos: ETC, Metadados e Modelagem Dimensional

Leia mais

DATA WAREHOUSE. Data Warehouse

DATA WAREHOUSE. Data Warehouse DATA WAREHOUSE Data Warehouse Sumário Conceitos / Autores chave... 3 1. Introdução... 5 2. Características de um Data Warehouse... 6 3. Arquitetura de Data Wirehouse... 8 4. Conclusões... 10 Materiais

Leia mais

ESCOLA SUPERIOR ABERTA DO BRASIL ESAB CURSO DE ENGENHARIA DE SISTEMAS RACHEL TEREZA MENEGAZZO

ESCOLA SUPERIOR ABERTA DO BRASIL ESAB CURSO DE ENGENHARIA DE SISTEMAS RACHEL TEREZA MENEGAZZO ESCOLA SUPERIOR ABERTA DO BRASIL ESAB CURSO DE ENGENHARIA DE SISTEMAS RACHEL TEREZA MENEGAZZO IMPLEMENTANDO UMA SOLUÇÃO OLAP UTILIZANDO SOFTWARE LIVRE CURITIBA PR 2009 RACHEL TEREZA MENEGAZZO IMPLEMENANDO

Leia mais

Módulo 5. Implementando Cubos OLAP

Módulo 5. Implementando Cubos OLAP Módulo 5. Implementando Cubos OLAP Objetivos Compreender a importância da manipulação correta da segurança nos dados. Conhecer as operações que podem ser realizadas na consulta de um cubo. Entender o uso

Leia mais

Relatório Individual Sumarizado para bolsa Fapesp de Treinamento Técnico TT-4A

Relatório Individual Sumarizado para bolsa Fapesp de Treinamento Técnico TT-4A Relatório Individual Sumarizado para bolsa Fapesp de Treinamento Técnico TT-4A 23/02/2013 Título do Projeto: Desenvolvimento de um sistema de informações integrado para pesquisas sobre políticas públicas.

Leia mais

Gerenciamento de Dados e Gestão do Conhecimento

Gerenciamento de Dados e Gestão do Conhecimento ELC1075 Introdução a Sistemas de Informação Gerenciamento de Dados e Gestão do Conhecimento Raul Ceretta Nunes CSI/UFSM Introdução Gerenciando dados A abordagem de banco de dados Sistemas de gerenciamento

Leia mais

Faculdade Lourenço Filho - ENADE 2011-1

Faculdade Lourenço Filho - ENADE 2011-1 1. Quando se constrói um banco de dados, define-se o modelo de entidade e relacionamento (MER), que é a representação abstrata das estruturas de dados do banco e seus relacionamentos. Cada entidade pode

Leia mais

Sistemas de Informação Aplicados a AgroIndústria Utilizando DataWarehouse/DataWebhouse

Sistemas de Informação Aplicados a AgroIndústria Utilizando DataWarehouse/DataWebhouse Sistemas de Informação Aplicados a AgroIndústria Utilizando DataWarehouse/DataWebhouse Prof. Dr. Oscar Dalfovo Universidade Regional de Blumenau - FURB, Blumenau, Brasil dalfovo@furb.br Prof. Dr. Juarez

Leia mais