Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹

Tamanho: px
Começar a partir da página:

Download "Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹"

Transcrição

1 Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ ¹Ciência da Computação Universidade Federal de Itajubá (UNIFEI) MG Brasil Resumo. Este artigo aborda os aspectos fundamentais relativos à Data Warehouse. Inicialmente são apresentados as características, os conceitos, a arquitetura e a modelagem do Data Warehouse. Em seguida as ferramentas utilizadas. 1. Introdução Nestes últimos anos, algumas técnicas foram criadas com o proposito de tornar simples a retirada de informações nas bases de dados existentes nas organizações. De acordo com MACHADO (2012) uma análise de dados históricos pode nos apresentar indicadores de crescimento ou sinalizadores de perigo nos negócios, o sucesso de cada ação de negócio hoje em dia depende unicamente de como a organização utiliza seus dados, de forma que os dados possam contribuir para melhor tomada de decisão. A necessidade de oferecer uma visão ampla e unificada dos dados, uma gerencia eficiente das informações separando as regras de negócios das outras tecnologias de armazenamento, tornou-se um desafio a ser resolvido pelas organizações. Para auxiliar as organizações e assim atender a estas necessidades, que surgir a estratégia de criação de Data Warehouses (DW), que é um grande armazém de dados e tem por objetivo disponibilizar estes dados de forma rápida e de fácil entendimento para os usuários. 2. Data Warehouse Data Warehouse é uma técnica de integração dos dados de uma organização em um único repositório. É um ambiente de suporte à decisão que realiza um levantamento de dados armazenados em diferentes fontes e os organiza e então os entrega aos tomadores de decisões que podem facilmente executar consultas, gerar relatórios e fazer análises. No Data Warehouse, os tomadores de decisões não podem efetuar alterações no seu conteúdo, os repositórios são criados no formato de somente leitura. Resumindo, é uma tecnologia de gestão e análise de dados. Segundo MACHADO (2012) o Data Warehouse e um armazém de dados onde a historia da empresa, seus clientes, fornecedores e operações se mantem disponíveis e acessíveis para consultas e análise.

2 Já INMON (1997) considerado o pai do Data Warehouse define da seguinte maneira: Um Data Warehouse é um conjunto de dados orientado por assunto, integrado, variável com o tempo e não-volátil, que fornece suporte ao processo de tomada de decisão. Desta maneira os principais conceitos de Data Warehouse são: Orientado ao assunto: o armazenamento das informações é agrupado por assunto de interesse da organização que são mais importantes. Integrado: um DW armazena dados de várias fontes de dados, dentre diferentes sistemas, planilhas e arquivos, em padrões diferentes e diversas fontes de dados, logo o conceito mais importante aqui é a integração, pois é responsável por sincronizar os dados de todos os sistemas existentes, e assim coloca-los no mesmo padrão. Variável com o tempo: os dados referem-se a algum momento especifico, o dado carregado recebe, na sua chave, uma unidade de tempo e nunca mais e atualizado. Não-Volátil: os dados uma vez carregados nunca mais são alterados pelos usuários, apenas consultados, a não ser em novas cargas de dados, o Data Warehouse e somente de leitura. O Data Warehouse fornece uma plataforma sólida e integrada, que organiza e armazena os dados necessários para processamento informatizado e analítico sobre perspectivas históricas ao longo do tempo. Construir um Data Warehouse é uma tarefa cara e que consome tempo. Em vez de armazenar repetidamente os dados em vários sistemas proprietários, um Data Warehouse pode ser construído para ser acessível por múltiplos aplicativos que desta forma passam a compartilhar uma administração central aberta. A meta principal de um Data Warehouse é a criação de uma visualização lógica única dos dados que estão em diversos bancos de dados físicos, fornecendo aos usuários um modelo de trabalho único dos dados da organização. O acesso a esses dados melhora a qualidade dos serviços e o atendimento ao cliente, ajudando a organização a avaliar atividades do negócio. No Data Warehouse são excluídos os dados que não devem ser usados no processo de suporte à decisão, enquanto no ambiente do banco de dados relacional (BD relacional) as aplicações contêm dados para satisfazer imediatamente as requisições funcionais/processamento que podem ou não ser usadas para análise. Outra importante maneira na qual os dados do BD relacional diferem dos dados para Data Warehouse está no relacionamento dos dados. Dados do BD relacional mantêm relacionamentos entre duas ou mais tabelas baseadas nas regras de negócio que estão em efeito. Dados do Data Warehouse usam um espectro de tempo e os relacionamentos criados no Data Warehouse são muitos. A característica básica do dado em Data Warehouse é ter muitas fontes de dados diferentes. Todo dado no Data Warehouse é exato em algum momento do tempo. No BD relacional o dado é exato no momento do acesso, em outras palavras, quando você acessa uma unidade do dado, você espera que isto deva refletir os valores corretos no momento do acesso. No BD relacional são feitas inclusão, exclusão e alteração em um registro básico. Mas a manipulação de dados básicos que ocorre no Data Warehouse é mais simples. Tem somente duas espécies de operações que ocorre, a carga inicial do dado, e o acesso ao dado.

3 Características BD relacional DW Proposito Processamento Operacional Processamento Informacional Orientado a Transações Análises Funções Operação do dia a dia Somente a decisão Banco de Dados Orientado a aplicação Orientado a assunto Dados Correntes, detalhados Consolidados, históricos Unidade de trabalho Transação Consultas complexas Acesso Leitura, exclusão e inclusão. Leitura Foco Entrada de dados Saída de informações Numero de registros Dezenas Milhares Medidas de performance Tempo processamento de Tempo de processamento de transação consulta Tabela 1 Principais diferenças entre Banco de Dados Relacional e Data Warehouse. Uma das principais diferenças entre Data Warehouse e BD relacional são seus objetivos e a interação entre eles. O BD relacional vem com o intuito básico de relacionar as operações diárias de negócios de uma instituição ou empresa com foco no operacional e com atualizações continuas. Já o Data Warehouse é gerado e alimentado pelas bases de dados relacionais através de processos de coleta, transformação e carga de dados e seu objetivo se dá no âmbito gerencial, e sua atualização é temporal (em lote). E juntamente com ferramentas apropriadas essas bases de dados geram gráficos, planilhas que ajudam na tomada de decisões estratégicas para a empresa. 3. Arquitetura A arquitetura do Data Warehouse varia com a necessidade para que ele é feito. 3.1 Data Mart (DM) O Data Mart representa uma subconjunto do Data Warehouse, pois permite o acesso descentralizado e serve de fonte para os dados que comporão os banco de dados individuais. Os dados do DM são direcionados a um departamento ou uma área específica de processos de negócio. Normalmente é modelado em um esquema estrela de acordo com as necessidades específicas do usuário final. Uma de suas vantagens é a possibilidade de retorno rápido, garantindo um maior envolvimento do usuário final, capaz de avaliar os benefícios extraídos de seu investimento. Figura 1 Representação do Data Mart.

4 3.2 Arquitetura genérica A arquitetura genérica compreende a camada dos dados operacionais que serão acessados pela camada de acesso a dados. As camadas de gerenciamento de processos, transporte e data warehouse são responsáveis por distribuir os dados e estão no centro da arquitetura. A camada de acesso à informação possibilita a extração das informações do DW utilizando um conjunto de ferramentas. Figura 2 - Representação da arquitetura genérica de um Data Warehouse

5 3.3 Arquitetura Global É a arquitetura que suporta a maior parte dos requerimentos ou necessidades de um DW integrado com grande grau de acesso e utilização das informações para todos os departamentos de uma empresa. O termo global reflete o escopo de acesso de utilização das informações na empresa. Essa arquitetura pode ser fisicamente centralizada ou distribuída. A centralização física é utilizada quando determinada empresa existe em um único local e o Data Warehouse é administrado por um departamento de Tecnologia da Informação. No caso da distribuição física de um DW global é utilizada quando a empresa possui diversos locais físicos e os dados em múltiplas instalações físicas com a administração também por um departamento de TI. É comum que a administração e a implementação de um DW seja de responsabilidades de um departamento e de profissionais específicos para o trabalho. Figura 3 - Representação da arquitetura global

6 3.4 Data Mart Independente É a arquitetura preferida de fornecedores de software para consulta de informações de Data Warehouse, onde implica em Data Marts stand alone controlados por um grupo específico de usuários e que atende somente às necessidades específicas e departamentais, sem nenhum foco corporativo. Não existe nenhum tipo de conexão com outros DM. Em caso de necessidade da utilização de dados externos, a área de TI é responsável para adequar layouts de arquivos e necessidade técnicas. 3.5 Data Mart Integrado Nesse tipo de arquitetura os Data Marts são implementados separadamente, entretanto, eles são interconectados, provendo uma maior visão corporativa dos dados. A diferença entre a arquitetura global está no fato de que aqui os dados de um DM podem ser acessados por outro departamento. Essa integração implica que o nível de complexidade é maior que no caso da arquitetura independente e o departamento de TI tem uma atuação maior nesse cenário, ficando sobre sua responsabilidade o controle e administração. 3.6 TIPOS DE IMPLEMENTAÇÃO Implementação Top Down É conhecido como o padrão inicial do conceito de DW. Esse tipo de implementação requer um planejamento muito grande e trabalhos de definições conceituais de tecnologia completos antes de se iniciar o projeto propriamente dito. O processo se inicia com a extração, a transformação e a integração das informações dos sistemas operativos e dados externos para um ODS, e só então os dados e matadados são transferidos para DW. A partir do DW são extraídos dados e metadados para os DM. Vantagens: força a empresa a definir regras de negócio de forma corporativa e integrada antes do início do projeto. Outra vantagem é a herança da arquitetura, pois como os Data Marts são originados de um Data Warehouse, a sua manutenção é fácil. Desvantagens: implementação muito longa, custo alto e alta taxa de risco, uma vez que não existem garantiaspara o investimento nesse tipo de ambiente Implementação Bottom Up Esse tipo de implementação permite que o planejamento e o desenho dos DM possam ser realizados sem esperar a conclusão da construção do DW. É uma alternativa bastante escolhida pelos executivos por possuir um retorno do investimento bastante rápido. O propósito dessa implementação é a construção de um DW incremental a partir do desenvolvimento de DM independentes. O processo dessa implementação começa com a extração, transformação e integração dos dados para um ou mais DM, os quais são modelados com base em um modelo dimensional.

7 Vantagens: possui implementação rápida e menos custoso, além de retorno financeiro rápido. Desvantagens: dificuldade de padronização, risco de redundânciasm e inconsistências entre DM Implementação Combinada Tem o propósito de integrar a arquitetura top down e bottom up. Possuem a visão macro, sendo o passo seguinte à implementação de partes desse modelo. Os DM são gerados a partir de macromodelos de dados do DW e integrado ao modelo físico do Data Warehouse. A sua principal vantagem é a garantia da consistênca dos dados, obtida em virtude de o modelo de dados para os Data Marts ser único, possibilitando realizar o mapeamento e controle dos dados. 4. Modelagem OLAP (On-Line Analytical Processing) é um conjunto de tecnologias projetadas para suportar análise e consultas ad hoc. Com a ajuda desses sistemas, analistas e executivos podem sintetizar informações sobre a empresa, por meio de comparações, visões personalizadas, análise histórica e projeção de dados em vários cenários de "e se...". Ambientes multi-usuário e arquitetura cliente-servidor implementam estes tipos de sistema que oferecem respostas rápidas e consistentes às consultas executadas pelos analistas, independente do tamanho e complexidade do banco de dados. A visão conceitual multidimensional dos dados de uma empresa é a principal característica dos sistemas OLAP. Ao contrário da visão tabular utilizada nos sistemas de processamento de transação, a visão multidimensional é muito mais útil para os analistas pois ela é mais natural, fácil e intuitiva, permitindo a visão em diferentes perspectivas dos negócios da empresa e desta forma fazendo com que o analista se torne um explorador da informação. Para representar o OLAP, podemos considerar três abordagens diferentes: ROLAP (Relacional OLAP) MOLAP (Multidimensional OLAP) HOLAP (Híbrido OLAP) A representação ROLAP dá ao banco de dados relacional características dimensionais. As tabelas de sumário são criadas no SGBD relacional e nenhum dado é movido para o servidor OLAP. Os índices das tabelas de sumário são criados automaticamente e possui um baixo desempenho em consultas apesar de poder usar o padrão SQL. A representação MOLAP é um banco de dados multidimensional que utiliza tecnologia proprietária num conjunto de interfaces de usuário, aplicações e bancos de dados. Os dados são armazenados em um cubo de diversas dimensões. Os dados são trazidos para o servidor OLAP e sua organização em arranjos permite alta granularidade e consultas mais rápidas em relação ao método relacional. Pelo fato de serem sistemas proprietários, o

8 MOLAP não utiliza o padrão básico de banco de dados, as mudanças que possam ocorrer acarretam a reorganização de todo banco, pouca escalabilidade e a criação ad-hoc não é suportada para visões multidimensionais. A representação HOLAP combina as principais características das duas representações anteriores. É uma nova tecnologia que tem por objetivo resolver os problemas descritos nas outras abordagens. Os bancos de dados retêm os dados e as agregações ficam no MOLAP, com a desvantagem de que torna-se mais lento que a abordagem MOLAP quando a consulta é feita sobre dados básicos. O modelo dimensional para construção de banco de dados para Data Warehouse é uma forma de modelagem onde as informações se relacionam de forma que pode ser representada como um cubo. Sendo assim podemos fatiar este cubo e aprofundar em cada dimensão ou eixo para extrair mais detalhes sobre os processos internos que ocorrem na empresa que em um modelo relacional torna-se muito complicados de serem extraídos e muitas vezes até impossíveis de serem analisadas. O modelo dimensional permite visualizar dados abstratos de forma simples e relacionar informações de diferentes setores da empresa de maneira muito eficaz. O que torna o Data Warehouse mais poderoso é que informações que se situam em vários sistemas, planilhas e arquivos espalhados por todos os setores da empresa, são reunidos em um banco de dados de forma dimensional, sendo assim tendo informações unificadas e padronizadas em um mesmo local. O objetivo é buscar um padrão de apresentação de dados que seja facilmente visualizado pelo usuário final e que possua um bom desempenho para consultas. O modelo dimensional é formado por uma tabela central (tabela de fatos) e várias outras a ela interligadas (tabelas de dimensão), sempre por meio de chaves especiais, que associam o fato a uma dimensão do cubo. Vejamos um exemplo de uma empresa que possui diversas lojas, e que precisa acompanhar o desempenho de suas vendas ao longo do tempo. O cubo visualizado abaixo pode ser descrito com três dimensões principais: Tempo Loja Produto

9 Figura 4 - Exemplo de um cubo Neste modelo cada cubo menor representa uma quantidade de um produto que foi vendido em uma determinada loja em uma data especifica. Um modelo dimensional pode ter quantas dimensões forem necessárias. Por exemplo, se quisermos saber se determinados produtos vendidos estavam em promoção, teríamos que ter mais uma dimensão chamada promoção. Quando há muitas dimensões, não é possível desenhar graficamente, mas o conceito de cubo é o mesmo, pois é possível navegar, aprofundar-se, detalhar e acompanhar os desempenhos destas dimensões ao longo do tempo. Abaixo, encontram-se alguns conceitos importantes sobre a modelagem multidimensional: Dimensões: Estabelecem a organização dos dados, determinam as consultas e cruzamentos. Por exemplo: região, tempo, produtos,... Cada dimensão pode ter elementos, chamados membros, organizados em diferentes níveis hierárquicos. Por exemplo, a dimensão produto pode ter duas hierarquias: estoque (com os níveis quantidade e preço de custo) e vendidos (com os níveis quantidade vendida e preço de venda). Medidas: São os valores a serem analisados, como médias, totais e quantidades. Fatos: Dados que serão agrupados, que contém os valores das medidas para cada combinação das dimensões existentes. Agregações: Totalizações calculadas nos diversos níveis hierárquicos. 4.1 Tipos de Modelos Dimensionais Modelo Estrela (Star Schema) O esquema estrela é um tipo de abordagem para desenvolvimento da modelagem dimensional de um Data Warehouse. A baixa quantidade de tabelas e relacionamentos resulta em uma

10 estrutura simples que diminui sua complexidade e aumenta seu desempenho. Devido a simplicidade do esquema podemos ressaltar que a construção de consultas torna-se mais fácil além de consumir menos recursos de banco de dados. Em contra-partida, devido a integração das informações em poucas tabelas para que o usuário possa realizar consultas analíticas é necessário utilizar ferramentas desenvolvidas especificamente para este tipo de modelo. Figura 5 - Estrutura de uma Modelagem utilizando o Esquema Estrela A Figura acima apresenta a estrutura do esquema estrela. Este modelo é chamado de estrela porque a tabela de fatos fica ao centro cercado das tabelas dimensionais assemelhado a uma estrela. Mas o ponto forte a fixar é que as dimensões não são normalizadas, então os campos das tabelas de dimensões contêm suas descrições repetidas em cada registro, aumentando o tamanho das tabelas por repetir estas descrições de forma textual em todos os registros. Podemos notar que ao centro temos uma tabela composta pelas chaves de ligação entre as dimensões e os dados consolidados, e a sua volta estão as tabelas dimensão compostas pelas demais informações que complementam o fato. Este tipo de esquema não está restrito a apenas uma tabela fato, ou seja, é possível que haja mais de uma tabela fato se relacionando através de dimensões, porém é mais comum visualizar o esquema separado por fato devido a sua baixa complexidade na visualização.

11 4.1.2 Modelo Floco de Neve (Snow Flake) Figura 6 - Exemplo de Modelagem utilizando o Esquema Floco de Neve O Modelo Floco (Snow Flake) reduz o espaço de armazenamento dos dados dimensionais mas acrescenta várias tabelas ao modelo, deixando-o mais complexo, tornando mais difícil a navegação pelos softwares que utilizarão o banco de dados. Outro fator é que mais tabelas serão utilizadas para executar uma consulta, então mais JOINS de instrução SQL serão feitos, tornando o acesso aos dados mais lento do que no modelo estrela. O Modelo Estrela (Star Schema) é mais simples e mais fácil de navegação pelos softwares, porém desperdiça espaço repetindo as mesmas descrições ao longo de toda a tabela, porém análises feitas mostram que o ganho de espaço normalizando este esquema resulta em um ganho menor que 1% do espaço total no banco de dados, sendo assim existem outros fatores mais importantes para serem avaliados para redução do espaço em disco como a adição de agregados e alteração na granularidade dos dados.

12 Portanto o mais recomendado é o modelo estrela, pois fornece um acesso mas rápido aos dados possui uma navegação mais, criando tabelas auxiliares somente para dimensões especificas quando for estritamente necessário ou quando demonstrar um beneficio que justifique a perda de desempenho nas consultas, que não é tão grande dependendo da forma como estas tabelas são construídas e a quantidade de registros que elas mantém. 5. Ferramentas 5.1 Plataforma Pentaho O software Pentaho é uma plataforma open source utilizada para criação de soluções de Business Inteligence (BI), que inclui recursos de geração de relatórios, integração e armazenamento de dados (datawarehousing), análise de informações (OLAP), painéis (dashboards) para controle gerencial e mineração de dados (Data Mining). BI refere-se ao processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a gestão de negócios. O Pentaho apresenta arquitetura do tipo cliente-servidor. O Pentaho BI Server é responsável por toda a camada servidora da plataforma do Pentaho e fornece a arquitetura e infraestrutura necessária para a construção de soluções para BI. Entre os serviços essenciais encontramos: autenticação, logs, auditoria, serviços web, motores de regras de negócio, mecanismo para integração com relatórios, mecanismo para integração de análises, mecanismo para integração com dashboards e mecanismo para integração com mineração de dados. Sua arquitetura é baseada em plug-in permitindo que a totalidade ou parte da plataforma seja incorporada a aplicações de terceiros; é composto por diversos outros aplicativos open source, entre eles: Apache TomCat, Hibernate, Spring Security, etc. Do lado cliente encontramos as ferramentas: PDI (Pentaho Data Integration), PRD (Pentaho Report Designer), PME (Pentaho Metadata Editor), PSW (Pentaho Schema Workbench), entre outras. Na figura abaixo podemos observar um processo simplificado de BI e onde as ferramentas Pentaho atuam dentro do processo.

13 Figura 7 Processo Simplificado de BI. Disponível em [10] OLTP (Online Transaction Processing ou Processamento de Transações em Tempo Real) são sistemas que se encarregam de registrar todas as transações contidas em uma determinada operação organizacional. Por exemplo: sistema de transações bancárias que registra todas as operações efetuadas em um banco, caixas de multibanco, reservas de viagens ou hotel on-line, cartões de crédito. Já ETL, do inglês Extraction, Transformation and Load (Extração, Transformação e Carga), são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados geralmente em um Data Mart (DM) e um Data Warehouse (DW). Os projetos de DW consolidam dados de diferentes fontes. A maioria dessas fontes tendem a ser bancos de dados relacionais ou arquivo de texto (texto plano), mas podem existir outras fontes. Um sistema ETL tem que ser capaz de se comunicar com as bases de dados e ler diversos formatos de arquivos utilizados por toda a organização. Essa pode ser uma tarefa não trivial, e muitas fontes de dados podem não ser acessadas com facilidade. 5.2 PDI e Data Warehouse A ferramenta utilizada para fazer o processo de ETL é a Pentaho Data Integration - PDI, mais conhecida como Kettle. É uma ferramenta de código fonte aberto e sob a licença LGPL. Sendo uma ferramenta de ETL, ela foi construída para coletar dados de várias fontes distintas (Extract), mover e modificar dados (Transform) e carregar estes dados (Load) no destino final, que geralmente é um data warehouse. O PDI pode ser dividido conforme abaixo: Spoon: É uma ferramenta gráfica usada para modelar as transformações e os jobs; Transformation: modelo que captura o fluxo de dados de entrada e faz uma transformação até atingir o destino final.

14 Job: modelo que tem entradas como transformações (transformations), downloads FTP, etc., e saídas como envio de s, por exemplo. Pan: Ferramenta de linha de comando usada para executar transformations. Kitchen: Ferramenta de linha de comando usada para executar jobs. O PDI pode funcionar diretamente integrado a um repositório (um SGBD) ou utilizando arquivos. Se conectado a um SGBD não será necessário se preocupar com o armazenamento das transformações e jobs criados, pois isso será feito automaticamente pela ferramenta no banco de dados Transformações O objetivo de uma transformação é pegar um dado, sobre esse dado realizar algum ajuste e passar esse dado para outro lugar. A origem e o destino podem ser uma tabela de um banco de dados, uma planilha do excel, um arquivo texto, entre outros. Nas transformações todos os passos são executados ao mesmo tempo. Transformações não aceitam laços (loops) e não tomam decisões (IF) Jobs Figura 8 Exemplo de Transformação. Disponível em [2] O job é um recurso do PDI útil para automação de rotinas de carga; com ele é possível criar e controlar uma sequencia de passos, que podem ser chamadas para transformações existentes.

15 Figura 9 Job do PDI. Disponível em [2] As setas que definem o fluxo de execução recebem cores. A cor verde indica o caminho que deve ser seguido caso seja verdadeiro. A cor vermelha indica o caminho a ser seguido caso seja falso e a cor preta indica o caminho que deve ser seguido incondicionalmente. Jobs executa o serviço alto nível: disparam transformações, movem arquivos, se comunicam com administrador humano, executam laços simples e tomam decisões. O PDI oferece uma interface amigável para criação e execução de transformações e jobs, mas é possível via linha de comando executá-los. A principal diferença entre transformações e jobs é que o job executa cada etapa antes de passar para a próxima (ou seja, é sequencial), enquanto que a transformação executa todas as etapas ao mesmo tempo. 5.3 Pentaho e Mondrian O Mondrian é um servidor OLAP feito em Java. Pentaho embutiu o Mondrian (OLAP Server) em sua atual solução de BI. Com um servidor OLAP é possível criar cubos OLAP. A funcionalidade OLAP é inicialmente caracterizada pela análise dinâmica e multidimensional dos dados consolidados de uma organização permitindo que as atividades do usuário final sejam tanto analíticas quanto navegacionais. As ferramentas OLAP (do inglês, Online Analytical Processing) são geralmente desenvolvidas para trabalhar com banco de dados desnormalizados. Essas ferramentas são capazes de navegar pelos dados de um Data Warehouse, possuindo uma estrutura adequada tanto para a realização de pesquisas como para a apresentação de informações; possibilita efetuar a exploração dos dados de um Data Warehouse.

16 DW e OLAP são complementares. Para explorar o DW completamente, você precisa do OLAP para extrair e alavancar totalmente as informações que ele contém. O Mondrian necessita de um esquema para gerar os cubos. É necessário criar o schema para identificação do cubo OLAP, pois o modelo do banco dimensional não é suficiente para o Pentaho identificar os cubos e dimensões. É necessário criar um arquivo XML descrevendo quais são os cubos e dimensões e suas respectivas tabelas associadas. Além disso, a partir desse XML, gerar um XACTION, que é o arquivo que irá ser identificado pelo Pentaho. O PSW (Pentaho Schema Workbench) realiza o processo de gerar o esquema OLAP e faz a publicação do xml automaticamente. Dentre as funcionalidades do PSW temos: Editor de esquema integrado Testes das consultas MDX (Multi-dimensional Expressions - Linguagem criada pela Microsoft para definir consultas multi-dimensionais) nos esquemas e nas bases de dados. Visualização da estrutura de bases de dados. Figura 10 Criação do Cubo no Schema-Workbench. Disponível em [8] Figura 11 Criando dimensões e hierarquias no cubo. Disponível em [8]

17 Figura 12 Preenchendo informações da dimensão. Disponível em [8] Figura 13 Versão final do cubo. Disponível em [8] 6. Conclusão O Data Warehouse e uma ferramenta que permite aos tomadores de decisões acesso aos dados de forma integrada, rápida e precisa, proporcionando uma melhora na qualidade dos serviços. A implementação do Data Warehouse pode ser feita tanto localmente quanto distribuída. Também é possível utilizar apenas parte do DW, como Data Marts, entretanto, nesse caso a implementação é mais simples e muitas vezes não atinge o propósito de possuir um foco coorporativo. Vale ressaltar que a implementação pode ser de formas diferentes, onde na forma top down o produto final é de melhor qualidade, mas muito custoso e demorado, enquanto que se utilizando da forma bottom up, é mais barato e rápido, mas muito mais passível de erros e redundâncias.

18 Percebemos que o sistema OLAP no modelo multidimensional pode ser dividido em três abordagens, cada uma com suas peculiaridades e que o modelo multidimensional permite uma visualização simples dos dados abstratos. Todas as informações são unificadas e padronizadas e que o modelo estrela possui certa vantagem em relação ao modelo floco de neve. Referências [1] BERNARDO, Luís; FERREIRA, Manuele; MAIOR, Bruno; RAMOS, Gustavo; SILVA, Robson. Plataforma Pentaho de Business Intelligence Manual de Utilização. Universidade Federal da Bahia. Departamento de Ciência da Computação. Disponível em Acessado em 15 de Novembro de [2] COELHO, Bruno J. I. Pentaho Data Integration (PDI). Disponível em Acessado em 15 de Novembro de [3] FERREIRA, Rafael; Data Warehouse na Prática: Fundamentos e Implantação. Universidade Federal do Rio Grande do Sul. Instituto de Informática. Disponível em Acessado em 17 Novembro [4] HORITA, Flavio; Modelagem Dimensional. delagem-dimensional&catid=43:business-intelligence&itemid=57 Acessado em 11 de Novembro de [5] INMON, Willian H. Como Construir o Data Warehouse. Tradução: Ana Maria Neto Guz. Rio de Janeiro: Campus, [6] MACHADO, Felipe N. R. - Tecnologia e Projeots de Data Warehouse. 5. edição, São Paulo, [7] MOREIRA, Eduardo; Modelo Dimensional para Data Warehouse. Acessado em 11 de Novembro de [8] Professor Coruja Business and Open Source Technology. Entendendo o Mondrian OLAP Server. Disponível em Acessado em 15 de Novembro de [9] ROHDEN, Rafael B; Banco de Dados Relacional x Multidimensional. Universidade Regional do Noroeste do Estado do Rio Grande do Sul. Departamento de Tecnologia. Disponível em Multidimensional. Acessado em 12 de Novembro de [10] SOUZA, Vanessa. Data Warehouse. Universidade Federal de Itajubá. Instituto de Ciências Exatas. Departamento de Matemática e Computação. Disponível em https://sites.google.com/site/vanessavcos/disciplinas/sit430. Acessado em 15 de Novembro de 2013.

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br Data Warehousing Leonardo da Silva Leandro Agenda Conceito Elementos básicos de um DW Arquitetura do DW Top-Down Bottom-Up Distribuído Modelo de Dados Estrela Snowflake Aplicação Conceito Em português:

Leia mais

Data Warehouse Processos e Arquitetura

Data Warehouse Processos e Arquitetura Data Warehouse - definições: Coleção de dados orientada a assunto, integrada, não volátil e variável em relação ao tempo, que tem por objetivo dar apoio aos processos de tomada de decisão (Inmon, 1997)

Leia mais

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto OLPT x OLAP Roteiro OLTP Datawarehouse OLAP Operações OLAP Exemplo com Mondrian e Jpivot

Leia mais

Banco de Dados - Senado

Banco de Dados - Senado Banco de Dados - Senado Exercícios OLAP - CESPE Material preparado: Prof. Marcio Vitorino OLAP Material preparado: Prof. Marcio Vitorino Soluções MOLAP promovem maior independência de fornecedores de SGBDs

Leia mais

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence É um conjunto de conceitos e metodologias que, fazem uso de acontecimentos e sistemas e apoiam a tomada de decisões. Utilização de várias fontes de informação para se definir estratégias de competividade

Leia mais

Sistemas de Apoio à Decisão (SAD) - Senado

Sistemas de Apoio à Decisão (SAD) - Senado Sistemas de Apoio à Decisão (SAD) - Senado DW OLAP BI Ilka Kawashita Material preparado :Prof. Marcio Vitorino Sumário OLAP Data Warehouse (DW/ETL) Modelagem Multidimensional Data Mining BI - Business

Leia mais

DATA WAREHOUSE. Introdução

DATA WAREHOUSE. Introdução DATA WAREHOUSE Introdução O grande crescimento do ambiente de negócios, médias e grandes empresas armazenam também um alto volume de informações, onde que juntamente com a tecnologia da informação, a correta

Leia mais

Prova INSS RJ - 2007 cargo: Fiscal de Rendas

Prova INSS RJ - 2007 cargo: Fiscal de Rendas Prova INSS RJ - 2007 cargo: Fiscal de Rendas Material de Apoio de Informática - Prof(a) Ana Lucia 53. Uma rede de microcomputadores acessa os recursos da Internet e utiliza o endereço IP 138.159.0.0/16,

Leia mais

PENTAHO. História e Apresentação

PENTAHO. História e Apresentação PÓS-GRADUAÇÃO LATO SENSU Curso: Banco de Dados Disciplina: Laboratório de Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 2 2012 Crédito dos Slides: Clever Junior 2 PENTAHO História

Leia mais

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP.

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. Eduardo Cristovo de Freitas Aguiar (PIBIC/CNPq), André Luís Andrade

Leia mais

Planejamento Estratégico de TI. Prof.: Fernando Ascani

Planejamento Estratégico de TI. Prof.: Fernando Ascani Planejamento Estratégico de TI Prof.: Fernando Ascani Data Warehouse - Conceitos Hoje em dia uma organização precisa utilizar toda informação disponível para criar e manter vantagem competitiva. Sai na

Leia mais

Chapter 3. Análise de Negócios e Visualização de Dados

Chapter 3. Análise de Negócios e Visualização de Dados Chapter 3 Análise de Negócios e Visualização de Dados Objetivos de Aprendizado Descrever a análise de negócios (BA) e sua importância par as organizações Listar e descrever brevemente os principais métodos

Leia mais

Thiago Locatelli de OLIVEIRA, Thaynara de Assis Machado de JESUS; Fernando José BRAZ Bolsistas CNPq; Orientador IFC Campus Araquari

Thiago Locatelli de OLIVEIRA, Thaynara de Assis Machado de JESUS; Fernando José BRAZ Bolsistas CNPq; Orientador IFC Campus Araquari DESENVOLVIMENTO DE AMBIENTE PARA A GESTÃO DO CONHECIMENTO RELACIONADO AOS DADOS PRODUZIDOS PELO SISTEMA DE GERENCIAMENTO DE TRANSITO DA CIDADE DE JOINVILLE/SC PARTE I Thiago Locatelli de OLIVEIRA, Thaynara

Leia mais

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso 5 Estudo de Caso De modo a ilustrar a estruturação e representação de conteúdos educacionais segundo a proposta apresentada nesta tese, neste capítulo apresentamos um estudo de caso que apresenta, para

Leia mais

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO @ribeirord FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO Rafael D. Ribeiro, M.Sc,PMP. rafaeldiasribeiro@gmail.com http://www.rafaeldiasribeiro.com.br Lembrando... Aula 4 1 Lembrando... Aula 4 Sistemas de apoio

Leia mais

Data Warehouse. Debora Marrach Renata Miwa Tsuruda

Data Warehouse. Debora Marrach Renata Miwa Tsuruda Debora Marrach Renata Miwa Tsuruda Agenda Introdução Contexto corporativo Agenda Introdução Contexto corporativo Introdução O conceito de Data Warehouse surgiu da necessidade de integrar dados corporativos

Leia mais

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence.

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence. Tópicos Avançados Business Intelligence Banco de Dados Prof. Otacílio José Pereira Unidade 10 Tópicos Avançados Business Inteligence Roteiro Introdução Níveis organizacionais na empresa Visão Geral das

Leia mais

Curso Data warehouse e Business Intelligence

Curso Data warehouse e Business Intelligence Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

Data Warehousing Visão Geral do Processo

Data Warehousing Visão Geral do Processo Data Warehousing Visão Geral do Processo Organizações continuamente coletam dados, informações e conhecimento em níveis cada vez maiores,, e os armazenam em sistemas informatizados O número de usuários

Leia mais

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago DATA WAREHOUSE Rafael Ervin Hass Raphael Laércio Zago Roteiro Introdução Aplicações Arquitetura Características Desenvolvimento Estudo de Caso Conclusão Introdução O conceito de "data warehousing" data

Leia mais

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3.

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3. Sumário Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. 1 2 Introdução Aplicações do negócio: constituem as aplicações que dão suporte ao dia a dia do negócio da empresa,

Leia mais

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4. SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.1 Armazenamento... 5 4.2 Modelagem... 6 4.3 Metadado... 6 4.4

Leia mais

Interatividade aliada a Análise de Negócios

Interatividade aliada a Análise de Negócios Interatividade aliada a Análise de Negócios Na era digital, a quase totalidade das organizações necessita da análise de seus negócios de forma ágil e segura - relatórios interativos, análise de gráficos,

Leia mais

SAD orientado a DADOS

SAD orientado a DADOS Universidade do Contestado Campus Concórdia Curso de Sistemas de Informação Prof.: Maico Petry SAD orientado a DADOS DISCIPLINA: Sistemas de Apoio a Decisão SAD orientado a dados Utilizam grandes repositórios

Leia mais

Administração de Sistemas de Informação Gerenciais UNIDADE IV: Fundamentos da Inteligência de Negócios: Gestão da Informação e de Banco de Dados Um banco de dados é um conjunto de arquivos relacionados

Leia mais

Data Warehouse. Diogo Matos da Silva 1. Universidade Federal de Ouro Preto, Ouro Preto, MG, Brasil. Banco de Dados II

Data Warehouse. Diogo Matos da Silva 1. Universidade Federal de Ouro Preto, Ouro Preto, MG, Brasil. Banco de Dados II Data Warehouse Diogo Matos da Silva 1 1 Departamento de Computação Universidade Federal de Ouro Preto, Ouro Preto, MG, Brasil Banco de Dados II Diogo Matos (DECOM - UFOP) Banco de Dados II Jun 2013 1 /

Leia mais

Thalita Moraes PPGI Novembro 2007

Thalita Moraes PPGI Novembro 2007 Thalita Moraes PPGI Novembro 2007 A capacidade dos portais corporativos em capturar, organizar e compartilhar informação e conhecimento explícito é interessante especialmente para empresas intensivas

Leia mais

Modelo de dados do Data Warehouse

Modelo de dados do Data Warehouse Modelo de dados do Data Warehouse Ricardo Andreatto O modelo de dados tem um papel fundamental para o desenvolvimento interativo do data warehouse. Quando os esforços de desenvolvimentos são baseados em

Leia mais

e-business A IBM definiu e-business como: GLOSSÁRIO

e-business A IBM definiu e-business como: GLOSSÁRIO Através do estudo dos sistemas do tipo ERP, foi possível verificar a natureza integradora, abrangente e operacional desta modalidade de sistema. Contudo, faz-se necessário compreender que estas soluções

Leia mais

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5 Para entender bancos de dados, é útil ter em mente que os elementos de dados que os compõem são divididos em níveis hierárquicos. Esses elementos de dados lógicos constituem os conceitos de dados básicos

Leia mais

Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA

Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto de BI/DW-UFBA Universidade Federal da Bahia Instituto de Matemática Departamento de Ciência da Computação MATA67 Projeto Final II Uma análise de ferramentas de modelagem e gerência de metadados aplicadas ao projeto

Leia mais

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining.

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining. BUSINESS INTELLIGENCE COM DADOS EXTRAÍDOS DO FACEBOOK UTILIZANDO A SUÍTE PENTAHO Francy H. Silva de Almeida 1 ; Maycon Henrique Trindade 2 ; Everton Castelão Tetila 3 UFGD/FACET Caixa Postal 364, 79.804-970

Leia mais

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Data Warehouses Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Conceitos Básicos Data Warehouse(DW) Banco de Dados voltado para

Leia mais

Business Intelligence e ferramentas de suporte

Business Intelligence e ferramentas de suporte O modelo apresentado na figura procura enfatizar dois aspectos: o primeiro é sobre os aplicativos que cobrem os sistemas que são executados baseados no conhecimento do negócio; sendo assim, o SCM faz o

Leia mais

Requisitos de business intelligence para TI: O que todo gerente de TI deve saber sobre as necessidades reais de usuários comerciais para BI

Requisitos de business intelligence para TI: O que todo gerente de TI deve saber sobre as necessidades reais de usuários comerciais para BI Requisitos de business intelligence para TI: O que todo gerente de TI deve saber sobre as necessidades reais de usuários comerciais para BI Janeiro de 2011 p2 Usuários comerciais e organizações precisam

Leia mais

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence Juntamente com o desenvolvimento desses aplicativos surgiram os problemas: & Data Warehouse July Any Rizzo Oswaldo Filho Década de 70: alguns produtos de BI Intensa e exaustiva programação Informação em

Leia mais

A importância da. nas Organizações de Saúde

A importância da. nas Organizações de Saúde A importância da Gestão por Informações nas Organizações de Saúde Jorge Antônio Pinheiro Machado Filho Consultor de Negócios www.bmpro.com.br jorge@bmpro.com.br 1. Situação nas Empresas 2. A Importância

Leia mais

MBA Inteligência Competitiva Com ênfase em BI/CPM. Metadados

MBA Inteligência Competitiva Com ênfase em BI/CPM. Metadados MBA Inteligência Competitiva BI/CPM 1 Data Warehousing PÓS-GRADUAÇÃO MBA Inteligência Competitiva Com ênfase em BI/CPM Metadados Andréa Cristina Montefusco (36927) Hermes Abreu Mattos (36768) Robson Pereira

Leia mais

KDD E MINERAÇÃO DE DADOS:

KDD E MINERAÇÃO DE DADOS: KDD E MINERAÇÃO DE DADOS: Revisão em Data Warehouses Prof. Ronaldo R. Goldschmidt ronaldo@de9.ime.eb.br rribeiro@univercidade.br geocities.yahoo.com.br/ronaldo_goldschmidt 1 DATA WAREHOUSES UMA VISÃO GERAL

Leia mais

Adriano Maranhão BUSINESS INTELLIGENCE (BI),

Adriano Maranhão BUSINESS INTELLIGENCE (BI), Adriano Maranhão BUSINESS INTELLIGENCE (BI), BUSINESS INTELLIGENCE (BI) O termo Business Intelligence (BI), popularizado por Howard Dresner do Gartner Group, é utilizado para definir sistemas orientados

Leia mais

Professor: Disciplina:

Professor: Disciplina: Professor: Curso: Esp. Marcos Morais de Sousa marcosmoraisdesousa@gmail.com Sistemas de informação Disciplina: Introdução a SI Noções de sistemas de informação Turma: 01º semestre Prof. Esp. Marcos Morais

Leia mais

Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar

Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar Newton Shydeo Brandão Miyoshi Joaquim Cezar Felipe Grupo de Informática Biomédica Departamento

Leia mais

Uma Ferramenta Web para BI focada no Gestor de Informação

Uma Ferramenta Web para BI focada no Gestor de Informação Uma Ferramenta Web para BI focada no Gestor de Informação Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

Módulo 4. Construindo uma solução OLAP

Módulo 4. Construindo uma solução OLAP Módulo 4. Construindo uma solução OLAP Objetivos Diferenciar as diversas formas de armazenamento Compreender o que é e como definir a porcentagem de agregação Conhecer a possibilidade da utilização de

Leia mais

AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP.

AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP. AGILE ROLAP - UMA METODOLOGIA ÁGIL PARA IMPLEMENTAÇÃO DE AMBIENTES DE NEGÓCIOS BASEADO EM SERVIDORES OLAP. Luan de Souza Melo (Fundação Araucária), André Luís Andrade Menolli (Orientador), Ricardo G. Coelho

Leia mais

IMPLANTAÇÃO DO DW NA ANVISA

IMPLANTAÇÃO DO DW NA ANVISA IMPLANTAÇÃO DO DW NA ANVISA Bruno Nascimento de Ávila 1 Rodrigo Vitorino Moravia 2 Maria Renata Furtado 3 Viviane Rodrigues Silva 4 RESUMO A tecnologia de Business Intelligenge (BI) ou Inteligência de

Leia mais

Introdução. Conceitos Básicos. Conceitos Básicos. Conceitos Básicos

Introdução. Conceitos Básicos. Conceitos Básicos. Conceitos Básicos Conceitos Básicos Introdução Banco de Dados I Prof. Guilherme Tavares de Assis Universidade Federal de Ouro Preto UFOP Instituto de Ciências Exatas e Biológicas ICEB Departamento de Computação DECOM Dados

Leia mais

Prof. Ronaldo R. Goldschmidt. ronaldo.rgold@gmail.com

Prof. Ronaldo R. Goldschmidt. ronaldo.rgold@gmail.com DATA WAREHOUSES UMA INTRODUÇÃO Prof. Ronaldo R. Goldschmidt ronaldo.rgold@gmail.com 1 DATA WAREHOUSES UMA INTRODUÇÃO Considerações Iniciais Conceitos Básicos Modelagem Multidimensional Projeto de Data

Leia mais

Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação

Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação Curso de Dwing TecBD-DI PUC-Rio Prof. Rubens Melo Arquiteturas de DW e Abordagens de Implementação Arquiteturas e Abordagens de Implementação Arquitetura adequada é fundamental Infra-estrutura disponível

Leia mais

UNIVERSIDADE DO SUL DE SANTA CATARINA MICHEL ANGELO DA SILVA DARABAS

UNIVERSIDADE DO SUL DE SANTA CATARINA MICHEL ANGELO DA SILVA DARABAS UNIVERSIDADE DO SUL DE SANTA CATARINA MICHEL ANGELO DA SILVA DARABAS CONSTRUINDO SOLUÇÕES DE BUSINESS INTELLIGENCE COM PENTAHO BI SUITE COMMUNITY EDITION (CE) Palhoça 2012 MICHEL ANGELO DA SILVA DARABAS

Leia mais

OpenConsulting. Especializada em Pentaho Open Source Business Intelligence treinamento, consultoria e suporte

OpenConsulting. Especializada em Pentaho Open Source Business Intelligence treinamento, consultoria e suporte OpenConsulting Especializada em Pentaho Open Source Business Intelligence treinamento, consultoria e suporte INFORMATIVO Treinamento Desenvolvendo Aplicações Analíticas com Pentaho Business Analytics Campo

Leia mais

TÉCNICAS DE INFORMÁTICA WILLIAN FERREIRA DOS SANTOS

TÉCNICAS DE INFORMÁTICA WILLIAN FERREIRA DOS SANTOS TÉCNICAS DE INFORMÁTICA WILLIAN FERREIRA DOS SANTOS Vimos em nossas aulas anteriores: COMPUTADOR Tipos de computadores Hardware Hardware Processadores (CPU) Memória e armazenamento Dispositivos de E/S

Leia mais

SISTEMA GERENCIADOR DE BANCO DE DADOS

SISTEMA GERENCIADOR DE BANCO DE DADOS BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br SISTEMA GERENCIADOR

Leia mais

ADMINISTRAÇÃO DOS RECURSOS DE DADOS

ADMINISTRAÇÃO DOS RECURSOS DE DADOS Capítulo 7 ADMINISTRAÇÃO DOS RECURSOS DE DADOS 7.1 2003 by Prentice Hall OBJETIVOS Por que as empresas sentem dificuldades para descobrir que tipo de informação precisam ter em seus sistemas de informação?

Leia mais

Plataforma Pentaho. Fagner Fernandes

Plataforma Pentaho. Fagner Fernandes Plataforma Pentaho Fagner Fernandes Sobre a Pentaho Fundada em 2004 por 5 fundadores Foco em Integração de Dados e Análise de Negócio Diferentes versões de sua Suite: Pentaho Enterprise Edition Pentaho

Leia mais

ESCOLA SUPERIOR ABERTA DO BRASIL ESAB CURSO DE ENGENHARIA DE SISTEMAS RACHEL TEREZA MENEGAZZO

ESCOLA SUPERIOR ABERTA DO BRASIL ESAB CURSO DE ENGENHARIA DE SISTEMAS RACHEL TEREZA MENEGAZZO ESCOLA SUPERIOR ABERTA DO BRASIL ESAB CURSO DE ENGENHARIA DE SISTEMAS RACHEL TEREZA MENEGAZZO IMPLEMENTANDO UMA SOLUÇÃO OLAP UTILIZANDO SOFTWARE LIVRE CURITIBA PR 2009 RACHEL TEREZA MENEGAZZO IMPLEMENANDO

Leia mais

Percio Alexandre de Oliveira Prof. Maurício Capobianco Lopes - Orientador

Percio Alexandre de Oliveira Prof. Maurício Capobianco Lopes - Orientador Percio Alexandre de Oliveira Prof. Maurício Capobianco Lopes - Orientador Índice Introdução Objetivos Data Warehouse Estrutura Interna Características Principais elementos: ETC, Metadados e Modelagem Dimensional

Leia mais

BUSINESS INTELLIGENCE Prof. Fabio Purcino

BUSINESS INTELLIGENCE Prof. Fabio Purcino Aula Teste BUSINESS INTELLIGENCE Prof. Fabio Purcino Faça o download desta aula Use um leitor de QR Code Definição Business Intelligence é um conjunto de conceitos e técnicas que buscam extrair conhecimento

Leia mais

Processo Decisório, OLAP e Relatórios Corporativos OLAP E RELATÓRIOS CORPORATIVOS

Processo Decisório, OLAP e Relatórios Corporativos OLAP E RELATÓRIOS CORPORATIVOS Processo Decisório, OLAP e Relatórios Corporativos OLAP E RELATÓRIOS CORPORATIVOS Sumário Conceitos/Autores chave... 3 1. Introdução... 5 2. OLAP... 6 3. Operações em OLAP... 8 4. Arquiteturas em OLAP...

Leia mais

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Introdução a Data Warehousing e OLAP Introdução a Data Warehouse e Modelagem Dimensional Visão

Leia mais

Banco de Dados. Introdução. João Eduardo Ferreira Osvaldo Kotaro Takai. jef@ime.usp.br DCC-IME-USP

Banco de Dados. Introdução. João Eduardo Ferreira Osvaldo Kotaro Takai. jef@ime.usp.br DCC-IME-USP Banco de Dados Introdução João Eduardo Ferreira Osvaldo Kotaro Takai jef@ime.usp.br DCC-IME-USP Importância dos Bancos de Dados A competitividade das empresas depende de dados precisos e atualizados. Conforme

Leia mais

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade 4.3 2 1 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI

Leia mais

Data Warehouses Uma Introdução

Data Warehouses Uma Introdução Data Warehouses Uma Introdução Alex dos Santos Vieira, Renaldy Pereira Sousa, Ronaldo Ribeiro Goldschmidt 1. Motivação e Conceitos Básicos Com o advento da globalização, a competitividade entre as empresas

Leia mais

Prof. Marcelo Machado Cunha www.marcelomachado.com mcelobr@yahoo.com.br

Prof. Marcelo Machado Cunha www.marcelomachado.com mcelobr@yahoo.com.br Prof. Marcelo Machado Cunha www.marcelomachado.com mcelobr@yahoo.com.br Ementa Introdução a Banco de Dados (Conceito, propriedades), Arquivos de dados x Bancos de dados, Profissionais de Banco de dados,

Leia mais

RESUMO DA SOLUÇÃO CA ERwin Modeling. Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios?

RESUMO DA SOLUÇÃO CA ERwin Modeling. Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios? RESUMO DA SOLUÇÃO CA ERwin Modeling Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios? O CA ERwin Modeling fornece uma visão centralizada das principais definições de

Leia mais

Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados.

Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados. BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Hoje é

Leia mais

UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado)

UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) UNIVERSIDADE REGIONAL DE BLUMENAU CENTRO DE CIÊNCIAS EXATAS E NATURAIS CURSO DE CIÊNCIAS DA COMPUTAÇÃO (Bacharelado) SISTEMA INTERNO INTEGRADO PARA CONTROLE DE TAREFAS INTERNAS DE UMA EMPRESA DE DESENVOLVIMENTO

Leia mais

O Que é Data Warehouse

O Que é Data Warehouse O Que é Data Warehouse Escrito por Carlos Alberto Sowek Buscando dar uma melhor visão sobre uma proposta de arquitetura de um Data Warehouse para a Celepar, bem como para os clientes da Celepar, sentimos

Leia mais

04/08/2012 MODELAGEM DE DADOS. PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS. Aula 1. Prof. Rafael Dias Ribeiro. M.Sc.

04/08/2012 MODELAGEM DE DADOS. PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS. Aula 1. Prof. Rafael Dias Ribeiro. M.Sc. MODELAGEM DE DADOS PROF. RAFAEL DIAS RIBEIRO, M.Sc. @ribeirord MODELAGEM DE DADOS Aula 1 Prof. Rafael Dias Ribeiro. M.Sc. @ribeirord 1 Objetivos: Apresenta a diferença entre dado e informação e a importância

Leia mais

Uma aplicação de Data Warehouse para apoiar negócios

Uma aplicação de Data Warehouse para apoiar negócios Uma aplicação de Data Warehouse para apoiar negócios André Vinicius Gouvêa Monteiro Marcos Paulo Oliveira Pinto Rosa Maria E. Moreira da Costa Universidade do Estado do Rio de Janeiro - UERJ IME - Dept

Leia mais

Módulo 4: Gerenciamento de Dados

Módulo 4: Gerenciamento de Dados Módulo 4: Gerenciamento de Dados 1 1. CONCEITOS Os dados são um recurso organizacional decisivo que precisa ser administrado como outros importantes ativos das empresas. A maioria das organizações não

Leia mais

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE Fabio Favaretto Professor adjunto - Programa de Pós Graduação em Engenharia de Produção

Leia mais

Uma Ferramenta WEB para apoio à Decisão em Ambiente Hospitalar

Uma Ferramenta WEB para apoio à Decisão em Ambiente Hospitalar Uma Ferramenta WEB para apoio à Decisão em Ambiente Hospitalar Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

OLAP: Características, Arquitetura e Ferramentas

OLAP: Características, Arquitetura e Ferramentas INSTITUTO VIANNA JÚNIOR FACULDADES INTEGRADAS VIANNA JÚNIOR OLAP: Características, Arquitetura e Ferramentas Erika Maria Teixeira Araújo 1 Mônica de Lourdes Souza Batista 2 Teresinha Moreira de Magalhães

Leia mais

DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS

DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS Flávio Augusto Lacerda de Farias Rogério Tronco Vassoler ** Resumo

Leia mais

Roteiro 2 Conceitos Gerais

Roteiro 2 Conceitos Gerais Roteiro 2 Conceitos Gerais Objetivos: UC Projeto de Banco de Dados Explorar conceitos gerais de bancos de dados; o Arquitetura de bancos de dados: esquemas, categorias de modelos de dados, linguagens e

Leia mais

INTEGRE Diversas fontes de informações em uma interface intuitiva que exibe exatamente o que você precisa

INTEGRE Diversas fontes de informações em uma interface intuitiva que exibe exatamente o que você precisa INTEGRE Diversas fontes de informações em uma interface intuitiva que exibe exatamente o que você precisa ACESSE Informações corporativas a partir de qualquer ponto de Internet baseado na configuração

Leia mais

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade 4.1 2 1 Material usado na montagem dos Slides BARBIERI,

Leia mais

Plataformas de BI Qual é a mais adequada para o meu negócio?

Plataformas de BI Qual é a mais adequada para o meu negócio? Plataformas de BI Qual é a mais adequada para o meu negócio? Comparativo prático para escolher a ferramenta perfeita para a sua empresa Faça nosso Quiz e veja as opções que combinam com o seu perfil ÍNDICE

Leia mais

PROPOSTA DE UMA ARQUITETURA PARA CONSTRUÇÃO DE UM DATA WAREHOUSE PARA GESTÃO DA SAÚDE PÚBLICA DE UM MUNICÍPIO DO VALE DO ITAJAÍ

PROPOSTA DE UMA ARQUITETURA PARA CONSTRUÇÃO DE UM DATA WAREHOUSE PARA GESTÃO DA SAÚDE PÚBLICA DE UM MUNICÍPIO DO VALE DO ITAJAÍ PROPOSTA DE UMA ARQUITETURA PARA CONSTRUÇÃO DE UM DATA WAREHOUSE PARA GESTÃO DA SAÚDE PÚBLICA DE UM MUNICÍPIO DO VALE DO ITAJAÍ Renan Felipe dos Santos Prof. Alexander Roberto Valdameri,Orientador ROTEIRO

Leia mais

CAPÍTULO 5. Introdução ao Gerenciamento de Bancos de Dados.

CAPÍTULO 5. Introdução ao Gerenciamento de Bancos de Dados. CAPÍTULO 5. Introdução ao Gerenciamento de Bancos de Dados. VISÃO GERAL DO CAPÍTULO O objetivo do capítulo é enfatizar o gerenciamento dos recursos de dados de organizações que utilizam computadores. O

Leia mais

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse

Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Uma Arquitetura de Gestão de Dados em Ambiente Data Warehouse Alcione Benacchio (UFPR) E mail: alcione@inf.ufpr.br Maria Salete Marcon Gomes Vaz (UEPG, UFPR) E mail: salete@uepg.br Resumo: O ambiente de

Leia mais

Uma peça estratégica para o seu negócio

Uma peça estratégica para o seu negócio Uma peça estratégica para o seu negócio INFORMAÇÃO GERAL DA EMPRESA CASO DE SUCESSO EM IMPLEMENTAÇÃO BI PERGUNTAS E RESPOSTAS Fundada em 1997, Habber Tec é uma empresa especializada na oferta de soluções

Leia mais

BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES.

BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES. Encontro de Ensino, Pesquisa e Extensão, Presidente Prudente, 22 a 25 de outubro, 2012 88 BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES. Andrios Robert Silva Pereira, Renato Zanutto

Leia mais

ADMINISTRAÇÃO DOS RECURSOS DE DADOS

ADMINISTRAÇÃO DOS RECURSOS DE DADOS 7 ADMINISTRAÇÃO DOS RECURSOS DE DADOS OBJETIVOS Por que as empresas sentem dificuldades para descobrir que tipo de informação precisam ter em seus sistemas de informação ão? Como um sistema de gerenciamento

Leia mais

PLANO DE ENSINO PRÉ-REQUISITOS: ENS

PLANO DE ENSINO PRÉ-REQUISITOS: ENS UNIVERSIDADE DO ESTADO DE SANTA CATARINA UDESC CENTRO DE EDUCAÇÃO SUPERIOR DO ALTO VALE DO ITAJAÍ CEAVI PLANO DE ENSINO DEPARTAMENTO: DSI Departamento de Sistema de Informação DISCIPLINA: Data Warehouse

Leia mais

Sistemas de Informação Aplicados a AgroIndústria Utilizando DataWarehouse/DataWebhouse

Sistemas de Informação Aplicados a AgroIndústria Utilizando DataWarehouse/DataWebhouse Sistemas de Informação Aplicados a AgroIndústria Utilizando DataWarehouse/DataWebhouse Prof. Dr. Oscar Dalfovo Universidade Regional de Blumenau - FURB, Blumenau, Brasil dalfovo@furb.br Prof. Dr. Juarez

Leia mais

BUSINESS INTELLIGENCE -Inteligência nos Negócios-

BUSINESS INTELLIGENCE -Inteligência nos Negócios- UNIVERSIDADE SÃO FRANCISCO CENTRO DE CIÊNCIAS JURÍDICAS, HUMANAS E SOCIAIS BUSINESS INTELLIGENCE -Inteligência nos Negócios- Curso: Administração Hab. Sistemas de Informações Disciplina: Gestão de Tecnologia

Leia mais

A evolução da tecnologia da informação nos últimos 45 anos

A evolução da tecnologia da informação nos últimos 45 anos A evolução da tecnologia da informação nos últimos 45 anos Denis Alcides Rezende Do processamento de dados a TI Na década de 1960, o tema tecnológico que rondava as organizações era o processamento de

Leia mais

Data Warehouse Granularidade. rogerioaraujo.wordpress.com twitter: @rgildoaraujo - rgildoaraujo@gmail.com 1

Data Warehouse Granularidade. rogerioaraujo.wordpress.com twitter: @rgildoaraujo - rgildoaraujo@gmail.com 1 Data Warehouse Granularidade rogerioaraujo.wordpress.com twitter: @rgildoaraujo - rgildoaraujo@gmail.com 1 Granularidade A granularidade de dados refere-se ao nível de sumarização dos elementos e de detalhe

Leia mais

MSc. Daniele Carvalho Oliveira

MSc. Daniele Carvalho Oliveira MSc. Daniele Carvalho Oliveira AULA 2 Administração de Banco de Dados: MSc. Daniele Oliveira 2 CONCEITOS FUNDAMENTAIS DE BANCO DE DADOS Administração de Banco de Dados: MSc. Daniele Oliveira 3 Conceitos

Leia mais

UFG - Instituto de Informática

UFG - Instituto de Informática UFG - Instituto de Informática Especialização em Desenvolvimento de Aplicações Web com Interfaces Ricas EJB 3.0 Prof.: Fabrízzio A A M N Soares professor.fabrizzio@gmail.com Aula 5 Servidores de Aplicação

Leia mais

BI: Um estudo de Oracle MÉLODY BALLOUARD (MAMB)

BI: Um estudo de Oracle MÉLODY BALLOUARD (MAMB) BI: Um estudo de Oracle MÉLODY BALLOUARD (MAMB) Roteiro Introdução Motivação Objetivos Historico Conceitos Arquitetura Estado da arte Exemplos Referências Introdução Quantidade infinita de dados Ferramentas

Leia mais

Subsecretaria de Contabilidade Pública. Coordenação-Geral de Contabilidade e Custos da União. Tesouro Gerencial

Subsecretaria de Contabilidade Pública. Coordenação-Geral de Contabilidade e Custos da União. Tesouro Gerencial Subsecretaria de Contabilidade Pública Coordenação-Geral de Contabilidade e Custos da União Tesouro Gerencial Brasília Novembro/2014 Objetivos do Curso O aluno deve ser capaz de: 1) Identificar as diferenças/semelhanças

Leia mais

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade 4.2 2 1 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI

Leia mais

Técnicas de Business Intelligence na Análise de Dados de Produção. Rafael Deitos

Técnicas de Business Intelligence na Análise de Dados de Produção. Rafael Deitos Copyright 2014-15 OSIsoft, LLC. 1 Técnicas de Business Intelligence na Análise de Dados de Produção Presented by Felipe Trevisan Rafael Deitos Copyright 2014-15 OSIsoft, LLC. Sumário Contextualização Itaipu

Leia mais

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Bancos de Dados Distribuídos Conceitos e Arquitetura Vantagens das Arquiteturas C/S (em relação

Leia mais

Módulo 2. Definindo Soluções OLAP

Módulo 2. Definindo Soluções OLAP Módulo 2. Definindo Soluções OLAP Objetivos Ao finalizar este módulo o participante: Recordará os conceitos básicos de um sistema OLTP com seus exemplos. Compreenderá as características de um Data Warehouse

Leia mais