UNIÃO METROPOLITANA DE EDUCAÇÃO E CULTURA - CURSO DE BACHARELADO EM SISTEMAS DE INFORMAÇÃO TRAJANO CARLOS MONTASSIER NETO

Tamanho: px
Começar a partir da página:

Download "UNIÃO METROPOLITANA DE EDUCAÇÃO E CULTURA - CURSO DE BACHARELADO EM SISTEMAS DE INFORMAÇÃO TRAJANO CARLOS MONTASSIER NETO"

Transcrição

1 UNIÃO METROPOLITANA DE EDUCAÇÃO E CULTURA - CURSO DE BACHARELADO EM SISTEMAS DE INFORMAÇÃO TRAJANO CARLOS MONTASSIER NETO AVALIAÇÃO DAS FERRAMENTAS ETL OPEN-SOURCE TALEND E KETTLE PARA PROJETOS DE DATA WAREHOUSE EM EMPRESAS DE PEQUENO PORTE LAURO DE FREITAS 2012

2 TRAJANO CARLOS MONTASSIER NETO AVALIAÇÃO DAS FERRAMENTAS ETL OPEN-SOURCE TALEND E KETTLE PARA PROJETOS DE DATA WAREHOUSE EM EMPRESAS DE PEQUENO PORTE Trabalho de Conclusão de Curso apresentado ao curso de Bacharelado em Sistema de Informações da UNIME, como requisito parcial para obtenção de grau de Bacharel em Sistema de Informação. Orientador: Professor Pablo Passos Nascimento. LAURO DE FREITAS 2012

3 AGRADECIMENTOS Em primeiro lugar, agradeço a Deus, que me deu forças e clareou o meu caminho, ajudando-me a superar as dificuldades e os obstáculos, mas no final, fui presenteado por este momento. A minha Mãe Cecilia (in memoriam), a quem dedico essa realização e que, durante muitos anos, foi para mim um exemplo de força e superação. Um especial agradecimento a minha esposa, Rosangela e ao meu filho Vitor, que me apoiaram em todos os momentos desta trajetória. Obrigado por compartilharem comigo essa caminhada; sem essa força não seria possível chegar ao fim. Igualmente agradeço aos meus tios Sylvio e Deolinda(in memoriam), sempre presentes na minha vida e responsáveis por um apoio incondicional no momento em que mais precisei no início de minha carreira profissional. Obrigado pelo carinho e o afeto que têm me concedido. Aos familiares e amigos, que estiveram ao meu lado ou de alguma forma fizeram parte desta história, dando-me forças para superar e não desistir e ainda me ajudando a esquecer as dificuldades desse percurso através dos momentos descontração e alegria em que passamos juntos. Também, não menos importante, meu agradecimento à direção da empresa Morais de Castro, que me apoiou e me incentivou-me a realizar o curso superior. A todos os Mestres com quem tive o prazer de compartilhar conhecimento nesse período, um muito obrigado. E, em especial, ao meu orientador Professor Pablo Passos, que acreditou em meu potencial e, com dedicação e empenho, ajudou-me a realizar este trabalho além de ser uma figura fundamental nesta orientação desde seu nascimento. Ao Coordenador Jorge Farias, que sempre se mostrou interessado em apoiar e ajudar seus alunos. Por fim, não poderia deixar de agradecer a minha Professora Cristiane Dutra por sua colaboração ajudando a engrandecer o resultado deste trabalho.

4 RESUMO Ferramentas de ETL são aplicações de software cuja função, em termos gerais, é extrair dados de diversas fontes, transformar esses dados para garantir padronização e consistência das informações carregá-los para um ambiente de consulta e análise, conhecido como data warehouse. As diversas ferramentas de ETL disponíveis no mercado atualmente possuem as funções básicas com características bem semelhantes e o nível de sofisticação fica por conta de recursos mais específicos que vão diferenciar umas das outras. Na perspectiva das empresas de pequeno e médio porte, às quais possuem uma capacidade de investimento em ferramental tecnológico limitada, as ferramentas ETL open source configuram-se como uma alternativa interessante uma vez que o licenciamento e as atualizações são gratuitos. Através de pesquisas realizadas por organizações especializadas, foi possível identificar as ferramentas Kettle e Talend como as mais importantes atualmente no universo das ferramentas ETL open-source. Tal fato expõe a necessidade de desenvolver um método para avaliar as ferramentas ETL open-source Talend e Kettle/Pentaho através da definição de critérios relativos às características e funcionalidades importantes para a construção de um projeto de DW. Os resultados de cada um dos critérios foram coletados através da utilização das ferramentas em um estudo de caso prático no âmbito de uma empresa de pequeno porte. Palavras-chave: Ferramenta ETL, Kettle, Talend, CloverETL, Business Intelligence, Data Warehouse.

5 ABSTRACT ETL tools are software applications whose function, in general terms, is to extract data from several sources, then transform it to ensure standardization and consistency of information, upload it to an environment of consultation and analysis, known as data warehouse. The several ETL tools available on the market these days have the basic functions with very similar characteristics and the level of sofistication is on more specific features that will differentiate one another. From the perspective of small and medium businesses, which have a limited capacity of investment in technological tools, the ETL open-source tools are an interesting alternative since the licensing and upgrades are for free. Through research conducted by organizations it was possible to identify the Kettle and Talend as the currently most important ones in the world of ETL open-source tools. This fact explains the need to develop a method to evaluate the ETL open-source Talend and Kettle / Pentaho tools by defining criteria pertaining to the characteristics and features that are important to build a DW project. The results of each of the criteria were collected through the use of tools in a practical case study within a small business. Keywords: ETL Tools, Kettle, Talend, CloverETL, Business Intelligence, Data Warehouse.

6 LISTA DE FIGURAS Figura 1 O Ambiente de um Data Warehouse Figura 2 - Staging Area ou ODS Figura 3 Arquitetura de Data Mart Independente Figura 4 Arquitetura de Data Mart Integrado Figura 5 Modelo de Implementação Top Down em Data Mart Dependente Figura 6 Modelo de Implementação Botton Up para Data Mart Independente Figura 7 Modelo Multidimensional Snowflake Figura 8 Modelo Multidimensional Star Schema Figura 9 Representação de Granularidade Figura 10 - Dimensão que Muda Lentamente Tipo Figura 11 - Dimensão que Muda Lentamente Tipo Figura 12 - Dimensão que Muda Lentamente Tipo Figura 13 - Estratégia de Carregamento de Tabelas de Fatos de Nível Básico Figura 14 Representação das Origens de Metadados Figura 15 Modelo Clover Designer Figura 16 Modelo Talend Open Studio Figura 17 Modelo PDI / Kettle Figura 18 - Ambiente OLAP - Modelagem Esquema Star Figura 19 - Ambiente Transacional Modelagem 3FN Figura 20 Menu Conexão Banco de Dados no Kettle/Pentaho Figura 21 - Conexão Banco de Dados no Kettle/Pentaho Figura 22 Menu Conexão Banco de Dados no Talend Figura 23 - Conexão Banco de Dados no Talend Figura 24 - Movimentação de Dados para Staging Area no Kettle Figura 25 - Movimentação de Dados para Staging Area no Talend Figura 26 Componente tmap do Talend Open Studio Tabela Cliente Figura 27 Componente tmap do Talend Open Studio Calculo da Margem de Contribuição Figura 28 Componente Database Lookup do Kettle Tabela Cliente... 68

7 Figura 29 Componente Calculator do Kettle Calculo da Margem de Contribuição Figura 30 Componente Dimension Lookup/Update do Kettle SCD tipo 1 e Figura 31 Componente tpostgresqlscd do Talend SCD tipo 1, 2 e Figura 32 Componente Database lookup do Kettle Carga Tabela Fato Vendas Figura 33 Componente tmap do Talend Carga Tabela Fato Vendas Figura 34 Modelo do Talend Carga Tabela Fato Vendas Figura 35 Exemplo Facilidade para Criar Componentes a Partir de Conexões Figura 36 - Controle de Versão da Transformação no Kettle Figura 37 - Controle de Versão da Transformação no Talend Figura 38 - Consulta Versão de um Trabalho no Talend Figura 39 Consulta Histórico das Versões de um Trabalho no Talend Figura 40 - Controle de Status das Versões de um Trabalho no Talend Figura 41 Exemplo de Tratamento de Erro no Kettle Figura 42 - Conjunto de Componentes para Manipulação de Erros no Talend Figura 43 - Exemplo Relatório Análise de Impacto no Kettle Figura 44 - Exemplo de Rastreabilidade e Propagação de Atributos no Kettle Figura 45 - Relatório de Rastreabilidade dos Atributos no Kettle Figura 46 - Exemplo de Propagação de Atributos no Talend Figura 47 - Exemplo de Rastreabilidade e Manipulação de Atributos no Talend Figura 48 - Relatório de Documentação Automática do Kettle Figura 49 - Chamada ao Gerador de Documentação no Talend Figura 50 - Relatório de Documentação no Talend Figura 51 - Exemplo de Compartilhamento de Recursos do Kettle Figura 52 - Modelo de um Painel com Jobs e Metadados Compartilhados no Talend Figura 53 - Exemplo de Execução Passo-a-Passo no Kettle Figura 54 - Modelo dos Painéis de Depuração Passo-a-Passo no Talend Figura 55 - Exemplo de Configuração do Ponto de Parada no Kettle Figura 56 - Exemplo de Configuração do Ponto de Parada no Talend Figura 57 - Exemplo do Recurso de Validação no Kettle

8 LISTA DE GRÁFICOS Gráfico 1 Quadrante Mágico para Ferramentas de Qualidade de Dados Gráfico 2 Por Categoria de Requisitos... 88

9 LISTA DE TABELAS Tabela 1 Vantagens e Desvantagens da Implementação TOP DOWN Tabela 2 Vantagens e Desvantagens da Implementação BOTTON-UP Tabela 3 Matriz de Processo de Negócio - Parte Tabela 4 Matriz de Processo de Negócio Parte 2 (continuação) Tabela 5 Requisitos Relevantes com as Respectivas Avaliações Tabela 6 - Pontuações por Item de Requisito Tabela 7 - Resumo das Pontuações por Categoria de Requisitos... 88

10 LISTA DE SIGLAS 3FN Terceira Forma Normal API Interface de Programação de Aplicativos BI Business Intelligence DB2 Banco de Dados da IBM DM Data Mart DSS Sistema de Suporte a Decisão DW Data Warehouse EIS Sistema de Informações Executivas ER Entidade de Relacionamento ETL Extract, Transformation and Load IDC International Data Corporation MDM Master Data Management MPP Multi-Processamento Paralelo ODBC Open Database Connectivity ODS Staging Area ou Operacional Data Store OLAP On-line Analitycal Processing OLTP On-line Transactional Processing PDI Pentaho Data Integration SAD Sistema de Apoio a Decisão SAP Sistemas Aplicativos e Produtos - Software Gestão Empresarial SGBD Sistema Gerenciador de Banco de Dados SMP Multi-processamento Simétrico TXT Padrão de Arquivo Texto VM Máquina Virtual XML Padrão de Arquivo

11 SUMÁRIO 1 INTRODUÇÃO Data Warehouse A HISTÓRIA DO EIS AO DATA WAREHOUSE CONCEITOS E PROPRIEDADES DO DATA WAREHOUSE ARQUITETURA DO DATA WAREHOUSE Staging Area Data Mart FORMAS DE IMPLEMENTAÇÕES ETAPAS DA IMPLANTAÇÃO DO PROJETO Modelagem ETL ANÁLISE DE INFORMAÇÕES ETL EXTRAÇÃO, TRANSFORMAÇÃO E CARGA DE DADOS ABRANGÊNCIA DO ETL ETAPAS DO PROCESSO DE ETL FERRAMENTAS DE ETL CONCEITO CARACTERÍSTICAS E BENEFÍCIOS MODELO OPEN SOURCE Ferramenta CloverETL Ferramenta TALEND Ferramenta KETTLE (PENTAHO) Estudo de caso: empresa de pequeno Porte ANÁLISE DE REQUISITOS E DESENVOLVIMENTO DA MATRIZ DO PROCESSO DE NEGÓCIO DEFINIÇÃO DO MODELO DIMENSIONAL EXTRAÇÃO DOS DADOS, MOVIMENTAÇÃO PARA STAGING AREA NECESSIDADES DE TRANSFORMAÇÃO, DIMENSÃO E FATO PLANEJAMENTO DE CARGA DAS DIMENSÕES PLANEJAMENTO DE CARGA DA TABELA FATO NOTAS DO DESENVOLVIMENTO... 74

12 6 AVALIAÇÃO DAS FERRAMENTAS DE ETL IDENTIFICAÇÃO DOS REQUISITOS AVALIAÇÃO DOS REQUISITOS Resumo das pontuações CONCLUSÃO REFERÊNCIAS: ANEXO 1 INFRA-ESTRUTURA UTILIZADA NA EXECUÇÃO DO LABORATÓRIO ANEXO 2 LISTA DE CRITÉRIOS PARA AVALIAÇÃO DAS FERRAMENTAS ETL ANEXO 3 ANÁLISE COMPLEMENTAR DOS CRITÉRIOS RELEVANTES

13 1 INTRODUÇÃO A economia mundial, nas últimas décadas, vem migrando de uma economia industrial, voltada ao produto, em que os bens manufaturados são o principal fator, para uma economia baseada na informação e no conhecimento (MACHADO, 2008). E, neste cenário, encontra-se a maioria das empresas, revendo seus sistemas de gestão e muitas delas em pleno processo de implantação do Planejamento Estratégico, buscando um sistema que forneça informações que agregue valor ao seu negócio. Ou seja, informações que sejam de rápido acesso, fácil de consultar, que integre as diversas fontes de dados e que esses estejam organizados em um formato padronizado de tal modo que possa fornecer subsídios aos níveis gerenciais e direção no apoio às decisões estratégicas. Para atender a essa demanda, essas empresas vêm buscando desenvolver seus sistemas de apoio à decisão baseado em arquiteturas de DW (data warehouse). No entanto, a grande maioria enfrenta dificuldades logo de início na escolha pelo modelo de desenvolvimento e quais ferramentas serão utilizadas, uma vez que, independente do modelo adotado, será necessário cumprir o processo de extração, transformação e carga de dados, também conhecido como ETL (Extract, Transform and Load). Esta é a fase mais crítica, complexa e demorada na construção de um data warehouse, cuja finalidade é aglutinar os dados de múltiplas origens e integrar em um formato padronizado e consistente para ser carregado no data warehouse. Segundo Corey (2001, p. 227), os sistemas de origem tem os dados; o data warehouse é estruturado para apresentar informações e o processo de ETL é a caixa preta que transforma os primeiros no último.. Desta forma, o conceito de ETL contribui fortemente no processo de construção do data warehouse, visto que tem a responsabilidade de capturar, transformar e consolidar os dados dos sistemas transacionais, também conhecido como OLTP (On-line Transactional Processing), assim como moldar esses dados e entregá-los formatados em dimensões estruturadas com o objetivo de facilitar aos sistemas de consultas ou OLAP (On-line Analitycal Processing) disponibilizando, assim, a inteligência empresarial para ser explorada pelos usuários finais. Entende-se por captura e consolidação de dados um complexo trabalho de congregar fontes de dados de diversas origens com formatos e critérios variados em um único ambiente consistente e organizado. 12

14 Existe uma advertência comum entre dois dos principais gurus sobre data warehouse, a exemplo de Ralf Kimball e Bill Inmon. Eles afirmam que a atividade de ETL ocupa boa parte do tempo em projetos data warehouse, algo que varia entre 60% até 80% do tempo total gasto em um projeto. E esse percentual pode se acentuar ou não se a opção for pelo desenvolvimento manual do código ou pelo uso de ferramentas especializadas em ETL. Vale observar que, quando a opção for por implementação manual de rotinas ETL, o desenvolvedor poderá encontrar possíveis limitações ou dificuldades em tarefas que vão exigir do desenvolvedor um grande esforço de trabalho, além de um tempo maior de dedicação, assim como ficará mais suscetível a ocorrência de erros durante o desenvolvimento do código, consequentemente deixando de ganhar produtividade no projeto e principalmente não garantindo a qualidade das informações armazenadas para as análises dos gestores que podem levar a decisões equivocadas, trazendo sérios prejuízos para as organizações. Segundo Corey (2001), as principais dificuldades em uma implementação manual estão no desenvolvimento de código, nas funções de metadados (detalhes no capítulo ), nas conexões com ambientes heterogêneos, no próprio gerenciamento do desenvolvimento, assim como na elaboração da documentação do projeto. Considerar a alternativa pelo uso de ferramentas de ETL frente ao desenvolvimento manual é algo importante, por tratar-se de um conjunto de recursos que apoia a construção de um data warehouse. Essas ferramentas de ETL disponibilizam recursos, como: geração de metadados; conectividade nativa com os principais SGBD (Sistema Gerenciador de Banco de Dados) dentre outros tipos de arquivos como XML, planilhas e TXT; funções facilitadoras para transformação de dados; melhor aproveitamento para reutilização de códigos; solução para gerenciamento centralizado de projetos; facilidade no desenvolvimento de código através de diagramas; facilidade na elaboração da documentação técnica, entre outros. Desta forma, é possível afirmar que há benefícios em utilizar uma ferramenta ETL ante o desenvolvimento manual, salvo necessidades muito específicas em que às ferramentas ETL não atendem de forma esperada. Segundo Corey (2001, p. 226) bons programadores podem escrever bons processos de ETL. E geralmente podem fazer melhor 13

15 do que qualquer ferramenta ETL, porém Corey (2001, p. 226) ainda complementa dizendo uma ferramenta ETL reúne dados sobre os processos de ETL, os torna reutilizáveis, é mais fácil de gerenciar e transferir conhecimento Como bem coloca Corey (2001), não é impossível desenvolver um data warehouse sem utilizar ferramentas de ETL, entretanto a utilização deste recurso trará, além dos benefícios já citados, a qualidade como um todo para o projeto. Atualmente, o mercado dispõe de uma enorme variedade de ferramentas de ETL com recursos e características bem diversificadas. Na perspectiva das empresas de pequeno e médio porte, às quais possuem uma capacidade de investimento em ferramental tecnológico limitada, as ferramentas ETL open source configuram-se como uma alternativa interessante, pois o licenciamento e os upgrades (atualizações) são gratuitos. Outro fator que confirma a possibilidade de utilização das ferramentas ETL open source é que as principais funcionalidades existentes nos software proprietários já estão disponíveis na versão de código aberto. Com isso, o padrão oferecido pelas ferramentas de ETL atendem satisfatoriamente as necessidades para esse porte de organizações. Também há evidências sobre o grau de maturidade do modelo open source para ferramentas de ETL com crescente aderência até entre as organizações mais regulamentadas. Isso mostra que apresenta níveis confiáveis de execução. Segundo o artigo publicado pela COMPUTERWORD (2010), metade de um universo de 300 organizações pesquisadas de grande porte já está comprometida com soluções de código aberto e outros 28% já realizaram testes ou empregam esse tipo de software em serviços mais específicos. A pesquisa intitulada Visão Geral do Mercado: Ferramentas ETL Open Source realizada pela Forrester Research (2007) relata a existência de dezenas de projetos de código aberto que realizam uma ou mais funções de ETL. Contudo, pondera que apenas algumas destas soluções oferecem um conjunto mais completo de recursos e dentre as que se encaixam dentre as mais completas soluções open-source destacam-se o Kettle e Talend. De acordo com a pesquisa, as características técnicas desses projetos têm muito mais semelhanças do que diferenças. Além disso, suas estratégias de mercado representam o grosso de sua diferenciação em relação às demais soluções open-source. A identificação das ferramentas citadas como as mais importantes atualmente no universo de ferramentas ETL open-source expõe a necessidade de uma avaliação mais 14

16 aprofundada no tocante às funcionalidades e características destas soluções. Esta questão se configura como motivador para avaliação do emprego destas ferramentas em um estudo de caso prático em uma empresa de pequeno porte, o que permitiu a definição da solução que melhor se adequou ao contexto de avaliação. 1.1 OBJETIVO O objetivo deste trabalho é desenvolver um método para avaliar as ferramentas ETL open-source Talend e Kettle/Pentaho através de critérios relativos às características e funcionalidades destas soluções. Os resultados de cada um dos critérios definidos foram identificados através da utilização das soluções em um estudo de caso prático no âmbito de uma empresa de pequeno porte. A comparação dos resultados obtidos permitiu a definição da solução que melhor se adequou ao contexto de avaliação. 1.2 MOTIVAÇÃO Durante muitos anos, as empresas buscaram aprimorar os elementos de controle operacional, primeiro com os sistemas funcionais, depois evoluíram para automação dos processos e, atualmente, o foco está direcionado para o tratamento das informações estratégicas. Essa necessidade de transformar os dados operacionais em informações de valor sempre existiu, porém, como bem coloca Machado (2008, p.15), as falhas estruturais, os custos de desenvolvimento de sistemas, entre outros, sempre deixaram para o último lugar as necessidades executivas de informação. Um exemplo prático é o próprio estudo de caso aplicado neste trabalho, cujo projeto pertence a uma empresa de médio porte que já consolidou sua etapa de automação dos processos e agora deseja investir na implantação de um data warehouse. E, entre as principais dificuldades, passou-se pela decisão de escolha de uma ferramenta ETL, uma das razões que motivou o desenvolvimento de uma metodologia para escolha de ferramenta ETL. Outra motivação 15

17 foi destacar a importância merecida à etapa de ETL quase sempre renegada a segundo plano nos projetos de BI, que é bem lembrada por Gonçalves (2003, p. 4) quando diz: Os fornecedores de software que atuam nesta área preocupam-se em desenvolver as ferramentas finais para os usuários, mas esquecem de tratar a questão da integração de dados, um requisito para o data warehouse e algo que somente as ferramentas ETL podem atender. 1.3 METODOLOGIA Para o desenvolvimento deste trabalho é importante que conceitos de Data Warehouse, suas etapas de construção, principalmente a ETL, e o papel das ferramentas ETL sejam bem definidos. Para essa tarefa, é imprescindível uma revisão bibliográfica a respeito do estado da arte para os tópicos citados. Além disso, foi realizado levantamento das principais características e recursos oferecidos pelas ferramentas de ETL Open Source. Uma análise documental dos produtos de ETL selecionados foi realizada através de pesquisas nos sites dos fornecedores, trabalhos bibliográficos correlatos e avaliações de organizações independentes. A análise propiciou a definição dos critérios para avaliação das ferramentas em questão e os resultados desta avaliação foram aferidos a partir de um estudo de caso de implantação de DW em uma organização de pequeno porte. Este laboratório funcionou como uma forma de validação do método de avaliação de ferramentas ETL open-source, objetivo deste trabalho. 1.4 ORGANIZAÇÃO DO TEXTO A organização deste trabalho está dividida em sete capítulos descritos a seguir: 16

18 O primeiro capítulo faz uma breve introdução sobre o cenário atual das empresas, também procurando demonstrar o objetivo, a metodologia e motivação do conteúdo abordado neste trabalho. No segundo capítulo, são descritos os conceitos básicos, a arquitetura, elementos e fundamentos sobre data warehouse. No terceiro capítulo, são definidos os conceitos sobre ETL, sua abrangência e as etapas. O quarto capítulo mostra o que é e o que faz uma ferramenta ETL, assim como uma breve referência sobre as ferramentas CloverETL, Talend e Kettle/Pentaho. No quinto capítulo, é apresentado o desenvolvimento do estudo de caso de um data mart para uma empresa de pequeno porte. No sexto capítulo, está registrada a avaliação das ferramentas ETL open-source alvo do trabalho com a classificação e pontuação dos requisitos para o desenvolvimento do estudo de caso. O sétimo capítulo finaliza com a conclusão dos resultados obtidos e sugestões para trabalhos futuros. Três anexos fazem parte deste trabalho, onde o primeiro descreve a infra-estrutura utilizada no estudo de caso; o segundo traz uma lista de critérios importantes para avaliação das ferramentas ETL que serviu como base para o foco do trabalho que é a avaliação de ferramentas ETL open-source voltada para projetos de DW em empresas de pequeno porte; e o terceiro apresenta uma análise complementar dos critérios relevantes aplicados no estudo de caso. 17

19 2 DATA WAREHOUSE Neste capítulo, aborda-se a fundamentação teórica do trabalho, cujo objetivo é prover o conhecimento básico para o entendimento dos conceitos que envolvem a construção de um data warehouse, além de mostrar uma breve história da evolução do DW, a arquitetura, as formas e etapas de implementação do DW. 2.1 A HISTÓRIA DO EIS AO DATA WAREHOUSE As primeiras aparições de desenvolvimento de sistemas para fornecimento de informações empresariais foi com a chegada das planilhas eletrônicas por volta de 1990, conhecidos como Sistemas de Informações Executivas EIS e, nessa época, seu desenvolvimento era restrito à equipe de TI com conteúdos limitados e cálculos simples de somas, contagens e acessando os dados diretamente no ambiente operacional. Já no final dos anos 90, com a evolução das aplicações, surgiram os Sistemas de Apoio a Decisão SAD ou Sistemas de Suporte a Decisão DSS, facilitado pelas linguagens de 4º geração. Isso permitiu que o usuário final assumisse um papel mais ativo, proporcionando maior flexibilidade nos relatórios e nas consultas sob demanda. Todavia, a extração dos dados ainda era de fontes relacionais pouco versáteis para atender as expectativas das necessidades gerenciais. Outro problema surgiu quando houve a necessidade de se pesquisar um histórico mais antigo dos dados, porque os ambientes operacionais não se mantêm muitos anos armazenados. Além disso, o desempenho era prejudicada com o uso concorrente do ambiente operacional. O novo conceito, válido até os dias atuais, mas ainda em franca evolução, ficou conhecido como data warehouse DW, ou armazém de dados, com objetivos bem definidos: fornecer informações confiáveis a partir de uma base corporativa única e integrada; proporcionar acesso rápido aos usuários finais sem depender do pessoal de TI; e 18

20 permitir que os próprios analistas de negócio produzam modelos do tipo ad-hoc, ou seja, sob demanda (COREY, 2001). De acordo com Gonçalves (2003), o DW pode ser considerado como a separação física entre os sistemas de dados operacionais (aplicativos que controlam as funções críticas do negócio da empresa) e os sistemas de suporte à decisão de uma empresa. Esse conceito define bem os elementos da arquitetura física, como ilustra a figura 1, o modelo de ambiente data warehouse. Figura 1 O Ambiente de um Data Warehouse Fonte: MACHADO, 2008, p CONCEITOS E PROPRIEDADES DO DATA WAREHOUSE O barateamento de armazenamento de dados em disco propiciou às organizações guardarem seus dados operacionais por muito mais tempo, porém o imenso volume de dados armazenados neste formato dificulta seu aproveitamento na preparação de informações estratégicas na tomada de decisão. Alguns motivos levam a isso: dados 19

21 dispersos, falta de integração com outras bases de dados, o formato não adequado para favorecer consultas a um grande volume de dados, ausência de estrutura para uma visão unificada dos dados entre outros. Esses problemas tornaram-se um grande desafio para as organizações e foi para atender a essa demanda que surgiu os data warehouse (GONÇALVES, 2003). Segundo Corey (2001 apud INMON, 1997, p.12), para um data warehouse é necessário atender as seguintes propriedades:. Orientado ao assunto: Refere-se ao formato da organização das informações de modo a facilitar as consultas, ou seja, os dados serão agrupados por assunto dos negócios da empresa, por exemplo: vendas, compras, produção, RH e etc.. Integrado: O data warehouse tem a função de armazenar os dados em um único ambiente, integrando dados de diversas fontes, arquivos XML, entre outros. No entanto, para a real integração, é necessário adotar alguns cuidados antecipadamente ao armazenamento no data warehouse.. Não volátil: Além de garantir a durabilidade das informações no tempo, essa propriedade também garante que os usuários somente terão acesso ao data warehouse com a possibilidade de somente leitura. Isso não significa que não haverá atualização dos dados, mas ocorrerá através de novas cargas de dados e, uma vez carregado, não mais poderá ser apagado. Diferentemente dos ambientes transacionais OLTP, por intermédio das aplicações, os usuários podem executar: inclusão, alteração, exclusão e consulta dos dados.. Variante no tempo: Sem o elemento tempo, o data warehouse não teria muito sentido. O registro dos históricos das atualizações permite ao usuário conhecer qual era o estado de um determinado dado após uma atualização, uma vez que as novas entradas sempre serão mapeadas em um novo registro, ou seja, os dados contidos referem-se a algum momento de tempo específico. Para isso, os registros, quando carregados, recebem um atributo da unidade de tempo e nunca mais são atualizados. É essa característica que possibilita os analistas de negócios fazerem análises de tendências e visualizarem as variações das informações ao longo do tempo. E a 20

22 maior justificativa para os grandes volumes de dados dos data warehouse é exatamente a necessidade de manter os registros de históricos por tempo a fio. 2.3 ARQUITETURA DO DATA WAREHOUSE Segundo Machado (2008), a arquitetura define o modelo lógico da instalação, independente da estrutura física do data warehouse. A escolha da arquitetura passa por uma decisão gerencial que está relacionada a fatores relativos à infra-estrutura disponível pelo formato da instalação, se central ou distribuída em instalações remotas ou locais. Também se devem levar em consideração os recursos disponíveis para investimento, porte da empresa e a cultura dos usuários, etc. Corey (2001) comenta que há uma infinidade de possibilidades ao se adotarem estratégias para construir um data warehouse, inclusive a de não ter um data warehouse em situações onde os sistemas transacionais OLTP sejam suficientemente fortes para suportar consultas dos usuários finais. Obviamente, são situações onde não existe necessidade de integração com outras fontes de dados Staging Area A Staging area ou Operational Data Store ODS é um armazenamento de dados intermediário, entre os sistemas transacionais e o data warehouse, cuja finalidade é facilitar a integração entre esses dois ambientes. Essa técnica por um lado, exige mais uma etapa no desenvolvimento do projeto e uma demanda maior por espaço em disco; por outro, os ganhos podem ser muito maiores, como por exemplo, o desempenho durante o processo de atualização do DW, também diminui o tempo de concorrência com o ambiente transacional durante a leitura dos dados. Nesta etapa já é possível aplicar a limpeza dos dados e tirar as inconsistências. Do mesmo modo, em ambientes complexos e heterogêneos, a Staging area possibilita integrar todos os tipos de dados em um único formato fazendo com que a 21

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.

SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4. SUMÁRIO 1. INTRODUÇÃO... 2 2. O QUE É DATA WAREHOUSE?... 2 3. O QUE DATA WAREHOUSE NÃO É... 4 4. IMPORTANTE SABER SOBRE DATA WAREHOUSE... 5 4.1 Armazenamento... 5 4.2 Modelagem... 6 4.3 Metadado... 6 4.4

Leia mais

Data Warehouse Processos e Arquitetura

Data Warehouse Processos e Arquitetura Data Warehouse - definições: Coleção de dados orientada a assunto, integrada, não volátil e variável em relação ao tempo, que tem por objetivo dar apoio aos processos de tomada de decisão (Inmon, 1997)

Leia mais

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br

Data Warehousing. Leonardo da Silva Leandro. CIn.ufpe.br Data Warehousing Leonardo da Silva Leandro Agenda Conceito Elementos básicos de um DW Arquitetura do DW Top-Down Bottom-Up Distribuído Modelo de Dados Estrela Snowflake Aplicação Conceito Em português:

Leia mais

Modelo de dados do Data Warehouse

Modelo de dados do Data Warehouse Modelo de dados do Data Warehouse Ricardo Andreatto O modelo de dados tem um papel fundamental para o desenvolvimento interativo do data warehouse. Quando os esforços de desenvolvimentos são baseados em

Leia mais

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence

Resumo dos principais conceitos. Resumo dos principais conceitos. Business Intelligence. Business Intelligence É um conjunto de conceitos e metodologias que, fazem uso de acontecimentos e sistemas e apoiam a tomada de decisões. Utilização de várias fontes de informação para se definir estratégias de competividade

Leia mais

Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹

Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ Data Warehouse. Djenane Cristina Silveira dos Santos¹, Felipe Gomes do Prado¹, José Justino Neto¹, Márcia Taliene Alves de Paiva¹ ¹Ciência da Computação Universidade Federal de Itajubá (UNIFEI) MG Brasil

Leia mais

Sistemas de Apoio à Decisão (SAD) - Senado

Sistemas de Apoio à Decisão (SAD) - Senado Sistemas de Apoio à Decisão (SAD) - Senado DW OLAP BI Ilka Kawashita Material preparado :Prof. Marcio Vitorino Sumário OLAP Data Warehouse (DW/ETL) Modelagem Multidimensional Data Mining BI - Business

Leia mais

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos

Data Warehouses. Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Data Warehouses Alunos: Diego Antônio Cotta Silveira Filipe Augusto Rodrigues Nepomuceno Marcos Bastos Silva Roger Rezende Ribeiro Santos Conceitos Básicos Data Warehouse(DW) Banco de Dados voltado para

Leia mais

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP.

DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. DESENVOLVIMENTO DE PLUG-INS KETTLE PARA GERAÇÃO DE MONDRIAN SCHEMA A PARTIR DE BASES RELACIONAIS, UTILIZANDO A METODOLOGIA AGILE ROLAP. Eduardo Cristovo de Freitas Aguiar (PIBIC/CNPq), André Luís Andrade

Leia mais

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3.

Aplicação A. Aplicação B. Aplicação C. Aplicação D. Aplicação E. Aplicação F. Aplicação A REL 1 REL 2. Aplicação B REL 3. Sumário Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. 1 2 Introdução Aplicações do negócio: constituem as aplicações que dão suporte ao dia a dia do negócio da empresa,

Leia mais

Thiago Locatelli de OLIVEIRA, Thaynara de Assis Machado de JESUS; Fernando José BRAZ Bolsistas CNPq; Orientador IFC Campus Araquari

Thiago Locatelli de OLIVEIRA, Thaynara de Assis Machado de JESUS; Fernando José BRAZ Bolsistas CNPq; Orientador IFC Campus Araquari DESENVOLVIMENTO DE AMBIENTE PARA A GESTÃO DO CONHECIMENTO RELACIONADO AOS DADOS PRODUZIDOS PELO SISTEMA DE GERENCIAMENTO DE TRANSITO DA CIDADE DE JOINVILLE/SC PARTE I Thiago Locatelli de OLIVEIRA, Thaynara

Leia mais

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence

Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence. Business Intelligence Juntamente com o desenvolvimento desses aplicativos surgiram os problemas: & Data Warehouse July Any Rizzo Oswaldo Filho Década de 70: alguns produtos de BI Intensa e exaustiva programação Informação em

Leia mais

IMPLANTAÇÃO DO DW NA ANVISA

IMPLANTAÇÃO DO DW NA ANVISA IMPLANTAÇÃO DO DW NA ANVISA Bruno Nascimento de Ávila 1 Rodrigo Vitorino Moravia 2 Maria Renata Furtado 3 Viviane Rodrigues Silva 4 RESUMO A tecnologia de Business Intelligenge (BI) ou Inteligência de

Leia mais

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence.

Tópicos Avançados Business Intelligence. Banco de Dados Prof. Otacílio José Pereira. Unidade 10 Tópicos Avançados Business Inteligence. Tópicos Avançados Business Intelligence Banco de Dados Prof. Otacílio José Pereira Unidade 10 Tópicos Avançados Business Inteligence Roteiro Introdução Níveis organizacionais na empresa Visão Geral das

Leia mais

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Sumário Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Capítulo 2 - Reputação corporativa e uma nova ordem empresarial 7 Inovação e virtualidade 9 Coopetição 10 Modelos plurais

Leia mais

Curso Data warehouse e Business Intelligence

Curso Data warehouse e Business Intelligence Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

DATA WAREHOUSE. Introdução

DATA WAREHOUSE. Introdução DATA WAREHOUSE Introdução O grande crescimento do ambiente de negócios, médias e grandes empresas armazenam também um alto volume de informações, onde que juntamente com a tecnologia da informação, a correta

Leia mais

DESMISTIFICANDO O CONCEITO DE ETL

DESMISTIFICANDO O CONCEITO DE ETL DESMISTIFICANDO O CONCEITO DE ETL Fábio Silva Gomes da Gama e Abreu- FSMA Resumo Este artigo aborda os conceitos de ETL (Extract, Transform and Load ou Extração, Transformação e Carga) com o objetivo de

Leia mais

Business Intelligence e ferramentas de suporte

Business Intelligence e ferramentas de suporte O modelo apresentado na figura procura enfatizar dois aspectos: o primeiro é sobre os aplicativos que cobrem os sistemas que são executados baseados no conhecimento do negócio; sendo assim, o SCM faz o

Leia mais

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura

Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Curso Data warehouse e Business Intelligence Fundamentos, Metodologia e Arquitetura Apresentação Os projetos de Data Warehouse e Business Intelligence são dos mais interessantes e complexos de desenvolver

Leia mais

srbo@ufpa.br www.ufpa.br/srbo

srbo@ufpa.br www.ufpa.br/srbo CBSI Curso de Bacharelado em Sistemas de Informação BI Prof. Dr. Sandro Ronaldo Bezerra Oliveira srbo@ufpa.br www.ufpa.br/srbo Tópicos Especiais em Sistemas de Informação Faculdade de Computação Instituto

Leia mais

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE

TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE Engenharia de Computação Professor: Rosalvo Ferreira de Oliveira Neto OLPT x OLAP Roteiro OLTP Datawarehouse OLAP Operações OLAP Exemplo com Mondrian e Jpivot

Leia mais

Data Warehouse. Debora Marrach Renata Miwa Tsuruda

Data Warehouse. Debora Marrach Renata Miwa Tsuruda Debora Marrach Renata Miwa Tsuruda Agenda Introdução Contexto corporativo Agenda Introdução Contexto corporativo Introdução O conceito de Data Warehouse surgiu da necessidade de integrar dados corporativos

Leia mais

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO

FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO @ribeirord FUNDAMENTOS DE SISTEMAS DE INFORMAÇÃO Rafael D. Ribeiro, M.Sc,PMP. rafaeldiasribeiro@gmail.com http://www.rafaeldiasribeiro.com.br Lembrando... Aula 4 1 Lembrando... Aula 4 Sistemas de apoio

Leia mais

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago

DATA WAREHOUSE. Rafael Ervin Hass Raphael Laércio Zago DATA WAREHOUSE Rafael Ervin Hass Raphael Laércio Zago Roteiro Introdução Aplicações Arquitetura Características Desenvolvimento Estudo de Caso Conclusão Introdução O conceito de "data warehousing" data

Leia mais

Planejamento Estratégico de TI. Prof.: Fernando Ascani

Planejamento Estratégico de TI. Prof.: Fernando Ascani Planejamento Estratégico de TI Prof.: Fernando Ascani Data Warehouse - Conceitos Hoje em dia uma organização precisa utilizar toda informação disponível para criar e manter vantagem competitiva. Sai na

Leia mais

Modelando um Data Warehouse GRIMALDO OLIVEIRA

Modelando um Data Warehouse GRIMALDO OLIVEIRA Modelando um Data Warehouse GRIMALDO OLIVEIRA Sobre Grimaldo Grimaldo Oliveira grimaldo_lopes@hotmail.com Formação Mestre em Tecnologias Aplicadas a Educação pela Universidade do Estado da Bahia. Especialização

Leia mais

Data Warehousing Visão Geral do Processo

Data Warehousing Visão Geral do Processo Data Warehousing Visão Geral do Processo Organizações continuamente coletam dados, informações e conhecimento em níveis cada vez maiores,, e os armazenam em sistemas informatizados O número de usuários

Leia mais

Banco de Dados - Senado

Banco de Dados - Senado Banco de Dados - Senado Exercícios OLAP - CESPE Material preparado: Prof. Marcio Vitorino OLAP Material preparado: Prof. Marcio Vitorino Soluções MOLAP promovem maior independência de fornecedores de SGBDs

Leia mais

Professor: Disciplina:

Professor: Disciplina: Professor: Curso: Esp. Marcos Morais de Sousa marcosmoraisdesousa@gmail.com Sistemas de informação Disciplina: Introdução a SI Noções de sistemas de informação Turma: 01º semestre Prof. Esp. Marcos Morais

Leia mais

Conversão de Base de Dados Relacional para Dimensional para Business Intelligence Utilizando Banco de Dados Mysql

Conversão de Base de Dados Relacional para Dimensional para Business Intelligence Utilizando Banco de Dados Mysql Conversão de Base de Dados Relacional para Dimensional para Business Intelligence Utilizando Banco de Dados Mysql Carlos H. Cardoso 1, Roberto D Nebo 1, Luis A. da Silva 1 1 Curso de Tecnologia em Banco

Leia mais

Alternativas de Integração de Dados Gerenciando Valor e Qualidade

Alternativas de Integração de Dados Gerenciando Valor e Qualidade Soluções para Possibilitar Relacionamentos Duradouros com Clientes Alternativas de Integração de Dados Gerenciando Valor e Qualidade Utilizando uma abordagem regulada para incorporar serviços de qualidade

Leia mais

Módulo 2. Definindo Soluções OLAP

Módulo 2. Definindo Soluções OLAP Módulo 2. Definindo Soluções OLAP Objetivos Ao finalizar este módulo o participante: Recordará os conceitos básicos de um sistema OLTP com seus exemplos. Compreenderá as características de um Data Warehouse

Leia mais

Chapter 3. Análise de Negócios e Visualização de Dados

Chapter 3. Análise de Negócios e Visualização de Dados Chapter 3 Análise de Negócios e Visualização de Dados Objetivos de Aprendizado Descrever a análise de negócios (BA) e sua importância par as organizações Listar e descrever brevemente os principais métodos

Leia mais

Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados

Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Disciplina: Ferramentaspara Tomadade Decisão Prof.: Fernando Hadad Zaidan Unidade 1.2 1 Conceitos Iniciais Tomada de Decisão, Modelagem

Leia mais

A evolução da tecnologia da informação nos últimos 45 anos

A evolução da tecnologia da informação nos últimos 45 anos A evolução da tecnologia da informação nos últimos 45 anos Denis Alcides Rezende Do processamento de dados a TI Na década de 1960, o tema tecnológico que rondava as organizações era o processamento de

Leia mais

KDD E MINERAÇÃO DE DADOS:

KDD E MINERAÇÃO DE DADOS: KDD E MINERAÇÃO DE DADOS: Revisão em Data Warehouses Prof. Ronaldo R. Goldschmidt ronaldo@de9.ime.eb.br rribeiro@univercidade.br geocities.yahoo.com.br/ronaldo_goldschmidt 1 DATA WAREHOUSES UMA VISÃO GERAL

Leia mais

Prof. Ronaldo R. Goldschmidt. ronaldo.rgold@gmail.com

Prof. Ronaldo R. Goldschmidt. ronaldo.rgold@gmail.com DATA WAREHOUSES UMA INTRODUÇÃO Prof. Ronaldo R. Goldschmidt ronaldo.rgold@gmail.com 1 DATA WAREHOUSES UMA INTRODUÇÃO Considerações Iniciais Conceitos Básicos Modelagem Multidimensional Projeto de Data

Leia mais

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan

Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional II Prof.: Fernando Hadad Zaidan 1 Unidade 4.2 2 1 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI

Leia mais

BUSINESS INTELLIGENCE -Inteligência nos Negócios-

BUSINESS INTELLIGENCE -Inteligência nos Negócios- UNIVERSIDADE SÃO FRANCISCO CENTRO DE CIÊNCIAS JURÍDICAS, HUMANAS E SOCIAIS BUSINESS INTELLIGENCE -Inteligência nos Negócios- Curso: Administração Hab. Sistemas de Informações Disciplina: Gestão de Tecnologia

Leia mais

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES w w w. i d e a l o g i c. c o m. b r INDICE 1.APRESENTAÇÃO 2.ESPECIFICAÇÃO DOS RECURSOS DO SOFTWARE SAXES 2.1. Funcionalidades comuns a outras ferramentas similares 2.2. Funcionalidades próprias do software

Leia mais

Data Warehouses Uma Introdução

Data Warehouses Uma Introdução Data Warehouses Uma Introdução Alex dos Santos Vieira, Renaldy Pereira Sousa, Ronaldo Ribeiro Goldschmidt 1. Motivação e Conceitos Básicos Com o advento da globalização, a competitividade entre as empresas

Leia mais

A importância da. nas Organizações de Saúde

A importância da. nas Organizações de Saúde A importância da Gestão por Informações nas Organizações de Saúde Jorge Antônio Pinheiro Machado Filho Consultor de Negócios www.bmpro.com.br jorge@bmpro.com.br 1. Situação nas Empresas 2. A Importância

Leia mais

Interatividade aliada a Análise de Negócios

Interatividade aliada a Análise de Negócios Interatividade aliada a Análise de Negócios Na era digital, a quase totalidade das organizações necessita da análise de seus negócios de forma ágil e segura - relatórios interativos, análise de gráficos,

Leia mais

IBM Cognos Business Intelligence Scorecarding

IBM Cognos Business Intelligence Scorecarding IBM Cognos Business Intelligence Scorecarding Unindo a estratégia às operações com sucesso Visão Geral O Scorecarding oferece uma abordagem comprovada para comunicar a estratégia de negócios por toda a

Leia mais

DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS

DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS DESENVOLVIMENTO DA SOLUÇÃO DE BUSINESS INTELLIGENCE EM UMA UNIVERSIDADE ESTADUAL, UTILIZANDO A FERRAMENTA EXCEL PARA MANIPULAÇÃO DOS DADOS Flávio Augusto Lacerda de Farias Rogério Tronco Vassoler ** Resumo

Leia mais

Modelagem de Sistemas de Informação

Modelagem de Sistemas de Informação Modelagem de Sistemas de Informação Professora conteudista: Gislaine Stachissini Sumário Modelagem de Sistemas de Informação Unidade I 1 SISTEMAS DE INFORMAÇÃO...1 1.1 Conceitos...2 1.2 Objetivo...3 1.3

Leia mais

PENTAHO. História e Apresentação

PENTAHO. História e Apresentação PÓS-GRADUAÇÃO LATO SENSU Curso: Banco de Dados Disciplina: Laboratório de Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 2 2012 Crédito dos Slides: Clever Junior 2 PENTAHO História

Leia mais

SAD orientado a DADOS

SAD orientado a DADOS Universidade do Contestado Campus Concórdia Curso de Sistemas de Informação Prof.: Maico Petry SAD orientado a DADOS DISCIPLINA: Sistemas de Apoio a Decisão SAD orientado a dados Utilizam grandes repositórios

Leia mais

Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação

Arquiteturas de DW e Abordagens de Implementação. Arquiteturas e Abordagens de Implementação Curso de Dwing TecBD-DI PUC-Rio Prof. Rubens Melo Arquiteturas de DW e Abordagens de Implementação Arquiteturas e Abordagens de Implementação Arquitetura adequada é fundamental Infra-estrutura disponível

Leia mais

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso

5 Estudo de Caso. 5.1. Material selecionado para o estudo de caso 5 Estudo de Caso De modo a ilustrar a estruturação e representação de conteúdos educacionais segundo a proposta apresentada nesta tese, neste capítulo apresentamos um estudo de caso que apresenta, para

Leia mais

Thalita Moraes PPGI Novembro 2007

Thalita Moraes PPGI Novembro 2007 Thalita Moraes PPGI Novembro 2007 A capacidade dos portais corporativos em capturar, organizar e compartilhar informação e conhecimento explícito é interessante especialmente para empresas intensivas

Leia mais

PLANO DE ENSINO PRÉ-REQUISITOS: ENS

PLANO DE ENSINO PRÉ-REQUISITOS: ENS UNIVERSIDADE DO ESTADO DE SANTA CATARINA UDESC CENTRO DE EDUCAÇÃO SUPERIOR DO ALTO VALE DO ITAJAÍ CEAVI PLANO DE ENSINO DEPARTAMENTO: DSI Departamento de Sistema de Informação DISCIPLINA: Data Warehouse

Leia mais

Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados

Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados Fundamentos da inteligência de negócios: gestão da informação e de bancos de dados slide 1 1 Copyright 2011 Pearson Education, Inc. publishing as Prentice Hall Objetivos de estudo Como um banco de dados

Leia mais

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5

Sistemas de Informação James A. O Brien Editora Saraiva Capítulo 5 Para entender bancos de dados, é útil ter em mente que os elementos de dados que os compõem são divididos em níveis hierárquicos. Esses elementos de dados lógicos constituem os conceitos de dados básicos

Leia mais

Uma peça estratégica para o seu negócio

Uma peça estratégica para o seu negócio Uma peça estratégica para o seu negócio INFORMAÇÃO GERAL DA EMPRESA CASO DE SUCESSO EM IMPLEMENTAÇÃO BI PERGUNTAS E RESPOSTAS Fundada em 1997, Habber Tec é uma empresa especializada na oferta de soluções

Leia mais

PROPOSTA DE UMA ARQUITETURA PARA CONSTRUÇÃO DE UM DATA WAREHOUSE PARA GESTÃO DA SAÚDE PÚBLICA DE UM MUNICÍPIO DO VALE DO ITAJAÍ

PROPOSTA DE UMA ARQUITETURA PARA CONSTRUÇÃO DE UM DATA WAREHOUSE PARA GESTÃO DA SAÚDE PÚBLICA DE UM MUNICÍPIO DO VALE DO ITAJAÍ PROPOSTA DE UMA ARQUITETURA PARA CONSTRUÇÃO DE UM DATA WAREHOUSE PARA GESTÃO DA SAÚDE PÚBLICA DE UM MUNICÍPIO DO VALE DO ITAJAÍ Renan Felipe dos Santos Prof. Alexander Roberto Valdameri,Orientador ROTEIRO

Leia mais

Aplicando Técnicas de Business Intelligence sobre dados de desempenho Acadêmico: Um estudo de caso

Aplicando Técnicas de Business Intelligence sobre dados de desempenho Acadêmico: Um estudo de caso Aplicando Técnicas de Business Intelligence sobre dados de desempenho Acadêmico: Um estudo de caso Ana Magela Rodriguez Almeida 1, Sandro da Silva Camargo 1 1 Curso Engenharia de Computação Universidade

Leia mais

Prova INSS RJ - 2007 cargo: Fiscal de Rendas

Prova INSS RJ - 2007 cargo: Fiscal de Rendas Prova INSS RJ - 2007 cargo: Fiscal de Rendas Material de Apoio de Informática - Prof(a) Ana Lucia 53. Uma rede de microcomputadores acessa os recursos da Internet e utiliza o endereço IP 138.159.0.0/16,

Leia mais

01/12/2009 BUSINESS INTELLIGENCE. Agenda. Conceito. Segurança da Informação. Histórico Conceito Diferencial Competitivo Investimento.

01/12/2009 BUSINESS INTELLIGENCE. Agenda. Conceito. Segurança da Informação. Histórico Conceito Diferencial Competitivo Investimento. BUSINESS INTELLIGENCE Agenda BI Histórico Conceito Diferencial Competitivo Investimento Segurança da Objetivo Áreas Conceito O conceito de Business Intelligencenão é recente: Fenícios, persas, egípcios

Leia mais

Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional

Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional Kimball University: As 10 Regras Essenciais para a Modelagem de Dados Dimensional Margy Ross Presidente Kimball Group Maio de 2009, Intelligent Enterprise.com Tradução livre para a língua portuguesa por

Leia mais

Aline França a de Abreu, Ph.D

Aline França a de Abreu, Ph.D Aline França a de Abreu, Ph.D igti.eps.ufsc.br 07 / 10/ 04 Núcleo de estudos Criado em 1997 - UFSC/EPS Equipe multidisciplinar, com aproximadamente 20 integrantes OBJETIVO Gerar uma competência e uma base

Leia mais

Bloco Administrativo

Bloco Administrativo Bloco Administrativo BI Business Intelligence Objetivo O objetivo deste artigo é dar uma visão geral sobre o Módulo Business Intelligence, que se encontra no Bloco Administrativo. Todas informações aqui

Leia mais

Analysis Services. Manual Básico

Analysis Services. Manual Básico Analysis Services Manual Básico Construindo um Banco de Dados OLAP... 2 Criando a origem de dados... 3 Definindo as dimensões... 5 Níveis de dimensão e membros... 8 Construindo o cubo... 11 Tabela de fatos...12

Leia mais

Uma aplicação de Data Warehouse para apoiar negócios

Uma aplicação de Data Warehouse para apoiar negócios Uma aplicação de Data Warehouse para apoiar negócios André Vinicius Gouvêa Monteiro Marcos Paulo Oliveira Pinto Rosa Maria E. Moreira da Costa Universidade do Estado do Rio de Janeiro - UERJ IME - Dept

Leia mais

Aplicação de Data Warehousing no Cadastro de Ficha Limpa do TSE

Aplicação de Data Warehousing no Cadastro de Ficha Limpa do TSE Aplicação de Data Warehousing no Cadastro de Ficha Limpa do TSE Mateus Ferreira Silva, Luís Gustavo Corrêa Lira, Marcelo Fernandes Antunes, Tatiana Escovedo, Rubens N. Melo mateusferreiras@gmail.com, gustavolira@ymail.com,

Leia mais

RESUMO DA SOLUÇÃO CA ERwin Modeling. Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios?

RESUMO DA SOLUÇÃO CA ERwin Modeling. Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios? RESUMO DA SOLUÇÃO CA ERwin Modeling Como eu posso gerenciar a complexidade dos dados e aumentar a agilidade dos negócios? O CA ERwin Modeling fornece uma visão centralizada das principais definições de

Leia mais

Eficiência na manutenção de dados mestres referentes a clientes, fornecedores, materiais e preços

Eficiência na manutenção de dados mestres referentes a clientes, fornecedores, materiais e preços da solução SAP SAP ERP SAP Data Maintenance for ERP by Vistex Objetivos Eficiência na manutenção de dados mestres referentes a clientes, fornecedores, materiais e preços Entregar a manutenção de dados

Leia mais

Business Intelligence

Business Intelligence e-book Senior Business Intelligence 1 Índice 03 05 08 14 17 20 22 Introdução Agilize a tomada de decisão e saia à frente da concorrência Capítulo 1 O que é Business Intelligence? Capítulo 2 Quatro grandes

Leia mais

OpenConsulting. Especializada em Pentaho Open Source Business Intelligence treinamento, consultoria e suporte

OpenConsulting. Especializada em Pentaho Open Source Business Intelligence treinamento, consultoria e suporte OpenConsulting Especializada em Pentaho Open Source Business Intelligence treinamento, consultoria e suporte INFORMATIVO Treinamento Desenvolvendo Aplicações Analíticas com Pentaho Business Analytics Campo

Leia mais

PRIMAVERA PORTFOLIO MANAGEMENT DA ORACLE

PRIMAVERA PORTFOLIO MANAGEMENT DA ORACLE PRIMAVERA PORTFOLIO MANAGEMENT DA ORACLE RECURSOS GERENCIAMENTO DE PORTFÓLIO Entrega valor por meio de uma abordagem de estratégia em primeiro lugar para selecionar o conjunto ideal de investimentos Aproveita

Leia mais

Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar

Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar Projeto de Data Warehousing sobre Informações em Saúde para dar Suporte a Análise de Faturamento Hospitalar Newton Shydeo Brandão Miyoshi Joaquim Cezar Felipe Grupo de Informática Biomédica Departamento

Leia mais

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE

CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE CONSIDERAÇÕES SOBRE ATIVIDADES DE IDENTIFICAÇÃO, LOCALIZAÇÃO E TRATAMENTO DE DADOS NA CONSTRUÇÃO DE UM DATA WAREHOUSE Fabio Favaretto Professor adjunto - Programa de Pós Graduação em Engenharia de Produção

Leia mais

Técnicas de Business Intelligence na Análise de Dados de Produção. Rafael Deitos

Técnicas de Business Intelligence na Análise de Dados de Produção. Rafael Deitos Copyright 2014-15 OSIsoft, LLC. 1 Técnicas de Business Intelligence na Análise de Dados de Produção Presented by Felipe Trevisan Rafael Deitos Copyright 2014-15 OSIsoft, LLC. Sumário Contextualização Itaipu

Leia mais

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining.

Palavras-chave: On-line Analytical Processing, Data Warehouse, Web mining. BUSINESS INTELLIGENCE COM DADOS EXTRAÍDOS DO FACEBOOK UTILIZANDO A SUÍTE PENTAHO Francy H. Silva de Almeida 1 ; Maycon Henrique Trindade 2 ; Everton Castelão Tetila 3 UFGD/FACET Caixa Postal 364, 79.804-970

Leia mais

SISTEMA DE BANCO DE DADOS. Banco e Modelagem de dados

SISTEMA DE BANCO DE DADOS. Banco e Modelagem de dados SISTEMA DE BANCO DE DADOS Banco e Modelagem de dados Sumário Conceitos/Autores chave... 3 1. Introdução... 4 2. Arquiteturas de um Sistema Gerenciador... 5 3. Componentes de um Sistema... 8 4. Vantagens

Leia mais

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados Sistema de Bancos de Dados Conceitos Gerais Sistema Gerenciador de Bancos de Dados # Definições # Motivação # Arquitetura Típica # Vantagens # Desvantagens # Evolução # Classes de Usuários 1 Nível 1 Dados

Leia mais

KÊNIA DIAS ZORZIN IMPLEMENTAÇÃO DE UM DATA WAREHOUSE PARA AUXILIAR NAS TOMADAS DE DECISÕES DO HEMOCENTRO COORDENADOR DE PALMAS

KÊNIA DIAS ZORZIN IMPLEMENTAÇÃO DE UM DATA WAREHOUSE PARA AUXILIAR NAS TOMADAS DE DECISÕES DO HEMOCENTRO COORDENADOR DE PALMAS KÊNIA DIAS ZORZIN IMPLEMENTAÇÃO DE UM DATA WAREHOUSE PARA AUXILIAR NAS TOMADAS DE DECISÕES DO HEMOCENTRO COORDENADOR DE PALMAS Palmas 2006 ii KÊNIA DIAS ZORZIN IMPLEMENTAÇÃO DE UM DATA WAREHOUSE PARA AUXILIAR

Leia mais

Uma Ferramenta Web para BI focada no Gestor de Informação

Uma Ferramenta Web para BI focada no Gestor de Informação Uma Ferramenta Web para BI focada no Gestor de Informação Mikael de Souza Fernandes 1, Gustavo Zanini Kantorski 12 mikael@cpd.ufsm.br, gustavoz@cpd.ufsm.br 1 Curso de Sistemas de Informação, Universidade

Leia mais

Automação do Processo de Instalação de Softwares

Automação do Processo de Instalação de Softwares Automação do Processo de Instalação de Softwares Aislan Nogueira Diogo Avelino João Rafael Azevedo Milene Moreira Companhia Siderúrgica Nacional - CSN RESUMO Este artigo tem como finalidade apresentar

Leia mais

Capítulo 2 Data Warehousing

Capítulo 2 Data Warehousing Capítulo 2 Data Warehousing Objetivos de Aprendizado Compreender as definições e os conceitos básicos dos data warehouses Compreender as arquiteturas de data warehousing Descrever os processos usados no

Leia mais

BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES.

BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES. Encontro de Ensino, Pesquisa e Extensão, Presidente Prudente, 22 a 25 de outubro, 2012 88 BUSINESS INTELLIGENCE, O ELEMENTO CHAVE PARA O SUCESSO DAS ORGANIZAÇÕES. Andrios Robert Silva Pereira, Renato Zanutto

Leia mais

Requisitos de business intelligence para TI: O que todo gerente de TI deve saber sobre as necessidades reais de usuários comerciais para BI

Requisitos de business intelligence para TI: O que todo gerente de TI deve saber sobre as necessidades reais de usuários comerciais para BI Requisitos de business intelligence para TI: O que todo gerente de TI deve saber sobre as necessidades reais de usuários comerciais para BI Janeiro de 2011 p2 Usuários comerciais e organizações precisam

Leia mais

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse

Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse. Fases para um Projeto de Data Warehouse Definição escopo do projeto (departamental, empresarial) Grau de redundância dos dados(ods, data staging) Tipo de usuário alvo (executivos, unidades) Definição do ambiente (relatórios e consultas préestruturadas

Leia mais

DATA WAREHOUSE. Data Warehouse

DATA WAREHOUSE. Data Warehouse DATA WAREHOUSE Data Warehouse Sumário Conceitos / Autores chave... 3 1. Introdução... 5 2. Características de um Data Warehouse... 6 3. Arquitetura de Data Wirehouse... 8 4. Conclusões... 10 Materiais

Leia mais

BUSINESS INTELLIGENCE Prof. Fabio Purcino

BUSINESS INTELLIGENCE Prof. Fabio Purcino Aula Teste BUSINESS INTELLIGENCE Prof. Fabio Purcino Faça o download desta aula Use um leitor de QR Code Definição Business Intelligence é um conjunto de conceitos e técnicas que buscam extrair conhecimento

Leia mais

e-business A IBM definiu e-business como: GLOSSÁRIO

e-business A IBM definiu e-business como: GLOSSÁRIO Através do estudo dos sistemas do tipo ERP, foi possível verificar a natureza integradora, abrangente e operacional desta modalidade de sistema. Contudo, faz-se necessário compreender que estas soluções

Leia mais

Arquitetura física de um Data Warehouse

Arquitetura física de um Data Warehouse É um modo de representar a macroestrutura de, comunicação, processamento e existentes para usuários finais dentro da empresa. Operacionais origem Data / Arquitetura física Serviços Armazenamento de Área

Leia mais

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Bancos de Dados Distribuídos Conceitos e Arquitetura Vantagens das Arquiteturas C/S (em relação

Leia mais

DATA WAREHOUSING. Data Warehousing

DATA WAREHOUSING. Data Warehousing DATA WAREHOUSING Data Warehousing Sumário Conceitos / Autores chave... 3 1. Introdução... 3 2. Modelos de Data Warehouse... 4 3. Processo de Extração, Transformação e Carga de Dados... 6 4. Data Mart versus

Leia mais

TÉCNICAS DE INFORMÁTICA WILLIAN FERREIRA DOS SANTOS

TÉCNICAS DE INFORMÁTICA WILLIAN FERREIRA DOS SANTOS TÉCNICAS DE INFORMÁTICA WILLIAN FERREIRA DOS SANTOS Vimos em nossas aulas anteriores: COMPUTADOR Tipos de computadores Hardware Hardware Processadores (CPU) Memória e armazenamento Dispositivos de E/S

Leia mais

Solução de Business Intelligence para Seguros

Solução de Business Intelligence para Seguros Solução de Business Intelligence para Seguros António Roberto Taveira de Vasconcelos Pinto de Gouveia Mestrado Integrado em Engenharia de Redes e Sistemas Informáticos Departamento de Ciências de Computadores

Leia mais

ARQUITETURA TRADICIONAL

ARQUITETURA TRADICIONAL INTRODUÇÃO Atualmente no universo corporativo, a necessidade constante de gestores de tomar decisões cruciais para os bons negócios das empresas, faz da informação seu bem mais precioso. Nos dias de hoje,

Leia mais

Cenário Atual. ... No coração deste ambiente está a idéia do

Cenário Atual. ... No coração deste ambiente está a idéia do Fundamentos DW Cenário Atual Grande e desordenada coleção de aplicações operacionais, frágeis e muitas vezes não integradas... Dificultando a disponibilização de informações estratégicas para tomada de

Leia mais

ADMINISTRAÇÃO DOS RECURSOS DE DADOS

ADMINISTRAÇÃO DOS RECURSOS DE DADOS Capítulo 7 ADMINISTRAÇÃO DOS RECURSOS DE DADOS 7.1 2003 by Prentice Hall OBJETIVOS Por que as empresas sentem dificuldades para descobrir que tipo de informação precisam ter em seus sistemas de informação?

Leia mais

Business Intelligence: Desafios e Melhores Práticas

Business Intelligence: Desafios e Melhores Práticas Sucesu RJ - IV Congresso de Inteligência Competitiva Business Intelligence: Desafios e Melhores Práticas Eugenio Pedrosa Petrobras Roteiro Arquitetura de BI Evolução da BI nas Empresas Corporate Performance

Leia mais

Para construção dos modelos físicos, será estudado o modelo Relacional como originalmente proposto por Codd.

Para construção dos modelos físicos, será estudado o modelo Relacional como originalmente proposto por Codd. Apresentação Este curso tem como objetivo, oferecer uma noção geral sobre a construção de sistemas de banco de dados. Para isto, é necessário estudar modelos para a construção de projetos lógicos de bancos

Leia mais

Data Mining: Conceitos e Técnicas

Data Mining: Conceitos e Técnicas Data Mining: Conceitos e Técnicas DM, DW e OLAP Data Warehousing e OLAP para Data Mining O que é data warehouse? De data warehousing para data mining Data Warehousing e OLAP para Data Mining Data Warehouse:

Leia mais

Administração de Sistemas de Informação Gerenciais UNIDADE IV: Fundamentos da Inteligência de Negócios: Gestão da Informação e de Banco de Dados Um banco de dados é um conjunto de arquivos relacionados

Leia mais