Tópicos Avançados de Banco de Dados (Business Intelligence) http://www.uniriotec.br/~tanaka/sain tanaka@uniriotec.br Visão Geral de Business Intelligence & Analytics, etc. Licença Creative Commons Atribuição Uso Não Comercial Compartilhamento pela mesma Licença
Evolução dos Sistemas de Informação A.C. (Antes do Computador): pastas e arquivos em papel e outros meios físicos 1950 s: programas e dados armazenados em memória RAM 1960 s: sistemas de arquivos em memória secundária (discos magnéticos) 1970-80 s: sistemas de bancos de dados centralizados e distribuídos em redes 1990 s: WWW, integração de dados, Data Warehouse, Business Intelligence, Sistemas de Informação para a Web 2000's: Web Semântica, integração de informações e de aplicações, governança de dados, Business Intelligence em tempo real 2010's: Business Analytics, Big Data, Data Science, Internet of Things,...
Sistemas de Informação na Pirâmide Organizacional (Sprague & Watson, 1991)
Visão Geral da Arquitetura ERM Enterprise Relationship Management Adaptado de (BI-Business Intelligence, C. Barbieri, 2001) (BI2 Modelagem e Qualidade, C. Barbieri, 2011) Carlos Barbieri http://blogdobarbi.blogspot.com.br/ KMS BSC OLAP Business Intelligence & Analyitics Alta Gerência Stakeholders KDD Governança Corporativa de Processos e Dados CI BAM CRM EAI Enteprise Application Integration PRM B2C B2B Clientes ERP Outros OLTP Dados Não Estruturados e Externos Parceiros Fornecedores Reguladores
Arquitetura ERM BSC BI, CI, KMS, BAM,... CRM, PRM,... B2B, B2C, ERP, outros sistemas OLTP,...
Enterprise Relationship Management (ERM) ERM - Enterprise Relationship Management is basically a business strategy for value creation that is not based on cost containment, but rather on the leveraging of network-enabled processes and activities to transform the relationships between the organization and all its internal and external constituencies in order to maximize current and future opportunities. Galbreath, 2002 http://en.wikipedia.org/wiki/enterprise_relationship_management
Balanced scorecard (BSC) Balanced Scorecard é uma metodologia de medição e gestão de desempenho desenvolvida pelos professores da Harvard Business School Robert Kaplan e David Norton, em 1992. Os métodos usados na gestão do negócio, dos serviços e da infraestrutura baseiam-se normalmente em metodologias consagradas que podem utilizar a TI (tecnologia da informação) e os softwares de ERP como soluções de apoio, relacionando-a à gerência de serviços e garantia de resultados do negócio. Os passos dessas metodologias incluem: definição da estratégia empresarial, gerência do negócio, gerência de serviços e gestão da qualidade; passos estes implementados através de indicadores de desempenho. http://pt.wikipedia.org/wiki/balanced_scorecard
Perspectivas do Balanced Scorecard http://www.balancedscorecard.org/
Business Activity Monitoring (BAM) Business activity monitoring (BAM) is software that aids in monitoring of business activities, as those activities are implemented in computer systems. The term was originally coined by analysts at Gartner, Inc. and refers to the aggregation, analysis, and presentation of real-time information about activities inside organizations and involving customers and partners. A business activity can either be a business process that is orchestrated by business process management (BPM) software, or a business process that is a series of activities spanning multiple systems and applications. BAM is an enterprise solution primarily intended to provide a real-time summary of business activities to operations managers and upper management. http://en.wikipedia.org/wiki/business_activity_monitoring
Knowledge Management System (KMS) Os Sistemas de Gerenciamento de Conhecimento (Knowledge Management Systems) são soluções de tecnologia da informação que amparam as iniciativas empresariais típicas de Gestão do Conhecimento, como identificação, criação, apresentação e distribuição do conhecimento dentro do contexto corporativo. A Gestão do Conhecimento, do inglês KM - Knowledge Management, é uma disciplina que tem suscitado cada vez mais atenção nas últimas décadas, tendo originado inúmeros trabalhos de investigação e investimentos cada vez mais significativos por parte das organizações que reconhecem a sua crescente importância. Utilizando a gestão do conhecimento a empresa diminui os gastos em produtos e começa a investir em capital intelectual, o que tem um melhor custo-benefício, pois o maior capital que a empresa possui é o conhecimento de seus colaboradores. Os colaboradores quando são ouvidos e podem dividir suas opiniões, se sentem valorizados e trabalham com paixão. Dessa forma o trabalho flui com maior eficiência, qualidade e dedicação. http://pt.wikipedia.org/wiki/gestão_do_conhecimento http://pt.wikipedia.org/wiki/sistema_de_gerenciamento_do_conhecimento
Competitive intelligence (CI) Competitive intelligence is the action of defining, gathering, analyzing, and distributing intelligence about products, customers, competitors, and any aspect of the environment needed to support executives and managers making strategic decisions for an organization. Competitive intelligence essentially means understanding and learning what's happening in the world outside your business so you can be as competitive as possible. It means learning as much as possible as soon as possible about your industry in general, your competitors, or even your county's particular zoning rules. In short, it empowers you to anticipate and face challenges head on. http://en.wikipedia.org/wiki/competitive_intelligence
Extração de conhecimento (KDD) Extração de conhecimento (também conhecido como processo KDD, do inglês knowledge discovery in databases) é um processo de extração de informações de base de dados, que cria relações de interesse que não são observadas pelo especialista no assunto, bem como auxilia a validação de conhecimento extraído. Prospecção de dados (português europeu) ou mineração de dados (português brasileiro) (também conhecida pelo termo inglês data mining) é o processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou sequências temporais, para detectar relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados. http://pt.wikipedia.org/wiki/extração_de_conhecimento http://pt.wikipedia.org/wiki/mineração_de_dados
EAI Enterprise Aplication Integration EAI (do inglês Enterprise Application Integration) é uma referência aos meios computacionais e aos princípios de arquitetura de sistemas utilizados no processo de Integração de Aplicações Corporativas. Os procedimentos e ferramentas de EAI viabilizam a interação entre sistemas corporativos heterogêneos por meio da utilização de serviços. Os pontos básicos de uma arquitetura de EAI são: Integração de aplicações, sistemas de informação e processos de negócio de uma empresa. Integração com aplicações internas e externas da empresa que servem de suporte ao processo de negócio da mesma, como por exemplo processo financeiro, recursos humanos, dentre outros. Conjunto de ferramentas de análise e monitoração de processos em tempo real. http://pt.wikipedia.org/wiki/eai http://en.wikipedia.org/wiki/enterprise_application_integration http://en.wikipedia.org/wiki/comparison_of_business_integration_software
CRM Customer Relationship Management Customer Relationship Management (CRM) é uma expressão em inglês que pode ser traduzida para a língua portuguesa como Gestão de Relacionamento com o Cliente. Foi criada para definir toda uma classe de ferramentas que automatizam as funções de contato com o cliente. Essas ferramentas compreendem sistemas informatizados e fundamentalmente uma mudança de atitude corporativa, que objetiva ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-relacionando de forma inteligente, informações sobre suas atividades e interações com a empresa. http://pt.wikipedia.org/wiki/customer_relationship_management
PRM Partner Relationship Management PRM (Partner Relationship Management) ou Gerenciamento de Relacionamentos com parceiros é um sistema de gerenciamento de canais que visa construir relacionamentos de confiança e melhorias estratégicas entre a indústria e o canal de vendas indireto para que sejam construídos relacionamentos de longo prazo. Uma comunicação limpa e rápida proporcionada através de um conjunto de ferramentas potencializados pela Internet. http://pt.wikipedia.org/wiki/partner_relationship_management
Business Intelligence Hans Peter Luhn (1958): "A Business Intelligence System". IBM Journal Habilidade de apreender os inter-relacionamentos de fatos apresentado de forma a guiar ações na direção de um objetivo desejado. Howard Dresner (1989) Gartner Group Um termo guarda-chuva para descrever conceitos e métodos para melhorar tomadas de decisão de negócios usando sistemas de apoio baseados em fatos. Sun Tsu (Século V A.C). A Arte da Guerra. Para obter sucesso na guerra, deve-se ter total conhecimento de suas próprias virtudes e fraquezas, assim como total conhecimento das principais virtudes e fraquezas de seus inimigos. A falta de um destes resulta na derrota. Uma certa corrente de pensadores estabelece um paralelo entre os desafios de negócios e de guerra, especificamente:» Coletando dados;» Enxergando padrões e significado nos dados (gerando informação);» Respondendo a informação resultante.
Business Intelligence Inteligência Aplicada ao Negócio Business intelligence (BI) é um conjunto de teorias, metodologias, processos, arquiteturas e tecnologias que transformam dados primários em informações significativas e úteis para o propósito do negócio. http://en.wikipedia.org/wiki/business_intelligence As tecnologias de BI permitem o cruzamento de informações e suportam a análise dos indicadores de desempenho de um negócio, para tomada de decisão. BI vs BA Monitoring and tracking metrics/kpis in the form of reports/dashboards is Business Intelligence, but making meaningful sense of these metrics, co-relating them with other factors that influence them, understanding the trends and using statistical algorithms to predict outcomes is where the bang for the buck is and that is Business Analytics http://smartdatacollective.com/
BI vs BA BI Traditional: lida com dados armazenados sobre o passado e presente, para Relatórios e dashboards padronizados Relatórios Ad hoc sobre o desempenho atual da organização Consultas OLAP (Drill Down e Roll Up) Análise de Cubos OLAP Slice and dice Alertas Vs. Business Analytics: lida com os dados armazenados do presente para predizer o futuro, usando Análise estatística Forecasting Modelagem preditiva Otimização
DSS Decision Support Systems Apoio à Decisão Produção e distribuição de INFORMAÇÃO ÚTIL para analistas do conhecimento, gerentes e diretores. Informação útil pressupõe» Agilidade» Flexibilidade» Precisão DSS podem variar desde sistemas desktop de um único usuário a sistemas empresariais multi-usuários ligados a grandes DW corporativos. What is a DSS? (D.J. Power, 1998) http://www.dssresources.com/papers/whatisadss/index.html A brief History of DSS (D.J. Power, 2007) http://www.dssresources.com/history/dsshistory.html
Ambiente de Sistemas de Aplicação Operacionais Dão suporte às funções associadas à execução do negócio da empresa: ERP, SCM B2C, B2B Sistemas transacionais legados etc. Informacionais Dão suporte às funções associadas à concepção do negócio da empresa DSS, EIS DW, CRM, PRM Ferramentas OLAP Ferramentas de Data Mining etc.
Características OLTP x OLAP Dados operacionais (transacionais) Dados informacionais (analíticos) Conteúdo Valores correntes, detalhados Valores históricos, sumarizados Organização dos dados Natureza dos dados Por aplicação, sistema de informação, disponível para poucos usuários; abrangência restrita Dinâmica, sujeita a atualizações freqüentes Por assunto, negócio; abrangência ampla. Estática, atualização apenas com refresh Estrutura de dados Uso Desempenho Relacional, própria para processamento transacional Estruturado, repetitivo, solução para requisitos conhecidos Otimizado para tempo de resposta (máximo 2 a 3 segundos); inviável para análises complexas. Dimensional, própria para processamento analítico (segundo Kimball) Desestruturado, consultas sob diferentes perspectivas, permite descoberta de conhecimento. Otimizado para análises complexas, com tempos de respostas viáveis.
Suporte à Decisão Tradicional Ambiente Operacional Analista do negócio Dados não estão adequados para suporte à decisão Sistemas de suporte à decisão desenvolvidos ad-hoc Analista do Negócio vira Programador Longo tempo de espera
Por que Data Warehousing? Aplicação SD Ferramenta OLAP Aplicação EIS DW Integrar dados de múltiplas fontes Facilitar o processo de análise sem impacto para o ambiente de dados operacionais Obter informação de qualidade Atender diferentes tipos de usuários finais Flexibilidade e agilidade para atender novas análises BDs Operacionais
Data Warehousing - Definições Processos, ferramentas e recursos para gerenciar e disponibilizar informações de negócios precisas e inteligíveis para que indivíduos possam tomar decisões efetivas. Um ambiente para adequadamente organizar, gerenciar e disponibilizar informações oriundas de fontes diversas, fornecendo uma visão única de parte ou de todo o negócio com o objetivo de dar suporte a operações analíticas. Processamento de informações consolidadas e históricas para análise e suporte à decisão.
Definição de Data Warehouse A Data Warehouse is a subject-oriented, integrated, time-variant, non-volatile collection of data in support of management s decision-making process. (W. Imnon)
Data Warehouse Collection of Data Um Data Warehouse nada mais é do que um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de consulta e não para processamento de transações. Em geral, um Data Warehouse requer a consolidação de outros recursos de dados, além dos armazenados em banco de dados relacionais, como informações provenientes de planilhas eletrônicas, documentos textuais, etc. [INMON, 1999].
Data Warehouse Subject-Oriented Organizado em torno de assuntos como Clientes, Produtos, Vendas. Focado na modelagem e análise de dados para tomadores de decisão, não em operações diárias ou processamento de transações Provê uma visão simples e concisa em torno de questões sobre um assunto particular, excluindo dados que não são úteis no processo de tomada de decisão.
Data Warehouse Integrated Construído integrando fontes de dados múltiplas e heterogêneas. bancos de dados relacionais, arquivos comuns, registros de transações on line. Limpeza de dados e técnicas de integração de dados são aplicadas. Assegura consistência em convenções de nomes, estruturas de codificação, medidas de atributos, etc., entre diferentes fontes de dados.» Por exemplo, Preço de Hotel: moeda, taxas, inclui café da manhã, etc. Quando os dados são carregados no Data Warehouse, são convertidos para o padrão adotado.
Data Warehouse Time Variant O horizonte de tempo para o Data Warehouse é significativamente mais longo do que para as aplicações operacionais. Bases de dados operacionais: dados de valor corrente. Dados de data warehouse: provêem informação para uma perspectiva histórica (por exemplo, 5-10 anos) Toda estrutura chave no Data Warehouse contém um elemento de tempo, explicita ou implicitamente mas a chave para dados operacionais pode não conter elemento temporal.
Data Warehouse Non-Volatile Um armazenamento de dados transformados fisicamente separado do ambiente operacional Atualização operacional de dados não ocorre no ambiente de Data Warehouse. Não requer processamento de transações, restauração e mecanismos de controle de concorrência. Requer somente duas operações de acesso aos dados:» carga e acesso para consulta.
Data Warehouse Definições alternativas Um banco de dados destinado a sistemas de suporte à decisão, cujos dados são armazenados em estruturas lógicas dimensionais, possibilitando o seu processamento analítico por ferramentas OLAP e de mineração de dados. (segundo Kimball) Um banco de dados para suporte a decisão mantido separadamente do banco de dados operacional da organização.
Arquitetura Genérica de DW (visão acadêmica) Meta Dados FONTES DE DADOS FERRAMENTAS DE CONSULTA OLAP BDs Operacionais Extração Transformação Carga Atualização Data Warehouse Análise Data Mining Relatórios Fontes Externas Data Marts OLAP Chaudhri&Dayal, SIGMOD RECORD 1997
Arquitetura de DW segundo Inmon Corporate Information Factory de Inmon Versão 2013 http://www.inmoncif.com/library/cif/
Arquitetura de DW segundo Kimball (2002) Ralph Kimball, Margy Ross: The Data Warehouse Toolkit, 2 a Edição, Wiley, 2002
Data WareHouse (Kimball 2013) http://www.kimballgroup.com/data-warehouse-and-business-intelligence-resources/kimball-core-concepts/ http://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/technical-dw-bi-system-architecture/
Arquitetura de BI com Pentaho http://www.pentaho.com/ http://community.pentaho.com/ it4biz é uma partner brasileira do Pentaho, liderada pelo Caio Moreno (Professor Coruja)
Arquitetura de BI com Pentaho http://www.pentaho.com/ http://community.pentaho.com/
Arquitetura de BI com Pentaho http://www.capgemini.com/blog/capping-it-off/2012/07/bi-30-the-journey-to-business-intelligence-what-does-it-mean
Arquitetura de BI/DW Inmon X Kimball Coming up soon Comparações, discordâncias, concordâncias Convergência de abordagens Novos rounds Novas Arquiteturas BI/DW 2.0? BI 3.0?......