Formação Analista de BI Microsoft Aula 1

Transcrição

1 Formação Analista de BI Microsoft Aula 1

2 Apresentação Cetax É uma consultora de Business Intelligence e Data Warehousing que atua desde 2000, guiando as empresas à transformar seus dados em valiosas informações que transforam o seus negócios. Nossa empresa é constituída pela CETAX Consultoria em Informática, e pela Tutor Pro Treinamentos. Somos referência no segmento de tecnologia, especialistas na área Business Intelligence e Data Warehousing, onde atuamos há mais de 15 anos. 01

3 Apresentação do Instrutor Com mais de 20 anos de experiência em TI, sendo 15 exclusivamente com Business Intelligence e Data Warehouse, Marco Garcia é certificado pelo Kimball University, nos EUA, onde obteve aula pessoalmente com Ralph Kimball um dos principais gurus do Data Warehouse. Também realizou treinamentos no TDWI maior entidade de pesquisa de Data Warehouses do mundo, além de vivência profissional em diversos projetos, passando por bancos, financeiras, construtoras, varejo, marketing e outros. 02

4 Objetivos do curso Capacitar os profissionais para atuar com projetos de Business Intelligence Microsoft Demonstrar as principais técnicas desses projetos Demonstrar as principais ferramentas BI Microsoft 03

5 MÓDULO 1 BUSINESS INTELLIGENCE & DATA WAREHOUSE Conceitos e fundamentos

6 What is intelligence? The ability to learn or understand or to deal with new or trying situations :reason; also:the skilled use of reason\ the ability to apply knowledge to manipulate one's environment or to think abstractly as measured by objective criteria (as tests). 04

7 O que é Business Intelligence? A capacidade de aprender, compreender ou para lidar com situações novas ou difíceis: a razão; também: o uso habilidoso da razão \ a capacidade de aplicar o conhecimento para manipular o próprio ambiente ou para pensar abstratamente medido por critérios objetivos (como testes). 05

8 Evolução do BI 80,s EIS 90,s DW/ BI 70,s DSS DSS - Decision Support Systems EIS - Executive Information Systems DW / BI - Data Warehouses & Business Intelligence Systems 06

9 DSS Decision Suport Systems O conceito vem dos anos 60, mas com inicio prático nos anos 70 DSS eram utilizados para apoiar a tomada de decisões. Mas possuíam capacidades muito limitadas. Tinham baixa capacidade de customização 07

10 EIS Executive Information Systems EIS são sistemas utilizados para apoiar a gerência a tomar decisões; Alguns autores consideram os EIS o conjunto de DSSs da empresa, com um pouco mais de flexibilidade; Alguns sistemas tinham geradores de relatórios que eram considerados EIS; Podemos considerar esses sistemas com precursores dos sistemas de Business Intelligence Atuais. 08

11 BI Business Intelligence Os sistemas de BI que utilizamos hoje são derivações dos sistemas anteriores; Têm maior capacidade de customização; Montagem dos relatórios e gráficos pelo usuário final; Ferramentas no suporte de todo o ciclo da informação; Diversas ferramentas para utilizações específicas. 09

12 O que é Business Intelligence Business Intelligence pode ser definido como um conjunto de técnicas utilizadas para extrair inteligência a partir de dados sobre um determinado negócio. Business Intelligence é o processo de transformar dados em informação e através da descoberta transformar informação em conhecimento. Gartner Group. 10

13 Propósito do Business Intelligence O objetivo é converter o volume de dados em informações relevantes ao negócio, através de relatórios analíticos. Decisão Conhecimento Valor Informação Dados Volume 11

14 Para quais processos de negócios ADMINISTRATIVO/ FINANCEIRO Compras. Pagamentos. Recebimentos. Fluxo de Caixa. Inadimplência. Controles de Custos. Fechamentos. Contabilidade. Estoques movimentações de materiais. Logística e distribuição. VENDAS E FATURAMENTO Volumes de Vendas. Análises comparativas. Desempenho de lojas ou filiais. Rankings ( melhores ou piores ). Lucratividade das vendas. Alocação de Receitas. PROCESSOS DIVERSOS Pesquisas de Dados. Análises comportamentais e de ambiente. Mineração de dados ( descoberta de padrões ). Estudo para novos produtos. Oportunidades e contenção de perdas. Monitoramentos Operacionais. 12

15 Onde emprega-se BI Estratégia Dashboards e KPI BPMs / CPMs / EPMs Análises Táticas Budgeting e Planning What-If e Simulações Dashboards e KPIs Mineração de Dados Query Report Análises Operacionais Query Report Reports Fixos ( pdf ) Páginas de Intranet Reports através de s Telas para interação com os dados. 13

16 Tipos de aplicativos de BI e consumo de dados Tipo da Aplicação Modo de Consumo Tipo da Análise Queries, Relatórios e Mining Acesso Ad-Hoc Estratégicas Relatórios Padronizados Aplicações Analíticas Acesso Push Buttom Dashboards e Scorecards BI Operacional Relatórios Operacionais Táticas 14

17 Exercício Módulo 1 Quais Sistemas podemos considerar precursores dos Sistemas de BI? O que significa DSS? O que significa EIS? Cite uma definição de Business Intelligence : Cite 3 benefícios do uso de BI 16

18 MÓDULO 2 INTRODUÇÃO AO DATA WAREHOUSE Conceitos e fundamentos

19 Qual a melhor estratégia para montar um sistema de BI? A melhor estratégia é a montagem de um Data Warehouse para a organização dos dados. Vantagens da montagem do DW : Criação de um ambiente para integração e tratamento dos dados. Ambiente com objetivo único. Separação dos sistemas legados (transacionais). Base de dados Otimizada para consultas. Suporte de ferramentas específicas para esse fim.

20 O que é Data Warehouse Data Warehouse é um processo que extrai os dados de sistemas operacionais e transacionais, limpando, transformando em informações organizadas permitindo analises dessas informações. Seus principais autores são : Ralph Kimball e Bill Inmon

21 O que o Data Warehouse não é? Um software Um modelo de dados Uma técnica isolada Uma base de dados Um produto Uma linguagem de programação Uma cópia do sistema transacional

22 Objetivos de um Data Warehouse Tornar a informação facilmente acessível. Apresentar a informação de maneira consistente e única. Centralizar e controlar o acesso as informações corporativas. Permitir as áreas de negócio avaliar suas informações e tomar decisões mais precisas. Padronizar a informação de diversas fontes.

23 Características de um Data Warehouse Orientado por Assunto ( Subject Oriented ) Integrado ( Integrated ) Não Volátil ( Nonvolatile ) Orientado por Tempo ( Time Variant )

24 Data Warehouse Orientado por assunto Diferentemente dos Sistemas Legados que tem seus dados orientados por funcionalidades, os Data Warehouses são orientados por assuntos, considerando uma seguradora : Sistema Operacional Data Warehouse Vida Clientes Saúde Produtos Odontológico Contratos Previdência Apólices

25 Data Warehouse - Integrado Os dados carregados no Data Warehouse são extraídos e carregados no Data Warehouse, padronizando as informações. O dado pode ter diversas fontes o Data Warehouse integra essas informações fornecendo uma visão única e corporativa.

26 Data Warehouse Não volátil Os dados carregados dos Sistemas Operacionais, sofrem modificações durante todo o dia: Inserções de Novos Clientes Exclusão de Clientes Alteração no Cadastro dos Clientes

27 Data Warehouse Não volátil No Data Warehouse, os dados são carregados em janelas de tempo previamente determinadas, 1 vez por dia, todas as madrugadas, etc. Atualizar Cargas de Dados Inserir Apagar Data Warehouse Sistemas Operacionais

28 Data Warehouse Orientado por tempo Os sistemas operacionais sempre possuem as informações correntes no momento da leitura. Os Data Warehouses possuem posições históricas, onde é possível comparar os períodos de tempo. As cargas de dados são feitas em intervalos regulares e pré-definidos, sendo as informações organizadas por uma unidade de tempo. Por exemplo: Diário, Semanal ou Mensal

29 Sistemas Operacionais X Sistemas de Informação Gerenciais Operacional Informações Conteúdo dos Dados Valor Corrente Transformados, Sumarizados Estrutura de Dados Otimizados para transações Otimizados para Queries Frequência de Acesso alto Médio para Baixo Tipo de Acesso Leitura, Alteração e Deleção Leitura Uso do Sistema Previsíveis e repetitivos Ad Hoc, Randômico, Heurístico Tempo de Reposta Milisegundos Alguns segundos até minutos Quantidade de Usuários Grande Grupo Pequeno Grupo

30 OLTP x OLAP OLTP Estruturas de dados mais Complexas, (3NF) Data Warehouse Estruturas de dados Multidimensionais Poucos Índices Muitos Muitos Joins Alguns Normalizados Dados Desnormalizados Raramente Dados Derivados Agregações Comum

31 O que é OLAP? ROLAP/MOLAP/HIOLAP OLAP = On-Line Analytical Processing. Podem ser : ROLAP ( Relacional OLAP ). São consideradas ROLAP quando aplicadas a banco de dados relacional, como Oracle, SqlServer, DB2, MySql, entre outros. A linguagem principal é o SQL

32 O que é OLAP? ROLAP/MOLAP/HOLAP MOLAP ( Multidimensional OLAP ). São consideradas MOLAP quando aplicadas a banco de dados multidimensionais, como Analysis Services (SSAS), Hyperion, Cognos PowerPlay/TM1, Oracle OLAP, entre outros. A linguagem principal é o MDX ( MultiDimensional extensions ). O armazenamento dos dados é em cubo.

33 O que é OLAP? HOLAP ( Híbrido OLAP ). As análises podem ser feitas utilizando ROLAP e MOLAP. Com linguagem SQL e MDX. Pode armazenar dados detalhados no Relacional e agregados no Multidimensional.

34 Camada semântica ou metadados Área intermediária entre os bancos de dados e os usuários finais. DW TB_CLIENTES ( TABELA ) CD_CLIENTE ( COLUNAS ) NM_CLIENTE DS_ENDEREÇO Clientes Código do Cliente Nome do Cliente Endereço do Cliente

35 Data Warehouse x Data Mart Data Warehouse Data Mart Visão Abrangente Empresa Feito para a empresa Regras de negócios corporativas Visão Localizada Departamento ou Processo de Negócio Público alvo focado Regras de negócios específicas

36 Exercícios Módulo 2 1. O que é um Data Warehouse? 2. Quais seus 2 principais autores? 3. Cite as 4 Características de um Data Warehouse : 4.O que é OLAP e OLTP? 5.O que é Data Mart?

37 MÓDULO 3 ESTRUTURA E COMPONENTES DO DATA WAREHOUSE

38 Componentes do Data Warehouse

39 Sistema de fontes ou Sistemas legados Os sistemas legados são aqueles que servem como base das informações do Data Warehouse. São responsáveis pela entrada de dados, aplicação das regras de negócio e suporte a legislação. Pode ser uma fonte único ERP ou CRM, ou informações de diversos sistemas. Pode-se preparar uma interface de saída dos dados para o DW ou mesmo acessar diretamente as tabelas internas de dados.

40 Staging Area A Staging Area também conhecida como Back Room, é responsável pelo recebimento dos dados, limpeza e tratamento inicial dos dados. Comparando a um restaurante a Staging Area pode ser considerada a cozinha, onde o alimento é preparado. Os dados recebidos na Staging podem ser armazenados em arquivos texto, XML ou banco de dados. Sendo a última opção mais usual. Assim como o restaurante, os clientes não tem acesso a ela. Pode ser classificada como Persistente ou Transiente. A Staging Area é propriedade do Time de ETL

41 Data Apresentation Na camada de apresentação os dados estão limpos e tratados de acordo com as regras definidas. Nessa área os dados podem ser acessados pelos usuários ou por outros sistemas. Comparando a um restaurante, essa área é a parte das mesas onde o cliente almoça. É altamente aconselhável que somente os processos de ETL escrevam nessa camada. Geralmente é modelada com técnicas de Modelagem Dimensional. Alguns modelos possuem dados sumarizados e outros nível atômico.

42 Data Access Tools Podem ser utilizadas diversos tipos de ferramentas para acessar os dados. As ferramentas de query report são as mais comuns. Outras ferramentas de Budgeting, Forecasting ou Data Mining também podem ser utilizadas. Essas ferramentas somente consultam os dados não podendo alterá-los. 90% dos usuários podem ser considerados usuários de informação, ou seja, nunca vão construir uma consulta complexa

43 Granularidade Granularidade, vem da palavra Grão (Grain), define qual vai ser o nível mínimo que a informação será armazenada em um modelo/tabela. Podemos analisar uma compra em um supermercado, o nível máximo de detalhe é o registro da compra de um cliente, produto a produto. Para uma visão analítica pode-se analisar o total de compras por produto ou por cliente, tendo assim uma granularidade diferente.

44 Exercício módulo 3 Quais são as 4 principais Estruturas de um data Warehouse? O que é a Staging Area? O que é a Data Presentation Area? O que podemos definir como Granularidade?

45 Bancos de Dados Responsáveis pelo armazenamento dos dados. Performance das consultas. Gerenciamento do espaço consumido.

46 Ferramenta de Integração (ETL) Responsáveis pela integração entre os dados. Performance das cargas.

47 Plataforma de BI Responsável pela interação entre os usuários e o data warehouse.