Tópicos Avançados Business Intelligence Banco de Dados Prof. Otacílio José Pereira Unidade 10 Tópicos Avançados Business Inteligence Roteiro Introdução Níveis organizacionais na empresa Visão Geral das Tecnologias de BI Dimensões, Métricas e Cubos Operações sobre os cubos Datamining 1
Introdução Características das Bases de Dados hoje Grande volume de dados Diversas Fontes da Empresa Necessidade de análises além dos recursos do SQL Business Intelligence... Organização Hierárquica Um dos principais elementos ao especificar a hierarquia de uma empresa é o Organograma, que estabelece as funções e as relações de liderança Diretor Executivo Diretor Comercial Diretor de Operações Diretor Administrativo Gerência de Vendas Gerência de Marketing Gerente de Linha de Produção Gerente de Projetos Gerente de Estoque Gerente de TI Gerente Adm Financeiro Gerente de RH 2
Níveis Organizacionais É comum dividirmos os níveis do organograma em Nível estratégico Nível tático Nível operacional Nível Estratégico Envolve a alta direção da organização São responsáveis pela decisões como plano de crescimento, plano de mudanças mais significativas, Planejamento estratégico Estabelecimento de metas e controle de resultados da organização como um todo 3
Nível Tático São os gerentes São responsáveis por levar as decisões estratégicas para os níveis mais baixos da instituição. Passam e acompanham as metas da equipe em sua divisão Nível Operacional São os funcionários da produção e colaboradores em geral São os responsável diretamente pela execução das atividades do dia a dia Por exemplo: Montador Analista de RH Secretária Operacional Níveis Tático Estratégico Funções Alta Direção Média Gerência Produção Colaboradores Em Geral 4
Visão Geral das Tecnologia de BI Soluções para permitir a análise de dados Para o nível operacional e gerencial, uma primeira forma de análise são os relatórios gerenciais, em geral realizando tarefas de totalização, média, e outras funções agregadas Para o nível estratégico, soluções de análise (OLAP) permitem visões sumarizadas e uma navegação por informações integradas do negócio O Data Mining é também uma tecnologia de análise que permite encontrar um comportamento dentro de um conjunto de dados Visão Geral das Tecnologia de BI Acompanhe via figura no quadro - No nível operacional, os usuários inserem os dados em uma base OLTP - O nível gerencial emite relatórios gerenciais a partir desta base - Além disso, esta base serve de fonte para um processo de ETL (Extract Transfom Load) - O processo de ETL recupera dados de diferentes fontes e trata a qualidade dos dados e em geral produz um banco intermediário para a carga OLAP. Este banco em geral é chamado de ODS ou Staging - A partir do banco Staging, os dados alimentam um banco OLAP, formando o data warehouse (com seus data marts) da empresa. - A partir deste Data Warehouse, ferramentas de consulta e análise (Reporting) podem prover dados para o nível estratégico da empresa. 5
Visão Geral das Tecnologia de BI Figura Terminologia OLTP : Online Transactional Processing Bases voltadas para grande volume de alterações (transações). Se utilizam da normalização para propiciar uma performance na modificação de dados. Suprem os sistemas de nível operacional. OLAP : Online Analitical Processing Bases voltadas para consultas. Utilizam-se de redundância (desnormalização) para atingir uma boa performance de consulta sobre um grande volume de dados Data Warehouse Um grande armazém de dados. Abriga dados de diversas fontes da empresa e com caráter histórico. Data Mart Em geral, uma parte do data warehouse com ênfase em alguma unidade organizacional (RH, Produção,...) Data Mining Conjunto de técnicas que permitem identificar comportamento sobre os dados aplicando conhecimento de áreas como Estatística e Inteligência Artificial 6
Aspectos de Modelagem A modelagem de uma solução de BI parte de alguns elementos como: Quais os fatos que merecem atenção para a análise? Por exemplo, um fato pode ser As vendas realizadas pela internet, Os custos de produção da empresa, As despesas e políticas relacionadas ao RH Quais informações são importantes para contextualizar os fatos? As vendas podem ser analisadas conforme Período em que ocorreram, em que região, de quais categorias de produtos e assim por diante Os custos podem ser analisados por setor da empresa (centro de custo), por tipo de consumo (natureza do custo) e outros. Aspectos de Modelagem A partir deste racioncínio de encontrar os fatos e os contextos em que eles devem ser analisados, surgem os elementos a seguir: Tabelas Fatos tabelas que compõem medidas sobre os fatos. Exemplo: tabelas VendasInternet(TotalVenda, TotalDesconto, TotalImposto) Tabelas Dimensões Tabelas que permitem contextualizar os dados Exemplo: Tempo(Ano, Trimestre, Mês, Semana, Dia) e Geografia(Pais, Estado, Cidade) Cubo É o elemento básico da base OLAP, nele estão por exemplo os grupos de medidas (relacionados com os fatos) e as dimensões (relacionadas com as tabelas dimensões) Grupos de Medidas e Medidas Um grupo de medidas armazena na base OLAP as medidas relacionadas a determinado fato. Por exemplo, o grupo de medidas VendasInternet tem as medidas TotalVendas, TotalDesconto e TotalImpostos Perceba que existe forte relação entre as tabelas fatos e os grupos de medidas no cubo. As tabelas fatos (no OLTP) são base para a carga dos grupos de medidas no cubo (base OLAP) Dimensões São equivalentes ña base OLAP às tabelas dimensões na base OLTP preparada para a solução de BI. Permitem contextualizar os dados presentes no cubo Exemplo: Tempo, Geografia, CategoriasProdutos e outros Hierarquia Forma como é possível decompor uma análise dentro de uma dimensão. Por exemplo, na dimensão tempo, podemos ter uma hierarqui: Ano -> Trimestre -> Mês -> Dia 7
Aspectos de Modelagem Compreendendo os elementos no cubo Aspectos de Modelagem Exemplo Prático A figura ao lado mostra a criação de um cubo no SQL Server O cubo é o Adventure Works que trata de dados sobre uma fábrica/loja de bicicletas As medidas são Vistas na parte superior, por exemplo: Internet Sales As dimensões na parte inferior por exemplo Date com os campos Mês e Ano por exemplo 8
Aspectos de Modelagem Exemplo Prático: A manipulação do cubo exposto permite a visualização dos dados mostrada abaixo Processo Com as idéias até aqui, se pensássemos um breve processo para a criação de uma solução de BI, teríamos: (Requisitos) a) Identificar as necessidades de análise dos usuários, sobretudo os de nível estratégicos b) Identificar quais os grupos de medidas e medidas e quais dimensões para contextualização das análises (Modelagem) c) Modelar o banco de dados Staging com as tabelas Fatos e Dimensões d) Modelar o cubo com os grupos de medidas, medidas e dimensões (ETL) e) Construir os componentes (SP s, pacotes de integração e outros) para a partir da base OLTP carregar o banco staging e no outro estágio os componentes ETL para carga da base OLAP a partir do ODS (Reporting) f) Construir os relatórios e soluções que permitem emitir e manipular as análise sobre a base OLAP 9
Operações de Análise Ao elaborar as soluções de Reporting (consulta e análise dos dados), algumas operações são previstas: Observação dos dados via formato CrossTab Drill Down Permite sair de um dado mais sumarizado para um mais detalhado Exemplo: ao analisar os dados de vendas, inicialmente pode-se ver os dados por região e ao escolher a região Sudeste, mergulhar (drill down to) para os dados por Estado. O caminho inverso é chamado de Drill Up Slice and Dice Ao olhar uma tabela, filtrar os dados para que reflita apenas uma parte de uma dimensão Operações de Análise Ao elaborar as soluções de Reporting (consulta e análise dos dados), algumas operações são previstas: Observação dos dados via formato CrossTab Drill Down Permite sair de um dado mais sumarizado para um mais detalhado Exemplo: ao analisar os dados de vendas, inicialmente pode-se ver os dados por região e ao escolher a região Sudeste, mergulhar (drill down to) para os dados por Estado. O caminho inverso é chamado de Drill Up Slice and Dice Ao olhar uma tabela, filtrar os dados para que reflita apenas uma parte de uma dimensão 10
Operações de Análise Visualização CrossTab e Drill Down Drill Down Operações de Análise 11
Operações de Análise Slice e Dice Filtrando por uma das dimensões Revisão Introdução Níveis organizacionais na empresa Visão Geral das Tecnologias de BI Dimensões, Métricas e Cubos Processo Operações sobre os cubos 12