Núcleo de Pós Graduação Pitágoras

Transcrição

1 Núcleo de Pós Graduação Pitágoras Desafios da TI Ambiente Ferramentas de Interativo Interatividade MBA Gestão em TI T6 Disciplina: Gestão do Conhecimento e de Conteúdos Acesso aos Dados Inteligência nos Negócios (BI) Professor: Fernando Zaidan Novembro WEB Dados da Organização Dados Externos 1 Cenários anteriores Ilhas de Informação Sistemas legados; Banco de Dados cheios e que não agregavam valor; Sem suporte à decisão; Sistemas particionados (ilhas de informação); Vale a pena acumular dados sem analisá-los? 1

2 Tomada de Decisão Modelo de Vroom e Yetton Árvore de Decisão Decisão é o ato ou efeito de determinar ou resolver questões, solucionar, dar deliberação, dar sentença ou ter preferência; Ação explícita neste ato de decidir ser humano como o elemento que dará a palavra final em uma decisão; A tomada de decisão é algo bem mais complexo, sofrendo interferências de variáveis e de fatores internos e externos e o envolvimento de diversos atores que participam do processo organizacional. As características do problema são apresentadas em forma de perguntas Figura: Modelo de decisão de Vroom. Fonte: VROOM, Qual dos processos de decisão deveria ser usado para alcançar, uma decisão de qualidade, que será considerada aceitável Incertezas, riscos e confiança Business Intelligence? Em decisões gerenciais existem componentes de incerteza e desconhecimento que conduzem os indivíduos a fazerem escolhas correndo riscos; Ao assumir um risco, o indivíduo confia que sua escolha é a mais adequada e acertada, mesmo que ainda tenha incertezas sobre seu ato; Confiança mecanismo que impulsiona a decisão, oferecendo segurança aos atores responsáveis por ela. 2

3 BI BUSINESS INTELLIGENCE BI CARLOS BARBIERI - * Slides confeccionados pelo autor. GERÊNCIA DE RELACIONAMENTO EMPRESARIAL O Ambiente de BI ALTA GERÊNCIA CLIENTE CRM CI BUSINESS INTELLIGENCE KMS INTEGRAÇÃO(EAI) BSC PRM FORNECEDOR/ PARCEIROS Fontes de dados operacionais Serviços de transformação de dados Fontes de dados operacionais Base de dados Gerencial Dados por Assunto INTERNET B 2 C B2B Informações RELACIONAMENTO COM CLIENTE OUTROS ERP SISTEMAS Fonte: * C. Barbieri RELACIONAMENTO COM FORNECEDORES E PARCEIROS Tomada de Decisão Análise 3

4 Ferramentas e Técnicas de BI Business Intelligence Conjunto de ferramentas e técnicas que objetivam dar suporte à tomada de decisões; BI extrai grandes quantidades de dados e os analisa de forma eficiente, para que sejam transformados em informações e possam ser compartilhados de forma clara e transparente, auxiliando as tomadas de decisões e melhorando o desempenho gerencial e operacional. Benefícios do BI Alinhar projetos de tecnologia com as metas estabelecidas pelas empresas na busca do máximo retorno do investimento; Ampliar a compreensão das tendências dos negócios, propiciando melhor consistência no momento de decisão de estratégias e ações; Facilitar a identificação de riscos e gerar segurança para migração de estratégias; Permitir um planejamento corporativo mais amplo, substituindo soluções de menor alcance por resultados integrados pela informação consistente; Benefícios do BI Gerar, facilitar o acesso e distribuir informação de modo mais abrangente para obter envolvimento de todos os níveis da empresa; Ligar e consolidar dados de diferentes sistemas de modo a oferecer um visão comum do desempenho da empresa; Automatizar tarefas eliminando os erros ao colocar as pessoas no fim dos processos; Oferecer dados estratégicos para análise com um mínimo de atraso em relação a uma transação; 4

5 Aplicativos Operacionais x BI Aplicativos Operacionais Visão do atual e do real Solução para requisitos conhecidos Abrangência restrita Informação produzida por profissionais de informática Custo e tempo para obtenção da informação altos Informação disponível a poucos usuários Business Intelligence Visão histórica e de tendência Permitir a identificação de fatos desconhecidos Abrangência ampla Informação produzida pelo próprio usuário Informação obtida com baixo custo e em tempo real Informação democratizada PODER DA INFORMAÇÃO-BI Tratar bem dos dados: Dado como recurso Dados entendidos Dados estruturados Dados modelados Dados segmentados Dados disponibilizados Dados protegidos Instrumento de inteligência nos negócios Fonte: C. Barbieri MUITOS DADOS CONTROLE ALTO POUCA INFORMAÇÃO ACESSO ÀS INFORMAÇÕES ERP DITADURA BI (+) CONTROLE (-) DADOS EM CERTO VOLUME CONTROLE RELATIVO POUCA INFORMAÇÃO SL VAZIO/ ISOLAMENTO BI DEMOCRATIZAÇÃO CAOS (-) ACESSO (+) Fonte: C. Barbieri C/S MUITOS DADOS CONTROLE BAIXO POUCA INFORMAÇÃO CONSULTAS PADRÕES Listar todos os clientes que tiveram um decréscimo de consumo de 20% ou + na conta de energia ANÁLISES MULTIDIMENSIONAIS LISTAR TODOS OS Clientes DO TIPO residencial QUE TIVERAM CONSUMO ENTRE 400 E 500 kwh NA REGIÃO sul, DURANTE O PERÍODO de MAIO A JULHO DE 2000 DATA MINING Listar quais Clientes tem > probabilidade de responder a campanha de redução Fonte: C. Barbieri 5

6 Introdução Data Warehouse Introdução Data Warehouse A teoria de banco de dados foi difundida e está disponível há alguns anos Álgebra Relacional SGBD Relacional. Nesta teoria os dados eram armazenados com o propósito maior de realizar operações transacionais, sejam em tempo real, sejam em um intervalo de tempo programado. Mas também eram utilizados, em menor frequência, para a execução de processos analíticos. Na década de 70 no Instituto de Tecnologia de Massachusetts, MIT, estudos eram realizados com o objetivo de desenvolver uma arquitetura que tivesse mais eficácia aos objetivos dos sistemas de informação. Surgiu, pela primeira vez, a necessidade de separar sistemas operacionais e aplicações analíticas criando-se o princípio de separar este dois tipos de processamento em projetos e armazém de dados distintos. Por isto, Hainsten (1999) credita a este período o surgimento do conceito de data warehouse. Introdução Data Warehouse Introdução Data Warehouse Para Ballard e Herreman (1998) e Teresko (1999) o conceito surgiu no início da década de 80 quando os sistemas gerenciadores de banco de dados (SGBD) apareceram como facilitadores da computação de dados, e consequentemente, facilitadores a tomada de decisão. Teresko (1999) expõem que Inmon é o pai do Data Warehouse, isto pelo fato de Inmon ter observado que os dados poderiam ser organizados em um ativo corporativo que o mesmo nomeou de Data Warehouse. A criação de um data warehouse é para a integração dos dados de toda a corporação. Proporcionando, ao invés de investir em diversas aplicações de inteligência do negócio, um foco em ferramentas analíticas e técnicas em um repositório integrado de dados transacionais do negócio. 6

7 Introdução Data Warehouse Definições DW O Data Warehouse é o centro da arquitetura para os sistemas de informação na década de 90. História do Data Warehouse: Um Data Warehouse é um repositório de informações integradas, disponíveis para análises e consultas. Dados e informações são extraídos de fontes heterogêneas de onde elas são geradas. A principal vantagem é que se torna muito mais fácil e eficiente rodar consultas sobre esses dados que sobre os sistemas originais.. (INMON,1997). Data Warehouse é uma coleção de dados orientada por assuntos, integrada, variante ao tempo, e não volátil, que tem por objetivo dar suporte aos processos de tomada de decisão. (INMON,1997). Termos do DW Termos do DW Orientado por assunto, a primeira característica do armazém de dados é que ela é orientada em torno dos grandes assuntos da empresa. Exemplo: uma instituição financeira na qual existem aplicações como empréstimo, poupança e cartão de crédito. E o data warehouse é organizado sobre os principais assuntos como cliente, vendedor, produto e atividade. Integrado, os dados encontrados dentro do armazém de dados serão sempre, sem possibilidades de exceção, íntegros. A integração pode ocorrer ao consistir nomes, consistir medidas de variáveis, consistir estrutura de dados, consistir atributos físicos de dados, e assim por diante. Não volátil, existem dois tipos de carga que ocorrem no data warehouse, a carga inicial dos dados, e o acesso aos dados. Atualizações não ocorrem no data warehouse. Diferentemente, no ambiente operacional, inclusões, exclusões e alterações ocorrem com freqüência nos registros. 7

8 Termos do DW Variante no tempo, os dados no Data Warehouse podem ser apresentados em tempos determinados. Em contrapartida nos sistemas operacionais espera-se que os dados sejam a representação exata do tempo no momento do acesso. O tempo representado no horizonte de dados de um Data Warehouse são de vários anos. A variação no tempo nos dados de um Data Warehouse também pode ser percebida pelo fato de que toda estrutura contém, implicitamente ou explicitamente, um elemento de tempo, seja semana, mês e ano. DATA WAREHOUSE Banco de dados para análise e Tomada de decisões, baseada em Informações preparadas, consolidadas e sumariadas DATA MART Pequeno DW depósitos que atendem a certas áreas específicas Custo mais baixo veículo de testes tempo menor de implantação Fonte: C. Barbieri AMBIENTE TRANSACIONAL-FONTES BI e Data Warehouse ERP LEGADOS DEPTO EXTERNOS BI O QUE NÃO É OPERATIONAL DATA STORE ODS ETC DW DM DM EXTRAÇÃO TRANSFORMAÇÃO CARGA CS FN VD MK FI E-B APLICAÇÕES OLAP-ANALÍTICAS??? MINING DM APLICAÇÕES INFERENCIAIS Não resolve todos os problemas 50% dos projetos de DW falham por falta clara de objetivos e gigantismo de escopo Não é um único projeto-são vários Não se implementa num único release-são produtos gradativamente disponibilizados Não é um DB comum de dados operacionais-nova forma de organizar os dados(informacionais) USUÁRIO GERÊNCIA Fonte: C. Barbieri Fonte: C. Barbieri 8

9 OLTP E OLAP Online Analytical Processing Processamento Analítico on-line Online Transaction Processing - Processamento de Transações Tempo Real Característica Um comparativo Sistemas Transacionais(OLTP) Sistemas Analíticos(OLAP) Dados orientados a transações Dados orientados a análise de informação Normalização Ambiente de baixa taxa de transações Ambiente com alta taxa de transações Dados são consultados Dados são refreshed em Dados são atualizados períodos de tempo Dados estão totalmente upto date para tudo acima Dados são reformatados Dados estão estruturados para tudo acima Relacional Dimensional Fonte: C. Barbieri Atualizações Mais freqüentes Menos freqüentes Tipo de Informação Detalhes Agrupamento Quantidade de Dados Poucos Muitos Precisão Dados atuais Dados históricos Complexidade Baixa Alta Consistência Microscópica Global Exemplos Terminologia CRM, ERP, Supply Chain Linhas e Colunas EIS (Executive Information System) Dimensões, Medidas e Fatos Ambientes analíticos Variantes OLAP ROLAP Relational OLAP, camadas de produto OLAP sobre o banco de dados relacional. Data Mining OLAP Ferramentas de Consulta Modelagem/ Nenhuma ou poucas hipóteses Segmentação Multidimensional Hipóteses moderadas Consultas padrão Hipóteses seguras MOLAP Multidemensional OLAP, camadas de produtos OLAP sobre banco de dados muldimensionais. HOLAP Hybrid OLAP, para soluções híbridas e WOLAP Web OLAP, para soluções para a internet. 35 9

10 ACOMPANHAMENTO IMPLEMENTAÇÃO TESTE 6 CONSTRUÇÃO Fonte: Carlos Barbieri ETC CONTACTO ÁREAS DE NEGÓCIOS PROJETO DW/DM 5 DEFINIÇÃO DO ETC- EXTRAÇAÕ-TRANSFORMAÇÃO-CARGA 1 4 PLANEJAMENTO/ LEVANTAMENTO DIFICULDADES DE INFORMAÇÃO GERENCIAL->OBJETIVO INDICADORES ESTRATÉGICOS-MÉTRICAS INICIAIS RESTRIÇÕES DE INFORMAÇÕES-ESTRUTURA-TECNOLOGIA INFORMAÇÕES JÁ EXISTENTES NO DW-METADADOS REUNIÕES JAD-PARTICIPAÇÃO INTENSA USUÁRIOS DEFINIÇÃO DE PATROCINADOR DEFINIÇÃO DE EQUIPE DE PROJETO 2 3 PROJETO-MODELAGEM DIMENSIONAL REUNIÕES DE TRABALHO DETALHAMENTO DE NECESSIDADES DIMENSÕES-FATOS MÉTRICAS-GRANULARIDADE PROJETO FÍSICO DW/DM PROJETO OLAP MINING CUBOS RELATÓRIOS ANALÍTICOS INFERENCIAIS PROJETOS DE DW ESTRATÉGIAS DUAS ABORDAGENS DISTINTAS: MONOLÍTICA(TUDO DE UMA VEZ) BILL INMON-DATA WAREHOUSE INCREMENTAL-PASSO A PASSO RALPH KIMBALL-DATA MARTS CONVERGÊNCIA(MELHOR DE 2 MUNDOS): DATA MARTS COM PLANO DE INTEGRAÇÃO DEFINIDO PARA O DW PASSO A PASSO COM CUIDADOS DE CONFORMIDADE DE MÉTRICAS, DIMENSÕES COMPARTILHADAS Fonte: Carlos Barbieri PROJETO DE DW/DMART INTEGRAÇÃO EVOLUTIVA Visualiazando as Dimenções T0 PLANO DE INTEGRAÇAO: MIDDLE--UP ALINHAVO DE DIMENSÕES CONFORMES MÉTRICAS COMPATÍVEIS DATA WAREHOUSE ÁSSUNTO-1 ÁSSUNTO-2 ASSUNTO-3 CLIENTE MARKETING FINANÇAS CUIDADOS COM GIGANTISMO PRODUTOS E FASES BEM DEFINIDAS E i Empresa R j - Região R1 Total 2000 DATA MART CLIENTE DATA MART MARKETING DATA MART FINANÇAS ACERTOS GRADATIVOS NO CAMINHO IMPLEMENTAÇÕES COM TEMPO BEM DEFINIDO E1 R E2 R Total Total Total Fonte: Carlos Barbieri T1 T2 T3 IMPLEMENTAÇÃO GRADATIVA -- 1 Dimensão /11/2011 BD Multidimensional 10

11 Cubos E1 E2 E1 E Os relatórios provenientes de OLAP possuem estruturas dinâmicas chamadas CUBOS; 2000 R1 R1 Podem ter várias dimensões: tempo, região, produto, etc; R2 R3 R2 R3 Estruturas de dados que forma um sub-conjunto de um banco de dados grande; p/ano p/e Total p/r p/e Total p/r p/ano Total Podem ser manipulados e visualizados por inúmeros ângulos e diferentes níveis de agregação, onde é possível através de suas dimensões (faces) analisar uma determinada situação Dimensões /11/2011 BD Multidimensional Produto Cubo de Dados Data (Dia) Vendas = (Faturamento, Quantidade) p/dia, p/produto, p/fornecedor 43 03/11/2011 BD Multidimensional Fornecedor -- 3 Dimensões (Cubo de Dados) -- Pode ter n dimensões Nós, humanos, só podemos enxergar 3 dimensões ao mesmo tempo Operações especiais permitem decompor um cubo de n dimensões em sub-cubos de até 3 dimensões 44 03/11/2011 BD Multidimensional 11

12 Navegação em Agregados Cubos AQUELE PRODUTO P1 VENDEU NAQUELA LOJA L1 NAQUELE DIA D1 A QUANTIDADE QX NO VALOR VY Slice and Dice: seleção e projeção do cubo de dados Slice (fatia): seleção / projeção de valores de uma dimensão. Exemplo: as vendas (faturamento) da região Norte Dice (dados): seleção / projeção de valores de mais de uma dimensão. Exemplo: as vendas (lucro líquido) da região Norte, no ano /11/2011 BD Multidimensional PRODUTO LOJA (P1,L1,D1)->QX,VY AQUELE SUBCONJUNTO DE PRODUTOS VENDEU NUM SUB CONJUNTO DE LOJAS NUM SUBCONJUNTO DE DIAS, AQUELE SOMATÓRIO DE QX, NO VALOR VY DIA AQUELE PRODUTO P1, VENDEU EM TODOS OS DIAS, EM TODAS AS LOJAS O VALOR(SOMATÓRIO) DE QX E VY Exercícios - Cubos Exercícios - Cubos Localização Betim Ipatinga Uberlândia Vendas Produto Antarctica Bavaria Brahma Kaiser Skol Análise do ano 2007 Produtos All Região All Tempo 2007 Qtd. Vendida 3000 un Faturamento R$ , Modelo Estrela Produtos Venda key_produto key_produto descricao key_tempo key_região Tempo key_tempo ano quartil mes Produtos Cubo Balas Cafés Cereais Sul Sudeste Região Norte qtd_vendida T1 T2 T3 Período T4 Fonte: Rogério Morais Dimensões Fato Faturamento faturamento Região key_regiao descricao Dimensões 12

13 MODELO DIMENSIONAL (sem atributos somente com as métricas) UNIDADE NEGÓCIO TEMPO ANO DIMENSÕES DIMENSÕES C.CUSTO TRIMESTRE ITEM NF LOJA DIA VENDAS QTD-VENDIDA VALOR VENDAS R$ ATENDENTE PRODUTO REQUISIT. APROVADOR COMPRAS QTD-COMPRADA VALOR FATO MÊS DIA PEDIDO AGENTE Fonte: Carlos Barbieri FATO MÉTRICAS Medidas numéricas associadas a eventos do negócio. Valores da análise dimensional. Fonte: Carlos Barbieri PRODUTO CLASSE DIMENSÃO PRODUTO DW versus Desempenho DWs são BDs enormes (very large databases) Tempo: 10 anos dias Produto: produtos, em média 10% vendidos diariamente 300 fornecedores Tamanho (no. de linhas) da tabela de fatos = x x 300 =

14 Projeto Físico do DW Projeto Físico DW/DM Tabela Fato Clientes Média 5 vendas/cliente 6 anos Teremos x 5 x 365 x 6 = Chave-Produto (4 bytes cada) Chave-Item Chave-Cliente Chave-Tempo Chave-Vendedor Chave-Entregador Num-Pedido Quantidade Valor Desconto Frete A tabela fato possui 11 campos, cada de um aloca 4 bytes para armazenamento. Tamanho da linha da tabela fato é de 44 bytes. Como encontramos ocorrências a estimativa final é de 7,2 GB para a tabela fato. Tamanho das tabelas Dimensão e Índices serão 1,4 GB (de 20 a 25% da fato). Estimativa total do DW é de 8,6 GB Fonte: Rogério Rocha Fonte: Rogério Rocha Management Studio X Business Intelligence Studio O primeiro tem como objetivo suprir as necessidades de desenvolvedores e administradores de banco de dados frente a sua estrutura de dados e serviços. Já atuação do Business Intelligence Studio esta relacionada ao desenvolvimento e distribuição de soluções baseadas em um ou mais pilares da plataforma de Business Intelligence. 14

15 EXCEL 15

16 EXCEL Cock Pit - BI DASHBOARDS DASHBOARDS 16

17 Bibliografia CAMPOS, M. L. Data Ware Housing. UFRJ, BARBIERI, Carlos. BI - Business Inteligence: Modelagem e tecnologia. Rio de Janeiro, Axcel Books, DATE, C. J. Introdução a sistemas de banco de dados. Rio de Janeiro: Elsevier, ELMASRI, R.; NAVATHE, S. B. Sistemas de bancos de dados: fundamentos e aplicações. 4. ed. São Paulo: Pearson Education, SILBERSCHATZ, Abraham; KORTH, Henry F.; SUDARSHAN, S. Sistema de banco de dados. Tradução da 5ª Edição. São Paulo: Campus, Material utilizado na montagem dos Slides COME, Gilberto de. Contribuição ao Estudo da Implementação de Data Warehousing: um caso no setor de telecomunicações São Paulo : FEA/USP, FANTAUZZI, F. A. C.; ROCHA, Rogério Morais. Diretório de Softwares para Inteligência Competitiva Monografia apresentada ao Departamento de Ciência da informação como requisito para a conclusão do curso de especialização em Gestão Estratégica da Informação da Universidade Federal de Minas Gerais - UFMG, Belo Horizonte, FARIA, João Marcos Bonadio de. Artefatos da Semiótica Organizacional na Elicitação de Requisitos para Soluções de Data Warehouse Trabalho final (mestrado profissional) - Universidade Estadual de Campinas, Instituto de Computação, INMON, William. What is Data Warehouse? Disponível em: Acesso em: 10 mar TERESKO, John. Information Rich, Knowledge Poor? Disponível em: < >. Acesso em: 10 mar Obrigado, fernandozaidan@fernandozaidan.com.br "Onde há uma empresa de sucesso, alguém tomou alguma vez uma decisão valente. Peter Drucker 17