BUSINESS INTELLIGENCE VALDICK SALES Setembro - 2015 1
Valdick sales APRESENTAÇÃO Graduado em Ciência da Computação pela UFPE. Pós-Graduado em Redes e Banco de dados pela UFPB. Pós-Graduado em Engenharia de Software pelo CESMAC. Consultor e assessor há mais de 20 anos de empresas no Estado. Mestre em Modelagem do Conhecimento da UFAL. Diretor de Planejamento e Controle da Organização Arnon de Mello. Coordenador e Professor do Curso de Ciência da Computação da FACIMA. Editor técnico há 15 anos, do Suplemento da Gazeta Digital. 2
SUMÁRIO CONCEITOS BÁSICOS PROCESSO DE DECISÃO NECESSIDADES DO GESTOR NECESSIDADES DO USUÁRIO DONOS DA INFORMAÇÃO SISTEMAS NECESSIDADES CORPORATIVAS ERP OLAP DATA MINING DATA MARTS ETL DATA WAREHOUSE BUSINESS INTELLIGENCE 3
CONCEITOS BÁSICOS CONHECIMENTO INFORMAÇÃO DADO 4
CONCEITOS BÁSICOS DADOS Os dados são elementos brutos, sem significado, desvinculados da realidade. São, segundo Davenport (1998, p. 19), "observações sobre o estado do mundo". São símbolos e imagens que não dissipam nossas incertezas. Eles constituem a matéria-prima da informação. Dados sem qualidade levam a informações e decisões da mesma natureza. Sendo o dado considerado a matéria-prima para a informação: o que são informações? 5
CONCEITOS BÁSICOS INFORMAÇÕES As informações são dados com significado. "São dados dotados de relevância e propósito" (Drucker apud Davenport, 1998, p.18). Elas são o resultado do encontro de uma situação de decisão com um conjunto de dados, ou seja, são dados contextualizados que visam a fornecer uma solução para determinada situação de decisão (MacDonough apud Lussato, 1991). A informação pode assim ser considerada como dados processados e contextualizados, mas para Sveiby (1998) a informação também é considerada como "desprovida de significado e de pouco valor", e Malhotra (1993) a considera como "a matériaprima para se obter conhecimento". 6
CONHECIMENTO CONCEITOS BÁSICOS Para Davenport (1998, p.19), o "conhecimento é a informação mais valiosa (...) é valiosa precisamente porque alguém deu à informação um contexto, um significado, uma interpretação (...)". O conhecimento pode então ser considerado como a informação processada pelos indivíduos. O valor agregado à informação depende dos conhecimentos anteriores desses indivíduos. Assim sendo, adquirimos conhecimento por meio do uso da informação nas nossas ações. Desta forma, o conhecimento não pode ser desvinculado do indivíduo; ele está estritamente relacionado com a percepção do mesmo, que codifica, decodifica, distorce e usa a informação de acordo com suas características pessoais, ou seja, de acordo com seus modelos mentais ou necessidade. 7
CONCEITOS BÁSICOS Exemplo Um carro BMW, último tipo, conversível, zero quilômetro, totalmente destruído em um acidente no qual o motorista bateu em uma árvore centenária derrubando-a pode ser codificado, decodificado e distorcido das seguintes maneiras. Algumas pessoas serão levadas a decodificar as informações baseadas em seus valores materiais: "Logo um carro tão caro! Será que ele está segurado? 8
CONCEITOS BÁSICOS Exemplo Enquanto outras pessoas, com valores humanos mais aguçados, terão seu foco no ser humano: "Será que o acidente resultou em feridos?" Outras pessoas com interesses ecológicos ainda terão suas atenções voltadas ao destino da árvore centenária: "Logo nesta árvore! Não poderia ter sido em uma outra?". 9
MAIS UM INGREDIENTE NA CONCEPÇÃO DA UTILIZAÇÃO DA INFORMAÇÃO 10
UM NOVO CONCEITO DADOS DADOS CONTEXTO INFORMAÇÃO INFORMAÇÃO EXPERIÊNCIA CONHECIMENTO CONHECIMENTO HABILIDADE COMPETÊNCIA 11
TOMADA DE DECISÕES Cadeia do Processo Decisório Decisão Competência Conhecimento Informação BI : OLAP, CRM, DATAWAREHOUSE, DATA MINING, etc; ERP, Sistemas Individuais Dados 12
HISTÓRICO Era da Inteligência Era das aplicações Era dos bancos de dados 1980 1990 2000 2010 13
A IMPORTÂNCIA DA INFORMAÇÃO 14
DUPLO PAGAMENTO O consumidor paga duas vezes por cada compra: A primeira com dinheiro e a segunda ao fornecer informação que vale dinheiro. Por exemplo, se o freguês pagar com cartão de crédito, é claro, que muita coisa é revelada. Agora o freguês também está fornecendo: (1) nome, (2) endereço e CEP, (3) informação sobre crédito, (4) base para inferir na renda familiar, e muitas coisas mais. A pergunta essencial que paira no ar é: Quem possui os dados sobre o freguês? E quando custa. 15
DUPLO PAGAMENTO O consumidor paga duas vezes por cada compra: A primeira com dinheiro e a segunda ao fornecer informação que vale dinheiro. Por exemplo, se o freguês pagar com cartão de crédito, é claro, que muita coisa é revelada. Agora o freguês também está fornecendo: (1) nome, (2) endereço e CEP, (3) informação sobre crédito, (4) base para inferir na renda familiar, e muitas coisas mais. A pergunta essencial que paira no ar é: Quem possui os dados sobre o freguês? E quando custa. 16
O PODER DA INFORMAÇÃO O maior capital das empresas não são mais os seus colaboradores. Mas sim, as suas informações. As informações passaram a ser os resultados de todas as ações operacionais que fazem a empresa funcionar. 17
OBTENDO INFORMAÇÕES Quais informações poderíamos obter em uma simples Nota Fiscal e que cruzamentos poderíamos fazer? 18
UMA NOTA FISCAL 19
UMA NOTA FISCAL 20
O QUE É MAIS IMPORTANTE? A INFORMAÇÃO! 21
REFLEXÃO... ADMINISTRAR BEM UM NEGÓCIO É ADMINISTRAR SEU FUTURO; E ADMINISTRAR SEU FUTURO É ADMINISTRAR INFORMAÇÕES ( Marion Harper Jr.) 22
EXTRA-INTELIGÊNCIA Quando começaram as linhas telegráficas, foi um grande passo das franquias de Morse, a Western Union controlava os meios de comunicação, até os mais avançados, e seu grande erro foi não procurou evoluir. Mas por ser a única no mercado 1876, o professor Alexander Graham Bell patenteou o primeiro telefone, a Western Union ridicularizou o aparelho e falou que era moda passageira. 23
EXTRA-INTELIGÊNCIA As redes que Morse, a Western Union, a Bell e outras, eram desprovidas de inteligência. Com o avanço tecnológico, as redes telefônicas estão se tornando auto conscientes para lidar com os vastos volumes de informações e saber onde haverá carga pesada e distribuí-la. Até agora, mesmo as redes mais inteligentes, tinham apenas o que poderia ser chamado de intrainteligência, que é como a inteligência contida no nosso sistema nervoso periférico, que regula os funcionamentos involuntários do corpo. As redes integram a mensagem exatamente como foi enviada. Hoje estamos em direção das redes, que podemos chamar de extra-inteligentes. 24
VALORES AGREGADOS Elas não se limitam a transferir dados, mas sim analisam, combinam, reanimam ou alteram mensagens de outras maneiras, às vezes criando uma nova informação pelo caminho. Essas redes são chamadas redes de valor agregado ou VANs. Em suma, estamos agora olhando para redes cuja inteligência já não visa alterar ou melhorar a própria rede, mas na verdade, atua no mundo exterior, acrescentando uma extra-inteligência as mensagens que passam por elas. 25
REDES DE INFORMAÇÕES A existência de Redes de Valores agregados, prometem eliminar incalculáveis bilhões de dólares dos custos atuais de produção e distribuição, ao acabar com a burocracia, reduzir estoques, e acelerar o tempo de resposta. As redes de informações irão assumir novos papéis de revolucionários nos negócios e na sociedade. 26
CRESCIMENTO DA REDE A medida em que as redes se espalham, o poder está começando a se deslocar. E não apenas no Japão, nos EUA e na Europa, estão ligando cabos como nunca antes, é a corrida eletrônica do século. As grandes empresas hoje em dia, virtualmente se recusam a fazer negócios com fornecedores que não estejam equipados para a interação eletrônica, onde as informações devem estar sempre disponíveis. 27
REFLEXÃO O mundo não está interessado nas tempestades que você enfrentou, quer apenas saber se você trouxe o navio William Mac Fee E como você acha que as organizações pensam? 28
... Não estamos aqui para prever o futuro,mas sim para criar a certeza de tê-lo Peter Ferdinand Drucker E com quais ferramentas? 29
ESPÉCIES DE ORGANIZAÇÕES AS QUE FAZEM AS COISAS ACONTECEREM. AS QUE OBSERVAM AS COISAS ACONTECEREM. AS QUE PERGUNTAM O QUE ACONTECEU. 30
REFLEXÃO DIGA-ME, POR FAVOR, QUE CAMINHO DEVO TOMAR PARA SAIR DAQUI?, perguntou Alice. ISTO DEPENDE DE PARA ONDE VOCÊ QUER IR, disse o gato. NÃO FAZ DIFERENÇA PARA MIM, retrucou Alice. ENTÃO, NÃO FAZ DIFERENÇA QUE CAMINHO VOCÊ TOMA, respondeu-lhe o gato. ALICE NO PAÍS DAS MARAVILHAS Lewis Carroll 31
... Comentários? 32
REPOSICIONAMENTO DA ORGANIZAÇÃO RESPONDER A CINCO QUESTÕES BÁSICAS: O QUÊ SOMOS? ONDE ESTAMOS? O QUÊ DEVERÍAMOS SER? ONDE DEVERÍAMOS ESTAR? O QUÊ É NECESSÁRIO FAZER PARA CHEGAR AONDE DEVERÍAMOS ESTAR? 33
REFLEXÃO O MAIS IMPORTANTE NESTE MUNDO NÃO É ONDE ESTAMOS, MAS EM QUE DIREÇÃO ESTAMOS NOS MOVENDO Oliver Wendell HOLMES, poeta e novelista Americano Você e sua organização estão indo para onde? 34
O PROCESSO DE TOMADA DE DECISÕES VARIÁVEIS VARIÁVEIS VARIÁVEIS VARIÁVEIS OBJETIVOS DESEJOS SOLUÇÃO 1 SOLUÇÃO 2 SOLUÇÃO N 35
PROCESSO DA DECISÃO RISCO INCERTEZA CERTEZA TURBULÊNCIA 36
PROCESSO DA DECISÃO CERTEZA É a condição para tomada de decisão na qual os responsáveis pela resolução contam com informações precisas e confiáveis. 37
PROCESSO DA DECISÃO RISCO Trabalha-se com uma taxa probabilística de insucesso. INCERTEZA Os tomadores de decisão enfrentam situações imprevisíveis. TURBULÊNCIA As metas não são bem definidas (claras) e as informações não são suficientes. 38
NECESSIDADES DE UM GESTOR 39
NECESSIDADE DO GESTOR INFORMAÇÃO ANÁLISE DECISÃO AÇÃO VELOCIDADE RESULTADOS 40
Informação NECESSIDADE DO GESTOR QUANTO MAIOR A QUANTIDADE E QUALIDADE DAS INFORMAÇÕES DISPONÍVEIS, MAIS FÁCIL ACHARMOS ONDE ATUAR PARA ALCANÇARMOS NOSSOS OBJETIVOS. Análise QUANTO MAIS FÁCIL PUDERMOS MANIPULAR TAIS INFORMAÇÕES, PERMITINDO ESTUDAR CENÁRIOS POR DIFERENTES PERSPECTIVAS, MAIS CLARAS, FÁCEIS E FIÉIS SERÃO NOSSAS CONCLUSÕES. 41
NECESSIDADE DO GESTOR Decisão CONCLUSÕES EMBASADAS EM DADOS REAIS NOS LEVAM A TOMAR DECISÕES ASSERTIVAS, NA DIREÇÃO EXATA DE NOSSOS OBJETIVOS. Ação TAIS DECISÕES DEVEM SER IMPLANTADAS DE MANEIRA RÁPIDA E ABRANGENTE, SENDO TRANSFORMADAS EM AÇÕES. 42
NECESSIDADE DO GESTOR Velocidade AÇÕES QUE POR SUA VEZ DEVEM SER PROCESSADAS RAPIDAMENTE, COM QUALIDADE, EM QUANTIDADE E ABRANGÊNCIA. Resultados SÓ ASSIM CHEGAMOS AOS RESULTADOS POSITIVOS QUE BUSCAMOS. NÃO POR MÁGICA E SIM COMO CONSEQÜÊNCIA LÓGICA E NORMAL DE UM TRABALHO REALIZADO. 43
NECESSIDADES DO USUÁRIO 44
NECESSIDADES DO USUÁRIO Quero toda a Informação..." Informação Integrada Processo de Business Análise Retorno Gerado pelo Computador Medias Importantes Experiência out in 45
DONOS DA INFORMAÇÃO 46
DONOS DA INFORMAÇÃO MONARQUIA FEDERALISMO FEUDALISMO ANARQUIA 47
DONOS DA INFORMAÇÃO MONARQUIA Quando um indivíduo ou departamento controla a maior parte das informações de uma empresa. Quando o Monarca é a pessoa de TI, significa que ninguém acima dele importa-se muito com a informação 48
DONOS DA INFORMAÇÃO FEDERALISMO Princípio: Democracia representativa, onde um controle dá autonomia de acesso às hierarquias inferiores. EXEMPLO: CADASTRO DE CLIENTES Dono da Informação: Sr. João Silva (Diretor Comercial) Acessos Concedidos: Gerente de Marketing e Vendedores 49
DONOS DA INFORMAÇÃO FEUDALISMO Quando os gerentes intermediários têm o controle de seus ambientes e criam suas próprias fontes de informações, como verdadeiros senhores feudais. Consequência: Existência de planilhas Excel e arquivos em Access espalhados pela empresa. 50
DONOS DA INFORMAÇÃO ANARQUIA Aparece quando nenhum gestor percebe a importância da informação dentro da sua organização. Os profissionais administram seus próprios bancos de dados e moldam as informações de acordo com sua necessidade sem depender da área de TI. 51
REFLEXÃO INFORMAÇÃO NÃO É FONTE DE PODER, É FONTE DE GESTÃO Qual dos modelos apresentados seria melhor para implantação? 52
SISTEMAS 53
VISÕES DE UM SISTEMA É UMA BOLA! É UMA MONTANHA! É UMA CORDA! É UMA SABRE! É UM SISTEMA! 54
SISTEMA DE INFORMAÇÕES SISTEMA Os diversos níveis de sistema dentro do ambiente empresarial subsistema 1 subsistema 2 subsistema 3 SUPERSISTEMA MEIO AMBIENTE 55
SISTEMA DE INFORMAÇÕES Pessoas Sistemas de Informação Tecnologia Organizações Um sistema bem sucedido tem dimensões organizacional e humana, além dos componentes técnicos. Ele existe para responder a necessidades organizacionais, incluindo problemas apresentados pelo ambiente externo criado por tendências políticas, demográficas, econômicas e sociais 56
VISÃO SISTÊMICA 1 Objetivos 4 3 Cliente 2 Estratégias e Planos Sociedade 6 Pessoas 7 Processos 8 Resultados 5 Informação e Conhecimento 57
PROCESSOS OPERACIONAIS 58
PROCESSOS OPERACIONAIS Um Processo é uma série de atividades logicamente inter-relacionadas que, quando executadas, agregam valor e produzem resultados explícitos 59
PROCESSOS OPERACIONAIS Fornecedores Requisitos Entradas Requisitos Saídas Clientes Feedback Feedback Sistema de Medidas Feedback 60
NECESSIDADES CORPORATIVAS 61
NECESSIDADES CORPORATIVAS INFORMAÇÕES CONHECIMENTO Foco em Resultados BASE DE Métrica dos objetivos Estratégicos 62
NECESSIDADES CORPORATIVAS 2 Mapeamento Sistemas Departamentais *.txt Dados e Informações Externas Mining Decision Support Scorecard Análises Gráficas Sistemas Transacionais Simulação e Elaboração de Cenários Análises Ad Hoc Relatórios 3 P r o c e s s o s E T L Visualização e Simulações 6 Staging Area Ferramentas de Administração Datamarts 4 Processos de Data Quality DIMENSIOAL DATA STORE META DATA OPERATIONAL DATA STORE OPERATIONAL DATA STORE OPERATIONAL DATA STORE Data Warehouse 1 Desenho do Modelo -Business Discovery- Ferramentas de Acessibilidade 5 Movimetação e Consolidação 63
E R P Enterprise Resource Planning Sistema Integrado de Gestão 64
Sistema Integrado de Gestão(ERP) A necessidade Com o desenvolvimento das empresas e do mercado de modo geral, a quantidade de ações e informações administradas pelos empresários cresce exponencialmente. Uma solução imediata é a contratação de pessoas para dividir a carga de trabalho. Desta forma as empresas crescem, delegando inicialmente funções operacionais e num segundo estágio, funções gerenciais. 65
Sistema Integrado de Gestão(ERP) A necessidade As empresas se tornam grande corporações, com inúmeros funcionários e diversos departamentos. O foco da empresa era dividido com assuntos diversos que em muito divergiam de seu core business. 66
Sistema Integrado de Gestão(ERP) A necessidade Com a quantidade e complexidade das informações crescendo a medida que a empresa e seu mercado de atuação se desenvolviam, logo começaram a surgir os seguintes problemas: Velocidade de transmissão da informação Quantidade de informação a ser transmitida Qualidade da informação transmitida Execução das ações correspondentes 67
Sistema Integrado de Gestão(ERP) O que é? Tecnologia capaz de organizar e integrar as informações armazenadas nos computadores de uma empresa, de forma a eliminar dados redundantes ou desnecessários, racionalizar processos e distribuir a informação on-line pelas várias áreas da organização, de forma estruturada e fidedigna. Pode ser entendido como o backbone de TI na empresa. 68
Sistema Integrado de Gestão(ERP) Na prática... Integram e compõem os subsistemas de uma organização. Financeiro ( Contas a Pagar e Receber) Contabilidade Planejamento Recursos Humanos Estoque Custos ETC... 69
Sistema Integrado de Gestão(ERP) Cuidados... O investimento exigido, tanto financeiro como de envolvimento de todo pessoal e dos gestores, é elevado Escolha política na aquisição ao invés de uma técnica, levando em consideração: Funcionalidade, Custos, Suporte, Tecnologia e Estrutura. Atendimento das expectativas. A missão do ERP e dar suporte, não assumir o controle. 70
Sistema Integrado de Gestão(ERP) Cuidados... Cuidado com a tentação: implantar o que é mais fácil e não o que é mais importante. A consultoria colabora, mas não resolve todos os problemas. ERP não supera gerenciamento pobre. Atendimento das expectativas. A missão do ERP e dar suporte, não assumir o controle. 71
Sistema Integrado de Gestão(ERP) Custos Ocultos... Treinamento: 15% do custo do projeto. Os usuários não vão apenas aprender a operar um novo software, e sim a interagir com os processos da empresa. Integração e Teste: ERPs são complexos, assim como complexa é sua integração com os demais sistemas; seus testes devem ser extensivos e cuidadosos. Conversão de dados: os volumes normalmente são grandes, e se encontra inconsistências que devem ser sanadas. Há ferramentas de conversão (pelas quais se paga...) 72
Sistema Integrado de Gestão(ERP) Custos Ocultos... A operação de ERP é cara Fornecedores de ERP procuram vender a idéia de que datawarehouses podem ser construídos facilmente a partir de seus produtos. Isso quase nunca é verdade - software e esforços específicos devem ser adicionados para que isso ocorra. Consultoria: seus custos são absurdos, e devem ser objetos de estrita atenção - métricas devem ser adotadas. Pode-se dizer que o custo do software propriamente dito representa apenas 1/3 do custo total. 73
Sistema Integrado de Gestão(ERP) Dicas de implantação... Envolvimento dos usuários em todas as fases do processo de especificação, para que se tenha certeza de que o sistema certo está escolhido pelas razões certas. Garantir que a estrutura de TI seja a adequada Preparar toda a empresa para as mudanças que ocorrerão - é mais do que treinamento, é preciso educação e envolvimento nos processos. 74
Sistema Integrado de Gestão(ERP) Dicas de implantação... Treinamento especializado para o Gestores. Eles serão seu apoio com o pessoal a eles subordinados que deverão ser exaustivamente treinado.. Procure estar apto para ouvir criticas dos usuários do tipo : O sistema anterior era melhor. Faça antes da implantação a Reengenharia dos processos, caso contrário seu sistema de ERP vai custar o dobro. 75
Sistema Integrado de Gestão(ERP) Fornecedores Há muitos fornecedores de software ERP (mais de 300, talvez), mas nenhum fornece tudo o que é necessário para administrar uma empresa. Customização será necessário, esteja pronto para esta etapa. 76
Sistema Integrado de Gestão(ERP) Posição no Mercado 77
OLAP On-line Analytical Processing Processamento analítico on-line Ambiente de aplicações Analíticas 78
OLAP O que é? É um conjunto de ferramentas voltadas para o acesso e análise de dados. Seu objetivo final é transformar dados em informações capazes de dar suporte a decisões gerenciais de forma amigável e flexível ao usuário em tempo hábil. 79
OLAP Características Rapidez de cálculo e acesso (grande volume de dados e consultas ad-hoc (específicas) ; Capacidade de análise avançada (média, média poderada, normalização, ordenação acumulados no tempo; Flexibilidade (visualização, análise e interface); Suporte a múltiplos usuários. 80
OLAP Histórico Fim da década de 60 IBM desenvolveu e implementou APL Décadas de 80 e 90 APL em Aplicações de negócio OLAP (90) Atualmente IBM Oracle Microsoft 81
OLAP Histórico Fim da década de 60 IBM desenvolveu e implementou APL Décadas de 80 e 90 APL em Aplicações de negócio OLAP (90) Atualmente IBM Oracle Microsoft 82
OLAP Tipos de Análise Análise Multidimensional Consultas e relatórios Análise Estatística Data Mining 83
OLAP Multidimensional É o conceito chave da análise feita através de ferramentas OLAP. Neste tipo de análise, os dados são modelados em uma estrutura conhecida como cubo que nos permite observar vários assuntos (dimensões) para uma mesma massa de dados. 84
OLAP - Multidimensões Exemplo Semestre Vendas Primeiro 16.000,00 Segundo 16.000,00 Dados de vendas por semestre, por produto e por cidade. Produto Vendas Banana 16.000,00 Laranja 16.000,00 Cidade Vendas Recife 16.000,00 Maceió 16.000,00 85
OLAP - Multidimensões Exemplo Dados de vendas por semestre, por produto e por cidade os mesmos dados apresentados de forma mais detalhada, revelando o interior do cubo : Semestre Produto Cidade Valor Primeiro Banana Recife 3.000,00 Maceió 1.000,00 Laranja Recife 4.000,00 Maceió 8.000,00 Segundo Banana Recife 6.000,00 Maceió 6.000,00 Laranja Recife 3.000,00 Maceió 1.000,00 86
Cidade OLAP - Multidimensões Exemplo Dados de vendas por semestre, produto e cidade representação gráfica do cubo: Semestre 87
OLAP Multidimensional DIMENSÕES HIERARQUIAS Ano País Suco Mês Estado Leite Queijo Sabão Recife Maceió Natal Semana Cidade Jan Fev Mar DATA Abr Mai 2006 88
Produto OLAP Dados Multidimensionais Volume de vendas como função de produto, meses e região Indústria Região Categoria País Ano Trimestre Produto Cidade Mês Semana Filial Dia Meses Dimensões: Produto, Localização, Tempo 89
País OLAP Exemplo de um cubo TV PC VCR soma Data 1Trim 2Trim 3Trim 4Trim Total anual de vendas De TVs no Brasil soma Brasil Canada Mexico Soma 90
País País País OLAP Hiper-Cubo TV PC VCR soma Data 1Trim2Trim 3Trim4Trim soma Brasil Canada TV PC VCR soma Data 1Trim2Trim 3Trim4Trim soma Brasil Canada TV PC VCR soma Data 1Trim2Trim 3Trim4Trim soma Brasil Canada Mexico Mexico Mexico Soma Soma Soma Visão Multidimensional 91
OPERAÇÕES NO AMBIENTE OLAP 92
OPERAÇÕES NO AMBIENTE OLAP Drill-down Desagrega uma dimensão Exemplo: Ano Meses Estado - cidades 93
OPERAÇÕES NO AMBIENTE OLAP Roll-up Agrega uma dimensão (é o inverso do Drill-down) Exemplo: Meses Anos, Cidades - estado 94
OPERAÇÕES NO AMBIENTE OLAP Drill-down - Roll-up 95
OPERAÇÕES NO AMBIENTE OLAP Slice Uma Fatia de valores ao longo de uma dimensão Exemplo: Ano 2001 96
OPERAÇÕES NO AMBIENTE OLAP Dice Um dado resultante do cruzamento de mais de uma dimensão. Exemplo: Ano 2001, Em MG e em B. 97
OPERAÇÕES NO AMBIENTE OLAP Drill-through Pivot Rank Detalha além do cubo (nível de registros) Muda o eixo de visualização, também conhecido como rotação. Ordena os membros. 98
ARQUITETURAS OLAP 99
ARQUITETURAS OLAP ROLAP MOLAP HOLAP OLAP Relacional Os dados são armazenados no modelo relacional como também suas consultas são processadas pelo gerenciador do banco relacional. OLAP multidimensional Os dados são armazenados de forma multidimensional, através de Arrays com granularidade alta. OLAP Híbrido 100
ARQUITETURAS OLAP 101
OUTRAS ARQUITETURAS OLAP WOLAP Web OLAP Ferramenta OLAP a partir de um navegador. JOLAP DOLAP Java OLAP API Java para servidores e aplicações OLAP Orientada a objetos Desktop OLAP 102
Data Mining Mineração de Dados 103
Mineração de Dados 104
Mineração de Dados - Justificativa O volume de dados duplica a cada ano! 105
DM - MOTIVAÇÃO Os recursos de análise de dados tradicionais são inviáveis para acompanhar esta evolução e velocidade da Tecnologia da Informação em busca de conhecimento. Morrendo de sede por conhecimento em um oceano de dados 106
DATA MINING O que é? Mineração de dados (descoberta de conhecimento em bases de dados): Extração de informação interessante (nãotrivial, implícita, previamente desconhecida e potencialmente útil) dos dados armazenados em grandes massas de dados conhecimento para tomada de decisão. 107
DATA MINING KDD Knowledge Discovery in Database Descoberta de Conhecimento em Banco de Dados 108
DATA MINING KDD é o processo, não trivial, de extração de informações, implícitas, previamente desconhecidas e potencialmente úteis, a partir dos dados armazenados em um banco de dados [Frawley, Piatetsky-Shapiro & Matheus,1991] 109
DATA MINING Como identificar conhecimento em uma grande massa de dados: Padrões ( X acontece se...) Exceções (isto é diferente de... por causa de...) Tendências (ao longo do tempo, Y deve acontecer...) Correlações (se M acontece, N também deve acontecer) 110
DATA MINING O que é? Nomes alternativos: Descoberta (mineração) de conhecimento em banco de dados (KDD - Knowledge Discovery in Database ), extração de conhecimento, análise de dados/padrões, business intelligence, etc. O que não é data mining? Processamento de consultas dedutivo. Sistemas especialistas ou pequenos programas estatísticos ou de aprendizado de máquina. 111
DATA MINING - MOTIVAÇÃO Problema da explosão de dados Processo de tomada de decisão exige análise de grandes massas de dados Solução: Data Warehousing e Data Mining Data warehousing: Visão multidimensional dos dados para processamento OLAP Data mining: Extração de conhecimento interessante (regras, padrões, restrições) dos dados em grandes bases de dados. 112
DATA MINING - APLICAÇÕES Análise de dados e suporte a decisões Análise de mercado Marketing sob demanda, relação entre clientes, análise e segmentação de mercado, análise cruzada de dados, etc. Análise de risco Previsão, controle de qualidade, análise competitiva, análise de seguros Detecção de fraude Outras Aplicações Mineração de texto (news group, email, documentos XML) 113
DM ANÁLISE DE MERCADO Quais são as fontes de dados para Análise de Mercado? Transações de cartões de crédito, cartões de fidelidade, cupons de desconto, serviços de televendas, estudos de comportamento (questionários públicos, web, etc.) Marketing sob demanda Descobrir grupos de modelos de clientes que compartilham as mesmas características: interesses, hábitos de compras, etc. Determinar padrões de compras. Análise cruzada de dados. Associações/corelações entre vendas de produtos Previsão baseada nas associações determinadas 114
DM ANÁLISE DE MERCADO Preferências do Cliente Data mining pode mostrar que tipos de clientes compram que tipos de produtos (clustering ou classificação). Identificação das necessidades dos clientes Melhores produtos para diferentes clientes; Modelos de predição para descobrir que fatores vão atrair novos clientes Informações sumárias Relatórios multidimensionais e estatísticos 115
DATA MINING ANÁLISE DE RISCOS Planejamento de finanças e orçamento Análise e predição de fluxo de caixa Análise de contingência para provisão de bens Análise de séries temporais Planejamento de recursos: Resume e compara os recursos e os gastos Competição: Monitorar concorrentes e direções de mercado Agrupar clientes em classes e elaborar métodos para ajustar preços competitivos com os concorrentes do mercado 116
DM DETECCÃO DE FRAUDES Aplicações Largamente usada em serviços de saúde, cartões de créditos, telecomunicações (fraude de ligações telefônicas), etc. Técnicas Dados históricos para construir modelos de comportamento fraudulentos e usar mineração de dados para identificar instâncias similares Exemplos Seguro de automóveis: detecta um grupo de pessoas que são potenciais coletores de sinistros Lavagem de dinheiro: detecta transações suspeitas de dinheiro Seguro de saúde: detecta pacientes profissionais e grupo de outores usados para receber seguro destes pacientes 117
DM DETECCÃO DE FRAUDES Detecção inapropriada de tratamento médico Comissão de Seguro de Saúde da Austrália identificou que em muitos casos os tratamentos não eram necessários (economia de $1milhão/ano). Detecção de fraudes telefônicas Modelo de ligações telefônicas: destino da ligação, duração, hora do dia, dia da semana. Análise de padrões que desviam do padrão esperado. 118
DM - DESCOBERTA DO CONHECIMENTO EM BD (KDD) INTERPRETAÇÃO/ AVALIAÇÃO CONHECIMENTO DATA MINING? PADRÕES TRANSFORMAÇÃO PRÉ-PROCESSAMENTO SELEÇÃO DADO PROCESSADO DADO TRANSFORMADO FAYYAD 1996 DADOS DADO ANALISADO 119
DM - DESCOBERTA DO CONHECIMENTO EM BD (KDD) 1 - SELEÇÃO 2 - PRÉ-PROCESSAMENTO (Limpeza + Enriquecimento) 3 - TRANSFORMAÇÃO 4 - MINERAÇÃO 5 - INTERPRETAÇÃO 4 5 Conhecimento 3 2 Regras e Padrões 1 Dados Pré-processados Dados Transformados Dados Dados Selecionados 120
DM - ETAPAS DO PROCESSO DE KDD Conhecer o domínio da aplicação. Conhecimento relevante e metas da aplicação Criar a base de dados alvo: seleção de dados Limpeza dos dados e pré-processamento: (até 60% do esforço!) Transformação dos dados: Contemplar propriedades importantes e dimensões. Escolha das funções do data mining sumarização, classificação, associação, clustering. Escolha dos algortimos de mineração Data mining: busca dos padrões de interesse Avaliação dos padrões descobertos e apresentação do conhecimento visualização, transformação, remoção de padrões redundantes, etc. Uso do conhecimento descoberto 121
DM - ETAPAS DO PROCESSO DE KDD Lógica Condicional Descoberta Afinidades e Associações Tendências e Variações Data Mining Modelagem de Prognóstico Resultado do Prognóstico Previsão Análise Prévia Detecção de Desvio Análise de Ligações 122
ARQUITETURA DE UM SISTEMA DE DATA MINING Graphical user interface Pattern evaluation Data cleaning & data integration Data mining engine Database or data warehouse server Databases Data Warehouse Filtering Knowledge-base 123
ALGUMAS TÉCNICAS DE MINERAÇÃO DE DADOS 124
TÉCNICAS DE MINERAÇÃO DE DADOS Classificação Descoberta de Regras de Associação Clustering 125
Mineração de Dados - Classificação Usamos o Indutor, como por exemplo uma Árvore de decisão (ID3, C4.5), para indicar classes para estes dados. Assumimos que dados desconhecidos próximos de dados conhecidos terão a mesma classe dos dados conhecidos. O processo pode ser avaliado se usarmos dados com classes conhecidas, fizermos a sua classificação e compararmos os resultados previstos com os obtidos. 126
Mineração de Dados - Classificação Classificação - REGRAS Regras possuem: antecedentes (condições) e conseqüentes (classe): SE COND1 E COND2 E... ENTÃO CLASSE(A) Condições relacionam valores dos atributos: Atributos : Cliente, Data Vencimento, Pagamento, Valor,... Relações: <, >, =,... 127
Mineração de Dados - Classificação Classificação REGRAS - Exemplo SE 06:00hs< hora_sinistro < 08:30hs E oficina oficinas_suspeitas E prêmio_seguro < R$ 2300 E registro_policial = NÃO E........... custo_sinistro > 2,4 prêmio_seguro ENTÃO FRAUDE 128
Mineração de Dados - Classificação Classificação - Exemplo Sexo País Idade Comprar M França 25 sim M Inglaterra 21 sim F Franca 23 sim F Inglaterra 34 sim F França 30 não M Alemanha 21 não M Alemanha 20 não F Alemanha 18 não F França 34 não M França 55 não 129
Mineração de Dados - Classificação Classificação SE (país = Alemanha ) ENTÃO (comprar= não ) Se (país = Inglaterra ) ENTÃO (comprar = sim ) SE (país = França E idade 25) ENTÃO (comprar = sim ) SE (país = França E idade > 25) ENTÃO (comprar = não ) 130
Mineração de Dados - Classificação Algoritmo ID3 [Quinlan 86] Passos para construção de uma árvore de decisão: 1. Seleciona um atributo como sendo o nodo raiz ; 2. Arcos são criados para todos os diferentes valores do atributo selecionado no passo 1; 3. Se todos os exemplos de treinamento sobre uma folha pertencerem a uma mesma classe, esta folha recebe o nome da classe. Se todas as folhas possuem uma classe, o algoritmo termina; 4. Senão, o nodo é determinado com um atributo que não ocorra no trajeto da raiz, e arcos são criados para todos os valores. O algoritmo retorna ao passo 3. 131
Mineração de Dados - Classificação Exemplo ID Salário Idade Tipo Emprego Classe 1 3.000 30 Autônomo B 2 4.000 35 Indústria B 3 7.000 50 Pesquisa C 4 6.000 45 Autônomo C 5 7.000 30 Pesquisa B 6 6.000 35 Indústria B 7 6.000 35 Autônomo A 8 7.000 30 Autônomo A 9 4.000 45 Indústria B Árvore de Decisão ou Árvore de Classificação B Salário 5.000 5.000 T.Empr. Idade 40 40 C Ind.,Pesq. Autônomo Regras de Classificação (Sal 5.000) Classe = B B A (Sal 5.000) (Idade 40) Classe = C (Sal 5.000) (Idade 40) (TEmpr = Autônomo) Classe = A (Sal 5.000) (Idade 40) ((TEmpr = Indústria) (TEmpr = Pesquisa)) Classe = B 132
Mineração de Dados - Classificação Algoritmo ID3: restrições O algoritmo ID3 não contempla todos os casos: Quando atributos forem numéricos? Esquemas de discretização. Identificação de categorias discretas em atributos numéricos (particionamento do atributo). Quando dados estiverem incompletos? Usar classe faltando. Substituir valores inexistentes (pré-processamento). Complexidade da árvore resultante Pruning (poda) Outros algoritmos: C4.5 / J4.8 133
Mineração de Dados Associação 134
Mineração de Dados - Associação Descoberta de Regras de Associação Regras de associação ou regras associativas têm a forma {X 1, X 2,..., X n } Y significando que se encontrarmos todos os itens X 1, X 2,..., X n numa transação, então temos uma boa chance de encontrar também Y. (Freitas,2000) 135
Mineração de Dados - Associação Precisamos de métricas que indiquem: Significância em uma associação: ela pode existir mas ser muito rara em uma base de dados (ex. Compra cerveja e fraldas). Suporte X Λ Y : número de casos que contém X e Y dividido pelo número total de registros. Confiança em uma associação: o antecedente pode ocorrer várias vezes na base de dados mas nem sempre com o mesmo conseqüente associado. Confiança X Λ Y : número de registros que contém X e Y dividido pelo número de registros que contém X. (Freitas,2000) 136
Mineração de Dados - Associação Descoberta de Regras de Associação dada a regra de associação X Y X implica Y se X então Y se compra X então compra Y, define-se (Freitas,2000) suporte = confiança = Número de registros com X e Y Número total de registros Número de registros com X e Y Número de registros com X Grau de Certeza 137
Mineração de Dados - Associação Tarefa é descobrir todas a regras de associação com suporte ao suporte mínimo (minsup) e confiança confiança mínima (minconf), definidas pelo usuário. (Freitas,2000) 138
Mineração de Dados - Associação Descoberta de Regras de Associação Cada registro corresponde a uma transação de um cliente, com itens assumindo valores binários (sim/não), indicando se o cliente comprou ou não o respectivo item. num leite café cerveja pão manteiga arroz feijão 1 não sim não sim sim não não 2 sim não sim sim sim não não 3 não sim não sim sim não não 4 sim sim não sim sim não não 5 não não sim não não não não 6 não não não não sim não não 7 não não não sim não não não 8 não não não não não não sim 9 não não não não não sim sim 10 não não não não não sim não (FREITAS & LAVINGTON 98) 139
Mineração de Dados - Associação Descoberta de Regras de Associação SE (café) ENTÃO (pão) SE (café) ENTÃO (manteiga) SE (pão) ENTÃO (manteiga) SE (manteiga) ENTÃO (pão) SE (café E pão) ENTÃO (manteiga) SE (café E manteiga) ENTÃO (manteiga) SE (café) ENTÃO (manteiga E manteiga) sup=0.3 conf.=1 sup=0.3 conf.=1 sup=0.4 conf.=0.8 sup=0.4 conf.=0.8 sup=0.3 conf.=1 sup=0.3 conf.=1 sup=0.3 conf.=1 (Freitas, 2000) 140
Mineração de Dados - Associação Algoritmos de regras de Associação AIS Apriori Apriori-Hybrid MiRABIT SETM Apriori -TID Dense Miner 141
TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori (1) Dado um limiar de suporte minsup, no primeiro passo encontre os itens que aparecem ao menos numa fração das transações igual a minsup. Este conjunto é chamado L 1, dos itens freqüentes. (2)Os pares dos itens em L 1 se tornam pares candidatos C 2 para o segundo passo. Os pares em C 2 cuja contagem alcançar minsup são os pares freqüentes L 2. (3) As trincas candidatas C 3 são aqueles conjuntos {A, B, C} tais que todos os {A, B}, {A, C} e {B, C} estão em L 2. No terceiro passo, conte a ocorrência das trincas em C 3 ; aquelas cuja contagem alcançar minconf são as trincas freqüentes, L 3. (4) Proceda da mesma forma para tuplas de ordem mais elevada, até os conjuntos se tornarem vazios. L i são os conjuntos freqüentes de tamanho i; C i+1 é o conjunto de tamanho i+1 tal que cada subconjunto de tamanho i está em L i. 142
TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori Conjunto de itens suporte {leite} 2 {café} 3 {cerveja} 2 {pão} 5 {manteiga} 5 {arroz} 2 {feijão} 2 C 1 L1 será os itens de C1 com suporte >= 3 (0,3) Conjunto de itens suporte {café} 3 {pão} 5 {manteiga} 5 L 1 143
TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori C 2, L 2 Os pares dos itens de L1 tornam-se Candidatos para o C2 Conjunto de itens suporte {café, pão} 3 {café, manteiga} 3 {pão, manteiga} 4 Conjunto de itens suporte {café, pão, manteiga} 3 C 3, L 3 144
TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori Regras candidatas com dois itens com o seu grau de certeza(confiança): Conjunto de itens: {café, pão} Se café Então pão conf = 1,0 Se pão Então café conf = 0,6 Conjunto de itens: {café, manteiga} Se café Então manteiga conf = 1,0 Se manteiga Então café conf = 0,6 Conjunto de itens: {pão, manteiga} Se pão Então manteiga conf = 0,8 Se manteiga Então pão conf = 0,8 145
TÉCNICAS DE MINERAÇÃO DE DADOS Algoritmo Apriori Regras candidatas com três itens com o seu valor de certeza: Conjunto de itens: {café, manteiga, pão} Se café, manteiga Então pão conf = 1,0 Se café, pão Então manteiga conf = 1,0 Se manteiga, pão Então café conf = 0,75 Se café Então manteiga, pão conf = 1,0 Se manteiga Então café, pão conf = 0,6 Se pão Então café, manteiga conf = 0,6 146
Mineração de Dados - Associação Descoberta de Regras de Associação Padrões descobertos, minsup = 0,3 e minconf = 0,8: Se café Então pão conf = 1,0 Se café Então manteiga conf = 1,0 Se pão Então manteiga conf = 0,8 Se manteiga Então pão conf = 0,8 Se café, manteiga Então pão conf = 1,0 Se café, pão Então manteiga conf = 1,0 Se café Então manteiga, pão conf = 1,0 147
Mineração de Dados Clustering Agrupamento 148
Mineração de Dados - Clustering Cluster É o resultado da identificação de um conjunto finito de categorias (ou grupos - clusters) que contêm objetos similares. Grupos esses que não são previamente definidos. 149
Mineração de Dados - Clustering Análise de Cluster Esta técnica agrupa informações homogêneas de grupos heterogêneos entre os demais e aponta o item que melhor representa cada grupo, permitindo, desta forma, que consigamos perceber a característica de cada grupo. Instintivamente as pessoas visualizam os dados segmentados em grupos discretos, como por exemplo, tipos de plantas ou animais. Na criação desses grupos discretos pode-se notar a similaridade dos objetos em cada grupo. GTI (2002) - Deborah R. Carvalho 150
Mineração de Dados - Clustering Análise de Cluster Marketing: ajuda na descoberta de grupos distintos de clientes, e uso deste conhecimento para criar campanhas dirigidas; Uso de terras: identificação de áreas de uso similar a partir de uma base de observação via satélite; Seguros: identificação de grupos de assegurados com alto custo de sinistro; Planejamento urbano: identificação de grupos de casa de acordo com seu tipo, valor e localização geográfica; Estudos sobre clientes: identificação dos tipos de clientes em função de pagamentos de duplicatas Meu Caso. 151
Mineração de Dados - Clustering O que é bom Clustering: Um bom método de agrupamento (clustering) deve produzir clusters de qualidade com: Alta similaridade intra-classe; Baixa similaridade inter-classes. A qualidade do resultado de um processo de clustering depende da medida de similaridade, do método utilizado e de sua implementação; A qualidade um um processo de clustering também deve ser avaliada pela sua habilidade de descobrir alguns ou todos os padrões escondidos (hidden patterns). 152
Mineração de Dados - Clustering Medida da qualidade do cluster Métrica de similaridade / dissimilaridade: expressa em termos de função de distância d(i, j) Existe uma função de qualidade que é uma medida da adequação de um cluster; Existem definições de funções de distância que são diferentes para variáveis intervalares, booleanas, categóricas e proporções; Pesos devem ser associados às variáveis baseados na aplicação e na semântica dos dados; É difícil definir suficientemente similar, pois tipicamente esta avaliação é subjetiva. 153
154 Similaridade entre objetos: distâncias q q p p q q j x i x j x i x j x i x j i d )... ( ), ( 2 2 1 1 Distância típica: de Minkowski; Onde i = (x i1, x i2,, x ip ) e j = (x j1, x j2,, x jp ) são vetores p-dimensionais e q é um inteiro positivo. Mineração de Dados - Clustering
155 Similaridade entre objetos: distâncias q =1: distância de Manhattan: q =2: distância euclidiana:... ), ( 2 2 1 1 p p j x i x j x i x j x i x j i d )... ( ), ( 2 2 2 2 2 1 1 p p j x i x j x i x j x i x j i d Mineração de Dados - Clustering
Mineração de Dados - Clustering O método k-means (k-médias) Dado k, o algoritmo k-means é implementado em quatro passos: 1. Partição dos objetos em k conjuntos não vazios; 2. Cálculo de pontos semente como os centróides (médias) dos clusters das partições correntes; 3. Assinalação de cada objeto ao cluster (centróide) mais próximo de acordo com a função de distância; 4. Retorno ao passo 2 até que não haja mais alterações de assinalação. 156
Mineração de Dados - Clustering O método k-means (k-médias) - Exemplo 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10 157
Estudo de Caso Extração de conhecimento na base de clientes da Organização Arnon de Mello 158
Estudo de Caso - OAM Ferramentas Observadas Bayesialab KnowledgeMiner Miner3D Mineset 3.2 PolyAnalyst Weka WizRule WizWhy XpertRule 159
Estudo de Caso - OAM INTERPRETAÇÃO/ AVALIAÇÃO CONHECIMENTO DATA MINING? PADRÕES TRANSFORMAÇÃO PRÉ-PROCESSAMENTO SELEÇÃO DADOS SQL Server DADO ANALISADO DADO PROCESSADO DADO TRANSFORMADO Planilha EXCEL Filtros para os atributos: Cliente,Vencimento,Baixa, Valor FAYYAD 1996 160
Estudo de Caso - OAM 161
Estudo de Caso - OAM 162
MineSet - Tools Estudo de Caso - OAM 163
Estudo de Caso - OAM 164
Estudo de Caso - OAM Histograma AUTO VANESSA LTDA Clientes por quantidade de transações financeiras (Nº de Duplicatas) Cerca de 75% da carteira pagam até 21 dias de atraso Cliente Tipo A pagam entre 0 e 30 dias de atraso 165
Estudo de Caso - OAM Dispersão 166
Estudo de Caso - OAM Dispersão O cliente 105414 paga com mais de 360 dias de atraso e seu volume é de R$717.544 Requer providências imediatas. 167
Estudo de Caso - OAM Mapa 168
Estudo de Caso - OAM Classificação 169
Estudo de Caso - OAM Classificação Indutor: Àrvore de decisão 170
Classificação 171
Estudo de Caso - OAM Associação 172
Estudo de Caso - OAM O cliente 105414 se mantém na faixa de atraso em (241.5...360) Regra: Se for cliente 105414 paga com mais de 240 dias de atraso 173
Estudo de Caso - OAM Regra1: Se for cliente 108017 paga até 30 dias de atraso Regra2: Se for cliente 113009 paga no prazo (atraso = 0) 174
Estudo de Caso - OAM Clustering 175
Estudo de Caso - OAM Clustering 176
Estudo de Caso - OAM Clustering 177
Estudo de Caso - OAM Clustering 178
DATA MARTS 179
DATA MARTS O que é? Base de informação por linha de negócio que contém um subconjunto dos dados corporativos. 180
DATA MARTS Clientes Banco de dados operacional Extração Transformação Transporte Data Mart Vendas OLAP MAINFRAME MS-SQL Server 2000 Clientes 181
ETL Extract, Transformation and Load Extração Transformação e Carga 182
ETL O que é? É a camada responsável por integrar, transformar e salvar dados, não importando sua fonte nem seu destino. 183
ETL Os dados, oriundos de diversas fontes de dados, se necessário, são submetidos a severas transformações e disponibilizados de forma normalizada. Em ambientes complexos, existe a possibilidade de utilização de softwares que executam as transformações automaticamente Dependendo da periodicidade de atualização dos dados, devem ser estabelecidos mecanismos de sincronização de dados para garantir a integridade dos dados. 184
ETL Métodos de Extração - EXTRAÇÃO SELETIVA os dados são extraídos através de programas desenvolvidos especificamente para selecionar os dados a serem exportados - MANUTENÇÕES POR LOGS OU LOTES os dados são extraídos através dos registros automáticos (logs) ou de lotes de dados das transações efetuadas nos sistemas operacionais -REPLICAÇÃO AUTOMÁTICA os dados são extraídos através de um sincronismo automático entre dois bancos de dados 185
ETL - Métodos de Extração 12 cm 4,5 polegadas 450 mm 2 pés E T L cm SQL Server Oracle Access Texto E T L SQL Server m,f 1,0 mas,fem masculino, feminino E T L m,f 186
ETL Métodos de Carregamento - RENOVAÇÃO Dados previamente arquivados são regravados, sendo então automaticamente atualizados - ATUALIZAÇÃO LÓGICA OU INCREMENTAL Trata-se de um arquivamento não destrutivo, onde aos dados já arquivados são acrescentados outros dados - ATUALIZAÇÃO FÍSICA Trata-se de um arquivamento destrutivo, onde os dados arquivados são previamente eliminados dando lugar a novos dados que serão carregados 187
ETL Source Data Logical Data Model Exploitation Applications Camada de Integração, Transformação e Gerenciamento do Histórico Detail Data Store Dimensional Physical Models Data Marts HOLAP Data Models Reporting Analytical Data Models Analytics Campaign Management Data Mart Current Data BSC Knowledge Base Performance Management ETL Process and Metadata Online HTML WA documentation Campaign Management 188
ETL Extração, Transformação e Carga ANALISTA DATA WAREHOUSE METADATA GXPLORER MANAGER GERAR CONSULTA GXPLORER EXCEL Base de GENEXUS Conhecimento BI TAREFA EXECUTADA (ETL) CONSULTA DATA WAREHOUSE BASE DE DADOS OPERACIONAL USUÁRIO 189
Data WareHouse Armazém de Dados 190
DW O que é? É um amplo e flexível repositório de dados, que aglutina dados de fontes heterogêneas, projetado de modo a suportar o processo de tomada de decisão. 191
DW Onde se aplica. Empresas com grande quantidade de dados armazenados Dispersos Gravados por várias aplicações Em plataformas e tecnologias diferentes Em equipamentos diferentes Em muitos casos conflitantes Sistemas com muitas entradas e poucas saídas 192
DW - ORGANIZAÇÃO O que é? DATA MART Data warehouse departamental Finanças Estoque Vendas Técnico DATA WAREHOUSE Corporativo 193
DW - ORGANIZAÇÃO 194
DW - ORGANIZAÇÃO Fontes Gestão e Operação Ad Hoc Query Tools OLTP. OLTP Fontes Externas Extração Limpeza Transformação Carregamento MetaData Data Warehouse Plataformas e Infra-estruturas de suporte Data Marts Report Writers Multidimensional Analysis Configuração, Gestão e Operação Aplicações - DataMining -. 195
DW ACESSO 196
DW - CAMADAS 197
DW - CAMADAS Camadas de bancos de dados operacionais e fontes externas: É composto pelos dados dos sistemas operacionais das empresas e informações provenientes de fontes externas que serão integradas para compor o DW; Camada de acesso aos dados: Esta camada faz a ligação entre as ferramentas de acesso à informação e os bancos de dados operacionais. Esta camada se comunica com diferentes sistemas de bancos de dados, sistemas de arquivos e fontes sob diferentes protocolos de comunicação, o que se chama acesso universal de dados; 198
DW - CAMADAS Camada de acesso a informação: Envolve o hardware e o software utilizado para obtenção de relatórios, planilhas, gráficos e consultas. É nesta camada que os usuários finais interagem com o DW, utilizando ferramentas de manipulação, análise e apresentação dos dados, incluindo-se as ferramentas de data-mining e visualização.; Camada de metadados (Dicionário de dados): Metadados são as informações que descrevem os dados utilizados pela empresa, isto envolve informações como descrições de registros, comandos de criação de tabelas, diagramas Entidade/Relacionamentos (E-R), dados de um dicionário de dados, etc. É necessário que exista uma grande variedade de metadados no ambiente de DW para que ele mantenha sua funcionalidade e os usuários não precisem se preocupar onde residem os dados ou a forma com que estão armazenados; 199
DW - CAMADAS Camada de gerenciamento de processos: É a camada responsável pelo gerenciamento dos processos que contribuem para manter o DW atualizado e consistente. Está envolvida com o controle das várias tarefas que devem ser realizadas para construir e manter as informações do dicionário de dados e do DW; Camada de transporte: Esta camada gerencia o transporte de informações pelo ambiente de rede. Inclui a coleta de mensagens e transações e se encarrega de entregá-las em locais e tempos determinados. Também é usada para isolar aplicações operacionais ou informacionais, do formato real dos dados nas duas extremidades; 200
DW - CAMADAS Camada do Data Warehouse: É o DW propriamente dito, corresponde aos dados utilizados para obter informações. As vezes o DW pode ser simplesmente uma visão lógica ou virtual dos dados, podendo não envolver o armazenamento dos mesmos ou armazenar dados operacionais e externos para facilitar seu acesso e manuseio. 201
DW - CAMADAS 202
DW TRÊS CAMADA 203
DW FLUXO DE DADOS 204
DW FLUXO DE DADOS Cinco principais fluxos fazem parte do sistema: Fluxo de entrada (inflow); Fluxo de saída (outflow); Fluxo de subida (upflow); Fluxo de descida (downflow) e o Metafluxo (metaflow). 205
DW FLUXO DE DADOS O primeiro fluxo é o de entrada dos dados no sistema (inflow), que envolve extrair, filtrar, transformar, integrar e carregar os dados de várias fontes no DW. Deve-se considerar as fontes de dados que pertencem à empresa e as fontes externas. O fluxo de entrada é geralmente implementado com ajuda de ferramentas especialmente desenvolvidas para este fim. O segundo fluxo é o de descida dos dados (downflow), ou seja, em tempos pré-determinados, de dois a cinco anos dependendo da empresa, os dados armazenados no DW passam para o estado de dados antigos [INM96]. Este é o fluxo que remove do DW aqueles dados considerados velhos, que já não são mais utilizados com freqüência. 206
DW FLUXO DE DADOS O terceiro fluxo é o de subida dos dados (upflow), onde é enfocada a necessidade de colocar os dados em formatos mais acessíveis aos usuários finais. Este processo sumariza e agrupa os dados dentro de "visões" mais adequadas aos usuários finais e as aplicações front end que eles utilizam, tais como tabelas sumarizadas, planilhas, gráficos, páginas no formato Hyper Text Markup Language (HTML), banco de dados pessoais, entre outros formatos. Também é função do fluxo de subida a distribuição dos dados para os diferentes níveis do sistema como, por exemplo, Data Marts e bancos de dados pessoais localizados nas estações de trabalho dos usuários finais. 207
DW FLUXO DE DADOS O quarto fluxo é o de saída dos dados (outflow), cuja função é disponibilizar acesso aos usuários finais do sistema. Este processo é implementado através de uma variedade de ferramentas front end como, por exemplo, geradores de consulta e relatório, ferramentas com características On-line Analytical Processing (OLAP), pacotes estatísticos, ferramentas de Data Mining, ferramentas de visualização, Executive Information System (EIS), Decision Suport Systems (DSS), entre outras. As ferramentas front end podem acessar tanto dados previamente preparados pelo fluxo de subida, quanto dados "brutos" e detalhados armazenados no DW. 208
DW FLUXO DE DADOS O quinto e último fluxo pode ser chamado de metafluxo (metaflow), ao contrário dos quatro fluxos de dados citados anteriormente, que descrevem como os dados se movem no DW o metafluxo move metadados, ou seja, dados sobre os outros fluxos. O repositório de metadados é responsável pela gerência do sistema como um todo, indicando de onde os dados vêm, como são transformados, quando são atualizados, o que significam, como são acessados e quem os vê. 209
DW FLUXO DE DADOS 210
DW INTEGRADOR O integrador pode ser implementado como um mecanismo de regra base, recebendo as notificações dos extratores e integrando-as no DW. Cada regra é responsável pela manipulação de um determinado tipo de notificação e é implementada como um método em um sistema orientado a objetos. Quando o extrator gera um determinado tipo de notificação o método correspondente é chamado e então executa os processamentos necessários para integrar os dados no DW, durante este processo o integrador pode obter dados extras no DW ou em outras bases de dados. 211
DW INTEGRADOR 212
B I Business Intelligence Negócios Inteligentes Inteligência nos Negócios 213
CONCEITOS BÁSICOS Resumo DADO: texto, fato, código, imagem, sons... INFORMAÇÃO: dados organizados, estruturados, interpretados, sumarizados... CONHECIMENTO: casos, regras, processos, modelos, informação útil... 214
CONCEITOS BÁSICOS Informação x Conhecimento Informação: dados estruturados, com significado, contextualizados, interpretados e compreendidos. Conhecimento: informação utilizada para tomar decisões, resolver problemas ou gerar idéias. 215
BI - MOTIVAÇÃO Por que preocupar-se em esconder a informação dos funcionários da empresa? A mesma informação deve estar disponível aos diretores, gerentes e até mesmo para os trabalhadores operacionais, para que todos compreendam: - onde estão os lucros e as perdas - o que funciona ou não - que despesas estão dentro ou fora do previsto As empresa deveriam perder menos tempo escondendo informações de funcionários e mais tempo ensinando-os a analisá-las e agir a partir delas. Bill Gates 216
BI - MOTIVAÇÃO Se você possui em sua empresa uma verdadeira montanha de dados, por que não aproveitá-la? Esta montanha de dados precisa ser considerada como um ativo da empresa, com o qual podemos: - aprender - gerar informação - obter conhecimento - nortear decisões - dar um passo a frente da concorrência - ganhar vantagem competitiva 217
BI ENXURADA DE DADOS de todos tipos provenientes de diversas fontes oriundos de diversos meios arquivados de diversos modos 218
Aplicativos Operacionais x BI Aplicativos Operacionais Visão do atual e do real Solução para requisitos conhecidos Abrangência restrita Business Intelligence Visão histórica e de tendência Permitir a identificação de fatos desconhecidos Abrangência ampla Informação produzida por profissionais de informática Custo e tempo para obtenção da informação altos Informação disponível a poucos usuários Informação produzida pelo próprio usuário Informação obtida com baixo custo e em tempo real Informação democratizada 219
Business Intelligence O que é? Conjunto de ferramentas e técnicas que objetivam dar suporte à tomada de decisão. 220
Business Intelligence Modelo da Inteligência Empresarial 221
BI EMPRESA DATA WAREHOUSE MEMÓRIA DA EMPRESA BUSINESS INTELLIGENCE INTELIGÊNCIA DA EMPRESA 222
BI - DIMENSÕES Estratégia Tempo Organização Região Produto Cliente Preço Venda 223
REFLEXÃO... Temos que gerar e disponibilizar o máximo de informações possíveis para que elas sejam contextualizadas e transformadas de acordo com seus objetivos. 224
GESTÃO DO CONHECIMENTO 225
GESTÃO DO CONHECIMENTO Conjunto de estratégias para: criar, adquirir, compartilhar e utilizar ativos de conhecimentos; Estabelecer fluxos que garantam a informação necessária no tempo e formato adequados a fim de auxiliar na geração de idéias, solução de problemas e tomada de decisões. 226
GESTÃO DO CONHECIMENTO GERAR APROPRIAR Criar Aplicar Vender Identificar Conhecimento Organizacional Comprar Coletar Selecionar CODIFICAR Adaptar Organizar Interpretar Compartilhar Armazenar DISSEMINAR 227
GESTÃO DO CONHECIMENTO Fluxo do Conhecimento Captura/ Descoberta Validação Retenção Transformação (Experimentação) Disseminação Utilização 228
GESTÃO DO CONHECIMENTO AQUISIÇÃO DE CONHECIMENTO DATA MINING SISTEMAS ESPECIALISTAS SISTEMAS INTELIGENTES PARA APOIO NA TOMADA DE DECISÕES PODEM USAR: ALGORITMOS GENÉTICOS REDES NEURAIS LÓGICA FUZZY RBC 229
GESTÃO DO CONHECIMENTO Dados do problema Usuário Respostas Sistemas Especialistas Máquina de Inferência Explicação do raciocínio Especialista Memória de trabalho Base de conhecimento Ferramentas de aquisição Engenheiro de conhecimento 230
GESTÃO DO CONHECIMENTO Redes Neurais 231
GESTÃO DO CONHECIMENTO Redes Neurais bias Entradas X 1 X 2. W 1 W 2 W n pesos sinapses W b U F U Saída Y U P K 0 Y F U W K. X K X n 232
Redes Neurais GESTÃO DO CONHECIMENTO 233
GESTÃO DO CONHECIMENTO Redes Neurais - Exemplos 234
Lógica Fuzzy GESTÃO DO CONHECIMENTO A lógica fuzzy é uma estrutura de conceitos e técnicas que se relacionam com o modo de raciocínio aproximado ao invés de exato. (WILSON, R. A. 1999) É complexo indicar um ponto da barra fuzzy onde se pode afirmar com certeza quando a cor branca se transforma em preta. 235
Lógica Fuzzy GESTÃO DO CONHECIMENTO 236
GESTÃO DO CONHECIMENTO Teorema de Bayes Ambiente de Incerteza P( h D) P( D h) P( h) P( D) P(h D): probabilidade à posteriori de h dado D (reflete a confiança da hipótese h depois de se observar D) P(D h): probabilidade de D dado h. P(h): probabilidade a priori da hipótese h (representa o conhecimento de domínio, se este conhecimento prévio não existir pode ser atribuída a mesma probabilidade a cada hipótese candidata) P(D): probabilidade a priori de D (sem conhecimento prévio) 237
Rede Bayesiana GESTÃO DO CONHECIMENTO n [ P( e j i 1 / H i ). P( H i )] ( 1/ ) 238
GESTÃO DO CONHECIMENTO Capital Intelectual Capital Humano Capital do Cliente Conhecimento dos empregados Capital Estrutural Gestão de Conhecimento Necessidades e opiniões dos clientes 239
DATA MINING E BI Decisões de negocios Decisões Usuário Apresentação Dados Visualização Mineração de Dados Exploração Dados Analista de Negócios Analista de Dados OLAP Data Warehouses / Data Marts Fontes/Dados Arquivos, Provedores, Sistemas Bancos Dados DBA 240
BI AMBIENTE DE EXPLORAÇÃO O ambiente de exploração objetiva disponibilizar, através de ferramentas apropriadas, o acesso a informação. Disponibilizar o acesso a informação Satisfazer as necessidades de exploração e pesquisa Identificar tendências Democratizar o acesso a informação 241
BI AMBIENTE DE EXPLORAÇÃO Banco de Dados Data Warehouse, Data Marts Business Intelligence Espaço dos Dados Espaço da Informação Analítica Espaço da Influência e Variação Data Mining Qual o preço do livro BI - Business Intelligence? Vendas de livro de informática por mês e por região Que fatores influenciam a venda de livros em BH? 242
BI AMBIENTE DE EXPLORAÇÃO Data Mart Aplicativos Operacionais Softwares de Automação de Escritórios Dados Externos Equipamentos de Automação E T L OLAP Data Mining FONTES DE DADOS DATA WAREHOUSE EXPLORAÇÃO 243
BI FONTES DE DADOS Aplicativos Operacionais ou Transacionais Dados Externos RH Financeiro Interface Estoque Software Automação De Escritórios FONTES DE DADOS Equipamentos Automação 244
BI FERRAMENTAS - CUBO - É uma estrutura de dados que forma um subconjunto de um banco de dados grande - Organiza os dados em duas categorias: - campos de dados - dimensões com múltiplos níveis - Resumos dos dados são previamente calculados de modo a otimizar o tempo de recuperação das informações 245
BI OLAP AD-HOC consultas imprevistas, de acordo com as necessidades de cruzamento de informação Permite a recuperação de informações de forma dinâmica e flexível, através de uma interface muito simples. SLICE-AND-DICE consultas sob diferentes prismas DRILL DOWN/UP consultas em diferentes níveis de detalhes - subir ou descer níveis de detalhamento 246
BI DATA WAREHOUSE DATA MART Data warehouse departamental Finanças Estoque Vendas Técnico DATA WAREHOUSE Corporativo 247
BI DATA MINING Conjunto de técnicas cuja finalidade é permitir a descoberta de relações não visíveis dos banco de dados. REDES NEURAIS constrõem representações internas de modelos ou padrões achados nos dados INDUÇÃO DE REGRAS detectam tendências dos dados, apresentando uma lista não encomendada ÁRVORES DE DECISÃO Identificam associações dos dados, formando as regras sobre o dado 248
BI DATA MINING Conhecimento Dados Limpos e Pré-Processados Dados Explorados e Transformados Transformações Padrões e Modelos Data Mining Avaliação e Visualização Dados Alvo Limpeza e Pré-Processados dos Dados Bases de Dados Seleção Pós-Processamento 249
FERRAMENTAS DISPONÍVEIS 250
FERRAMENTAS DISPONÍVEIS 251
FERRAMENTAS DISPONÍVEIS SAS Enterprise Miner 252
FERRAMENTAS DISPONÍVEIS MineSet 253
FERRAMENTAS DISPONÍVEIS MineSet 254
FERRAMENTAS DISPONÍVEIS DBMiner Manager 255
FERRAMENTAS DISPONÍVEIS DBMiner Manager 256
FERRAMENTAS DISPONÍVEIS 3D Cube Browser 257
FERRAMENTAS DISPONÍVEIS Market-Basket-Analysis (Association Ball Graph) 258
FERRAMENTAS DISPONÍVEIS Clustering (Data Segmentation) 259
FERRAMENTAS DISPONÍVEIS GxPlorer Manager GxPlorer Olap Excel 260
FERRAMENTAS DISPONÍVEIS Genexus Gerador C/SQL (Command Line) ODBC Gerador C/SQL (Web) Interface para configuração de parâmetros Consulta dos logs das cargas dos dados 261
FERRAMENTAS DISPONÍVEIS Pentaho 262
FERRAMENTAS DISPONÍVEIS Pentaho 263
FERRAMENTAS DISPONÍVEIS Pentaho 264
FERRAMENTAS DISPONÍVEIS Pentaho 265
FERRAMENTAS DISPONÍVEIS Weka 266
FERRAMENTAS DISPONÍVEIS Weka 267
FERRAMENTAS DISPONÍVEIS Weka 268
FERRAMENTAS DISPONÍVEIS Bussines Intelligence Microsoft Data Warehousing Framework: Microsoft SQL Server oferece recursos de alto desempenho para construção de bancos de dados, em especial para o processamento centrado em transações (OLTP). Microsoft Data Transformation Services oferece recursos para interatividade dos bancos de dados construídos usando o Microsoft SQL Server e uma enorme gama de aplicações. Viabiliza a implementação de bancos de dados federados e armazéns de dados (data warehouses), centrados no Microsoft SQL Server. 269
FERRAMENTAS DISPONÍVEIS Bussines Intelligence Microsoft Data Warehousing Framework: Microsoft OLAP Services a partir da versão 7.0 do Microsoft SQL Server, diversos recursos para OLAP foram incluídos, os quais implementam funcionalidades do padrão SQL:1999. Esses recursos permitem manipular explicitamente hipercubos multidimensionais de dados implementados como ROLAP, bem como implementar bancos de dados multidimensionais integrados à WWW. 270
FERRAMENTAS DISPONÍVEIS Bussines Intelligence Microsoft Data Analyzer: Componente do conjunto de aplicações Microsoft Office. Contém uma interface com o Microsoft SQL Server. Possibilita a visualização e manipulação de dados com grande eficácia. Microsoft BI Accelerator for SQL Server: Conjunto de soluções pré-fabricadas para sistemas voltados a BI, que aceleram a construção de aplicações para BI quando bem utilizados, por exemplo como padrões de programação (programming patterns). 271
FERRAMENTAS DISPONÍVEIS Bussines Intelligence Gerencia Documentos - Excalibur RetrievalWare Groupware - Notes(Lotus) e Exchange Workflow - ARISToolset (IDS Scheer) Bases I. do Conhecimento Neugents(Computer Assoc Business Intelligence - Business Objects Mapas de Conhecimento - Sopheon Ferramentas/Inovação - Invention Machine 272
LABORATÓRIO SOFTWARE WEKA 273
Ferramenta algoritmos de preparação de dados aprendizagem de máquina (mineração) validação de resultados /public/soft/linux/weka-3-4/ Java jar weka.jar Selecione Explorer copie os arquivos no dir /public/soft/linux/weka-3-4/data$ para sua area
Interface e Funcionalidades
(A) Open File, Open URL, Open DB (B) No botão filter é possível efetuar sucessivas filtragens de atributos e instâncias na base de dados previamente carregada Seleção Discretização Normalização Amostragem
Formato arff (header) % 1. Title: Iris Plants Database % % 2. Sources: % (a) Creator: R.A. Fisher % (b) Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov) % (c) Date: July, 1988 % @RELATION iris @ATTRIBUTE sepallength NUMERIC @ATTRIBUTE sepalwidth NUMERIC @ATTRIBUTE petallength NUMERIC @ATTRIBUTE petalwidth NUMERIC @ATTRIBUTE class {Iris-setosa,Iris-versicolor,Iris-virginica}
Laboratório 1 Abra o arquivo weather.nominal.arff