Prof. Martius V. Rodriguez y Rodriguez, DSc martius@kmpress.com.br MBA em Gestão de Empreendimentos Turísticos Gestão do Conhecimento e Tecnologia da Informação Gestão do Conhecimento evolução conceitual. Níveis de maturidade da organização. Conhecimento tácito e explícito. Tecnologia da Informação no Turismo. Sistemas especialistas na indústria do Turismo. Principais Sistemas: Sistemas de agenciamento e sistemas de reservas (transportes e hospedagem); Sistema de Informações Gerenciais; Mapeamento e modelagem de processos; Princípios do e-business e do E-commerce. Alavancagem de negócios na internet; Gestão da tecnologia da Informação: Sistemas de gestão: ERP, Soluções de SCM Supply Chain Management, Soluções de CRM Customer Relationship Management e Soluções de Portais Corporativos; Gerenciamento de projetos tecnológicos e Gestão do Conhecimento.
AGENDA SOCIEDADE DO CONHECIMENTO ARQUITETURA TIC PRÁTICAS - 2
Martius V. Rodriguez y Rodriguez, DSc 03-3 O PROCESSO DE DATAMINING
20% - T 80% - I 70% - T 18% - I Seleção dos dados de base de dados operacionais Enriquecimento dos dados Codificação Data mining - Cluster - Segmentação - Predição Relatórios (Pyle, 1999) Soluções e Alternativas O PROCESSO UTILIZADO Problema a ser resolvido Limpeza e consistênca dos dados T - TEMPO DISPENDIDO I - IMPORTÂNCIA PARA O SUCESSO 10% - T 2 % - I Martius V. Rodriguez y Rodriguez, DSc 03-4
PERGUNTAS QUE PODERÃO SER o VENDAS RESPONDIDAS o Identificar padrões de comportamento dos consumidores. o Encontrar características dos consumidores de acordo com a região demográfica. o Prever quais consumidores serão atingidos nas campanhas de marketing. o Prever demandas em função das características dos clientes, personalizando o atendimento. o FINANÇAS o Detectar padrões de fraudes. o Identificar os consumidores que estão tendendo a mudar para a concorrência. o Identificar regras de estocagem a partir dos dados do mercado. o Encontrar outras correlações escondidas nas bases de dados. Martius V. Rodriguez y Rodriguez, DSc 03-5
PERGUNTAS QUE PODERÃO SER o TRANSPORTE o Determinar a distribuição dos horários entre os vários caminhos. o Analisar padrões de sobrecarga. o SEGUROS E PLANOS DE SAÚDE o Determinar quais procedimentos médicos são requisitados ao mesmo tempo. o Prever quais consumidores comprarão novas apólices. o Identificar comportamentos fraudulentos. o MEDICINA RESPONDIDAS o Caracterizar o comportamento dos pacientes para prever novas consultas. o Identificar terapias de sucessos para diferentes doenças Martius V. Rodriguez y Rodriguez, DSc 03-6
DADO - INFORMAÇÃO CONHECIMENTO Dado Informação Conhecimento BANCO DE DADOS ANÁLISE E RECUPERAÇÃO DE DADOS SQL, OLAP DATA MINING Knowledge Management Martius V. Rodriguez y Rodriguez, DSc 03-7
A DEFINIÇÃO DE CONHECIMENTO É A CAPACIDADE DE AGIR CONHECIMENTO 10 9 bits INFORMAÇÃO CONHECIMENTO 10 2 bits EXPLÍCITO EXTERIORIZADO TÁCITO INTERIORIZADO REGRAS EVENTOS INFORMAÇÃO DADOS MICHAEL POLANYI e LUDWIG WITTGENSTEIN CONHECIMENTO HUMANO É : tácito, orientado para a ação, baseado em regras, individual e em constante mutação. MICHAEL POLANYI e LUDWIG WITTGENSTEIN - FIALHO, 1998 Martius V. Rodriguez y Rodriguez, DSc 03-8
MOTIVAÇÃO PARA O KDD EVOLUÇÃO DOS SISTEMAS ESPECIALISTAS EVOLUÇÃO DAS TÉCNICAS DE KDD EM BD EVOLUÇÃO DAS BD FACILIDADE DE INTEGRAÇÃO DE DADOS AUMENTO DO FLUXO DE INFORMAÇÕES Martius V. Rodriguez y Rodriguez, DSc 03-9
MOTIVAÇÃO PARA O USO DO KDD A EXPLOSÃO DAS INFORMAÇÕES Produção de 2.000.000 Terabytes por ano (2 Exabyte) Aproximadamente 250 MB por pessoa no planeta. US$ 10,00 por GB armazenado em 2000 US$ 1,00 por GB armazenado em 2005 5 EXABYTES = TODAS AS PALAVRAS JÁ FALADAS PELOS SERES HUMANOS = 5.000.000.000 GB 1 GB = Um caminhão cheio de papel 100 MB = 1 metro de livros organizados em uma prateleira 1 bilhão de PCs no mundo jun2008 Gartner 2 bilhões de PCs no mundo até 2014 - Gartner LESK, Michael, How much information is there in the world ref. 1999 ESTATÍSTICA VISUALIZADORES BANCO DE DADOS REDES NEURONAIS SISTEMAS ESPECIALISTAS INFRAESTRUTURA DE HW/SW Martius V. Rodriguez y Rodriguez, DSc 03-10
MOTIVAÇÃO KDD o o GRANDE VOLUME DE DADOS DE CLIENTES, COMPETIDORES, PROCESSOS, EMPREGADOS E PROJETOS ARMAZENADOS EM BASES DE DADOS. FACILIDADE DE INTEGRAR BASES DE DADOS: ERP, CRM, SCM, B2B, B2E, B2C o o OS OS ALGORÍTMOS DE DE DATAMINING PODEM ENCONTRAR CLUSTERS E PADRÕES DE DE COMPORTAMENTOS EM EM CONJUNTO DE DE DADOS. NOVAS TÉCNICAS COMO: ÁRVORES DE DE DECISÃO, REDES REDES NEURAIS, ALGORITMOS GENÉTICOS... ÁRVORES DE DECISÃO REDES NEURAIS ALGORÍTMOS GENÉTICOS LÓGICA FUZZY REGRAS DE ASSOCIAÇÃO... MÉTODOS CLUSTERIZAÇÃO CLASSIFICAÇÃO PREDIÇÃO SUMARIZAÇÃO... TAREFAS Fayyad, 1996 Martius V. Rodriguez y Rodriguez, DSc 03-11
CLUSTERIZAÇÃO 1 2 Martius V. Rodriguez y Rodriguez, DSc 03-12 3
CLASSIFICAÇÃO E PREDIÇÃO Grau de Instrução Nível Médio Nível Superior Martius V. Rodriguez y Rodriguez, DSc
CLASSIFICAÇÃO E PREDIÇÃO Renda Baixa Renda Alta Renda Martius V. Rodriguez y Rodriguez, DSc 03-14
CLASSIFICAÇÃO E PREDIÇÃO RESPOSTA Grau de Instrução ão Nível Superior Nível Médio Renda Renda Baixa Renda Alta Renda Martius V. Rodriguez y Rodriguez, DSc 03-15
MOTIVAÇÃO KDD Ambiente Analítico Como alinhar a empresa em torno do cliente? Como integrar as descobertas a cada interação do cliente? Valor do Negócio Quantos clientes nós perdemos? Query & reporting Medição Em quais cidades eles moram? OLAP Data mining Predição Quais tipos de clientes possuem risco de deixar a empresa? Real-time distribution O que devo oferecer ao meu cliente hoje? Tempo Martius V. Rodriguez y Rodriguez, DSc 03-16
CONHECENDO O CLIENTE E SUA HISTÓRIA Data Warehouse Data Mart 1 Vendas Data Mart 2 Marketing Data Mart 3 Logística Data Mining Martius V. Rodriguez y Rodriguez, DSc 03-17
ONDE APLICAR O DATA MINING? Passado Previsão Descobrimento ANÁLISE & RELATÓRIOS (OLAP) MODELAGEM ESTATÍSTICA DATA MINING MINERAÇÃO DO CONHECIMENTO Martius V. Rodriguez y Rodriguez, DSc 03-18
DESCOBRIMENTO DO CONHECIMENTO + SIMPLES OLTP TRANSAÇÕES SQL - QUERIES TÉCNICAS ESTATÍSTICAS (ELEMENTARES) OLAP ANALISES DATA MINING + DIFÍCIL E INCERTO Martius V. Rodriguez y Rodriguez, DSc 03-19
HIDDEN & DEEP KNOWLEDGE SHALLOW DATA - SQL MULTI-DIMENSIONAL DATA - OLAP HIDDEN DATA - KDD DEEP DATA - CLUES Martius V. Rodriguez y Rodriguez, DSc 03-20
PROCESSOS TRANSACIONAIS OLTP OLAP Quantos clientes existem por filial? Quantos clientes por tipo de produto existem? Quantos clientes por tipo de produto e por região por filial? Quantos clientes por tipo de produto, região, atendente, valor,...? excel, access,... consulta relatório/consulta relatório/consulta arquivo Martius V. Rodriguez y Rodriguez, DSc 03-21
DO CONTROLE A ANÁLISE Data Mining Predição Correlação Descoberta Histórico Data Warehouse Analítico Capacidades Martius V. Rodriguez y Rodriguez, DSc 03-22
TECNOLOGIA Martius V. Rodriguez y Rodriguez, DSc 03-23
DATA WAREHOUSE Histórico pequeno Granularidade alta ETL Fontes Integração Sincronismo Transformação Composição Data Warehouse CONTEXTOS Separação Agregação Ação Executivo Histórico intermediário rio Granularidade intermediária ria Alta capacidade de relatório rio Histórico grande Granularidade baixa Alta capacidade analítica Data Marts Cubos VISÕES Separação Agregação Martius V. Rodriguez y Rodriguez, DSc 03-24
MODELO MULTIDIMENSIONAL Quantidade de Cliente Quantidade de Débito Segmento Código Descrição Estrutura Organizacional Código Regional Descrição regional Código Filial Descrição Filial Tempo Ano Semestre Mês Semana Grupo Código Descrição Em novembro de 2003, qual a quantidade de clientes em cada filial, agrupados por segmento? Martius V. Rodriguez y Rodriguez, DSc 03-25
FERRAMENTAS ROLAP Martius V. Rodriguez y Rodriguez, DSc 03-26
ARQUITETURA TECNOLOGICA Martius V. Rodriguez y Rodriguez, DSc 03-27
DIRECIONAMENTO AO NEGÓCIO Objetivos de Negócio Resultados de Negócio Objetivos do Data Mining Resultados do Data Mining O projeto de Data Mining deve estar direcionado aos objetivos de negócio! Martius V. Rodriguez y Rodriguez, DSc 03-28
SISTEMÁTICA DE MINERAÇÃO DE DADOS MINERAÇÃO DOS DADOS ORIENTADA PARA VERIFICAÇÃO ORIENTADA PARA DESCOBERTA GERADORES DE SQL SQL FERRAMENTAS DE CONSULTA OLAP PREDIÇÃO DESCRIÇÃO CLASSIFICAÇÃO ESTRUTURAS DE DECISÃO VISUALIZAÇÃO AGRUPAMENTO ASSOCIAÇÃO AVALIAÇÃO SUMARIZAÇÃO ESTRUTURAS DE DECISÃO REDES NEURAIS REGRESSÃO ESTATÍSTICA Martius V. Rodriguez y Rodriguez, DSc 03-29
KDD - DATA MINING KDD - Knowledge Discovery in Databases: É UMA EXTRAÇÃO NÃO TRIVIAL, A PARTIR DE UMA BASE DE DADOS, DE UM CONHECIMENTO IMPLÍCITO, PREVIAMENTE DESCONHECIDO E POTENCIALMENTE ÚTIL Primeira Conferência Internacional sobre KDD Montreal - 1995 (Adriaans, 1998) O CONHECIMENTO OBTIDO PELO PROCESSO DE KDD NÃO ESTARÁ VISÍVEL SE UTILIZADA UMA LINGUAGEM DE BUSCA ESTRUTURADA - SQL (STRUCTURE QUERY LANGUAGE) OU SE ANALISADOS OS DADOS A PARTIR DE UMA FERRAMENTA OLAP - (ONLINE ANALYTICAL PROCESSING TOOL) Martius V. Rodriguez y Rodriguez, DSc 03-30
HIDDEN & DEEP KNOWLEDGE o HIDDEN KNOWLEDGE: SÃO DADOS QUE PODEM SER FACILMENTE ENCONTRADOS A PARTIR DO USO DE FERRAMENTAS DE RECONHECIMENTO DE PADRÕES OU ALGORÍTMOS DE APRENDIZAGEM POR COMPUTADOR :: MACHINE-LEARNING DEEP KNOWLEDGE: É UMA INFORMAÇÃO QUE ESTÁ ARMAZENADA EM BASE DE DADOS MAS QUE SÓ PODE SER LOCALIZADA POR MEIO DE DICAS OU COLA QUE DIGA ONDE DEVEMOS PROCURAR (Adriaans, 1998) Martius V. Rodriguez y Rodriguez, DSc 03-31
DATA MINING DIFICULDADES DE IMPLEMENTAR FALTA DE INTEGRAÇÃO DOS DADOS Diversas formas de armazenagem e inconsistência entre elas FALTA DE ATUALIZAÇÃO DOS DADOS Dados perdidos ou incorretos TEMPO DE ATUALIZAÇÃO Os dados são atualizados em um tempo muito longo DISPUTA ENTRE DEPARTAMENTOS Não cessão dos dados FALTA DE UMA VISÃO DE LONGO PRAZO O que queremos obter dos dados no futuro? CONECTIVIDADE E INTEROPERABILIDADE DIFICULTADA Dificuldades de acesso as redes internas PRIVACIDADE DOS DADOS Por questões legais alguns dados não podem ser utilizados FRACA COOPERAÇÃO ENTRE AS ÁREAS DE TECNOLOGIA DE INFORMAÇÃO Restrições no acesso aos dados SIGNIFICADO DIFERENTES Administração de dados falha Martius V. Rodriguez y Rodriguez, DSc 03-32
DATA MINING É INTERDISCIPLINAR E UTILIZA AS DIVERSAS TECNOLOGIAS Explicito - Tácito Banco de Dados Estatística Extração de novas regras Visualizadores KDD Redes Neuronais Sistemas Especialistas Conhecimento Tácito AÇÃO Conhecimento Explícito Tácito - Explicito Martius V. Rodriguez y Rodriguez, DSc 03-33
CARACTERÍSTICAS Aprendizagem por aproximação (K-nearest neighbor) Árvores de decisão (Decision trees) Regras de Associação (Association Rules) Redes Neuronais (Neural Networks) Algorítmos genéticos (Algorítmos genéticos) QUALIDADE-DADOS DE ENTRADA Habilidade de manipular uma MÉDIA BOA BOA MÉDIA MÉDIA grande quantidade de registros Habilidade de manipular uma MÉDIA BOA MÉDIA RUIM RUIM grande quantidade de atributos Habilidade de manipular atributos BOA BOA RUIM BOA RUIM numéricos Habilidade de manipular caracteres RUIM RUIM RUIM MÉDIA MÉDIA QUALIDADE-DADOS DE SAÍDA Habilidade para aprender regras transparentes Habilidade para aprender incrementalmente Habilidade para estimar a significância estatística dos dados TÉCNICAS DE KDD RECOMENDADAS (Adriaans, 1998) RUIM BOA BOA RUIM BOA RUIM RUIM BOA MÉDIA MÉDIA BOA BOA BOA RUIM RUIM DESEMPENHO DE APRENDIZAGEM Carga de armazenagem dos dados BOA MÉDIA MÉDIA MÉDIA MÉDIA Carga de CPU BOA MÉDIA MÉDIA RUIM RUIM DESEMPENHO DA APLICAÇÃO Carga de armazenagem dos dados RUIM BOA BOA BOA BOA Carga de CPU MÉDIA BOA BOA MÉDIA MÉDIA Martius V. Rodriguez y Rodriguez, DSc 03-34
Geradas + 50 árvores de decisão das quais 20 utilizadas Martius V. Rodriguez y Rodriguez, DSc 03-35
MOTIVAÇÃO PARA USO DE ÁRVORES DE DECISÃO USO DE BASE DE DADOS: Facilidade na utilização de base de dados, obtidas a partir da pesquisa de campo. SIMPLICIDADE: A explicitação de regras de forma eficiente, o que possibilitou a análise sob diversos pontos do objeto de análise. CAPACIDADE DE INDUÇÃO: Além da simplicidade permitiu a indução dos dados em função do grau de interesse desejado. PRECISÃO: Obtenção dos dados dentro do grau de precisão necessário para extração do conhecimento dos dados. VERIFICAÇÃO DAS REGRAS OBTIDAS: Possibilidade de verificação das regras. Utilizando 80% dos dados para obtenção e outros 20% para validação. Martius V. Rodriguez y Rodriguez, DSc 03-36
MOTIVAÇÃO PARA USO DO XpertRule Miner o FACILIDADE DE ACESSO AOS DADOS o INTERFACE AMIGÁVEL o FACILIDADE DE INDUÇÃO o PRECISÃO o MASSA DE TESTES o EXPLICITAÇÃO DAS REGRAS Martius V. Rodriguez y Rodriguez, DSc 03-37
Nó NÓ DE TOPO ou NÓ DE RAIZ NÓ DE FOLHA Martius V. Rodriguez y Rodriguez, DSc 03-38
Martius V. Rodriguez y Rodriguez, DSc 03-39
EXEMPLO DE REGRA Leaf #5 : (Custo_overhead_realizado >= 242124,4894948) and (Hh_realizado_nm < 6494) REGRA 1.8# Se o Custo de Overhead Realizado for >= US$ 242.124,48 e HH de nível médio realizado for < 6494 e Prioridade for alta. 80,3% dos projetos são Concluídos e Implantados ou em implantação 19,7% dos projetos concluídos e não implantados ou cancelados (do total de 25,5% dos 514 projetos analisados). Martius V. Rodriguez y Rodriguez, DSc 03-40
CRITÉRIOS PARA OBTENÇÃO DAS REGRAS INTERESSABILIDADE COMPLETEZA PRECISÃO COMPREENSIBILIDADE (Nagai, 2000) Martius V. Rodriguez y Rodriguez, DSc 03-41
CRITÉRIOS PARA OBTENÇÃO DAS REGRAS Interessabilidade: possuem uma lógica utilizável no entendimento do conhecimento relacionado à priorização de projetos de tecnologia Modelos de regras: interessam somente as regras que "casam" com os objetivos definidos inicialmente. Cobertura de regras mínimas: Interessam o conjunto de regras que possam representar o objeto de estudo para o conjunto de dados analisado. Acionabilidade de regras: as regras devem trazer vantagens quando utilizadas. Inesperabilidade de regras: as regras interessam se possuem um fator de inesperabilidade. (Nagai, 2000) Martius V. Rodriguez y Rodriguez, DSc 03-42
CRITÉRIOS PARA OBTENÇÃO DAS REGRAS Completeza = # de exemplos cobertos / # total de exemplos. Cobertura entre regras: as regras devem se complementar. Precisão: possuem a precisão necessária para a imediata utilização das regras obtidas. Correspondem a diferença entre os valores reais e valores preditos pela regra. Compreensibilidade: possuem um grau de complexidade inteligível ao ser humano. Sendo entendido que a complexidade de uma regra é medida pelo número de cláusulas que a mesma possuí associada ao total de regras, ou seja: Complexidade = 0,6 * # de regras + 0,4* # de clausulas (Nagai, 2000) Martius V. Rodriguez y Rodriguez, DSc 03-43
TÉCNICAS PARA SUPORTAR O PROCESSO ANALÍTICO UTILIZAÇÃO DE REDES NEURONAIS CARACTERÍSTICAS DOS CLIENTES PRODUTOS/ SERVIÇOS UTILIZADOS Camadas : entrada escondida saída NOVO CLIENTE PROVÁVEL SITUAÇÃO FINAL Martius V. Rodriguez y Rodriguez, DSc 03-44
CRM CRM Operacional CRM Analítico Interação Mobile Front Back com o cliente Office Office Office ERP/ERM Gerência de Pedidos Automação de Atendim. Voz URA, ACD Gerência de Supply Chain Produto Automação de Marketing Sistema Móvel de Vendas Conferência Conferência via Web Sistemas Legados Automação de vendas Atendimento em Campo e- mail Gerência de Estoques Processamento em Loop Fechado Fax Cartas Atividade de Clientes Data Warehouse Aplicações Verticais Gerência de Categorias Clientes Interação Direta Produtos Automação de Marketing Gerência de Campanhas CRM Colaborativo Fonte: Apllication Delivery Strategies, META Group Martius V. Rodriguez y Rodriguez, DSc 03-45