Descoberta de Conhecimento em Bancos de Dados - KDD. NeuroTech Ltda.

Transcrição

1 Descoberta de Conhecimento em Bancos de Dados - KDD NeuroTech Ltda.

2 Descoberta de Conhecimento em Bancos de Dados (KDD) A descoberta de conhecimento em bancos de dados (Knowledge Discovery in Databases- KDD) é um processo que envolve desde a preparação da base de dados até a apresentação do conhecimento deles extraído pelas técnicas de mineração.

3 Exemplo Famoso de KDD na Ciência Tycho Brahe ( ) Responsável pela coleta e manutenção do BD O medidor do universo Johannes Kepler ( ) Minerador de dados Sintetizou as 3 leis do movimento dos planetas (cinemática), uma heresia à teoria geocêntrica católica

4 Motivação Dimensão do problema de análise de dados para tomada de decisão (antes do ano 2000): BD da Wal-Mart: 20 milhões de transações por dia Data WareHouse da Mobil > 100 TB BD da NASA recebia de satélites > 50 GB por hora Solução: ferramentas de automatização das tarefas repetitivas e sistemáticas de análise de dados ferramentas de auxílio para as tarefas cognitivas da análise integração das ferramentas em sistemas apoiando o processo completo de descoberta de conhecimento para tomada de decisão

5 Descoberta de Conhecimento a Partir de Bancos de Dados (KDD) KDD é uma atividade multidisciplinar que se fundamenta em 3 áreas da computação: Data WareHouse (DW): oferece os dados com a visão histórica adequada tanto à extração de conhecimento quanto à apresentação de resultados Data Mining (DM): agrupa os dados, otimiza classificações, estimativas e previsões faz associações e extrai o conhecimento implícito nos dados (regras do negócio) On-Line Analytical Processing (OLAP) / Mining (OLAM): Ambientes de consulta que apresentam os resultados tanto das consultas diretas ao Data WareHouse quanto das respostas da mineração dos dados contidos no Data WareHouse.

6 Processo de Descoberta de Conhecimento

7 Metodologia de Trabalho: CRoss-Industry Standard Process for DM (CRISP-DM) Entendimento do Negócio Entendimento dos Dados Implantação Dados Preparação dos Dados Modelagem de I.A. Avaliação de Desempenho

8 Abordagem Tradicional para Mineração de Dados CRISP-DM KDD Data Mining Inteligência Artificial (IA) Tecnologia=BD+Estat.+IA+ADS Gestão de Projetos + Tecnologia

9 KDD: Problema Multidisciplinar Integração, consolidação e remodelagem de dados para processamento analítico (data warehousing) Análise exploratória de dados Pré-processamento dos dados Aprendizagem computacional Inferência Avaliação de desempenho Ambientes de consulta a: Nichos: hipercubos de dados (OLAP) Conhecimento: resultados da mineração (OLAM)

10 Técnicas da Inteligência Computacional Utilizadas em Data Mining Estatística Redes neurais Algoritmos genéticos Lógica difusa/nebulosa Inteligência artificial simbólica

11 Tarefas Básicas de Data Mining Agrupamento Identificação de grupos de indivíduos/registros que têm perfis semelhantes Regressão Estimação de valores contínuos na resposta do sistema Classificação Decisão do sistema categorizando cada indivíduo/registro em uma classe pré-definida Extração de regras de associação e de classificação Apresentação de relações entre as variáveis de entrada e entre as variáveis de entrada e as respostas do sistema

12 Arquitetura da Solução Visão Modular Fontes Internas Processos Fontes Externas Gateway MIS Sistema de Informações Gerenciais Data- Mart WorkFlow / Processo Operacional Motor de Regras Base de Conheci mento Motor de IA Camada de Persistência Lista Negativa Processos Mesa para Avaliação Humana Parâmetros de Operação Portal + Construtor de Data- Marts Relatórios OLAP OLAM

13 Workflow

14 NeuroProcess + NeuralServer (Modelos Baseados em I.A.)

15 KDD Oferece Respostas a Questões das Seguintes Naturezas Que acontecerá com as vendas do produto A se faltar o produto B nas prateleiras da loja? Quanto e quando devo repor o estoque do item A de forma a minimizar o capital imobilizado em estoque sem deixar faltar mais que 5 dias por ano? Quanto valerão as ações da empresa X daqui a 15 dias? Que kits de produtos devo oferecer em mala direta aos clientes que têm seguro do tipo X, carro do tipo Y e adoram viajar com a família todo ano? Quantas equipes de manutenção devo deixar de sobre-aviso no carnaval? Quantas peças sobressalentes devo disponibilizar para poder atender às necessidades em 95% dos casos?

16 KDD Oferece Respostas a Questões das Seguintes Naturezas Se só temos capacidade para fiscalizar 10% das empresas por ano, quais deveríamos fiscalizar? Qual é o volume de sub-notificação na arrecadação? Qual será a arrecadação do mês de dezembro de 2005? Quais os setores onde a fiscalização produz maior aumento de arrecadação? Quanto vai crescer a arrecadação em 2006? Que efeito teria considerarmos apenas 10 variáveis na nossa estimação? Quais variáveis deveriam ser preservadas nessa redução do modelo para 10 variáveis?

17 KDD Oferece Respostas a Questões das Seguintes Naturezas Qual o valor ótimo do parâmetro k para minimizar a perda entre uma inspeção sem notificação e a não arrecadação? Que acontecerá com a arrecadação se for concedido um benefício fiscal de 20% de redução? O aumento do combate à sonegação eleva a sub-notificação? Qual o valor estimado para perdas e ganhos com esse combate? Que segmentos da economia respondem melhor a incentivos fiscais?

18 Respostas de um sistema de BI (Business Intelligence) na consulta cardiológica Qual o nível de risco causado pela presença de sopro, em pacientes infantis da UCMF-HP? O sopro ocorre em 27% dos pacientes e eles apresentam 1,17 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Quais condições geram níveis de risco mais que 2 vezes maiores que a média dos pacientes infantis da UCMF-HP???? Somente sistemas dotados de inteligência artificial ou humana podem responder.

19 Respostas de um sistema de dotado de I.A. na consulta cardiológica Quais condições geram níveis de risco mais que 2 vezes maiores que a média dos pacientes infantis da UCMF-HP? Cardiopatia já estabelecida ocorre em 11% dos pacientes e eles apresentam 3,67 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Cianose ocorre em 2% dos pacientes e eles apresentam 3,12 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Pacientes são encaminhados por cardiologistas em 8% dos casos e apresentam 2,34 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos.

20 Respostas de um sistema de BI (Business Intelligence) no ecocardiograma Qual o nível de risco causado por anormalidade do septo inter-atrial, em pacientes infantis da UCMF-HP? A anormalidade do septo ocorre em 12% dos pacientes e eles apresentam 1,46 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Quais condições geram níveis de risco mais que 2 vezes maiores que a média dos pacientes infantis da UCMF-HP???? Somente sistemas dotados de inteligência artificial ou humana podem responder.

21 Respostas de um sistema de dotado de I.A. no ecocardiograma Quais condições geram níveis de risco mais que 2 vezes maiores que a média dos pacientes infantis da UCMF-HP? Anormalidade nos ventrículos ocorre em 7% dos pacientes e eles apresentam 2,34 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Anormalidade no septo inter-ventricular ocorre em 6% dos pacientes e eles apresentam 2,34 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Anormalidade nas valvas ventrículo-arteriais ocorre em 6% dos pacientes e eles apresentam 2,20 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos. Anormalidade nos fluxos intra-cardíacos ocorre em 21% dos pacientes e eles apresentam 2,12 vezes mais risco de tratamento cirúrgico que a média dos pacientes atendidos.

22 B.I. x I.A. Business Intelligence x Inteligência Artificial X B.I.: y=[f 1 (x i )] y I.A.: x i =[F -1 (y)]

23 Foco nas funcionalidades Análise exploratória dos dados Agrupamento dos dados em nichos Descrição ou caracterização dos nichos Detecção de outliers Associação Classificação Estimação Previsão Otimização...

24 Foco na adequação das técnicas Análise exploratória dos dados (estatística descritiva, entropia etc.) Agrupamento dos dados em nichos (PAM, clara, ART, GTM, Kohonen etc.) Descrição ou caracterização dos nichos (algoritmo A Priori, árvore de decisão etc.) Detecção de outliers (estatística, redes neurais etc.) Associação (correlação, informação mútua etc.) Classificação (regressões linear e logística, redes MLP, redes bayesianas, árvore de decisão, análise discriminante etc.) Estimação (regressões linear e logística, redes MLP, redes bayesianas, árvore de decisão, análise discriminante etc.) Previsão (Box-Jenkins, redes MLP, redes NARMAX etc.) Otimização (simplex, annealing simulado, redes Hopfield etc.)

25 Foco em controle e automação Ambiente para consultas a: Características de nichos (OLAP em hipercubos de dados) Conhecimento do mercado (OLAM no conhecimento extraído dos dados e dos especialistas) Ambiente para avaliação de desempenho do sistema Ambiente para controle dos parâmetros do sistema Ambiente para simulação de cenários no negócio Ambiente para análise de operações em tempo real

26 Referências Bibliográficas Augen J. (2005). Bioinformatics in the Post-Genomic Era: Genome, Transcriptome, Proteome and Information-Based Medicine. Addison-Wesley. Rud O. P. (2001). Data Mining Cookbook: Modeling Data for Marketing, Risk and Customer Relationship Management. John Wiley & Sons. Han J. & Kamber, M. (2006). Data Mining: concepts and techniques. Morgan Kaufmann Publishers. Witten I. H. & Frank E. (2005) Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations. Morgan Kaufmann Publishers. Fayyad et al. (1996). Advances in knowledge discovery and data mining. AAAI Press/MIT Press.

27 Endereços interessantes KDNuggets Data Mining Review SPSS NeuroTech Aulas de KDD do Centro de Informática da UFPE