Descoberta de Conhecimento em Bases de Dados e Mineração de Dados

Transcrição

1 Descberta de Cnheciment em Bases de Dads e Mineraçã de Dads Rdrig Leite Durães (rdrig_l_d@yah.cm.br)

2 Rteir Mtivaçã Exempl preliminar Cnceits básics Prcess de kdd Métds de mineraçã de dads Técnicas Exempls Referências

3 Mtivaçã A infrmatizaçã ds meis prdutivs permitiu a geraçã de grandes vlumes de dads: Transações eletrônicas; Nvs equipaments científics e industriais para bservaçã e cntrle; Dispsitivs de armazenament em massa; Aprveitament da infrmaçã permite ganh de cmpetitividade: cnheciment é pder (e pder = $$!) Mtivaçã

4 Mtivaçã Os recurss de análise de dads tradicinais sã inviáveis para acmpanhar esta evluçã Mrrend de sede pr cnheciment em um cean de dads Mtivaçã

5 Mtivaçã Sluçã: ferramentas de autmatizaçã das tarefas repetitivas e sistemática de análise de dads ferramentas de auxíli para as tarefas cgnitivas da análise integraçã das ferramentas em sistemas apiand prcess cmplet de descberta de cnheciment para tmada de decisã Mtivaçã

6 Exempl Preliminar Um prblema d mund ds negócis: entender perfil ds clientes desenvlviment de nvs prduts; cntrle de estque em psts de distribuiçã; prpaganda mal direcinada gera maires gasts e desestimula pssível interessad a prcurar as fertas adequadas; Quais sã meus clientes típics? Exempl

7 Descberta de Cnheciment em Bancs de Dads O prcess nã trivial de extraçã de infrmações implícitas, anterirmente descnhecidas, e ptencialmente úteis de uma fnte de dads ; Trture s dads até eles cnfessarem ; O que é um padrã interessante? (válid, nv, útil e interpretável) Cnceits

8 KDD x Data Mining Mineraçã de dads é pass d prcess de KDD que prduz um cnjunt de padrões sb um cust cmputacinal aceitável; KDD utiliza algritms de data mining para extrair padrões classificads cm cnheciment. Incrpra também tarefas cm esclha d algritm adequad, prcessament e amstragem de dads e interpretaçã de resultads; Cnceits

9 Etapas d Prcess Seleçã Pré-prcessament Transfrmaçã Data mining (aprendizagem) Interpretaçã e Avaliaçã Prcess

10 Prcess mínim de descberta d cnheciment Cmpreensã d dmíni e ds bjetivs da tarefa; Criaçã d cnjunt de dads envlvend as variáveis necessárias; Prcess

11 Seleçã de Dads Selecinar u segmentar dads de acrd cm critéris definids: Ex.: Tdas as pessas que sã prprietárias de carrs é um subcnjunt de dads determinad. Prcess 11

12 Prcess mínim Operações cm identificaçã de ruíds, utliers, cm tratar falta de dads em alguns camps, etc. Prcess

13 Pré-Prcessament Estági de limpeza ds dads, nde infrmações julgadas desnecessárias sã remvidas. Recnfiguraçã ds dads para assegurar frmats cnsistentes (identificaçã) Ex. : sex = F u M sex = M u H Prcess 13

14 Prcess mínim Reduçã de dimensinalidade, cmbinaçã de atributs; Prcess

15 Transfrmaçã Transfrmam-se s dads em frmats utilizáveis. Esta depende da técnica data mining usada. Dispnibilizar s dads de maneira usável e navegável. Prcess 15

16 Prcess mínim Esclha e execuçã d algritm de aprendizagem de acrd cm a tarefa a ser cumprida Prcess

17 Data Mining É a verdadeira extraçã ds padrões de cmprtament ds dads (exempls) Prcess 17

18 Prcess mínim Interpretaçã ds resultads, cm pssível retrn as passs anterires; Cnslidaçã: incrpraçã e dcumentaçã d cnheciment e cmunicaçã as interessads; Prcess

19 Interpretaçã e Avaliaçã Identificad s padrões pel sistema, estes sã interpretads em cnheciments, s quais darã suprte a tmada de decisões humanas Prcess 19

20 Métds de mineraçã de dads Métds de mineraçã de dads nrmalmente sã extensões u cmbinações de uns pucs métds fundamentais; Prém, nã é viável a criaçã de um únic métd universal: cada algritm pssui sua própria tendência indutiva; Métds

21 Tarefas básicas Previsã Cálcul de variáveis de interesse a partir ds valres de um cnjunt de variáveis de explicaçã; É cmumente visada em aprendizad de máquina/estatística; Exempls: classificaçã e regressã; Métds

22 Tarefas básicas Descriçã Reprtar relações entre as variáveis d mdel de frma simétrica; À princípi, está mais relacinada a prcess de KDD; Exempls: agrupament, sumarizaçã (incluind sumári de texts), dependências, análise de desvi; Métds

23 Exempl de previsã (I) Análise de crédit débit sem crédit x x x x x x x Um hiperplan paralel de separaçã: pde ser interpretad diretamente cm uma regra: se a renda é menr que t, entã crédit nã deve ser liberad Exempl: árvres de decisã; induçã de regras t renda x: exempl recusad : exempl aceit Métds

24 Exempl de previsã (II) Análise de crédit débit sem crédit x x x x x x x Hiperplan blíqu: melhr separaçã: Exempls: regressã linear; perceptrn; t renda x: exempl recusad : exempl aceit Métds

25 Exempl de previsã (III) Análise de crédit débit sem crédit x x x x x x x Superfície nã linear: melhr pder de classificaçã, pir interpretaçã; Exempls: perceptrns multicamadas; regressã nã-linear; t renda x: exempl recusad : exempl aceit Métds

26 Exempl de previsã (IV) Análise de crédit débit sem crédit x x x x x x x Métds basead em exempls; Exempls: k-vizinhs mais próxims; racicíni basead em cass; t renda x: exempl recusad : exempl aceit Métds

27 Exempl de descriçã (I) Análise de crédit débit Agrupament Exempl: vectr quantizatin; t renda +: exempl Métds

28 Exempl de descriçã (II) Regras de assciaçã 98% ds cnsumidres que adquiriram pneus e acessóris de autmóveis também se interessaram pr serviçs autmtivs ; descberta simétrica de relações, a cntrári de métds de classificaçã qualquer atribut pde ser uma classe u um atribut de discriminaçã; Métds

29 Técnicas Revisã geral de Aprendizagem: CBR

30 Exempls Áreas de aplicações ptenciais: Vendas e Marketing Identificar padrões de cmprtament de cnsumidres Assciar cmprtaments à características demgráficas de cnsumidres Campanhas de marketing diret (mailing campaigns) Identificar cnsumidres leais Exempls

31 Exempls Áreas de aplicações ptenciais: Bancs Identificar padrões de fraudes (cartões de crédit) Identificar características de crrentistas Mercad Financeir ($$$) Exempls

32 Exempls Áreas de aplicações ptenciais Médica Cmprtament de pacientes Identificar terapias de sucesss para diferentes trataments Fraudes em plans de saúdes Cmprtament de usuáris de plans de saúde Exempls

33 Intrduçã Exempl (1) - Fraldas e cervejas O que as cervejas tem a ver cm as fraldas? hmens casads, entre 25 e 30 ans; cmpravam fraldas e/u cervejas às sextas-feiras à tarde n caminh d trabalh para casa; Wal-Mart timizu às gôndlas ns pnts de vendas, clcand as fraldas a lad das cervejas; Resultad: cnsum cresceu 30%. Exempls

34 Exempls Exempl (2) - Ljas Brasileiras (Inf 03/98) Aplicu 1 milhã de dólares em técnicas de data mining Reduziu de prduts para prduts ferecids em suas ljas. Exempl de anmalias detectadas: Rupas de invern e guarda chuvas encalhadas n nrdeste Batedeiras 110v a venda em SC nde a crrente elétrica é 220v Exempls

35 Exempls Exempl (3) - Bank f America (Inf 03/98) Selecinu entre seus 36 milhões de clientes Aqueles cm menr risc de dar caltes Tinham filhs cm idades entre 18 e 21 ans Resultad em três ans banc lucru 30 milhões de dólares cm a carteira de empréstims. Exempls

36 Exempls Empresas de sftware para Data mining: SAS Infrmatin Havesting Red Brick Oracle Sybase Infrmix IBM Exempls

37 Cnclusões Data mining é um prcess que permite cmpreender cmprtament ds dads. Data mining analisa s dads usand técnicas de aprendizagem para encntrar padrões e regulariedades nestes cnjunts de dads. É um prblema pluridisciplinar, envlve Inteligência Artificial, Estatística, Cmputaçã Gráfica, Banc de Dads. Pde ser bem aplicad em diversas áreas de negócis Cnclusões

38 Referências Fayyad et al. (1996). Advances in knwledge discvery and data mining, AAAI Press/MIT Press. Hlsheimer, M. & Siebes, A.P.J.M. Data Mining: The Search fr Knwledge in Databases, Referências