Motivação. integração das ferramentas em sistemas apoiando o processo completo de descoberta de conhecimento para tomada de decisão.

Transcrição

1 Mineraçã de Dads

2 Mtivaçã Infrmatizaçã ds meis prdutivs permitiu a geraçã de grandes vlumes de dads: Transações eletrônicas; Nvs equipaments científics e industriais para bservaçã e cntrle; Dispsitivs de armazenament em massa; Aprveitament da infrmaçã permite ganh de cmpetitividade: cnheciment é pder (e pder = $$!) Recurss de análise de dads tradicinais sã inviáveis para acmpanhar esta evluçã: prcess iterativ de criaçã, teste e refinament de hipóteses;

3 Mtivaçã Gigantism d prblema de análise de dads para tmada de decisã: BD da Wal-Mart: 20 milhões de transações pr dia. Data Warehuse da Mbil: 100 TB. BD da NASA: recebe de satélites 50 GB pr hra. Sluçã: ferramentas de autmatizaçã das tarefas repetitivas e sistemática de análise de dads. ferramentas de auxíli para as tarefas cgnitivas da análise. integraçã das ferramentas em sistemas apiand prcess cmplet de descberta de cnheciment para tmada de decisã.

4 Exempl preliminar Prblema d mund ds negócis, entender perfil ds clientes: desenvlviment de nvs prduts; para cntrle de estque em psts de distribuiçã; prpaganda mal direcinada gera maires gasts e desestimula pssível interessad a prcurar as fertas adequadas; Situaçã: empresa pssui registr de tdas as transações efetuadas; mas cm aprveitar dessa riqueza de dads?

5 Descberta de cnheciment em dads (KDD) versus Data Mining Mineraçã de dads: pass d prcess de KDD que prduz um cnjunt de padrões sb um cust cmputacinal aceitável. KDD u Knwledge Discvery n Data: utiliza algritms de data mining para extrair padrões classificads cm cnheciment. incrpra também tarefas cm esclha d algritm adequad, prcessament e amstragem de dads e interpretaçã de resultads.

6 O perig da falta de interpretaçã Mrreram Sbreviveram Hspital A Hspital B % 2% Ttal O hspital A parece ser mens adequad.

7 O perig da falta de interpretaçã (cnt.) Bas cndições Mrreram Sbreviveram Hsp. A Hsp. B % 1.3% O hspital A é melhr! Más cndições Ttal Hsp. A Hsp. B Mrreram Sbreviveram % 4% Ttal

8 A busca pr causalidade Crrelaçã nã é mesm que causalidade lama e chuva sã dis cnceits relacinads, mas cm inferir que um é causa d utr? A média de idade da Flórida é grande. O clima da Flórida faz as pessas viverem mais? Explicaçã plausível: muitas pessas mudam-se pra lá quand se apsentam; O KDD se apresenta cm: prcess explratóri, iterativ e interativ. envlvend em cada pass um especialista human. tant (se nã mais) imprtante d que métd de mineraçã: auxíli a gerenciament d prcess (Knwledge Management). integraçã transparente de ferramentas.

9 A mineraçã de dads é uma abrdagem multidisciplinar Inteligência Artificial aprendizad de máquina; representaçã de cnheciment e inferência; recnheciment de padrões; Estatística: análise explratória de dads; Cmputaçã gráfica: visualizaçã de dads; Bancs de dads: integraçã, cnslidaçã e remdelagem de dads para prcessament analític (data warehusing). linguagens de cnsulta para: hipercubs de dads (OLAP). funções de mineraçã (OLAM). Ciência da gestã: técnicas de timizaçã;

10 Intersecçã de muitas disciplinas Artificial Intelligence Statistics Pattern Recgnitin DATA MINING Machine Learning Mathematical Mdeling Databases Management Science & Infrmatin Systems

11 Outr exempl de passs e saída de KDD Arquivs de Lg Páginas Web Aprendizagem Mineraçã de Dads Base de Cnheciment BD Relacinal Ex, cnheciment extraíd de um BD de supermercad: Data Warehuse Dimensina l Geraçã de Linguagem Natural N an passad, as variações de vendas mais incmuns fram: Sda Diet cm decréscim de 40% na regiã nrdeste de julh a agst Cerveja Bavaria cm cresciment de 42% nacinal de setembr a utubr;...

12 Tarefas básicas Previsã Cálcul de variáveis de interesse a partir ds valres de um cnjunt de variáveis de explicaçã; Exempls: classificaçã e regressã; Descriçã Reprtar relações entre as variáveis d mdel de frma simétrica; À princípi, está mais relacinada a prcess de KDD; Exempls: agrupament, restrições de integridade, dependências entre variáveis, análise de desvi.

13 Taxnmia de tarefas Data Mining Learning Methd Ppular Algrithms Predictin Supervised Classificatin and Regressin Trees, ANN, SVM, Genetic Algrithms Classificatin Supervised Decisin trees, ANN/MLP, SVM, Rugh sets, Genetic Algrithms Regressin Supervised Linear/Nnlinear Regressin, Regressin trees, ANN/MLP, SVM Assciatin Unsupervised Apriry, OneR, ZerR, Eclat Link analysis Unsupervised Expectatin Maximizatin, Apriry Algrithm, Graph-based Matching Sequence analysis Unsupervised Apriry Algrithm, FP-Grwth technique Clustering Unsupervised K-means, ANN/SOM Outlier analysis Unsupervised K-means, Expectatin Maximizatin (EM)

14 Exempl de previsã 1 Análise de crédit débit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Um hiperplan paralel de separaçã: pde ser interpretad diretamente cm uma regra: se a renda é menr que t, entã crédit nã deve ser liberad Exempl: árvres de decisã; induçã de regras

15 Exempl de previsã 2 Análise de crédit débit sem crédit x x x x x x x Hiperplan blíqu: melhr separaçã: Exempls: regressã linear; perceptrn; t renda x: exempl recusad : exempl aceit

16 Exempl de previsã 3 Análise de crédit débit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Superfície nã linear: melhr pder de classificaçã, pir interpretaçã; Exempls: perceptrns multicamadas; regressã nãlinear;

17 Exempl de previsã 4 Análise de crédit débit sem crédit x x x x x x x: exempl recusad : exempl aceit t x renda Métds basead em exempls; Exempls: k-vizinhs mais próxims; racicíni basead em cass;

18 Exempl de descriçã 1 Análise de crédit débit Agrupament Exempl: vectr quantizatin; t renda +: exempl

19 Exempl de descriçã 2 Regras de assciaçã 98% ds cnsumidres que adquiriram pneus e acessóris de autmóveis também se interessaram pr serviçs autmtivs ; descberta simétrica de relações, a cntrári de métds de classificaçã qualquer atribut pde ser uma classe u um atribut de discriminaçã;

20 Escalabilidade Amstragem reduçã de precisã; Algritms distribuíds particinar banc de dads em p partições; utilizar um prcessadr diferente para cada partiçã; utilizar um métd de cmbinaçã de resultads; Paralelism (intra-algrítimic)

21 Aplicabilidade de KDD Onde prcess de descberta de cnheciment deve ser aplicad? A tarefa é prpícia a estud de nvs experiments; nã há nenhuma utra ba alternativa de análise de dads; dispnibilidade de dads suficientes; cm nível aceitável de ruíd; especialistas dispníveis para avaliaçã d grau de interesse das descbertas btidas; seleçã de atributs; descriçã de cnheciment a priri em geral;

22 Finanças e segurança Serviçs financeirs: mineraçã de séries temprais de valres na blsa para especulaçã. mineraçã de assciaçã e grups de valres para definiçã de prtfli de investiment e plans de apsentadria. previsã de inadimplência para definir plítica de empréstim. Detecçã de fraude: descriçã multidimensinal e mineraçã de séries excepcinais de: de us de cartã de crédits para serviçs financeirs. pedids de acess a sites para segurança de sistemas. transferências de funds para lavagem de dinheir e snegaçã de impst.

23 Jgs, esprtes e recurss humans Jgs: mineraçã de regras estratégicas e táticas a partir de BD de partidas (xadrez, futebl de rbôs). Jgs, esprtes e re-engenharia de rganizações: OLAP, agrupament e mineraçã multi-dimensinal de séries de resultads para identificar fatres interns (cmpsiçã d time, tática usada) e externs (tip de adversári, lcal d jg) cntribuind a vitórias e a derrtas. Jgs de esprtes virtuais, esprtes e recrutament: previsã d desempenh e ppularidade futur de atletas, artistas e funcináris para cntrataçã e transferência.

24 Serviçs de infra-estrutura Descriçã multi-dimensinal e previsã cmparativa de demanda e da capacidade das fntes u equipaments para: planejar investiments e timizar rtas para evitar interrupçã de serviçs e cngestinament. definir váris níveis de qualidade de serviçs, seus preçs e seus clientes ptenciais. detecçã de fraudes. Previsã de falha de equipament para definir plítica de prevençã de falha. Mineraçã de regras de diagnóstic para análise de falha.

25 Saúde Indústria farmacêutica: previsã ds efeits de um nv remédi cmpst a partir ds efeits ds seus cmpnentes em remédis testads. Medicina e epidemilgia: mineraçã de regras de diagnóstic. previsã de predispsiçã a denças e respsta a tratament. Pesquisa em genética e bilgia mlecular: mineraçã cmparativa de seqüências de genes em células sadias e dentes (adaptaçã da mineraçã de series temprais para dads categórics). mineraçã de assciações e grups de genes baseada na sua ccrrência em várias classes de células. previsã da frma 3D de uma prteína a partir da sua seqüência de ácids-amids.

26 Tips de dads em mineraçã Data Categrical Numerical Nminal Ordinal Interval Rati

27 Exempl d prcess de descberta de cnheciment Cmpreensã d dmíni e ds bjetivs da tarefa; Interpretaçã Esclha e execuçã ds Operações resultads, algritm cm cm identificaçã de ruíds, Reduçã Criaçã d cnjunt de dads envlvend as variáveis pssível acrd de dimensinalidade, cm retrn a tarefa utliers, as passs a ser cm tratar falta de dads em cmbinaçã cumprida necessárias; anterires; de atributs; alguns camps, etc. Cnslidaçã: incrpraçã e dcumentaçã d cnheciment e cmunicaçã as

28 Passs 1., 2. e 3. Real-wrld Data Data Cnslidatin Cllect data Select data Integrate data Data Cleaning Impute missing values Reduce nise in data Eliminate incnsistencies Data Transfrmatin Nrmalize data Discretize/aggregate data Cnstruct new attributes Data Reductin Reduce number f variables Reduce number f cases Balance skewed data Well-frmed Data

29 1. Seleçã de dads e 2. préprcessament Cm seu cnheciment d dmíni, analista human decide: quais as infrmações relevantes encntram-se nas seguintes tabelas: clientes: nme, identificaçã, idade, sex, estad civil, endereç, renda, prprietári da casa; prduts: nme, identificaçã, preç, categria, quantidade em estque, quantidade encmendada; transações: identificadr de cliente, identificadr de prdut, data e hra, quantidade; Eliminar registrs incmplets, incnsistentes, etc.

30 3. Transfrmaçã de dads Agrupand infrmações em uma única tabela;

31 4. A mineraçã prpriamente dita Aplicar um algritm de aprendizad para agrupar s clientes em quatr cnjunts Idéia d algritm é dispr, em cnjunts, clientes que apresentem aspects similares; Psterirmente, s dads sã rganizads em uma planilha, nde númer d grup (1, 2, 3, u 4) é utilizad cm chave primária; A planilha calcula estatísticas de cada grup, cmparand-as cm tda ppulaçã;

32 5. Apresentaçã ds resultads Analista human: ainda precisa d seu cnheciment d dmíni para interpretar esses resultads em cnheciment marketing

33 Data Mining: Assciaçã

34 Mineraçã de Regras de Assciaçã Definiçã: Achar padrões, assciações, crrelações frequentes em cnjunts de itens u bjets em um banc de dads u utrs tip de repsitóris de infrmaçã. Aplicações: Análise de cmpras, crss-marketing, design de catálgs de prduts, clustering, classificaçã, etc. Exempls. Regra: Bdy Ηead [supprt, cnfidence]. buys(x, diapers ) buys(x, beers ) [0.5%, 60%] majr(x, CS ) & takes(x, DB ) grade(x, A ) [1%, 75%]

35 Regras de Assciaçã: Cnceits Básics Dads: (1) cnjunt de transações, (2) cada transaçã é uma lista de itens (assciads a um cliente) Achar: tdas as regras que crrelacinam a presença de um cnjunt de itens cm a presença de utr cnjunt de itens em uma mesma transaçã E.g., 98% das pessas que cmpram pneus e aut-acessóris, também fazem algum serviç autmtiv. Achar: tdas as regras X & Y Z cm um mínim de suprte e cnfiança Suprte (supprt), s, prbabilidade que uma transaçã cntenha {X & Y & Z} Cnfiança (cnfidence), c, prbabilidade cndicinal que uma transaçã que cntenha {X & Y} também cntém Z

36 Mineraçã de Regras de Assciaçã Assciações bleanas vs. quantitativas (Baseadas ns tips de valres manuseads) buys(x, SQLServer ) & buys(x, DMBk ) buys(x, DBMiner ) [0.2%, 60%] age(x, ) & incme(x, K ) buys(x, PC ) [1%, 75%] Assciações Uni-dimensinais vs. Multi-dimensinais (Baseadas nas dimensões ds dads envlvids) Análise de Nível únic vs. Múltipls níveis (Baseadas ns níveis de abstraçã) age(x, ) buys(x, laptp cmputer ) age(x, ) buys(x, cmputer )

37 Mineraçã de cnjunts de itens frequentes Achar s cnjunts de itens frequentes (itemsets frequentes): cnjunt de itens que tem um mínim de suprte Um subcnjunt de um itemset frequente, também deve ser um itemset frequente Se {A, B} é um itemset frequente, ambs {A} e {B} devem ser itemsets frequentes Achar iterativamente itemsets frequentes cm cardinalidade de 1 à k (k-itemset) Usar s itemsets frequentes para gerar as regras de assciaçã.

38 O algritm Apriri Pass de uniã(jin): C k é gerad, unind L k-1 cm ele mesm Pass de pda(prune): Qualquer (k-1)-itemset que nã seja frequente, nã pde ser um subcnjunt de um k-itemset frequente Pseud-códig: C k : itemset candidat de tamanh k L k : itemset frequente de tamanh k L 1 = {items frequentes de tamanh 1}; fr (k = 1; L k!= ; k++) d begin C k+1 = candidats gerads a partir de L k ; fr each transactin t in database d incremente cntadr de tds s candidats em C k+1 que estã cntids em t L k+1 = candidats em C k+1 cm min_supprt end

39 Database D TID Items O algritm Apriri - Exempl Scan D itemset sup. {1} 2 {2} 3 {3} 3 {4} 1 {5} 3 C 1 L 1 itemset sup {1 2} 1 {1 3} 2 {1 5} 1 {2 3} 2 {2 5} 3 {3 5} 2 C 2 C 2 L 2 itemset sup Scan D {1 3} 2 {2 3} 2 {2 5} 3 {3 5} 2 C 3 itemset Scan D L 3 {2 3 5} itemset sup {2 3 5} 2 itemset sup. {1} 2 {2} 3 {3} 3 {5} 3 itemset {1 2} {1 3} {1 5} {2 3} {2 5} {3 5}

40 Cm gerar s candidats? Supnha que s itens em L k-1 sã listads em uma rdem Pass 1: aut-uniã L k-1 (jining step) insert int C k select p.item 1, p.item 2,, p.item k-1, q.item k-1 frm L k-1 p, L k-1 q where p.item 1 =q.item 1,, p.item k-2 =q.item k-2, p.item k-1 < q.item k-1 Pass 2: pda (prune step) frall itemsets c in C k d frall (k-1)-subsets s f c d if (s is nt in L k-1 ) then delete c frm C k

41 Exempl da geraçã ds candidats L 3 ={abc, abd, acd, ace, bcd} Aut-uniã: L 3 *L 3 abcd de abc e abd acde de acd e ace Pda: acde é remvid pis ade nã está em L3 C 4 ={abcd}

42 Gargals de perfrmance n Apriri O núcle d algritm: Usa (k 1)-itemsets frequentes para gerar k-itemsets candidats Usa iterações pel BD e casament de padrões para cletar cntadres para s itemsets candidats O gargal d Apriri: geraçã ds candidats Grandes cnjunts de candidats: itemset frequentes gerarã itemsets candidats Para descbrir um padrã frequente de tamanh 100, é necessária a geraçã de candidats. Múltiplas iterações pel BD: Necessita (n +1 ) iterações, nde n é tamanh d mair padrã

43 Medidas de Interesse Medidas Objetivas suprte (supprt); e cnfiança (cnfidence) Medidas subjetivas (Silberschatz & Tuzhilin, KDD95) Uma regra (pattern) é interessante se ela é inesperada (unexpected) ; e/u utilizável (actinable) Medidas subjetivas variam de usuári para usuári, assim medidas bjetivas baseadas na estatística

44 Critica a Suprte e Cnfiança Exempl 1: Entre 5000 estudantes 3000 jgam basquete 3750 cmem cereal 2000 jgam basquete e cmem cereal jga basquete cme cereal [40%, 66.7%] é equivcad. jgam basquete nã cme cereal [20%, 33.3%] é bem mais precis.

45 Critica a Suprte e Cnfiança Exempl 1: jga basquete cme cereal [40%, 66.7%] é equivcad prque a prcentagem ttal de estudante que cmem cereal é 75% que é mair que 66.7%. jgam basquete nã cme cereal [20%, 33.3%] é bem mais precis, embra cm menr suprte (supprt) e cnfiança (cnfidence). basketball nt basketball sum(rw) cereal nt cereal sum(cl.)

46 Crítica a Suprte e Cnfiança (Cnt.) Exempl 2: X e Y: psitivamente crrelacinad, X e Z, negativamente relacinand suprte e cnfiança de X=>Z dmina É necessária uma medida de dependência u crrelaçã P( A B) crr A, B = P( A) P( B) X Y Z Rule Supprt Cnfidence X=>Y 25% 50% X=>Z 37.50% 75% P(B A)/P(B) é também chamada de lift da regra A => B

47 Outra medida de interesse Interesse (crrelaçã, lift) P( A B) P( A) P( B) Clcand ambs P(A) e P(B) em cnsideraçã P(A^B)=P(B)*P(A), se A e B sã events independentes A e B sã negativamente crrelacinads, se valr e menr que 1; cas cntrári A e B sã psitivamente crrelacinads X Y Z Itemset Supprt Interest X,Y 25% 2 X,Z 37.50% 0.9 Y,Z 12.50% 0.57

48 Intrduçã à Análise de Agrupaments

49 Agrupament (Clustering) Métds usads para a cnstruçã de grups de bjets cm base nas semelhanças e diferenças entre s mesms de tal maneira que s grups btids sã s mais hmgênes e bem separads pssíveis. Duas grandes classes de prblemas em classificaçã: classificaçã supervisinada classificaçã supervisinada. A classificaçã nã supervisinada se prpõe a encntrar classes hmgêneas a partir de um cnjunt de indivídus. Objetiv: s indivídus semelhantes devem pertencer a mesma classe. É um bjetiv intuitiv mas nã é uma definiçã precisa da nçã de classe.

50 Agrupament (Clustering) Agrupar para que? Existe classes naturais e desafi é encntra-las. Deseja-se cnstruir as classes segund estruturas classificatórias (impstas). Encntrar classes úteis para usuári. Simplificaçã ds dads. Geraçã de Hipóteses. Prediçã cm base ns grups frmads. O que é um grup? Nã existe uma única definiçã satisfatória: Cesã interna.

51 Agrupament (Clustering) (a) (b) (c) (d) a) Grups cess e islads b) Grups islads mas nã cess c) Grups cess cm váris pnts intermediáris d) Nã existência de grups naturais

52 Principais Etapas da Frmaçã de Agrupaments a) Aquisiçã ds dads 1) Seleçã das bservações (indivídus, bjets, cass, itens) 2) Seleçã das variáveis (caracteres, descritres) e das crrespndentes escalas 3) Cnstruçã da Tabela de Dads b) Pré-prcessament ds dads 1) Mudança de escala 2) Nrmalizaçã 3) Extraçã de caracteres c) Cnstruçã da Tabela de Dads d) Cálcul da Prximidade 1) Esclha de um Índice de Prximidade 2) Cnstruçã da Matriz de Prximidades e) Seleçã de um Algritm de Frmaçã de Grups em funçã d tip de agrupament desejad f) Análise e Interpretaçã ds Resultads

53 Análise de agrupament Métds de análise Métds estatístics (incluind s métds hierárquics e nã-hierárquics), tais cm k-means, k-mdes, e utrs. Redes neurais (teria da ressnância adaptativa [ART], mapas autrganizáveis [SOM]). Lógica difusa. Algritms genétics. Métds divisivs versus

54 Análise de agrupament Númer de agrupaments Nã há uma frma ótima de calcular Heuristicas sã usadas frequentemente Observar quã esparss sã s grups Númer de grups = (n/2) 1/2 (n: númer de pnts) Use critéri de infrmaçã de Akaike Use critéri de infrmaçã bayesian A mairia ds métds de análise de agrupaments envlvem us de uma medida de distância para calcular quã pert estã s pares de itens Distância Euclidiana versus Manhattan

55 Análise de agrupament Algritm k-means k : númer pré-determinad de agrupaments Algritm Pass 0: determinaçã d valr de k Pass 1: geraçã aleatória de k pnts cm pnts inciais ds agrupaments (centróide) Pass 2: atribuir a cada pnt seu centróide mais próxim Pass 3: recmputar s nvs agrupaments Pass de repetiçã: Repetir s passs 3 e 4 até que algum critéri de cnvergência seja

56 Análise de agrupament algritm k-means Step 1 Step 2 Step 3

57 SPSS PASW Mdeler (frmerly Clementine) RapidMiner Sftware SAS / SAS Enterprise Miner Micrsft Excel R Cmercial SPSS - PASW SAS - Enterprise Miner IBM - Intelligent Miner StatSft Statistical Data Miner Livre u gratuit Weka RapidMiner Yur wn cde Weka (nw Pentah) KXEN MATLAB Other cmmercial tls KNIME Micrsft SQL Server Other free tls Zementis Oracle DM Statsft Statistica Salfrd CART, Mars, ther Orange Angss C4.5, C5.0, See5 Bayesia Insightful Miner/S-Plus (nw TIBCO) Megaputer Viscvery Clari Analytics Miner3D Thinkanalytics Ttal (w/ thers) Alne Fnte: KDNuggets.cm, May 2009

58 Mits em mineraçã de dads A mineraçã de dads Frnece sluções e previsões instantâneas Nã é viável para aplicações de negóci Requer um BD separad e dedicad Só pde ser feit pr aqueles cm grau avançad Serve apenas para grandes empresas cm muits clientes É utr nme para estatística.

59 Errs cmuns 1. Seleçã d prblema errad para mineraçã 2. Ignrar que seu superir acredita ser mineraçã de dads e que ela realmente é. 3. Nã ter temp suficiente para aquisições, seleçã e preparaçã de dads 4. Olhar apenas para resultads agregads e nã em registrs individuais 5. Ser negligente em manter s

60 Errs cmuns (cnt.) 1. Ignrar descbertas suspeitas (bas u ruins) e passar para a frente. 2. Executar algritms de mineraçã repetidamente e cegamente, sem pensar n próxim pass. 3. Acreditar ingenuamente em tud que fi dit sbre s dads. 4. Acreditar ingenuamente em tud que fi dit sbre as análises de mineraçã. 5. Medir s resultads de frma diferente d seu superir.