Indução de Árvores de Decisão

Transcrição

1 Induçã de Árvres de Decisã Várias aplicações em Inteligência Artificial em tarefas de imprtância prática sã baseadas na cnstruçã de um mdel de cnheciment que é utilizad pr um especialista human O bjetiv desta aula é frnecer cnceits básics sbre induçã de árvres de decisã Históric 960 s 966: Hunt e clegas em psiclgia usaram métds de busca exaustiva em árvres de decisã para mdelar aprendizad de cnceits humans 970 s 977: Breiman, Friedman, e clegas em estatística desenvlveram Classificatin And Regressin rees (CAR 979: Primeir trabalh de Quinlan cm prt-id3 (Inductin f Decisin rees 980 s 984: primeira publicaçã em massa d sftware CAR (presente atualmente em váris prduts cmerciais 986: Artig de Quinlan sbre ID3 Variedade de melhrias: tratament de ruíd, atributs cntínus, atributs cm valres descnhecids, árvres blíquas (nã paralelas as eixs, etc 990 s 993: Algritm atualizad de Quinlan: C4.5 (release 8 Mair pder, heurísticas de cntrle de verfitting (C5.0, etc.; cmbinand Ds Jsé August Baranauskas Departament de Física e Matemática FFCLRP-USP august@usp.br DID Os algritms de classificaçã cuj cnheciment adquirid é representad cm Árvre de Decisã (D pertencem a família DID (p Dwn Inductin f Decisin rees Árvre de Decisã: estrutura recursiva definida cm: um nó flha que indica uma classe, u um nó de decisã cntém um teste sbre valr de um atribut. Cada resultad d teste leva a uma subárvre. Cada sub-árvre tem a mesma estrutura da árvre D para Jgar ênis Atributs: : Sl, Nublad, Chuva : Alta, Nrmal Ventand: Frte, Frac emperatura: Quente, Média, Fria Classe (Cnceit Alv jgar tênis:, Nã 3 4 D para Jgar ênis D para Jgar ênis Sl Nublad Chuva Sl Nublad Chuva Ventand Cada nó intern (decisã testa um atribut Alta Nrmal Frte Frac Alta Nrmal Cada ram crrespnde a um valr d atribut testad Nã Nã Nã Cada nó flha atribui uma classe 5 6

2 D para Jgar ênis emperatura Ventand Jgarênis Sl Quente Alta Frac? D para Jgar ênis emperatura Ventand Jgarênis Sl Quente Alta Frac? Sl Nublad Chuva Sl Nublad Chuva Ventand Ventand Alta Nrmal Frte Frac Alta Nrmal Frte Frac Nã Nã Nã Nã 7 8 D para Jgar ênis emperatura Ventand Jgarênis Sl Quente Alta Frac? D para Jgar ênis emperatura Ventand Jgarênis Sl Quente Alta Frac? Sl Nublad Chuva Sl Nublad Chuva Ventand Ventand Alta Nrmal Frte Frac Alta Nrmal Frte Frac Nã Nã Nã Nã 9 0 D para Jgar ênis emperatura Ventand Jgarênis Sl Quente Alta Frac? D para Jgar ênis emperatura Ventand Jgarênis Sl Quente Alta Frac?Nã Sl Nublad Chuva Sl Nublad Chuva Ventand Ventand Alta Nrmal Frte Frac Alta Nrmal Frte Frac Nã Nã Nã Nã

3 Ds Representam Disjunções de Cnjunções Exempl: Árvre de Decisã Paciente se sente bem Sl Nublad Chuva nã Ventand Alta Nrmal Frte Frac saudável Paciente tem dr Nã (=Sl =Nrmal (=Nublad (=Chuva Ventand=Frac Nã (=Sl =Alta (=Chuva Ventand=Frte Nã Paciente se sente bem = : saudável Paciente se sente bem = nã : :...Paciente tem dr = nã : :...emperatura d paciente <= 37: saudável : emperatura d paciente > 37: dente Paciente tem dr = : dente saudável emperatura d paciente 37 > 37 nã dente dente 3 4 Representaçã da D cm um Cnjunt de Regras Representaçã da D cm um Cnjunt de Regras Uma árvre pde ser representada cm um cnjunt de regras Cada regra cmeça na raiz da árvre e caminha para baix, em direçã às flhas Cada nó de decisã acrescenta um teste às premissas (cndições da regra O nó flha representa a cnclusã da regra saudável Paciente se sente bem saudável emperatura d paciente 37 nã > 37 Paciente tem dr nã dente if Paciente se sente bem = then classe = saudável else if Paciente tem dr = nã if emperatura d paciente 37 then classe = saudável else {emperatura d Paciente > 37} classe = dente dente end if else {Paciente tem dr = } classe = dente end if end if 5 6 Representaçã da D cm um Cnjunt de Regras Disjuntas Representaçã da D cm um Cnjunt de Regras Disjuntas As regras representadas pr uma árvre de decisã sã disjuntas As, elas pdem ser escritas cm regras separadas, cmeçand pela raiz, e, cnsequentemente, else nã é necessári saudável Paciente se sente bem nã Paciente tem dr nã emperatura dente d paciente 37 > 37 saudável dente if Paciente se sente bem = then classe = saudável end if if Paciente se sente bem = nã and Paciente tem dr = nã and emperatura d paciente 37 then classe = saudável end if if Paciente se sente bem = nã and Paciente tem dr = nã and emperatura d paciente > 37 then classe = dente end if if Paciente se sente bem = nã and Paciente tem dr = then classe = dente end if 7 8

4 Algritm DID Se tds s exempls de treinament pertencem a uma única classe entã a árvre é uma flha rtulada cm a respectiva classe Cas cntrári: selecine um teste basead em um atribut divida cnjunt de treinament em subcnjunts, cada um crrespndend a um ds pssíveis (mutuamente exclusivs valres para teste aplique mesm prcess para cada subcnjunt Algritm DID Seja um cnjunt de exempls de treinament cm classes {C, C,..., C k }. Há três pssibilidades: cntém um u mais exempls, tds pertencend a uma mesma classe C j : a árvre de decisã para é uma flha identificand a classe C j nã cntém exempls: a árvre de decisã é nvamente uma flha, mas a classe assciada cm a flha deve ser determinada pr alguma infrmaçã além de. Pr exempl, a flha pde ser esclhida de acrd cm algum cnheciment d dmíni, tal cm a classe majritária. C4.5 utiliza a classe mais freqüente d nó pai deste nó (flha 3 cntém exempls que pertencem a uma mistura de classes: nesta situaçã a idéia é refinar em subcnjunts que sã (u aparentam ser cleções de exempls de uma única classe. Um teste é esclhid, basead em um únic atribut, cm resultads mutuamente exclusivs. Sejam s pssíveis resultads d teste dentads pr {O,O,...,O r }. é entã particinad em subcnjunts,,..., r, ns quais cada i cntém tds s exempls em que pssuem cm resultad daquele teste valr O i. A árvre de decisã para cnsiste em um nó (intern identificad pel teste esclhid e uma aresta para cada um ds resultads pssíveis. Para cada partiçã, pde-se exigir que cada i cntenha um númer mínim de exempls, evitand partições cm pucs exempls. O default de C4.5 é de exempls Os passs, e 3 sã aplicads recursivamente para cada subcnjunt de exempls de treinament de frma que, em cada nó, as arestas levam para as sub-árvres cnstruídas a partir d subcnjunt de exempls i Após a cnstruçã da árvre de decisã, a pda pde ser realizada para melhrar sua capacidade de generalizaçã 9 0 Classificand Nvs Exempls Uma D pde ser usada para classificar nvs exempls (nunca vists A partir da raiz basta descer através ds nós de decisã até encntrar um nó flha: a classe crrespndente a esse nó flha é a classe d nv exempl Um exempl (sem valres descnhecids é classificad apenas pr uma regra (subárvre Exempl (adaptad de Quinlan,, 93 Neste exempl, vams cnsiderar um cnjunt de exempls que cntém medições diárias sbre cndições meterlógicas Atributs aparência:, u temperatura: temperatura em graus Celsius umidade: umidade relativa d ar ventand: u nã Cada exempl fi rtulad cm bm se nas cndições meterlógicas daquele dia é acnselhável fazer uma viagem à fazenda e, cas cntrári 3 O Cnjunt de Dads Viagem Exempl emperatura Ventand Viajar E 5 7 bm E 8 9 E 3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E nã bm E 5 80 nã bm Esclhend para Particinar Exempl emperatura Ventand Viajar E 5 7 bm E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E4 5 8 nã bm E5 80 nã bm [9b,6r] 4 5

5 Esclhend para Particinar = Exempl emperatura Ventand Viajar 7 bm E 5 E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E nã bm E5 80 nã bm Esclhend para Particinar = Exempl emperatura Ventand Viajar E 5 7 bm E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E4 5 8 nã bm E 5 80 nã bm [9b,6r] [9b,6r] [b,3r] [b,3r] [4b,r] 78 > > > 70 bm bm bm 6 7 Esclhend Ventand para Particinar = Exempl emperatura Ventand Viajar 7 bm E 5 E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E4 5 8 nã bm E 5 80 nã bm Árvre de Decisã Induzida (sem pda Exempl emperatura Ventand Viajar E 5 7 bm E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E4 5 8 nã bm E 5 80 nã bm [9b,6r] [b,3r] [4b,r] [3b,r] Ventand Ventand 78 > > 70 nã 78 > > 70 nã bm bm bm bm bm bm 8 9 Árvre de Decisã Induzida (sem pda Exempl emperatura Ventand Viajar 7 bm E 5 E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E4 5 8 nã bm E 5 80 nã bm Árvre de Decisã Induzida (pdada Exempl emperatura Ventand Viajar E 5 7 bm E 8 9 E3 70 nã bm E nã E nã E bm E nã bm E E nã bm E bm E 95 nã bm E 9 70 E E4 5 8 nã bm E 5 80 nã bm [9b,6r] [b,3r] [4b,r] [3b,r] Ventand bm Ventand bm 78 > > 70 bm bm nã bm 78 > 78 bm nã E,E 3 E,E 4,E 5 E 8 E 6,E 7,E 9,E 0 E,E 4,E 5 E,E

6 (Pós-Pda Uma árvre mair é induzida de frma a superajustar s exempls e entã ela é pdada até bter uma árvre menr (mais ples A pda evita verfitting Relaçã entre amanh da Árvre de Decisã e a axa de Err axa de Err Exempls de este Exempls de reinament N N N3 Númer de nós (testes 3 33 Esclha d Atribut A mairia ds algritms de cnstruçã de árvres de decisã sã sem retrcess (sem backtracking u seja, gulss (greedy Uma vez que um teste fi selecinad para particinar cnjunt atual de exempls, a esclha é fixada e esclhas alternativas nã sã explradas Esclha d Atribut A chave para sucess de um algritm de aprendizad pr árvres de decisã depende d critéri utilizad para esclher atribut que particina cnjunt de exempls em cada iteraçã Algumas pssibilidades para esclher esse atribut sã: aleatória: selecina qualquer atribut aleatriamente mens valres: selecina atribut cm a menr quantidade de valres pssíveis mais valres: selecina atribut cm a mair quantidade de valres pssíveis ganh máxim: selecina atribut que pssui mair ganh de infrmaçã esperad, ist é, selecina atribut que resultará n menr tamanh esperad das subárvres, assumind que a raiz é nó atual; razã de ganh índice Gini Entrpia Seja S um subcnjunt de A infrmaçã esperada (u entrpia d subcnjunt S é (em bits dad pr inf( S = p( C j, S lg freq( C j, S númer p( C, S = = j k j= ( p( C, S S cm classe C S númer de exempls em S Quand aplicad a td cnjunt de treinament, inf( mede a quantidade média de infrmaçã necessária para identificar a classe de um exempl em Lembrar que lg b (a = ln(a / ln(b, u seja, lg (x = ln(x / ln( Observaçã: assumir 0*lg (0 = 0 j de exempls em j Exercíci Calcule inf( para Um cnjunt de 64 exempls, send 9 exempls da classe psitiva e 35 da classe negativa, u seja, [9,35-] Um cnjunt de 64 exempls, send 0 exempls da classe psitiva, 3 da classe negativa e da classe asterisc, u seja, [0,3-,*] Idem para =[0,3-,6*,6$] 36 37

7 Sluçã = [9,35-] inf( = inf([9,35-] = 9/64 lg 9/64 35/64 lg 35/64 = 0.99 = [0,3-,*] inf( = inf([0,3-,*] = 0/64 lg 0/64 3/64 lg 3/64 /64lg /64 =.48 = [0,3-,6*,6$] inf( = inf([0,3-,6*,6$] = 0/64 lg 0/64 3/64 lg 3/64 6/64 lg 6/64 6/64 lg 6/64 =.66 Entrpia Cnsidere agra que fi particinad de acrd cm r valres d atribut X, u seja X = O, X = O,..., X = O r, gerand s subcnjunts,,..., r, respectivamente i é frmad pels exempls de ns quais atribut X = O i, u seja, i = { z : X = O i } A infrmaçã esperada para este particinament é a sma pnderada sbre tds s subcnjunts i : inf( X, = r i= i inf( i lembrand que é a cardinalidade d cnjunt Exercíci Sluçã [9,35-] X =? X =? [9,35-] [9,35-] X =? X =? [9,35-] rue False A B C rue False A B C [, 5-] [8, 30-] [8, 3-] [7, -] [4, -] [, 5-] [8, 30-] [8, 3-] [7, -] [4, -] Calcule inf(x, e inf(x,, = [9,35-] inf([,5-] = 0.7 inf([8,30-] = 0.74 inf(x,[9,35-] = -6/64*inf([,5-] -38/64*inf([8,30-] = 0.73 inf([8,3-] = 0.94 inf([7,-] = 0.54 inf([4,-] = 0.9 inf(x,[9,35-] = -50/64*inf([8,3-] - 8/64*inf([7,-] -6/64*inf([4,-] = Ganh de Infrmaçã A quantidade gain(x, = inf( inf(x, mede ganh de infrmaçã pela partiçã de de acrd cm atribut X O critéri de ganh (ganh máxim selecina atribut X (u seja, X {X, X,..., X m } que maximiza ganh de infrmaçã max gain( X, = arg max gain( X, X { X, X, L, X m } Exercíci [9,35-] rue False [, 5-] [8, 30-] = [9,35-] inf([9,35-] = 0.99 inf(x,[9,35-] = 0.73 inf(x,[9,35-] = 0.89 X =? X =? A B [8, 3-] [7, -] [9,35-] C [4, -] Qual ganh de X? E de X? Cm qual atribut btém-se ganh máxim? 4 43

8 Sluçã [9,35-] rue False [, 5-] [8, 30-] = [9,35-] inf([9,35-] = 0.99 inf(x,[9,35-] = 0.73 inf(x,[9,35-] = 0.89 X =? X =? A B [8, 3-] [7, -] gain(x, = inf( inf(x, = = 0.6 gain(x, = inf( inf(x, = = 0.0 [9,35-] C [4, -] Exempl E quente alta fals nã E quente alta verdadeir nã E3 quente alta fals E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E7 fria nrmal verdadeir E8 agradável alta fals nã E9 fria nrmal fals E0 agradável nrmal fals E agradável nrmal verdadeir E agradável alta verdadeir E3 quente nrmal fals E4 agradável alta verdadeir nã Ganh máxim é btid cm X Exempl nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 E quente alta fals nã E quente alta verdadeir nã E3 quente alta fals E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E7 fria nrmal verdadeir E8 agradável alta fals nã E9 fria nrmal fals E0 agradável nrmal fals E agradável nrmal verdadeir E agradável alta verdadeir E3 quente nrmal fals E4 agradável alta verdadeir nã nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 inf( = p( C j, lg j= ( p( C, = p(, lg ( p(, p(nã, lg ( p(nã, = lg lg = bits 3 i inf(, = inf( i i= = inf( 5 = inf( 4 j 4 inf( 4 inf( 5 inf( 4 inf( nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 inf( = p( C j, lg j= ( p( C, = p(, lg ( p(, p(nã, lg ( p(nã, 3 3 = lg lg = inf( = p( C j, lg j= = p(, j ( p( C, lg ( p(, p(nã, lg ( p(nã, = lg lg = inf( = p( C j, lg j= = p(, j ( p( C j, lg ( p(, p(nã, lg ( p(nã, 3 3 = lg lg = nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 3 i inf(, = inf( i i= = inf( inf( = inf( inf( inf( = lg lg lg lg lg lg = bits inf( 49

9 nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 3 i inf(emperatura, = inf( i i= = quente inf( quente agradável inf( 4 = lg lg lg lg lg lg = bits agradável fria inf( fria i inf(, = inf( i i= alta nrmal = inf( alta inf( = lg lg nrmal lg lg = bits 50 5 nã tal emperatura nã tal nã tal Ventand nã tal Jgar 3 5 quente 4 alta fals agradável 4 6 nrmal 6 7 verdadeir nã fria 3 4 tal tal tal tal tal 4 i inf(ventand, = inf( i i= fals verdadeir = inf( fals inf( = lg lg lg lg = bits verdadeir Esclha d Atribut para Particinar td Cnjunt de Exempls inf( = bits inf(, = bits inf(emperatura, = bits inf(, = bits inf(ventand, = bits gain(, = inf( inf(, = = bits gain(emperatura, = inf( inf(emperatura, = = 0.09 bits gain(, = inf( inf(, = = 0.584bits gain(ventand, = inf( inf(ventand, = = bits max gain( X, = arg max gain( X, = X { X, X, L, X m } 5 53 O Subcnjunt = pssui Apenas Exempls de uma Mesma Classe que Leva a um Nó Flha [s,3n] [3s,n] [s,3n] [4s,0n] [3s,n] E quente alta fals nã E quente alta verdadeir nã E8 agradável alta fals nã E9 fria nrmal fals E agradável nrmal verdadeir [4s,0n] E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E0 agradável nrmal fals E4 agradável alta verdadeir nã E quente alta fals nã E quente alta verdadeir nã E8 agradável alta fals nã E9 fria nrmal fals E agradável nrmal verdadeir E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E0 agradável nrmal fals E4 agradável alta verdadeir nã E3 quente alta fals E7 fria nrmal verdadeir E agradável alta verdadeir E3 quente nrmal fals 54 55

10 Esclha d Atribut para Particinar = Esclha d Atribut para Particinar = [s,3n] [4s,0n] [3s,n] [s,3n] [4s,0n] [3s,n] E quente alta fals nã E quente alta verdadeir nã E8 agradável alta fals nã E9 fria nrmal fals E agradável nrmal verdadeir E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E0 agradável nrmal fals E4 agradável alta verdadeir nã E quente alta fals nã E quente alta verdadeir nã E8 agradável alta fals nã E9 fria nrmal fals E agradável nrmal verdadeir E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E0 agradável nrmal fals E4 agradável alta verdadeir nã emperatura nã tal nã tal Ventand nã tal Jgar quente 0 alta fals 3 agradável nrmal 0 verdadeir nã 3 fria 0 tal 3 5 tal 3 5 tal 3 5 tal 5 emperatura nã tal nã tal Ventand nã tal Jgar 3 quente 0 alta fals agradável nrmal 0 verdadeir nã 3 fria 0 tal 3 5 tal 3 5 tal 3 5 tal 5 inf( = bits inf(emperatura, = 0.4 bits inf(, = 0 bits inf(ventand, = bits gain(emperatura, = inf( inf(emperatura, = = bits gain(, = inf( inf(, = = bits gain(ventand, = inf( inf(ventand, = = bits 56 max gain( X, = arg max X { X, X, L, X m gain ( X, = } 57 Esclha d Atribut para Particinar = Esclha d Atribut para Particinar = [s,3n] [4s,0n] [3s,n] [s,3n] [4s,0n] [3s,n] [0s,3n] alta nã nrmal [s,0n] E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E0 agradável nrmal fals E4 agradável alta verdadeir nã [0s,3n] alta nrmal nã [s,0n] E4 agradável alta fals E5 fria nrmal fals E6 fria nrmal verdadeir nã E0 agradável nrmal fals E4 agradável alta verdadeir nã E quente alta fals nã E quente alta verdadeir nã E8 agradável alta fals nã emperatura nã tal nã tal Ventand nã tal Jgar quente alta fals agradável 3 nrmal 3 verdadeir 0 nã fria tal 3 5 tal 3 5 tal 3 5 tal 5 E9 fria nrmal fals E agradável nrmal verdadeir Esclha d Atribut para Particinar = Esclha d Atribut Ventand para Particinar = [s,3n] [3s,n] [4s,0n] E4 agradável alta fals E5 fria nrmal fals alta nrmal E6 fria nrmal verdadeir nã E0 agradável nrmal fals [0s,3n] nã [s,0n] E4 agradável alta verdadeir nã emperatura nã tal nã tal Ventand nã tal Jgar quente alta fals agradável 3 nrmal 3 verdadeir 0 nã fria tal 3 5 tal 3 5 tal 3 5 tal 5 inf( = bits inf(emperatura, = bits gain(emperatura, = inf( inf(emperatura, = = bits inf(, = bits gain(, = inf( inf(, = = bits inf(ventand, = 0 bits gain(ventand, = inf( inf(ventand, = = bits max gain( X, = X arg max { X, X, L, X m gain ( X, = Ventand } 60 alta [s,3n] nrmal [4s,0n] [0s,3n] nã [s,0n] [3s,0n] nã [0s,n] [3s,n] fals Ventand verdadeir E4 agradável alta fals E5 fria nrmal fals E0 agradável nrmal fals E6 fria nrmal verdadeir nã E4 agradável alta verdadeir nã 6

11 Árvre de Decisã Induzida Exercíci Calcule ganh para atribut Dia, u seja, gain(dia,, sabend que inf(=0.94 gain(dia, = inf( inf(dia, alta nrmal nã Ventand fals verdadeir nã Dia emperatura Ventand Jgar d quente alta fals nã d quente alta verdadeir nã d3 quente alta fals d4 agradável alta fals d5 fria nrmal fals d6 fria nrmal verdadeir nã d7 fria nrmal verdadeir d8 agradável alta fals nã d9 fria nrmal fals d0 agradável nrmal fals d agradável nrmal verdadeir d agradável alta verdadeir d3 quente nrmal fals d4 agradável alta verdadeir nã 6 63 Razã de Ganh Razã de Ganh Vims que ganh máxim é interessante para particinar s exempls, frnecend bns resultads Entretant, ele tem uma tendência (bias em favr de testes cm muits valres Pr exempl, cnsidere um cnjunt de exempls de diagnóstic médic n qual um ds atributs cntém códig de identificaçã d paciente (ID Uma vez que cada códig ID é únic, particinand cnjunt de treinament ns valres deste atribut levará a um grande númer de subcnjunts, cada um cntend smente um cas Cm tds s subcnjunts (de element necessariamente cntêm exempls de uma mesma classe, inf(id,=0, as ganh de infrmaçã deste atribut será máxim =[a,b,c,...,,p] a b c inf(id, = 0 ID Nã Nã... p Nã Razã de Ganh Para ucinar esta situaçã, em analgia à definiçã de inf(, vams definir a infrmaçã ptencial gerada pela partiçã de em r subcnjunts r i i split inf( X, = lg i= A razã de ganh é definida cm: gain( X, gain rati( X, = split inf( X, A razã de ganh expressa a prprçã de infrmaçã gerada pela partiçã que é útil, u seja, que aparenta ser útil para a classificaçã Razã de Ganh Usand exempl anterir para atribut que prduz três subcnjunts cm 5, 4 e 5 exempls, respectivamente split inf(, = lg lg lg =.5774bits Para este teste, cuj ganh é gain(,= (mesm valr anterir, a razã de ganh é gain-rati(, = /.5774 =

12 Atributs Numérics Exempl Se um atribut X assume valres reais (numérics, é gerad um teste binári cujs resultads sã X <= Z e X > Z O limite Z pde ser encntrad da seguinte frma Os exempls de sã inicialmente rdenads cnsiderand s valres d atribut X send cnsiderad Há apenas um cnjunt finit de valres, que pdems dentar (em rdem pr {v, v,..., v L } Qualquer limite caind entre v i e v i tem mesm efeit que particinar s exempls cujs valres d atribut X encntra-se em {v, v,..., v i } e em {v i, v i,..., v L } As, existem apenas L- divisões pssíveis para atribut X, cada uma devend ser examinada Iss pde ser btid (uma vez rdenads s valres em uma única passagem, atualizand as distribuições de classes para a esquerda e para a direita d limite Z durante prcess Alguns indutres pdem esclher valr de limite cm send pnt médi de cada interval Z=(v i v i / C4.5, entretant, esclhe mair valr de Z entre td cnjunt de treinament que nã excede pnt médi acima, assegurand que tds s valres que aparecem na árvre de fat crrem ns dads E fals nã E verdadeir nã E fals E fals E fals E verdadeir nã E verdadeir E fals nã E fals E fals E verdadeir E 7 90 verdadeir E fals E4 7 9 verdadeir nã Esclha d Atribut para Particinar td Cnjunt de Exempls nã tal Ventand nã tal Jgar 3 5 fals verdadeir nã tal tal tal 4 Esclha d Atribut para Particinar td Cnjunt de Exempls emperatura Z=(8385/= emperatura Jgar nã nã nã nã nã nã nã Jgar nã nã nã Valr Limite (Z gain gain-rati 70 7 Esclha d Atribut para Particinar td Cnjunt de Exempls Z=(8085/= Esclha d Atribut para Particinar td Cnjunt de Exempls inf( = bits inf(, = bits inf(emperatura inf( gain( Z= 84 Z= 8.5 gain(emperatura, = bits, = bits inf(ventand, = bits gain(, = bits Z= 84 Z= 8.5, = bits, = bits gain(ventand, = bits Valr Limite (Z gain gain-rati max gain( X, = arg max gain( X, = X { X, X, L, X m } 7 73

13 O Subcnjunt = pssui Apenas Exempls de uma Mesma Classe, Levand a um Nó Flha Esclha d Atribut para Particinar = [4s,0n] [4s,0n] E fals nã E verdadeir nã E fals nã E fals E verdadeir E fals E fals E verdadeir nã E fals E4 7 9 verdadeir nã E fals nã E verdadeir nã E fals nã E fals E verdadeir E fals E fals E verdadeir nã E fals E4 7 9 verdadeir nã Ventand nã tal Jgar fals 3 verdadeir nã 3 tal 3 5 tal 5 emperatura Jgar nã nã nã Jgar nã nã nã Esclha d Atribut para Particinar = emperatura emperatura (= 0.50 Z=(7580/=77.5 Esclha d Atribut para Particinar =.0 Z=(7085/= (= Valr Limite (Z Valr Limite (Z gain gain-rati gain gain-rati Esclha d Atribut para Particinar = Esclha d Atribut para Particinar = [4s,0n] [s,3n] [4s,0n] E fals nã E verdadeir nã E fals nã E fals E verdadeir E fals E fals E verdadeir nã E fals E4 7 9 verdadeir nã <=75 >75 [s,0n] nã [0s,3n] E fals E fals E verdadeir nã E fals E4 7 9 verdadeir nã Ventand nã tal Jgar emperatura fals 3 Jgar nã nã nã verdadeir nã tal 3 5 tal 5 Jgar nã nã nã inf( = bits inf(emperatura, = bits inf( Z= 77.5 Z= 77.5, = 0 bits inf(ventand, = bits gain(emperatura Z= 77.5, = = gain( Z= 77.5, = = bits gain(ventand, = = bits max gain( X, = arg max gain( X, = Z= 77.5 X { X, X, L, X m } 78 E fals E verdadeir E fals nã E verdadeir nã E fals nã 79

14 Esclha d Atribut para Particinar = Esclha d Atribut para Particinar = Z=(6568/=66.5 emperatura [s,0n] [s,3n] [4s,0n] E fals E fals verdadeir nã E6 <=75 >75 E fals E4 7 9 verdadeir nã [0s,3n] nã emperatura Ventand nã tal Jgar Jgar nã nã fals verdadeir 0 nã Jgar nã nã tal 3 5 tal emperatura (= Valr Limite (Z gain gain-rati 80 8 Esclha d Atribut para Particinar = Z=(7080/= Esclha d Atribut para Particinar = (= Valr Limite (Z gain gain-rati X m [s,3n] [4s,0n] E fals E fals verdadeir nã E6 <=75 >75 E fals E4 7 9 verdadeir nã [s,0n] nã [0s,3n] emperatura Ventand nã tal Jgar Jgar nã nã fals verdadeir 0 nã Jgar nã nã tal 3 5 tal 5 inf( = bits inf(emperatura Z= 66.5, = bits gain(emperatura, = = bits inf(z, = bits gain(, = = bits = 75 inf(ventand, = 0 bits gain(ventand, = = bits max gain( X, = arg max gain ( X, = Ventand X { X, X, L, } 8 83 Esclha d Atribut Ventand para Particinar = Árvre de Decisã Induzida [s,3n] [4s,0n] [3s,n] Ventand <=75 >75 fals verdadeir [s,0n] nã [0s,3n] [3s,0n] nã [0s,n] Ventand E fals E fals E fals <=75 >75 nã fals verdadeir nã E verdadeir nã E4 7 9 verdadeir nã 84 85

15 Atributs cm Valres Descnhecids (Missing( Values O algritm básic para cnstruçã da D assume que valr de um teste para cada exempl de treinament pssa ser determinad Além diss, prcess de classificaçã de nvs exempls requer uma esclha em cada ram da árvre, esclha esta baseada em um atribut, cuj valr deve ser cnhecid Entretant, em dads d mund real é freqüente fat que um atribut apresente valres descnhecids O valr nã é relevante para aquele exempl particular O valr nã fi armazenad quand s exempls fram cletads O valr nã pôde ser decifrad (se escrit à mã pela pessa que digitu s dads Atributs cm Valres Descnhecids Pr exempl, Quinlan (993 reprta que em um cnjunt de 3000 dads médics sbre tireóide, muits exempls nã pssuem sex d paciente, mesm sabend que esta infrmaçã seja usualmente relevante para a interpretaçã; mais de 30% ds exempls apresentam valres descnhecids As, a falta de cmpleteza é típica em dads d mund real Diante diss, há algumas esclhas pssíveis Descartar uma parte (significante ds exempls de treinament e assumir alguns ds nvs exempls (teste cm send inclassificáveis Pré-prcessar s dads, substituind s valres descnhecids ( que geralmente altera prcess de aprendizad Alterar s algritms aprpriadamente para tratar atributs cntend valres descnhecids Atributs cm Valres Descnhecids A alteraçã ds algritms para tratar atributs cntend valres descnhecids requer a seguinte análise: A esclha de um teste para particinar cnjunt de treinament: se dis testes utilizam atributs cm diferentes númers de valres descnhecids, qual mais desejável? Uma vez que um teste tenha sid esclhid, exempls de treinament cm valres descnhecids de um atribut nã pdem ser assciads a um particular ram (utcme d teste e, prtant, nã pde ser atribuíd a um subcnjunt particular i. Cm esses exempls devem ser tratads n particinament? Quand a árvre é utilizada para classificar um nv exempl, cm classificadr deve prceder se exempl tem um valr descnhecid para atribut testad n nó de decisã atual? Verems ns próxims slides a estratégia adtada pel indutr C4.5 Esclha de um este Cm mencinad, ganh de infrmaçã de um teste mede a infrmaçã necessária para identificar uma classe que pde ser esperada pr mei d particinament d cnjunt de exempls, calculad cm a subtraçã da infrmaçã esperada requerida para identificar a classe de um exempl após particinament da mesma infrmaçã antes d particinament É evidente que um teste nã frnece infrmaçã alguma sbre a pertinência a uma classe de um exempl cuj valr d atribut de teste é descnhecid Esclha de um este Assumind que uma fraçã F de exempls tenha seu valr cnhecid para atribut X, a definiçã de ganh pde ser alterada para gain(x, = prbabilidade de X ser cnhecid * (inf( inf(x, prbabilidade de X ser descnhecid * 0 gain(x, = F * (inf( inf(x, De frma ilar, a definiçã de split-inf(x, pde ser alterada cnsiderand s exempls cm valres descnhecids cm um grup adicinal. Se teste tem r valres, seu split-inf é calculad cm se teste dividisse s exempls em r subcnjunts Exercíci E fals nã E verdadeir nã E fals E fals E fals E verdadeir nã E verdadeir E fals nã E fals E fals E verdadeir E 7 90 verdadeir E fals E4 7 9 verdadeir nã 90 9

16 Exercíci Sluçã nã tal tal E fals nã E verdadeir nã E fals E fals E fals E verdadeir nã E verdadeir E fals nã E fals E fals E verdadeir E? 7 90 verdadeir E fals E4 7 9 verdadeir nã Calcular inf(, inf(,, gain(,, split-inf(,, gain-rati(, inf( = lg lg = 0.96 bits inf(, = lg( lg( lg( lg( lg( lg( = gain(, = ( = bits 93 Sluçã 5 5 split inf(, = lg( 4 4 (para 3 3 lg( 4 4 (para 5 4 lg( 4 4 (para lg( 4 4 (para? = gain rati(, = = nã tal tal Particinand Cnjunt de reinament Um teste pde ser selecinad dentre s pssíveis testes cm antes, utilizand as definições mdificadas de gain e split-inf Se atribut selecinad X pssui valres descnhecids, cnceit de particinament d cnjunt é generalizad da seguinte frma: Assumind que X assume r valres, u seja X = O, X = O,..., X=O r, cada teste particina cnjunt ns subcnjunts,,..., r, respectivamente Quand um exempl de cm valr cnhecid é atribuíd a subcnjunt i ist indica que a prbabilidade daquele exempl pertencer a subcnjunt i é e em tds s demais subcnjunts é Particinand Cnjunt de reinament Quand um exempl pssui valr descnhecid, apenas um grau de pertinência prbabilístic pde ser feit As a cada exempl em cada subcnjunt i é assciad um pes representand a prbabilidade d exempl pertencer a cada subcnjunt Se exempl tem seu valr cnhecid para teste, pes é Se exempl tem seu valr descnhecid para teste, pes é a prbabilidade d teste X=O i naquele pnt; cada subcnjunt i é agra uma cleçã de exempls fracináris de frma que i deve ser interpretad cm a sma ds pess fracináris ds exempls n subcnjunt Particinand Cnjunt de reinament Os exempls em pdem ter pess nã unitáris, uma vez que pde ser um subcnjunt de uma partiçã anterir Em geral, um exempl de cm pes w cuj valr de teste é descnhecid é atribuíd a cada subcnjunt i cm pes w * prbabilidade de X=O i A prbabilidade é estimada cm a sma ds pess ds exempls em que têm seu valr (cnhecid igual a O i dividid pela sma ds pess ds exempls em que pssuem valres cnhecids para atribut X 96 97

17 Exempl Quand s 4 exempls sã particinads pel atribut, s 3 exempls para s quais valr é cnhecid nã apresentam prblemas O exempl remanescente é atribuíd para tdas as partições, crrespndend as valres, e, cm pess 5/3, 3/3 e 5/3, respectivamente Exempl Vams analisar a primeira partiçã, crrespndend a = Pes E fals nã E verdadeir nã E fals nã E fals E verdadeir E? 7 90 verdadeir 5/3 Se este subcnjunt fr particinad nvamente pel mesm teste anterir, u seja, utilizand atribut, terems as seguintes distribuições de classes <= 75 [s, 0n] > 75 [5/3s, 3n] Exempl Distribuições de classes <= 75 [s, 0n] > 75 [5/3s, 3n] A primeira partiçã cntém exempls de uma única classe ( A segunda ainda cntém exempls de ambas as classes mas algritm nã encntra nenhum teste que melhre sensivelmente esta situaçã De maneira ilar, subcnjunt crrespndend a = e cuj teste esteja basead n atribut Ventand (cm anterirmente nã pde ser particinad em subcnjunts de uma única classe Exempl A D assume a frma: aparencia = :...umidade <= 75: (.0 : umidade > 75: nã (3.4/0.4 aparencia = : (3. aparencia = :...ventand = verdadeir: nã (.4/0.4 : ventand = fals: (3.0 Os númer nas flhas da frma (N u (N/E significam N é a sma de exempls fracináris que atingiram a flha E é númer de exempls que pertencem a classes diferentes daquela predita pela flha (em árvres nã pdadas 00 0 Classificand um Nv Exempl Uma abrdagem ilar é utilizada quand a D é usada para classificar um nv exempl Se um nó de decisã é encntrad para qual valr d atribut é descnhecid (u seja, valr d teste nã pde ser determinad, algritm explrar tds s valres pssíveis de teste, cmbinand resultad das classificações aritmeticamente Uma vez que agra pdem haver múltipls caminhs da raiz da árvre u sub-árvre até as flhas, a classificaçã é uma distribuiçã de classes a invés de uma única classe Quand a distribuiçã ttal de classes para nv exempl é estabelecida, a classe cm a mair prbabilidade é rtulada cm send a classe predita Exempl emperatura Ventand 75? fals aparencia = :...umidade <= 75: (.0 : umidade > 75: nã (3.4/0.4 aparencia = : (3. aparencia = :...ventand = verdadeir: nã (.4/0.4 : ventand = fals: (3.0 O valr de assegura que exempl mva-se para a primeira sub-árvre mas nã é pssível determinar se <= 75 Entretant, pdems ntar que: Se <= 75 exempl pderia ser classificad cm Se > 75, exempl pderia ser classificad cm nã cm prbabilidade 3/3.4 (88% e cm prbabilidade 0.4/3.4 (% Quand a D fi cnstruída, as partições para estes testes tinham.0 e 3.4 exempls, respectivamente As cnclusões cndicinais sã cmbinadas cm s mesms pess relativs.0/5.4 e 3.4/5.4 de frma que a distribuiçã final de classes para exempl é :.0/5.4 * 00% 3.4/5.4 * % = 44% nã: 3.4/5.4 * 88% = 56% 0 03

18 Pda Há duas frmas de prduzir árvres mais ples pré-pda: decide-se nã mais particinar cnjunt de treinament, utilizand algum critéri pós-pda: induz-se a árvre cmpleta e entã remve-se alguns ds rams A pda invariavelmente causará a classificaçã incrreta de exempls de treinament Cnseqüentemente, as flhas nã necessariamente cnterã exempls de uma única classe Pré-Pda Pda Evita gastar temp cnstruind estruturas (sub-árvres que nã serã usada na árvre final plificada O métd usual cnsiste em analisar a melhr frma de particinar um subcnjunt, mensurand-a sb pnt de vista de significância estatística, ganh de infrmaçã, reduçã de err u utra métrica qualquer Se a medida encntrada encntrar-se abaix de um valr limite (threshld particinament é interrmpid e a árvre para aquele subcnjunt é apenas a flha mais aprpriada Entretant, a definiçã d valr limite nã é ples de ser definid Um valr muit grande pde terminar particinament antes que s benefícis de divisões subseqüentes trnem-se evidentes Um valr muit pequen resulta em puca plificaçã Pós-Pda Pda O prcess de induçã (dividir-e-cnquistar da árvre cntinua de frma livre e entã a árvre super-ajustada (verfitted tree prduzida é entã pdada O cust cmputacinal adicinal investid na cnstruçã de partes da árvre que serã psterirmente descartadas pde ser substancial Entretant, esse cust é cmpensadr devid a uma mair explraçã das pssíveis partições Crescer e pdar árvres é mais lent, mas mais cnfiável Pós-Pda Pda Existem várias frma de avaliar a taxa de err de árvres pdadas, dentre elas avaliar desempenh em um subcnjunt separad d cnjunt de treinament ( que implica que uma parte ds exempls devem ser reservada para a pda e, prtant, a árvre tem que ser cnstruída a partir de um cnjunt de exempls menr avaliar desempenh n cnjunt de treinament, mas ajustand valr estimad d err, já que ele tem a tendência de ser menr n cnjunt de treinament Pós-Pda Pda (C4.5 Análise de Cmplexidade Quand N exempls de treinament sã cberts pr uma flha, E ds quais incrretamente, a taxa de err de resubstituiçã para esta flha é E/N Entretant, iss pde ser vist cm a bservaçã de E events em N tentativas Se esse cnjunt de N exempls de treinament frem vists cm uma amstra ( que de fat nã é, pdems analisar que este resultad indica sbre a prbabilidade de um event (err na ppulaçã inteira de exempls cberts pr aquela flha A prbabilidade nã pde ser determinada exatamente, mas tem uma distribuiçã de prbabilidade (psterir que é usualmente resumida pr um par de limites de cnfiança Para um dad nível de cnfiança CF, limite superir desta prbabilidade pde ser encntrad a partir ds limites de cnfiança de uma distribuiçã binmial dentad pr U CF (E,N Uma flha cm N exempls de treinament cm uma taxa de err predita de U CF (E,N ttalizará N*U CF (E,N errs Vams assumir que a prfundidade da árvre para n exempls é O(lg n (assumind árvre balanceada Vams cnsiderar esfrç para um atribut para tds s nós da árvre; nem tds s exempls precisam ser cnsiderads em cada nó mas certamente cnjunt cmplet de n exempls deve ser cnsiderad em cada nível da árvre Cm há lg n níveis na árvre, esfrç para um únic atribut é O(n lg n Assumind que em cada nó tds s atributs sã cnsiderads, esfrç para cnstruir a árvre trna-se O(mn lg n Se s atributs sã numérics, eles devem ser rdenads, mas apenas uma rdenaçã inicial é necessária, que tma O(n lg n para cada um ds m atributs: as a cmplexidade acima permanece a mesma Se s atributs sã nminais, nem tds s atributs precisam ser cnsiderads em cada nó uma vez que atributs utilizads anterirmente nã pdem ser reutilizads; entretant, se s atributs sã numérics eles pdem ser reutilizads e, prtant, eles devem ser cnsiderads em cada nível da árvre 08 3

19 Análise de Cmplexidade Na pda (subtree replacement, inicialmente uma estimativa de err deve ser efetuada em cada nó Assumind que cntadres sejam aprpriadamente mantids, ist é realizad em temp linear a númer de nós na árvre Após iss, cada nó deve ser cnsiderad para substituiçã A árvre pssui n máxim n flhas, uma para cada exempl Se a árvre fr binária (cada atribut send numéric u nminal cm dis valres apenas iss resulta em n- nós (árvres cm multi-rams apenas diminuem númer de nós interns As, a cmplexidade para a pda é O(n Interpretaçã Gemétrica Cnsiderams exempls cm um vetr de m atributs Cada vetr crrespnde a um pnt em um espaç m-dimensinal A D crrespnde a uma divisã d espaç em regiões, cada regiã rtulada cm uma classe 4 5 Interpretaçã Gemétrica: Atribut- Valr Interpretaçã Gemétrica p/ D Um teste para um atribut é da frma X i p Valr nde X i é um atribut, p {=,,<,,>, } e valr é uma cnstante válida para atribut O espaç de descriçã é particinad em regiões retangulares, nmeadas hiperplans, que sã rtgnais as eixs As regiões prduzidas pr D sã tdas hiperplans Enquant a árvre está send frmada, mais regiões sã adicinadas a espaç X X 6 7 Interpretaçã Gemétrica p/ D Interpretaçã Gemétrica p/ D X 8 X 0 >0 X 8 X 0 >0 X 8 >8 5 0 X 5 0 X 8 9

20 Interpretaçã Gemétrica p/ D Cmbinaçã Linear de Atributs X X X 0 >0 X 8 >8 X 5 >5 Prduzem árvres de decisã blíquas A representaçã para s testes sã da frma a X a X L a m X m p Valr nde a i é uma cnstante, X i é um atribut real, p {<,,>, } e Valr uma cnstante O espaç de descriçã é particinad hiperplans que nã sã necessariamente rtgnais a eixs 0 Árvre de Decisã Oblíqua Resum X X X-X 4 >4 Árvres de decisã, em geral, pssuem um temp de aprendizad relativamente rápid Árvres de decisã permitem a classificaçã de cnjunts cm milhões de exempls e centenas de atributs a uma velcidade razável É pssível cnverter para regras de classificaçã, pdend ser interpretadas pr seres humans Precisã cmparável a utrs métds X 3