Aprendizgem de Máquin Regrs de Clssificção Prof. Pulo Mrtins Engel UFRGS 2 Aprendizdo de regrs prtir dos ddos A indução de árvores de decisão reliz um usc em mplitude no espço dos testes, gerndo todos os rmos (regrs) ultnemente. A indução de regrs de clssificção reliz um usc em profundidde, gerndo um cminho (regr) por vez. Cd regr é um conjunção de condições sore triutos discretos ou numéricos, sendo cd condição diciond um um de form otimizr lgum critério, por exemplo, minimizr entropi. Um regr core um exemplo se ele stisfizer tods s condições d regr. N indução de regrs por coertur, cd regr sofre um processo de crescimento e de pod, ntes de ser diciond à se de regrs, e todos os exemplos de treinmento coertos por el são removidos do conjunto de treinmento. Os lços (externo) de dição de um regr e (interno) de dição de um condição à regr são gulosos e grntem otimizção glol. Tnto o lço externo como o interno dotm um psso de pod pr melhorr generlizção.
UFRGS 3 Regrs de clssificção Alterntiv populr às árvores de decisão Antecedente (condição): um série de testes (como queles dos nós de um árvore de decisão) Os testes são mente gregdos com o conectivo e (ms podem ser usds quisquer expressões lógics) Conseqüentes (conclusão): clsses, conjunto de clsses ou distriuição de proiliddes Regrs individuis são mente gregds com o conectivo lógico ou Surgem conflitos se ocorrerem conclusões diferentes UFRGS 4 Regrs prtir de árvores Fácil converter um árvore num conjunto de regrs Um regr pr cd folh: Antecedente contém um condição pr cd nó no cminho d riz té folh Conseqüente é clsse triuíd pel folh Produz regrs que são mígus Não import em que ordem els são executds Ms: s regrs resultntes são mis complexs que o necessário Removem-se teste/regrs por pod d árvore
UFRGS 5 Árvores prtir de regrs Mis difícil trnsformr um conjunto de regrs num árvore Não é fácil expressr um disjunção de regrs por um árvore Exemplo: regrs que testm diferentes triutos oolenos Se A e B então x Se C e D então x É necessário querr etris existentes Árvore correspondente contém su-árvores idêntics ( replicds ) UFRGS 6 Árvores prtir de regrs Se A e B então x Se C e D então x Como n AD existe um nó riz, devem ser considerds tods s cominções dos 4 triutos: x A B A B C D A C D B s A n C s n s n x C D s n s n D x s n x
UFRGS 7 Um árvore com um su-árvore replicd Se os triutos tiverem múltiplos vlores, é necessário replicr um su-árvore pr cd vlor resultnte do teste. x Se x = 1 e y = 1 então clsse = Se z = 1 e w = 1 então clsse = Cso contrário clsse = 1 y 1 3 2 3 2 z 1 2 3 w 1 2 3 UFRGS 8 Pepits de conhecimento As regrs são porções independentes de conhecimento? (seri fácil dicionr um regr um se de regrs pré-existente) Prolem: ignor como s regrs são executds Dus mneirs de executr um conjunto de regrs Conjunto ordendo de regrs ( list de decisão ) Ordem é importnte pr interpretção Conjunto desordendo de regrs Regrs podem se superpor e levr conclusões diferentes pr mesm mostr
UFRGS 9 Interpretção de regrs O que fzer se houver conflito entre regrs? Não fornecer conclusão Usr regr que é mis populr nos ddos de treinmento... O que fzer se regr se plicr um mostr de teste? Não fornecer conclusão Usr regr que é mis populr nos ddos de treinmento... UFRGS 10 Cso especil: clsse oolen Suposição: se mostr pertence à clsse el pertence à clsse Truque: prender pens regrs pr clsse e usr regr defult pr clsse Se x = 1 e y = 1 então clsse = Se z = 1 e w = 1 então clsse = Cso contrário clsse = A ordem ds regrs é importnte. Não tem conflito! Regr pode ser escrit n form conjuntiv: Se (x = 0 ou y = 0) e (z = 0 ou w = 0) então clsse =
UFRGS 11 Regrs de clssificção Um árvore de decisão pode ser convertid num conjunto de regrs Conversão diret: conjunto de regrs complexo demis Conversões mis eficientes são triviis Estrtégi pr gerr um conjunto de regrs diretmente: pr cd clsse, encontrr um conjunto de regrs que cur todos os exemplos d clsse (excluindo exemplos for d clsse). Est ordgem é chmd de um ordgem por coertur porque cd estágio identific-se um regr que core um número de exemplos. UFRGS 12 Exemplo de gerção de um regr Aprendizdo de um regr pr clsse por especilizção sucessiv. A cd iterção, o lgoritmo crescent um restrição o ntecedente de modo mximizr (gulosmente) precisão d regr ( p: freqüênci reltiv dos certos; em relção os exemplos coertos pel regr). y x Se verddeiro então clsse = p = 6/20 y 1 2 Se x > 1,2 então clsse = p = 6/11 x y 2 6 1 2 Se x > 1,2 e y > 2,6 então clsse = p = 5/5 x Conjunto de regrs possível pr clsse : Se x 1,2 então clsse = Se x > 1,2 e y 2,6 então clsse = Poderim ser dicionds mis regrs pr se oter um conjunto perfeito.
UFRGS 13 Um lgoritmo de coertur Ger um regr crescentndo testes que mximizm precisão d regr Situção ilr às árvores de decisão: prolem d seleção de um triuto pr prticionr espço. Ms: indutor de árvore de decisão mximiz purez glol Cd novo teste reduz coertur d regr espço de exemplos regr tul regr pós crescentr novo termo UFRGS 14 Seleção de um teste Ojetivo: mximizr precisão t: número totl de exemplos coertos por regr p: exemplos (verddeiros) positivos d clsse coertos por regr n = t p: número de erros feitos por regr (flsos positivos) Selecionr teste que mximiz rzão p/t Nós terminmos qundo p/t = 1 ou o conjunto de exemplos pode mis ser dividido
UFRGS 15 Idde jovem jovem Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds geltinos Atriuto met ( ser previsto) jovem jovem jovem jovem jovem jovem pré-presiopsi pré-presiopsi pré-presiopsi pré-presiopsi pré-presiopsi pré-presiopsi pré-presiopsi pré-presiopsi presiopsi presiopsi presiopsi presiopsi presiopsi presiopsi presiopsi presiopsi dur geltinos dur geltinos dur geltinos dur geltinos Exemplo de rquivo de ddos: (clssificção) Tipo de lente recomendável pr pessos com diferentes crcterístics. Arquivo list tods s cominções possíveis de vlores dos triutos, com o tipo de lente recomendável. Situção muito rr. O domínio é determinístico e contrditório. Sempre que um pciente tem um conjunto de crcterístics lente recomendd é mesm. UFRGS 16 Exemplo: lentes de contto Regr procurd: Se? então recomendção = dur Testes possíveis: idde = jovem? idde = pré-presiopsi? idde = presiopsi? prescrição de óculos =? prescrição de óculos =? stigmtismo =? stigmtismo =? tx de produção de lágrim =? tx de produção de lágrim =?
UFRGS 17 Regr procurd: Se? então recomendção = dur Testes possíveis: Exemplo: lentes de contcto idde = jovem 2/8 idde = pré-presiopsi 1/8 idde = presiopsi 1/8 prescrição de óculos = 3/12 prescrição de óculos = 1/12 stigmtismo = 0/12 stigmtismo = 4/12 tx de produção de lágrim = 0/12 tx de produção de lágrim = 4/12 UFRGS 18 Idde Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds jovem jovem geltinos jovem jovem dur jovem hiper jovem hiper geltinos jovem hiper jovem hiper dur pré-presiopsi pré-presiopsi geltinos pré-presiopsi pré-presiopsi dur pré-presiopsi hiper pré-presiopsi hiper geltinos pré-presiopsi hiper pré-presiopsi hiper presiopsi presiopsi presiopsi presiopsi dur presiopsi hiper presiopsi hiper geltinos presiopsi hiper presiopsi hiper
UFRGS 19 Regr modificd e ddos resultntes Regr crescid do melhor teste: Se stigmtismo = então recomendção = dur Exemplos coertos pel regr modificd: Idde Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds jovem jovem dur jovem hiper jovem hiper dur pré-presiopsi pré-presiopsi dur pré-presiopsi hiper pré-presiopsi hiper presiopsi presiopsi dur presiopsi hiper presiopsi hiper UFRGS 20 Estdo tul: Testes possíveis: Refinmento d regr Se stigmtismo = e? então recomendção = dur idde = jovem? idde = pré-presiopsi? idde = presiopsi? prescrição de óculos =? prescrição de óculos =? tx de produção de lágrim =? tx de produção de lágrim =?
UFRGS 21 Estdo tul: Testes possíveis: Refinmento d regr Se stigmtismo = e? então recomendção = dur idde = jovem 2/4 idde = pré-presiopsi 1/4 idde = presiopsi 1/4 prescrição de óculos = 3/6 prescrição de óculos = 1/6 tx de produção de lágrim = 0/6 tx de produção de lágrim = 4/6 UFRGS 22 Regr modificd e ddos resultntes Regr crescid do melhor teste: Se stigmtismo = e tx de produção de lágrim = então recomendção = dur Exemplos coertos pel regr modificd: Idde Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds jovem dur jovem hiper dur pré-presiopsi dur pré-presiopsi hiper presiopsi dur presiopsi hiper
UFRGS 23 Refinmento d regr Estdo tul: Testes possíveis: Se stigmtismo = e tx de produção de lágrim = então recomendção = dur idde = jovem? idde = pré-presiopsi? idde = presiopsi? prescrição de óculos =? prescrição de óculos =? UFRGS 24 Refinmento d regr Estdo tul: Testes possíveis: Se stigmtismo = e tx de produção de lágrim = então recomendção = dur idde = jovem 2/2 idde = pré-presiopsi 1/2 idde = presiopsi 1/2 prescrição de óculos = 3/3 prescrição de óculos = 1/3 Empte entre o primeiro e o qurto Escolhemos que tem mior coertur qurto teste
UFRGS 25 Regr finl: Se stigmtismo = e Exemplos coertos pel regr: Resultdo tx de produção de lágrim = e prescrição de óculos = então recomendção = dur Idde Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds jovem dur pré-presiopsi dur presiopsi dur Exemplo d clsse dur coerto pel regr: Idde Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds jovem dur UFRGS 26 Exemplo coertos pel regr 1 Idde Prescrição de óculos Astigmtismo Tx de produção de lágrims Lentes recomendds jovem jovem geltinos jovem jovem hiper jovem hiper geltinos jovem hiper jovem hiper dur pré-presiopsi pré-presiopsi geltinos pré-presiopsi pré-presiopsi hiper pré-presiopsi hiper geltinos pré-presiopsi hiper pré-presiopsi hiper presiopsi presiopsi presiopsi presiopsi hiper presiopsi hiper geltinos presiopsi hiper presiopsi hiper
UFRGS 27 Regr procurd: Se? então recomendção = dur Testes possíveis: Exemplo: lentes de contcto idde = jovem 1/7 idde = pré-presiopsi 0/7 idde = presiopsi 0/7 prescrição de óculos = 0/9 prescrição de óculos = 1/12 stigmtismo = 0/12 stigmtismo = 1/9 tx de produção de lágrim = 0/12 tx de produção de lágrim = 1/9 UFRGS 28 Regr 1: Resultdo Se stigmtismo = e tx de produção de lágrim = e prescrição de óculos = então recomendção = dur Segund regr pr recomendção lentes durs : (otid dos exemplos coertos pel primeir regr) Se idde = jovem e stigmtismo = e tx de produção de lágrims = então recomendção = dur Ests dus regrs corem tods s lentes durs Repete-se o processo pr s outrs clsses
UFRGS 29 Pseudo-código pr PRISM Pr cd clsse C Inicilizr E com o conjunto de exemplos Enqunto E contiver exemplos d clsse C Crir regr R com ldo esquerdo vzio que prevê clsse C Até R ser perfeit (ou hj mis triutos) fzer Pr cd triuto A menciondo em R e cd vlor v Testr dição d condição A = v o ldo esquerdo de R Selecionr A e v de modo mximizr precisão p/t (desemptr escolhendo condição com o mior p) Adicionr A = v R Remover os exemplos coertos por R de E UFRGS 30 Seprr e conquistr Métodos como PRISM (que trtm um clsse) são lgoritmos do tipo seprr e conquistr. Primeiro, identific-se um regr Então, todos os exemplos coertos pel regr são seprdos Finlmente, os exemplos restntes são conquistdos Diferenç em relção os métodos dividir e conquistr : Suconjunto coerto pel regr precis mis ser explordo.
UFRGS 31 Extensões A usc gulos em profundidde feit pelo lgoritmo PRISM tem o perigo de fzer um escolh su-ótim cd psso. Este risco pode ser reduzido se o lgoritmo mntiver um list dos k melhores cndidtos cd psso, o invés pens do melhor. A cd psso, são gerds s especilizções destes k melhores cndidtos e o conjunto resultnte é novmente reduzido os melhores k memros. A usc em feixe vli s lterntivs mis promissors ds melhores hipóteses correntes, de modo que todos os seus sucessores são considerdos cd psso. O progrm CN2 (Clrk e Nilett 1989) us est ordgem. Um lterntiv pr o critério de escolh de testes é o gnho de informção que prioriz coertur de muitos exemplos positivos sore precisão d regr. UFRGS 32 Extensões A usc gulos em profundidde feit pelo lgoritmo PRISM tem o perigo de fzer um escolh su-ótim cd psso. Este risco pode ser reduzido se o lgoritmo mntiver um list dos k melhores cndidtos cd psso, o invés pens do melhor. A cd psso, são gerds s especilizções destes k melhores cndidtos e o conjunto resultnte é novmente reduzido os melhores k memros. A usc em feixe vli s lterntivs mis promissors ds melhores hipóteses correntes, de modo que todos os seus sucessores são considerdos cd psso. O progrm CN2 (Clrk e Nilett 1989) us est ordgem. Um lterntiv pr o critério de escolh de testes é o gnho de informção que prioriz coertur de muitos exemplos positivos sore precisão d regr. O gnho de informção (FOIL) ssocido dição de um condição um regr R, gerndo um regr cndidt R é definido por: p' p Gnho( R', R) p' log2 log2 t' t p, p = VP (de R, R ); t, t = VP + FP (totl de exemplos coertos por R, R )
UFRGS 33 B 3 Exemplo de crescimento de um regr + B 3 + B 2 + B 2 + x 2 B 1 x 1 A1 A2 A3 R P : 2 x1 A Clsse_ VP = 2, FP = 1 x 2 B 1 x 1 R A1 A2 A3 x A x B Clsse_ P : 1 2 2 2 VP = 1, FP = 0 p' p Gnho( R', R) p' log2 log2 t' t 1 2 Gnho( R', R) 1log log2 1 3 2 0,5850 UFRGS 34 Pod guid por erro (incrementl reduced-error pruning) As como no cso ds AD, o prendizdo de regrs perfeitmente justds o rquivo de treinmento em gerl produz o modelo que melhor generliz sore distriuição totl de mostrs. Um técnic populr de evitr especilizção excessiv é efetur (pós-) pod com se no desempenho de cd regr sore um rquivo de pod (vlidção). Os ddos de treinmento são seprdos num conjunto de crescimento (growing set), usdo pr formr um regr usndo o lgoritmo ásico de coertur, e num conjunto de pod (pruning set). No processo de pod, um restrição d regr gerd n etp de crescimento é elimind e o desempenho d regr truncd é vlido sore o rquivo de pod pr verificr se ele é melhor em relção o desempenho d regr originl. O processo de pod é repetido té que regr poss ser mis melhord. Todo o processo é repetido pr cd clsse, otendo melhor regr por clsse. A melhor de tods s regrs é então diciond o conjunto de regrs; s instâncis coerts por el são removids do conjunto de treinmento e todo o processo é repetido.
UFRGS 35 RIPPER O lgoritmo RIPPER (repeted incrementl pruning to produce error reduction) ger regrs pr s clsses de form ordend, começndo pel clsse mis rr, em vez de gerr pr tods s clsses e então escolhendo melhor de tods. A gerção de novs regrs pr um clsse é interrompid se o comprimento d descrição (DL, description length) ultrpssr um vlor especificdo. DL é um fórmul complex que lev em cont o número de its necessário pr codificr um conjunto de exemplos em relção um conjunto de regrs, o número de its pr codificr um regr com k condições e o número de its necessário pr codificr o inteiro k. RIPPER reliz um psso de otimizção glol do conjunto de regrs induzido. Pr cd regr R do conjunto (pr um clsse C) são gerds e vlids dus vrintes (R 1, R 2 ), ms gor levndo em considerção um conjunto de pod pens com instâncis coerts pels demis regrs de C. R 1 é um regr totlmente nov e R 2 é otid dicionndo ntecedentes R. Se um vrinte produzir um DL melhor que R, el sustituirá est regr. Finlmente, pens s regrs que contriuem pr reduzir o DL são mntids.