Indução de Regras. Indução de Regras. Regra. Regra de Classificação. Complexo. Uma regra de classificação assume a forma restrita de uma regra

Transcrição

1 Jsé August Baranauskas Departament de Física e Matemática FFCLRP-USP Induçã de Regras A induçã de árvres de decisã recursivamente divide s exempls em subcnjunts menres, tentand separar cada classe das demais A induçã de regras, pr utr lad, faz diretamente, usand um algritm de cbertura Nesse prcess, cada regra cbre um subcnjunt de exempls que pertencem a uma classe específica Verems nesta aula duas frmas de induçã de regras: regras rdenadas e nã rdenadas august@usp.br Regra Uma regra assume a frma if L then R que é equivalente a L R R L R :- L Nrmalmente, as partes esquerda L e direita R sã cmplexs sem atributs cmuns entre eles, u seja atributs(l) atributs(r) = Ø A parte esquerda L é denminada cndiçã, premissa, antecedente, cauda u crp da regra A parte direita R é denminada cnclusã u cabeça da regra Regra de Classificaçã Uma regra de classificaçã assume a frma restrita de uma regra if L then classe = C i u simplesmente if L then C i nde C i pertence a cnjunt de k valres de classe {C 1, C,..., C k } A parte esquerda L é um cmplex Cmplex É uma cnjunçã de disjunções ds atributs de teste, na frma: X i p valr nde X i é um atribut, p é um peradr e valr é cnstante válida para atribut X i Exempls Sex = Masculin Idade >= 0 Sex = Feminin and Idade < Induçã de Regras Induçã de Regras Na induçã de regras, algritm identifica nvs testes (cndições) a serem adicinads à regra atual (send induzida) de frma a melhrar a precisã Exempl Cnsidere um cnjunt cm duas classes (,) e dis atributs X 1 e X cnfrme figura a lad X Na induçã de regras, algritm identifica nvs testes (cndições) a serem adicinads à regra atual (send induzida) de frma a melhrar a precisã Exempl Pass 1: if X 1 >1. then classe= X X 1 1. X 1 5 6

2 Induçã de Regras Induçã de Regras Na induçã de regras, algritm identifica nvs testes (cndições) a serem adicinads à regra atual (send induzida) de frma a melhrar a precisã Exempl Pass 1: if X 1 >1. then classe= Pass : (especializaçã) if X 1 >1. and X >.6 then classe= X.6 1. X 1 Algritm de Cbertura Cnjunt de Exempls Regra atual Regra atual após inserir um nv teste 7 8 Induçã de Regras Classificaçã de Regras Especializaçã Etapa em que testes sã incluíds na regra send induzida Objetiv: eliminar exempls cberts incrretamente Generalizaçã (Pda) Etapa em que testes sã excluíds de uma regra pré-pda: se crre durante a induçã pós-pda: se crre após a induçã de tdas a regras Objetiv: evitar verfitting 9 Quant à intersecçã: Regras disjuntas: cada exempl é cbert smente pr uma única regra Regras nã-disjuntas: cada exempl pde ser cbert pr mais de uma regra X * * * ** * * * * X1 X * * * ** * * * * X1 10 Classificaçã de Regras Estratégias para Induçã de Regras Quant à rdem de avaliaçã: Regras rdenadas: a rdem de aplicaçã das regras é imprtante Regras nã-rdenadas: a rdem de aplicaçã das regras é indiferente Regras semi-rdenadas: nã há rdem entre regras de uma mesma classe (i.e. cuja cnclusã é de uma mesma classe), mas a rdem entre regras de classes diferentes deve ser respeitada Quant a critéri de avaliaçã: A primeira regra que dispara para um nv exempl é usada para classificá-l Tdas as regras que disparam para um nv exempl sã usadas para classificá-l Induzir uma árvre de decisã Transfrmar a árvre em um cnjunt (disjunt) de regras Transfrmar a árvre em um cnjunt de regras, simplificand algumas de suas cndições (cnjunt nã-disjunt) C4.5rules, Part Induzir regras diretamente a partir ds exempls 0R, 1R (regras simples) CN, Ripper (JRip), Prism, etc 11 1

3 0R: Zer Rule Métd simples, cm baix desempenh Útil cm benchmark: se qualquer utr classificadr tem desempenh pir d que 0R ist indica prvavelmente verfitting Algritm: Para classificaçã (rótul classe discret): utiliza a classe majritária Para regressã (rótul classe cntínu): utiliza a média ds valres 1R: One Rule Classificadr simples mas freqüentemente efetiv, útil para seleçã de atributs Crrespnde a induzir uma árvre de decisã de um únic nível Entre atributs equivalentes, esclhe aleatriamente Usa valr descnhecid (missing) cm um valr separad de atribut Algritm de Induçã de Regras Ordenadas Algritm RegrasOrdenadas(Exempls) ListaRegras := {} repeat cmplex := encntre_melhr_cmplex(exempls) if cmplex {} then C := classe_mais_frequente(cmplex,exempls) Regra := if cmplex then classe = C ListaRegras := ListaRegras {Regra} Exempls := Exempls {E : E Exempls and satisfaz(e,cmplex)} endif until Exempls = {} r cmplex = {} return ListaRegras Algritm de Induçã de Regras Ordenadas A induçã crre de frma iterativa, cada iteraçã prcurand pr um cmplex que cbre um grande númer de exempls da classe C i e pucs exempls da classe C j (j i) A encntrar um bm cmplex, s exempls cberts (tant s da classe C i send aprendids bem cm pucs utrs de classe C j, j i, também cberts pel cmplex) sã remvids d cnjunt de treinament A regra if cmplex then classe=c i é adicinada a final da lista de regras Este prcess prssegue até que nenhum cmplex pssa ser encntrad u nã restem exempls n cnjunt de treinament Classificand Nvs Exempls Para classificar nvs exempls, cada regra é avaliada (em rdem) até que uma regra cuja cndições sejam satisfeitas pel nv exempl send classificad A classe predita pela regra encntrada é entã assciada cm send a classe d nv exempl Se nenhuma regra fr satisfeita pel nv exempl, a regra default atribui a classe mais cmum ds exempls de treinament nã cberts pr nenhuma regra cm send a classe d nv exempl A regra default smente é utilizada na classificaçã de nvs exempls se nenhuma das regras induzidas disparar para nv exempl send classificad Interpretaçã Gemétrica Regras rdenadas pdem ser vistas cm árvres binárias degeneradas, uma vez que para classificar um nv exempl, cada regra é avaliada em rdem até que uma dispare Cm essa situaçã crrespnde a cmand if-then-else, espaç de descriçã é particinad em regiões disjuntas, cm n cas de árvres de decisã 17 18

4 Exempl Exempl Exempl Temperatura Ventand Viajar E1 sl 5 7 sim bm E sl 8 91 sim ruim E3 sl 70 nã bm E4 sl 3 95 nã ruim E5 sl nã ruim E6 nublad 3 90 sim bm E7 nublad 9 78 nã bm E8 nublad sim ruim E9 nublad 6 75 nã bm E10 nublad 0 87 sim bm E11 95 nã bm E sim ruim E sim ruim E nã bm E nã bm Exempl Temperatura Ventand Viajar R1 E1 sl 5 7 sim bm cc E sl 8 91 sim ruim E3 sl 70 nã bm cc E4 sl 3 95 nã ruim E5 sl nã ruim E6 nublad 3 90 sim bm E7 nublad 9 78 nã bm cc E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc E10 nublad 0 87 sim bm E11 95 nã bm E sim ruim ci E sim ruim ci E nã bm cc E nã bm cc cplx := umidade<83 [6b,3r] C := classe_mais_frequente(cplx,exempls) = bm R 1 := if umidade<83 then classe=bm 19 0 Exempl Exempl Cnsiderand a induçã da regra inicial R 1, tds s exempls que satisfazem suas cndições e pssuem a mesma classe predita pela cnclusã da regra (E 1, E 3, E 7, E 9, E 14, E 15 ), u seja, aqueles cberts crretamente (cc) pela regra, assim cm s exempls que satisfazem as cndições da regra mas nã pertencem à classe predita (E 8, E 1, E 13 ), u seja, aqueles cberts incrretamente (ci) sã remvids pel algritm de induçã de regras rdenadas e um else é intrduzid na lista de regras antes de induzir a próxima regra Assim, na induçã da próxima regra apenas s exempls E, E 4, E 5, E 6, E 10 e E 11 sã cnsiderads Esse prcess se repete para as demais regras Exempl Temperatura Ventand Viajar R1 R E1 sl 5 7 sim bm cc E sl 8 91 sim ruim cc E3 sl 70 nã bm cc E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm ci E7 nublad 9 78 nã bm cc E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc E10 nublad 0 87 sim bm E11 95 nã bm E sim ruim ci E sim ruim ci E nã bm cc E nã bm cc cplx := temperatura >= 3 [1b,3r] C := classe_mais_frequente(cplx,exempls) = ruim R := if temperatura >= 3 then classe=ruim 1 Exempl Exempl Exempl Temperatura Ventand Viajar R1 R R3 E1 sl 5 7 sim bm cc E sl 8 91 sim ruim cc E3 sl 70 nã bm cc E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm ci E7 nublad 9 78 nã bm cc E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc E10 nublad 0 87 sim bm E11 95 nã bm cc E sim ruim ci E sim ruim ci E nã bm cc E nã bm cc Exempl Temperatura Ventand Viajar R1 R R3 R4 E1 sl 5 7 sim bm cc E sl 8 91 sim ruim cc E3 sl 70 nã bm cc E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm ci E7 nublad 9 78 nã bm cc E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc E10 nublad 0 87 sim bm cc E11 95 nã bm cc E sim ruim ci E sim ruim ci E nã bm cc E nã bm cc cplx := aparência= [1b,0r] C := classe_mais_frequente(cplx,exempls) = bm R 3 := if aparência= then classe=bm Quand tds s exempls remanescentes sã de uma mesma classe, a invés de prcurar pr mais regras, algritm pde criar a regra default que rtula s exempls remanescentes nã classificads R 4 := classe=bm 3 4

5 Exempl Induçã de Regras Nã Ordenadas R 1 R R 3 R 4 Lista Final de Regras Ordenadas if umidade<83 then classe=bm else if temperatura >= 3 then classe=ruim else if aparência= then classe=bm else classe=bm (regra default) O algritm de regras rdenadas pde ser alterad para induzir regras nã rdenadas A alteraçã principal cnsiste em iterar para cada classe C i remvend apenas s exempls cberts e que sã da classe C i (cberts crretamente) quand uma regra é encntrada Assim, diferentemente de regras rdenadas, s exempls das classes C j, j i cberts incrretamente pel cmplex encntrad devem permanecer prque agra cada nva regra deve ser cmparada cm tds s exempls cberts incrretamente Exempls cberts (crretamente) que pssuem a classe C i send aprendida devem ser remvids para evitar que algritm encntre a mesma regra nvamente 5 6 Algritm de Induçã de Regras Nã Ordenadas Algritm RegrasNãOrdenadas(Exempls) CnjuntRegras := {} TdsExempls := Exempls fr cada classe C TdsExempls d Exempls := TdsExempls RegrasParaUmaClasse := {} repeat cmplex := encntre_melhr_cmplex(exempls,c) if cmplex {} then Regra := if cmplex then classe = C RegrasParaUmaClasse := RegrasParaUmaClasse Regra Exempls := Exempls {E : E Exempls and satisfaz(e,cmplex and classe = C)} endif until Exempls = {} r cmplex = {} CnjuntRegras := CnjuntRegras RegrasParaUmaClasse endfr return CnjuntRegras Classificand Nvs Exempls Para classificar um nv exempl, tdas as regras sã testadas e aquelas que disparam sã cletadas Se mais de uma classe é prevista pelas regras disparadas, métd usual de reslver qual classe deve ser assciada a nv exempl cnsiste em assciar a cada regra cm a distribuiçã de exempls cberts entre classes e entã smar essas distribuições para encntrar a classe mais prvável Se nenhuma regra fr satisfeita pel nv exempl, a regra default atribui a classe mais cmum ds exempls de treinament nã cberts pr nenhuma regra cm send a classe d nv exempl A regra default smente é utilizada na classificaçã de nvs exempls se nenhuma das regras induzidas disparar para nv exempl send classificad 7 8 Classificand Nvs Exempls Interpretaçã Gemétrica Pr exempl, cnsidere as três regras sbre um cnjunt de exempls de duas classes de rbôs: [inimig, amig]: if cabeça=quadrada and segura=arma then classe=inimig cbre [15i,1a] if tamanh=alt and va=nã then classe=amig cbre [1i,10a] if aparência=brav then classe=inimig cbre [0i,0a] Dad um nv exempl cm s seguinte atributs cabeça quadrada, segura uma arma, alt, nã vadr e brav, tdas as três regras disparam Smand s exempls cberts [36i,11a], a classe majritária é entã utilizada para prever a classe d nv exempl inimig A induçã de regras nã rdenadas divide espaç de descriçã em regiões que pdem se sbrepr, uma vez que cada exempl pde ser cbert pr mais de uma regra X 9 X1 30

6 Exempl Exempl Exempl Temperatura Ventand Viajar E1 sl 5 7 sim bm E sl 8 91 sim ruim E3 sl 70 nã bm E4 sl 3 95 nã ruim E5 sl nã ruim E6 nublad 3 90 sim bm E7 nublad 9 78 nã bm E8 nublad sim ruim E9 nublad 6 75 nã bm E10 nublad 0 87 sim bm E11 95 nã bm E sim ruim E sim ruim E nã bm E nã bm Exempl Temperatura Ventand Viajar R1 E1 sl 5 7 sim bm E sl 8 91 sim ruim E3 sl 70 nã bm E4 sl 3 95 nã ruim E5 sl nã ruim E6 nublad 3 90 sim bm E7 nublad 9 78 nã bm cc E8 nublad sim ruim E9 nublad 6 75 nã bm cc E10 nublad 0 87 sim bm E11 95 nã bm E sim ruim E sim ruim E nã bm E nã bm C := bm cplx := aparência = nublad and ventand = nã [b,0r] R 1 := if aparência = nublad and ventand = nã then classe=bm 31 3 Exempl Exempl Exempl Temperatura Ventand Viajar R1 R E 1 sl 5 7 sim bm E sl 8 91 sim ruim E 3 sl 70 nã bm E4 sl 3 95 nã ruim E5 sl nã ruim E6 nublad 3 90 sim bm E7 nublad 9 78 nã bm cc E8 nublad sim ruim E 9 nublad 6 75 nã bm cc E10 nublad 0 87 sim bm E nã bm cc E sim ruim E sim ruim E nã bm cc E nã bm cc Exempl Temperatura Ventand Viajar R1 R R3 E1 sl 5 7 sim bm E sl 8 91 sim ruim E3 sl 70 nã bm E4 sl 3 95 nã ruim E5 sl nã ruim E6 nublad 3 90 sim bm cc E7 nublad 9 78 nã bm cc (cc) E 8 nublad sim ruim ci E 9 nublad 6 75 nã bm cc (cc) E10 nublad 0 87 sim bm cc E11 95 nã bm cc E sim ruim E sim ruim E nã bm cc E nã bm cc C := bm cplx := aparência = and ventand = nã [3b,0r] R := if aparência = and ventand = nã then classe=bm C := bm cplx := aparencia = nublad [b,1r] R 3 := if aparencia=nublad then classe=bm Exempl Exempl Exempl Temperatura Ventand Viajar R1 R R3 R4 E1 sl 5 7 sim bm E sl 8 91 sim ruim E3 sl 70 nã bm ci E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm cc E7 nublad 9 78 nã bm cc (cc) E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc (cc) E10 nublad 0 87 sim bm cc E11 95 nã bm cc E sim ruim E sim ruim E nã bm cc E nã bm cc Exempl Temperatura Ventand Viajar R1 R R3 R4 R5 E1 sl 5 7 sim bm E sl 8 91 sim ruim E3 sl 70 nã bm ci E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm cc E7 nublad 9 78 nã bm cc (cc) E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc (cc) E10 nublad 0 87 sim bm cc E11 95 nã bm cc E sim ruim cc E sim ruim cc E nã bm cc E nã bm cc C := ruim cplx := aparencia = sl and ventand = nã [1b,r] R 4 := if aparencia = sl and ventand = nã then classe=ruim C := ruim cplx := aparencia = and ventand = sim [0b,r] R 5 := if aparencia = and ventand = sim then classe=ruim 35 36

7 Exempl Exempl Exempl Temperatura Ventand Viajar R1 R R3 R4 R5 R6 E1 sl 5 7 sim bm ci E sl 8 91 sim ruim cc E3 sl 70 nã bm ci E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm cc E7 nublad 9 78 nã bm cc (cc) E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc (cc) E10 nublad 0 87 sim bm cc E11 95 nã bm cc E sim ruim cc E sim ruim cc E nã bm cc E nã bm cc Exempl Temperatura Ventand Viajar R1 R R3 R4 R5 R6 E1 sl 5 7 sim bm ci E sl 8 91 sim ruim cc E3 sl 70 nã bm ci E4 sl 3 95 nã ruim cc E5 sl nã ruim cc E6 nublad 3 90 sim bm cc E7 nublad 9 78 nã bm cc (cc) E8 nublad sim ruim ci E9 nublad 6 75 nã bm cc (cc) E10 nublad 0 87 sim bm cc E11 95 nã bm cc E sim ruim cc E sim ruim cc E nã bm cc E nã bm cc C := ruim cplx := aparencia = sl and ventand = sim [1b,1r] R 6 := if aparencia = sl and ventand = sim then classe=ruim Cm nenhum exempl de treinament restu sem ser cbert pel cnjunt de regras, a regra default é dada pela classe majritária d cnjunt de treinament R 7 := classe=bm [9b,6r] Exempl Critéris para Selecinar Cmplexs/Regras R 1 R R 3 R 4 R 5 R 6 R 7 Lista Final de Regras Nã Ordenadas if aparência = nublad and ventand = nã then classe=bm [b,0r] if aparência = and ventand = nã then classe=bm [3b,0r] if aparencia=nublad then classe=bm [4b,1r] if aparencia = sl and ventand = nã then classe=ruim [1b,r] if aparencia = and ventand = sim then classe=ruim [0b,r] if aparencia = sl and ventand = sim then classe=ruim [1b,1r] classe=bm [9b,6r] (regra default) Analisand s algritms de induçã de regras é pssível bservar que fatr determinante n resultad final depende d critéri de seleçã da melhr regra/cmplex Na realidade, existem inúmers critéris que pdem ser esclhids, cada um, prprcinand um cnjunt final de regras bem diversificad Um ds pssíveis critéris de seleçã da melhr regra cnsiste em esclher a regra cm melhr grau de adequaçã (rule fitness) para prblema em questã Dentand-se grau de adequaçã de uma regra L R pr rf(l R), em geral, critéri de seleçã esclhe a melhr regra cm send aquela que pssui mair valr de rf Verems dis critéris, dentre s pssíveis, para estimar grau de adequaçã rf de uma regra Cnfiabilidade Psitiva (prel) Precisã de Laplace (lacc) Critéris para Selecinar Cmplexs/Regras Uma pssível definiçã para grau de adequaçã rf utiliza a cnfiabilidade psitiva (prel), definida cm a razã entre númer de exempls crretamente cberts pela regra e númer ttal de exempls cberts pela regra, u seja, lr/l def lr rf ( L R) = prel( L R) = p( R L) = l A cnfiabilidade psitiva assume valres n interval 0 <= prel(l R) <= 1 Pr definiçã: 0/0 = 0 Critéris para Selecinar Cmplexs/Regras Entretant, a cnfiabilidade psitiva pssui uma prpriedade indesejada Pr exempl, cnsidere duas regras L 1 R 1, cm l 1 r 1 =100, l 1 r 1 =1, L R, cm l r =5, l r =0 Nesse cas: prel(l 1 R 1 ) = l 1 r 1 /l 1 = 100/101 = 0.99 prel(l R ) = l r /l = 5/5= 1.00 indicand que L R é uma regra melhr d que L 1 R 1, que nã prcede neste cas 41 4

8 Critéris para Selecinar Cmplexs/Regras Uma sluçã para prblema apresentad pela cnfiabilidade psitiva cnsiste em substituí-la pela precisã de Laplace (lacc): def lr 1.0 rf ( L R) = lacc( L R) = l k nde k é númer de classes d cnjunt de exempls A precisã de Laplace assume valres n interval 0 < lacc(l R) < 1 Critéris para Selecinar Cmplexs/Regras Ainda cnsiderand exempl anterir em um prblema cm k = classes, tem-se que L 1 R 1, cm l 1 r 1 =100, l 1 r 1 =1, L R, cm l r =5, l r =0 Tems, prtant: lacc(l 1 R 1 ) = (l 1 r 1 1)/(l 1 )= 101/103 = 0.98 lacc(l R ) = (l r 1)/(l )= 6/7= 0.86 indicand que L 1 R 1 é uma regra melhr d que L R Exempl Encntrar Melhr Cmplex/Regras Nã-Ordenadas usand a cnfiabilidade psitiva cm rf Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã Induzind R 1 (classe=sim) sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 3 5 quente fals 6 8 sim 9 nublad nrmal verdadeir nã Ttal Ttal Ttal Ttal Ttal 14 Temperatura Ventand sl nublad quente nrmal fals verdadeir /5 = /4 = /5 = 0.60 /4 = /6 = /4 = /7 = /7 = /8 = /6 = Induzind R 1 (classe=sim) cmplex := =nublad [4s,0n] Cm cmplex cria uma partiçã de exempls de uma mesma classe, nã é necessári especializá-l R 1 := if =nublad then classe=sim Os exempls cberts crretamente pela regra R 1 sã remvids d cnjunt de treinament Exempls Cberts pela Regra R 1 Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã 47 48

9 Induzind R (classe=sim) sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 3 5 quente fals 4 6 sim 5 nublad nrmal verdadeir nã Ttal Ttal Ttal Ttal Ttal 10 Temperatura Ventand sl nublad quente nrmal fals verdadeir /5 = /5 = / = /5 = 0.60 /3 = /5 = 0.0 4/5 = /6 = /4 = 0.5 Induzind R (classe=sim) =nrmal cmplex := =nrmal [4s,1n] Cm cmplex cria partições cntend exempls de mais de uma classe, ele deve ser especializad Induzind R (classe=sim) =nrmal sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 0 quente fals sim 4 nublad nrmal verdadeir 1 1 nã Ttal Ttal Ttal Ttal Ttal 5 sl / = 1.00 nublad /3 = 0.67 Temperatura quente / = 1.00 /3 = 0.67 Ventand fals 3/3 = 1.00 verdadeir 1/ = 0.50 N cas de empate em um valr lr/l, esclher atribut-valr cm mair lr Induzind R (classe=sim) =nrmal and Ventand=fals cmplex := =nrmal and Ventand=fals [3s,0n] Cm cmplex cria uma partiçã de exempls de uma mesma classe, nã é necessári especializá-l R := if =nrmal and Ventand=fals then classe=sim Os exempls cberts crretamente pela regra R sã remvids d cnjunt de treinament 51 5 Exempls Cberts pelas Regras R 1 e R Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã Induzind R 3 (classe=sim) sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl quente fals 1 3 sim nublad nrmal 1 1 verdadeir nã Ttal 5 7 Ttal 5 7 Ttal 5 7 Ttal 5 7 Ttal 7 Temperatura Ventand sl nublad quente nrmal fals verdadeir 1/4 = 0.5 0/ = 0.00 /4 = /1 = /5 = 0.0 1/ = /4 =

10 Induzind R 3 (classe=sim) Temperatura= cmplex := Temperatura= [s,n] Cm cmplex cria partições cntend exempls de mais de uma classe, ele deve ser especializad Induzind R 3 (classe=sim) Temperatura= sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 1 1 quente fals 1 1 sim nublad nrmal verdadeir 1 1 nã Ttal 4 Ttal 4 Ttal 4 Ttal 4 Ttal 4 sl 1/ = 0.50 nublad 1/ = 0.50 nrmal 1/1 = 1.00 Ventand fals 1/ = 0.50 verdadeir 1/ = Induzind R 3 (classe=sim) Temperatura= and =nrmal cmplex := Temperatura= and =nrmal [1s,0n] Cm cmplex cria uma partiçã de exempls de uma mesma classe, nã é necessári especializá-l R 3 := if Temperatura= and =nrmal then classe=sim Os exempls cberts crretamente pela regra R 3 sã remvids d cnjunt de treinament Nte que algritm pde decidir em nã criar regras cuja cbertura esteja abaix de uma valr limite mínim para evitar verfitting Exempls Cberts pelas Regras R 1, R e R 3 Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã Induzind R 4 (classe=sim) sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl quente fals 1 3 sim 1 nublad nrmal verdadeir nã Ttal Ttal Ttal Ttal Ttal 6 Temperatura Ventand sl nublad quente nrmal fals verdadeir 0/3 = / = /1 = /5 = 0.0 0/1 = /3 = 0.00 Induzind R 4 (classe=sim) = cmplex := = [1s,n] Cm cmplex cria partições cntend exempls de mais de uma classe, ele deve ser especializad 59 60

11 Induzind R 4 (classe=sim) = sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl quente fals sim 1 nublad nrmal verdadeir 0 nã Ttal 1 3 Ttal 1 3 Ttal 1 3 Ttal 1 3 Ttal 3 Temperatura quente 1/ = /1 = / = 0.50 nrmal 0/1 = 0.00 Ventand fals 1/1 = 1.00 verdadeir 0/ = 0.00 Induzind R 4 (classe=sim) = and Ventand=fals cmplex := = and Ventand=fals [1s,0n] Cm cmplex cria uma partiçã de exempls de uma mesma classe, nã é necessári especializá-l R 4 := if = and Ventand=fals then classe=sim Os exempls cberts crretamente pela regra R 4 sã remvids d cnjunt de treinament Cm tds s exempls da classe sim fram remvids, a induçã de regras para classe=sim termina 61 6 Exempls Cberts pelas Regras R 1, R, R 3 e R 4 Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã Induzind R 5 (classe=nã) Cm tds s exempls da classe=sim fram cberts pelas regras R 1, R, R 3 e R 4, prcess agra cntinua para a classe=nã Para iss, tds s exempls sã cnsiderads nvamente (cnjunt cmplet de treinament) Induzind R 5 (classe=nã) sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 3 5 quente fals 6 8 sim 9 nublad nrmal verdadeir nã Ttal Ttal Ttal Ttal Ttal 14 Temperatura Ventand sl nublad quente nrmal fals verdadeir 3/5 = /4 = 0.00 /5 = 0.40 /4 = 0.50 /6 = /4 = 0.5 4/7 = /7 = 0.14 /8 = 0.5 3/6 = 0.50 Induzind R 5 (classe=nã) =sl cmplex := =sl [s,3n] Cm cmplex cria partições cntend exempls de mais de uma classe, ele deve ser especializad 65 66

12 Induzind R 5 (classe=nã) =sl sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 3 5 quente fals 1 3 sim nublad nrmal 0 verdadeir 1 1 nã Ttal 3 5 Ttal 3 5 Ttal 3 5 Ttal 3 5 Ttal 5 Temperatura quente / = / = /1 = /3 = 1.00 nrmal 0/ = 0.00 Ventand fals /3 = 0.67 verdadeir 1/ = 0.50 Induzind R 5 (classe=nã) =sl and = cmplex := =sl and = [0s,3n] R 5 := if =sl and = then classe=nã Os exempls cberts crretamente pela regra R 5 sã remvids d cnjunt de treinament Exempls Cberts pelas Regra R 5 Induzind R 6 (classe=nã) Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl 0 quente fals sim 9 nublad nrmal verdadeir 3 5 nã Ttal 9 11 Ttal 9 11 Ttal 9 11 Ttal 9 11 Ttal 11 sl 0/ = 0.00 nublad 0/4 = 0.00 /5 = 0.40 Temperatura quente 0/ = /5 = 0.0 1/4 = 0.5 1/4 = 0.5 nrmal 1/7 = 0.14 Ventand fals 0/6 = 0.00 verdadeir /5 = Induzind R 6 (classe=nã) = cmplex := = [3s,n] Cm cmplex cria partições cntend exempls de mais de uma classe, ele deve ser especializad Induzind R 6 (classe=nã) = sim nã Ttal Temperatura sim nã Ttal sim nã Ttal Ventand sim nã Ttal Jgar sl quente fals sim 3 nublad nrmal 1 3 verdadeir 0 nã Ttal 3 5 Ttal 3 5 Ttal 3 5 Ttal 3 5 Ttal 5 Temperatura quente 1/ = / = 0.50 nrmal Ventand fals 0/3 = 0.00 verdadeir / =

13 Induzind R 6 (classe=nã) = and Ventand=verdadeir cmplex := = and Ventand=verdadeir [0s,n] R 6 := if = and Ventand=verdadeir then classe=nã Os exempls cberts crretamente pela regra R 6 sã remvids d cnjunt de treinament Cm nã restam mais exempls, prcess de induçã termina Cm nã há exempls remanescentes nã classificads, a regra default pde ser dada pela classe majritária Exempls Cberts pelas Regras R 5 e R 6 Exempl Temperatura Ventand Jgar E1 sl quente fals nã E sl quente verdadeir nã E3 nublad quente fals sim E4 fals sim E5 nrmal fals sim E6 nrmal verdadeir nã E7 nublad nrmal verdadeir sim E8 sl fals nã E9 sl nrmal fals sim E10 nrmal fals sim E11 sl nrmal verdadeir sim E1 nublad verdadeir sim E13 nublad quente nrmal fals sim E14 verdadeir nã Cnjunt de Regras Induzidas Cnjunt de Regras Induzidas R 1 R Cnjunt Final de Regras Nã Ordenadas Induzidas if =nublad then classe=sim [4s,0n] if =nrmal and Ventand=fals then classe=sim [4s,0n] R 1 R R 3 R 4 R 5 R 6 if =nublad then classe=sim [4s,0n] if =nrmal and Ventand=fals then classe=sim [4s,0n] if Temperatura= and =nrmal then classe=sim [s,0n] if = and Ventand=fals then classe=sim [3s,0n] if =sl and = then classe=nã [0s,3n] if = and Ventand=verdadeir then classe=nã [0s,n] R 3 R 4 R 5 R 6 R 7 if Temperatura= and =nrmal then classe=sim [s,0n] if = and Ventand=fals then classe=sim [3s,0n] if =sl and = then classe=nã [0s,3n] if = and Ventand=verdadeir then classe=nã [0s,n] classe=sim [9s,5n] (regra default) Exempl Temperatura Ventand Jgar R1 R R3 R4 R5 R6 E1 sl quente fals nã cc E sl quente verdadeir nã cc E3 nublad quente fals sim cc E4 fals sim cc E5 nrmal fals sim cc cc E6 nrmal verdadeir nã cc E7 nublad nrmal verdadeir sim cc E8 sl fals nã cc E9 sl nrmal fals sim cc E10 nrmal fals sim cc cc cc E11 sl nrmal verdadeir sim cc E1 nublad verdadeir sim cc E13 nublad quente nrmal fals sim cc cc E14 verdadeir nã cc Pda de Regras Pda de Regras A pda de regras sempre crre a partir das cndições mais à direita (últimas cndições a serem induzidas) para as cndições mais à esquerda (primeiras cndições a serem induzidas), de frma iterativa Pr exempl, assuma que a seguinte regra cm 3 cndições fi induzida if A and B and C then classe = sim O prcess de pda, inicialmente, tentaria eliminar a última cndiçã C, resultand na regra: if A and B then classe = sim Após a pda da cndiçã C, prcess se repetiria, tentand eliminar a cndiçã B, resultand na regra: if A then classe = sim Assuma que a seguinte regra fi induzida R: if A and B and C then classe = sim Assim, a regra R pderia ser pdada, gerand a regra R : R : if A and B then classe = sim Assuma também que: R: 10 exempls de treinament satisfazem a cndiçã A and B and C, send que 9 deles pssuem classe=sim err(r) = f = S/N = 1/10 = 0.10 R : 0 exempls de treinament satisfazem a cndiçã A and B, send que 17 deles pssuem classe=sim err(r ) = f =S/N = 3/0 =

14 Err Pessimista Usarems err pessimista (perr), lembrand que f=s/n e que utilizams limite superir d interval de cnfiança dad pela equaçã z f f z f ± z = N N N 4N z 1 N p Ou seja, perr é definid cm perr z f f z f z N N N 4N z 1 N Nível de Cnfiança 99.73% 95.45% % = % % z Pda de Regras As taxas de err pessimistas para R e R cm nível de cnfiança de 95% (z=) sã: perr( R) = = perr( R' ) = = Cm perr(r ) < perr(r), a cndiçã C deve ser remvida da regra R Resum Vantagens da Induçã de Regras Cmpreensibilidade Requer puca memória Limitações Prcess de aprendizad mais lent d que árvres Geralmente há mais parâmetrs para serem ajustads 81