Aprendizad Simbólic: Regras SCC-230 Inteligência Artificial Thiag A. S. Pard 1 Regras Regras de classificaçã (atributs implicam uma classe) VS. Regras de assciaçã (atributs pdem implicar uns as utrs) 2 1
Regras de classificaçã Sã representações ppulares SE pré-cndições ENTÃO classe Pré-cndições: testes que devem ser satisfeits junts ( e lógic), em geral Classe: dependente da veracidade das pré-cndições; pde ser categórica u distribuiçã de prbabilidade Cnjunt de regras lgicamente disjuntas, em geral ( u lógic ) se uma regra se aplica, a classe é assciada a instância... mas mais de uma regra pde ser aplicada 3 Regras e árvres de decisã É fácil derivar regras de árvres de decisã Geram-se regras sem ambiguidade e que pdem ser aplicadas em qualquer rdem Pr que? Mas pdem ser regras mais cmplexas d que necessári, pis racicíni para a prduçã de árvres nã é necessariamente melhr para se prduzir regras 4 2
Regras e árvres de decisã A geraçã de árvres a partir de regras nã é tã simples Árvres nã expressam facilmente a disjunçã das regras Exercíci: cnstrua a árvre para as regras abaix Se a e b entã x Se c e d entã x 5 Regras e árvres de decisã Se a e b entã x Se c e d entã x s a n b c s n s n x s c n s d n d x s n x 6 3
Regras e árvres de decisã Se a e b entã x Se c e d entã x s a n s b n s c n x s c n s d n Prblema da subárvre replicada! s x d n x 7 Regras e árvres de decisã Ppularidade das regras Vistas cm mais mdulares, cntend pedaçs relevantes de cnheciment É fácil se adicinar nvas regras Pdem ter um valr default Pde ser uma ilusã muitas vezes Regras precisam ser percrridas de alguma frma (em rdem u nã), que afeta a classificaçã Se percrridas em rdem, sã chamadas decisin lists Pdem cnter ambiguidade (mais de uma classe para uma instância) Sluções: nã se classifica a instância u se esclhe a classe mais ppular Pdem nã classificar uma instância Sluções: mesmas d prblema anterir 8 4
Regras: cas especial Supsiçã d mund fechad Classes sim e nã Regras para classificar sim O que nã é classificad, assume-se cm nã Prtant, nã há ambiguidade... mas essa situaçã é rara 9 Regras cm exceções Regras pdem cnter exceções Extensã natural e plausível Se altura>2.4 e altura<4 entã iris-versiclr EXCETO se largura<1 entã iris-setsa 10 5
Regras cm exceções Cas extrem Cmeça-se cm valr default 11 Regras cm exceções Exceções pdem ser facilmente mdeladas cm se...entã...senã Default...exceçã é mais natural d que se...entã...senã Mais psiclógic d que lógic Humans têm cass default... e muitas exceções 12 6
Regras cm relações Às vezes relações capturam mais cnheciment Cnheciment relacinal (vs. prpsicinal) Regra para decidir se bjet está em pé u deitad Se largura>3 e altura<7 entã deitad vs. Se largura>altura entã deitad 13 Regras cm relações Às vezes relações capturam mais cnheciment Cnheciment relacinal (vs. prpsicinal) Regra para decidir se bjet está em pé u deitad Opcinalmente, pde-se criar um atribut numéric largura-altura e testar na regra se é psitiv u negativ. 14 7
Induçã de regras rudimentares Muitas vezes, hipóteses simples e rudimentares sã quase tã bas quant sluções cmplexas Regras rudimentares: 1R ( 1-rule ) Regras que testam smente um atribut Muit baratas de se cnseguir 15 Regras 1R Algritm Para cada atribut Para cada valr d atribut, faça uma regra da seguinte frma Cnte qual a frequência de cada classe assciada a atribut e seu valr Esclha a classe assciada mais frequente Faça a regra assciar atribut e seu valr a essa classe mais freqüente Calcule a taxa de err das regras criadas Esclha as regras cm menr err 16 8
Regras 1R: exempl Atribut aparência dia aparência temperatura umidade vent jgar_tênis D1 enslarad quente alta frac nã D2 enslarad quente alta frte nã D3 nublad quente alta frac sim D4 chuva mderada alta frac sim D5 chuva fria nrmal frac sim D6 chuva fria nrmal frte nã D7 nublad fria nrmal frte sim D8 enslarad mderada alta frac nã D9 enslarad fria nrmal frac sim D10 chuva mderada nrmal frac sim D11 enslarad mderada nrmal frte sim D12 nublad mderada alta frte sim D13 nublad quente nrmal frac sim D14 chuva mderada alta frte nã 17 Regras 1R: exempl Atribut aparência Se aparência=enslarad entã nã (err=2/5) Se aparência=nublad entã sim (err=0/4) Se aparência=chuva entã sim (err=2/5) Err ttal = 4/14 dia aparência temperatura umidade vent jgar_tênis D1 enslarad quente alta frac nã D2 enslarad quente alta frte nã D3 nublad quente alta frac sim D4 chuva mderada alta frac sim D5 chuva fria nrmal frac sim D6 chuva fria nrmal frte nã D7 nublad fria nrmal frte sim D8 enslarad mderada alta frac nã D9 enslarad fria nrmal frac sim D10 chuva mderada nrmal frac sim D11 enslarad mderada nrmal frte sim D12 nublad mderada alta frte sim D13 nublad quente nrmal frac sim D14 chuva mderada alta frte nã 18 9
Regras 1R: exempl Exercíci: cnstrua as regras para s utrs atributs dia aparência temperatura umidade vent jgar_tênis D1 enslarad quente alta frac nã D2 enslarad quente alta frte nã D3 nublad quente alta frac sim D4 chuva mderada alta frac sim D5 chuva fria nrmal frac sim D6 chuva fria nrmal frte nã D7 nublad fria nrmal frte sim D8 enslarad mderada alta frac nã D9 enslarad fria nrmal frac sim D10 chuva mderada nrmal frac sim D11 enslarad mderada nrmal frte sim D12 nublad mderada alta frte sim D13 nublad quente nrmal frac sim D14 chuva mderada alta frte nã 19 Regras 1R: exempl Se aparência=enslarad entã nã (2/5) Se aparência=nublad entã sim (0/4) Se aparência=chuva entã sim (2/5) Err ttal = 4/14 Se temperatura=quente entã nã (2/4) Se temperatura=mderada entã sim (2/6) Se temperatura=fria entã sim (1/4) Err ttal = 5/14 Cnjunt esclhid arbitrariamente (entre aparência e umidade), pis huve empate. Se umidade=alta entã nã (1/7) Se umidade=nrmal entã sim (1/7) Err ttal = 4/14 Se vent=frac entã sim (2/8) Se vent=frte entã nã (3/6) Err ttal = 5/14 20 10
Regras 1R Embaraçsamente bas para muits cass Pdem revelar cnheciments triviais que passam despercebids Pr exempl: prefere-se jgar tênis cm chuva u temp nublad, mas nã cm sl Tênis em miniatura? 21 Regras mais cmplexas Algritms de árvre seguem paradigma dividir para cnquistar Esclhem melhr atribut para dividir s dads, levand em cnsideraçã tdas as classes Nã aprpriad para regras, que querem cbrir classes individualmente Deseja-se separar para cnquistar : separa-se uma classe e se cnstrói um cnjunt de regras que a cubra; repete-se prcess para as utras classes 22 11
Regras mais cmplexas Algritm básic Para cada classe C Inicialize D cm cnjunt de dads Enquant D cntém instâncias de C faça Inicializa-se uma regra ca da frma Se? entã C Até que a regra seja perfeita u que nã haja mais atributs para usar, faça Para cada atribut A nã mencinad na regra e cada valr v de A - Cnsidere adicinar a cndiçã A=v na regra - Selecine A e v que maximizem a taxa de acert da regra para a classe (se huver empate, cnsidere a cbertura da regra) Adicine melhr A e v na regra Remva as instâncias cbertas pela regra recém-criada de D 23 24 12
Se? entã hard Opções Acert age=yung 2/8 age=pre-presbypic 1/8 age=presbypic 1/8 spectable prescriptin=mype 3/12 spectable prescriptin=hypermetrpe 1/12 astigmatism=n 0/12 astigmatism=yes 4/12 tear prductin rate=reduced 0/12 tear prductin rate=nrmal 4/12 25 Se astigmatism=yes entã hard Opções Acert age=yung 2/8 age=pre-presbypic 1/8 age=presbypic 1/8 spectable prescriptin=mype 3/12 spectable prescriptin=hypermetrpe 1/12 astigmatism=n 0/12 astigmatism=yes 4/12 tear prductin rate=reduced 0/12 tear prductin rate=nrmal 4/12 26 13
27 Se astigmatism=yes e? entã hard Opções Acert age=yung 2/4 age=pre-presbypic 1/4 age=presbypic 1/4 spectable prescriptin=mype 3/6 spectable prescriptin=hypermetrpe 1/6 tear prductin rate=reduced 0/6 tear prductin rate=nrmal 4/6 28 14
Se astigmatism=yes e tear prductin rate=nrmal entã hard Opções Acert age=yung 2/4 age=pre-presbypic 1/4 age=presbypic 1/4 spectable prescriptin=mype 3/6 spectable prescriptin=hypermetrpe 1/6 tear prductin rate=reduced 0/6 tear prductin rate=nrmal 4/6 29 Cntinue prcess Se astigmatism=yes e tear prductin rate=nrmal e? entã hard 30 15
Cntinue prcess Se astigmatism=yes e tear prductin rate=nrmal e? entã hard age=yung 2/2 age=pre-presbypic 1/2 age=presbypic 1/2 spectable prescriptin=mype 3/3 spectable prescriptin=hypermetrpe 1/3 Qual esclher? 2/2 u 3/3 31 Cntinue prcess Se astigmatism=yes e tear prductin rate=nrmal e spectable prescriptin=mype entã hard age=yung 2/2 age=pre-presbypic 1/2 age=presbypic 1/2 spectable prescriptin=mype 3/3 spectable prescriptin=hypermetrpe 1/3 Qual esclher? 2/2 u 3/3 O de mair cbertura: 3/3 32 16
Uma única classe: fim da primeira rdada Se astigmatism=yes e tear prductin rate=nrmal e spectable prescriptin=mype entã hard 33 Recmeça-se prcess, excluind-se as 3 instâncias finais cbertas d cnjunt de treinament riginal Faz-se nvamente para a mesma classe; quand essa classe acabar, recmeça-se cm utras 34 17
Faça mais 1 rdada! 35 Se? entã hard Opções Acert age=yung 1/7 age=pre-presbypic 0/7 age=presbypic 0/7 spectable prescriptin=mype 0/9 spectable prescriptin=hypermetrpe 1/12 astigmatism=n 0/12 astigmatism=yes 1/9 tear prductin rate=reduced 0/12 tear prductin rate=nrmal 1/9 36 18
Se age=yung entã hard Opções Acert age=yung 1/7 age=pre-presbypic 0/7 age=presbypic 0/7 spectable prescriptin=mype 0/9 spectable prescriptin=hypermetrpe 1/12 astigmatism=n 0/12 astigmatism=yes 1/9 tear prductin rate=reduced 0/12 tear prductin rate=nrmal 1/9 37 38 19
Se age=yung e? entã hard Opções Acert spectable prescriptin=mype 0/3 spectable prescriptin=hypermetrpe 1/4 astigmatism=n 0/4 astigmatism=yes 1/3 tear prductin rate=reduced 0/4 tear prductin rate=nrmal 1/3 39 Se age=yung e astigmatism=yes entã hard Opções Acert spectable prescriptin=mype 0/3 spectable prescriptin=hypermetrpe 1/4 astigmatism=n 0/4 astigmatism=yes 1/3 tear prductin rate=reduced 0/4 tear prductin rate=nrmal 1/3 40 20
41 Se age=yung e astigmatism=yes e? entã hard Opções Acert spectable prescriptin=mype 0/1 spectable prescriptin=hypermetrpe 1/2 tear prductin rate=reduced 0/2 tear prductin rate=nrmal 1/1 42 21
Se age=yung e astigmatism=yes e tear prductin rate=nrmal entã hard Opções Acert spectable prescriptin=mype 0/1 spectable prescriptin=hypermetrpe 1/2 tear prductin rate=reduced 0/2 tear prductin rate=nrmal 1/1 43 Se age=yung e astigmatism=yes e tear prductin rate=nrmal entã hard Última instância da classe hard cberta. Cmeça-se cm nva classe. 44 22
Até agra Se astigmatism=yes e tear prductin rate=nrmal e spectable prescriptin=mype entã hard Se age=yung e astigmatism=yes e tear prductin rate=nrmal entã hard 45 E se recmeça para uma nva classe... 46 23
Métd PRISM PRISM: métd descrit anterirmente Smente regras perfeitas Regras pdem ser percrridas em qualquer rdem Se mais de uma regra, classe mais ppular eleita pr elas 47 Interpretaçã Gemétrica A induçã de regras nã rdenadas divide espaç de descriçã em regiões sbrepstas Um exempl pde ser cbert pr mais de uma regra 48 24
Interpretaçã Gemétrica X2 + + + + + + + + + + + + + + + + + + + + X1 49 Exercíci Prduza as regras de classificaçã para a tabela atribut valr abaix Lad esquerd da sala: métd PRISM Lad direit da sala: métd 1R 50 25
Exercíci Testem seus métds n cnjunt de errs abaix 51 Regras Regras de classificaçã (atributs implicam uma classe) VS. Regras de assciaçã (atributs pdem implicar uns as utrs) 52 26
Regras de assciaçã Têm frmat das regras de classificaçã, mas... Pdem prever quaisquer atributs, mais de 1, inclusive Nã há a intençã de usá-las em cnjunt 53 Regras de assciaçã Pdem haver muitas regras de assciaçã, mesm para cnjunts pequens de dads Faz-se necessári filtrá-las Cbertura (u suprte): númer de instâncias que deram rigem à regra Acurácia/precisã (u cnfiança): númer de instâncias que classifica crretamente 54 27
Regras de assciaçã temperatura=fria ==> umidade=nrmal (cbertura=4, acurácia=100%) dia aparência temperatura umidade vent jgar_tênis D1 enslarad quente alta frac nã D2 enslarad quente alta frte nã D3 nublad quente alta frac sim D4 chuva mderada alta frac sim D5 chuva fria nrmal frac sim D6 chuva fria nrmal frte nã D7 nublad fria nrmal frte sim D8 enslarad mderada alta frac nã D9 enslarad fria nrmal frac sim D10 chuva mderada nrmal frac sim D11 enslarad mderada nrmal frte sim D12 nublad mderada alta frte sim D13 nublad quente nrmal frac sim D14 chuva mderada alta frte nã 55 Regras de assciaçã umidade=nrmal ==> vent=frac, jgar_tenis=sim (cbertura=4, acurácia=4/7=57.1%) dia aparência temperatura umidade vent jgar_tênis D1 enslarad quente alta frac nã D2 enslarad quente alta frte nã D3 nublad quente alta frac sim D4 chuva mderada alta frac sim D5 chuva fria nrmal frac sim D6 chuva fria nrmal frte nã D7 nublad fria nrmal frte sim D8 enslarad mderada alta frac nã D9 enslarad fria nrmal frac sim D10 chuva mderada nrmal frac sim D11 enslarad mderada nrmal frte sim D12 nublad mderada alta frte sim D13 nublad quente nrmal frac sim D14 chuva mderada alta frte nã 56 28
Regras de assciaçã Atençã X ==> Z é mesm que if X then Z Cnjunt de dads anterir 58 regras cm cbertura>=2 e acurácia>=95% É sábi prcurar bas regras, cm cbertura e acurácia bas 57 Regras de assciaçã Mineraçã das regras 1. Aplicaçã d métd de separar para cnquistar, variand-se lad direit da regra e fazend-se tdas as cmbinações pssíveis de atributs e valres; as regras seriam pdadas depis, em funçã da cbertura e da acurácia Muit ineficiente... inviável! 2. Pde-se usar a cbertura para guiar prcess desde cmeç 58 29
Mineraçã de regras de assciaçã Primeir pass Ignra-se a implicaçã das regras e se prcuram pr item sets (cnjunts de itens) cm cbertura pré-especificada Item = atribut e seu valr Nmenclatura prveniente das cestas de mercads Inicialmente, 1-item sets; depis, 2-item sets, cmbinandse s anterires... n-item sets, cmbinand-se s (n-1)- item sets Sempre bservand a cbertura especificada Se, em algum mment, nã há m-item sets que bservem a cbertura, esse primeir prcess se encerra 59 item sets cm cbertura inferir nem sã cnsiderads 60 30
Atençã Nã faz sentid cmbinar diferentes valres de um mesm atribut em uma única regra Pr exempl, vent=frte e vent=frac Só se cmbinam item sets (para frmar item sets maires) que têm mínim de cbertura esperada 61 Mineraçã de regras de assciaçã Segund pass Tend-se s item sets cm cbertura mínima especificada, geram-se regras cm a acurácia mínima especificada Alguns item sets irã prduzir mais de 1 regra, utrs nã vã prduzir regras 62 31
Item set umidade=nrmal, vent=frac, jgar_tenis=sim (cbertura=4) 7 pssíveis regras umidade=nrmal, vent=frac ==> jgar_tenis=sim (acurácia=4/4) umidade=nrmal, jgar_tenis=sim ==> vent=frac (acurácia=4/6) vent=frac, jgar_tenis=sim ==> umidade=nrmal (acurácia=4/6) umidade=nrmal ==> vent=frac, jgar_tenis=sim (acurácia=4/7) vent=frac ==> umidade=nrmal, jgar_tenis=sim (acurácia=4/8) jgar_tenis=sim ==> umidade=nrmal, vent=frac (acurácia=4/9) --- ==> umidade=nrmal, vent=frac, jgar_tenis=sim (acurácia=4/12) Se acurácia mínima especificada é de 100%, smente a primeira regra é prduzida 63 Regras de assciaçã Atençã Mineraçã de regras de assciaçã pde ser um prcess car Em muitas situações, querems um númer N de regras a partir ds dads, cm cbertura e acurácia bas Prcediment 1. Rde algritm cm cbertura alta e clete as regras bas 2. Se númer de regras < N e ainda fr pssível gerar regras, entã diminua a cbertura e repita pass 1 64 32