Aprendizado de Máquina Conceitos e Definições

Transcrição

1 Aprendizad de Máquina Cnceits e Definições Os diverss sistemas de AM pssuem características particulares e cmuns que pssibilitam sua classificaçã quant à linguagem de descriçã, md, paradigma e frma de aprendizad utilizads Algumas dessas características, cnceits intrdutóris e definições sã intrduzids nesta aula, s quais sã imprtantes para a cmpreensã das aulas subseqüentes Cnteúd Intrduçã Hierarquia d Aprendizad Paradigmas de Aprendizad AM: Cnceits e Definições Linguagens de Descriçã Jsé August Baranauskas Departament de Física e Matemática FFCLRP-USP august@usp.br 2 Aprendizad de Máquina (AM) Aprendizad de Máquina é uma área de IA cuj bjetiv é desenvlviment de técnicas cmputacinais sbre aprendizad bem cm a cnstruçã de sistemas capazes de adquirir cnheciment de frma autmática Um sistema de aprendizad é um prgrama de cmputadr que tma decisões basead em experiências acumuladas através da sluçã bem sucedida de prblemas anterires Mtivaçã (1) Dad um cnjunt de bjets, clcar s bjets em grups baseads na similaridade entre eles 4 Mtivaçã (1) Dad um cnjunt de bjets, clcar s bjets em grups baseads na similaridade entre eles Mtivaçã (1) Dad um cnjunt de bjets, clcar s bjets em grups baseads na similaridade entre eles Cm bic Sem bic Água Terra 5 6

2 Mtivaçã (1) Dad um cnjunt de bjets, clcar s bjets em grups baseads na similaridade entre eles Ovípar Mamífer Mtivaçã (2) Dads pares (x,f(x)), inferir f( ) x f(x) ? Dada uma amstra finita, é freqüentemente impssível determinar a verdadeira funçã f( ) Abrdagem: Encntre uma hipótese (mdel) ns exempls de treinament e assuma que a hipótese se repita para exempls futurs também 7 8 Mtivaçã (2) x 1 x 2 f = funçã y = f(x x 1,x 2,x, x 4 ) descnhecida x 4 Exempl X1 X2 X X4 Y z z z z z z z f: X 1 X 2 X X 4 Y Exempl: Cgumels Cmestíveis x enenss Um pesquisadr fi a camp e cletu diverss cgumels A chegar em seu labratóri, ele mediu cmpriment e altura de cada cgumel Ele também classificu cada cgumel cletad cm cmestível u venens 9 10 Exempl: Cgumels Cmestíveis x enenss Exempl: Cgumels Cmestíveis x enenss H (altura) H (altura) ? Supnha um nv cgumel cm W=, H=1. Ele é cmestível u venens? W (cmpriment) W (cmpriment) Cmestível enens 11 Cmestível enens 12

3 Exempl: Cgumels Cmestíveis x enenss Exempl: Cgumels Cmestíveis x enenss H (altura) 2 1 Supnha um nv cgumel cm W=, H=1. Ele é cmestível u venens? A mairia das pessas diria que é cmestível, mas nã há garantias que cgumel seja realmente cmestível. Assim esta classificaçã é apenas uma hipótese H (altura) 2 1 Em geral, a supsiçã principal em AM é que s bjets que parecem similares de alguma frma também pertencem à mesma classe W (cmpriment) W (cmpriment) Cmestível enens 1 Cmestível enens 14 Exempl: Cgumels Cmestíveis x enenss Exempl: Cgumels Cmestíveis x enenss H (altura) 2 1?? Pel mesm mtiv de similaridade, um cgumel cm W=5, H=4 seria classificad cm venens. Entretant, é difícil decidir sbre um cgumel cm W=2, H=2. H (altura) 2 1 Hipótese 1: if 2<W and W<4 and H<2 then cmestível else venens W (cmpriment) W (cmpriment) Cmestível enens 15 Cmestível enens 16 Exempl: Cgumels Cmestíveis x enenss Exempl: Cgumels Cmestíveis x enenss H (altura) 2 1 Hipótese 1: if 2<W and W<4 and H<2 then cmestível else venens Hipótese 2: if H>W then venens else if H>6-W then venens else cmestível H (altura) 2 1 Hipótese 1: if 2<W and W<4 and H<2 then cmestível else venens Hipótese 2: if H>W then venens else if H>6-W then venens else cmestível Hipótese : if H< -(W-) 2 then cmestível else venens W (cmpriment) W (cmpriment) Cmestível enens 17 Cmestível enens 18

4 Aprendizad de Máquina (n, 198): Aprender implica em alterações n sistema que sã adaptativas, n sentid que elas capacitam sistema a realizar a mesma tarefa, u tarefas prvenientes da mesma ppulaçã, de frma mais eficiente e eficaz na próxima vez (Weiss & Kulikwski, 1991) Um sistema de aprendizad [supervisinad] é um prgrama de cmputadr que tma decisões baseadas na experiência cntida em exempls slucinads cm sucess (Russel & Nrvig 1995)...td aprendizad pde ser vist cm aprendizad de uma funçã Cnteúd Intrduçã Hierarquia d Aprendizad Paradigmas de Aprendizad AM: Cnceits e Definições Linguagens de Descriçã 19 Hierarquia d Aprendizad Aprendizad de Máquina Exempls estã rtulads (classe é cnhecida) Os rótuls assumem valres discrets Efetuad a partir de exempls externs (cletads) Classificaçã Aprendizad Supervisinad Aprendizad Indutiv Regressã Aprendizad nã Supervisinad Exempls nã rtulads (nã existe classe assciada) Os rótuls assumem valres cntínus Exempls Bruts Especificaçã d Prblema Cnheciment d Dmíni Especialista X1 X2 X X4 X5 X6 X7 Y 5 male 140 true.1 dwn 0 sick 60 male 140 fal flat 0 sick 40 male 140 true 1.4 up 0 buff 57 male 165 fal 1 flat sick 60 male 1 true 1.4 up 1 sick 46 fem 18 true 0 flat 0 buff 4 male 110 fal 0 up 0 buff 58 male 1 fal 1.8 flat 0 sick 55 male 160 true 0.8 flat 1 sick 41 male 1 fal 0 up 0 buff 52 male 172 fal 0.5 up 0 buff 62 fem 18 fal 1.9 flat sick 4 male 1 true 2.5 flat 0 sick 47 male 110 true 1 flat 1 sick 56 male 1 true 0.6 flat 1 sick Exempls Cnheciment d Dmíni Aprendizad de Máquina Hipótese Avaliaçã Aprendizad de Máquina Aprendizad de Máquina Cnheciment d Dmíni Especialista Cnheciment d Dmíni Algritm de Aprendizad u Indutr Pde ser usad a selecinar s dads Cnheciment d Dmíni Especialista Cnheciment d Dmíni Pde ser usad para frnecer infrmaçã já cnhecida a indutr Exempls Bruts Mens Cmpact (específic) Especificaçã d Prblema X1 X2 X X4 X5 X6 X7 Y 5 male 140 true.1 dwn 0 sick 60 male 140 fal flat 0 sick 40 male 140 true 1.4 up 0 buff 57 male 165 fal 1 flat sick 60 male 1 true 1.4 up 1 sick 46 fem 18 true 0 flat 0 buff 4 male 110 fal 0 up 0 buff 58 male 1 fal 1.8 flat 0 sick 55 male 160 true 0.8 flat 1 sick 41 male 1 fal 0 up 0 buff 52 male 172 fal 0.5 up 0 buff 62 fem 18 fal 1.9 flat sick 4 male 1 true 2.5 flat 0 sick 47 male 110 true 1 flat 1 sick 56 male 1 true 0.6 flat 1 sick Exempls Aprendizad de Máquina Hipótese Mais Cmpact (genéric) Exempls Bruts Mens Cmpact (específic) Especificaçã d Prblema X1 X2 X X4 X5 X6 X7 Y 5 male 140 true.1 dwn 0 sick 60 male 140 fal flat 0 sick 40 male 140 true 1.4 up 0 buff 57 male 165 fal 1 flat sick 60 male 1 true 1.4 up 1 sick 46 fem 18 true 0 flat 0 buff 4 male 110 fal 0 up 0 buff 58 male 1 fal 1.8 flat 0 sick 55 male 160 true 0.8 flat 1 sick 41 male 1 fal 0 up 0 buff 52 male 172 fal 0.5 up 0 buff 62 fem 18 fal 1.9 flat sick 4 male 1 true 2.5 flat 0 sick 47 male 110 true 1 flat 1 sick 56 male 1 true 0.6 flat 1 sick Exempls Aprendizad de Máquina Hipótese Mais Cmpact (genéric) Avaliaçã Avaliaçã 2 24

5 Aprendizad de Máquina Categrias de Sistemas de Aprendizad Exempls Bruts Mens Cmpact (específic) Especificaçã d Prblema Cnheciment d Dmíni Especialista X1 X2 X X4 X5 X6 X7 Y 5 male 140 true.1 dwn 0 sick 60 male 140 fal flat 0 sick 40 male 140 true 1.4 up 0 buff 57 male 165 fal 1 flat sick 60 male 1 true 1.4 up 1 sick 46 fem 18 true 0 flat 0 buff 4 male 110 fal 0 up 0 buff 58 male 1 fal 1.8 flat 0 sick 55 male 160 true 0.8 flat 1 sick 41 male 1 fal 0 up 0 buff 52 male 172 fal 0.5 up 0 buff 62 fem 18 fal 1.9 flat sick 4 male 1 true 2.5 flat 0 sick 47 male 110 true 1 flat 1 sick 56 male 1 true 0.6 flat 1 sick Exempls Cnheciment d Dmíni Aprendizad de Máquina Em AM Supervisinad, a hipótese é nrmalmente chamada de classificadr Hipótese Mais Cmpact (genéric) Nã bólic u Caixa-preta Nã facilmente interpretad pr humans Desenvlve sua própria representaçã de cnceits Nã frnece esclareciment u explicaçã sbre prcess de classificaçã bólic u Orientad a cnheciment Cria estruturas simbólicas que pdem ser cmpreendidas pr seres humans Os resultads da induçã devem ser descrições simbólicas das entidades dadas... devem ser cmpreensíveis cm simples pedaçs de infrmaçã, diretamente interpretáveis em linguagem natural... (Michalski 198a) Avaliaçã Categrias de Sistemas de Aprendizad A distinçã entre essas duas categrias pde ser frmulada em terms ds critéris: critéri frac: sistema utiliza exempls para gerar subsídis para melhrar desempenh cm exempls psterires (ex: redes neurais, métds estatístics) critéri frte: critéri frac é satisfeit e além diss sistema é capaz de cmunicar sua representaçã interna na frma simbólica explicitamente critéri ultra-frte: s critéris frac e frte sã satisfeits; sistema deve ser capaz de cmunicar sua representaçã interna na frma simbólica explicitamente e esta pde ser usada pr um human sem a ajuda de um cmputadr (apenas usand seu cérebr) AS x AnS Aprendizad Supervisinad Cmpreender relacinament entre s atributs e a classe Predizer a classe de nvs exempls melhr pssível Aprendizad Nã Supervisinad Encntrar representações úteis ds exempls, tais cm: Encntrar agrupaments (clusters) Reduçã da dimensã Encntrar as causas u as fntes cultas ds exempls Mdelar a densidade ds exempls Exempl Cnteúd Exercise induced angina true false Number f Trestbps vessels clred <= 105 > 105 > 0 <= 0 healthy sick Slpe healthy flat r dwn up Intrduçã Hierarquia d Aprendizad Paradigmas de Aprendizad AM: Cnceits e Definições Linguagens de Descriçã sick Sex male female sick healthy Parte da árvre de decisã induzida pr C4.5 para cnjunt de exempls Cleveland heart disease 29

6 Paradigmas de AM bólic Prtótip u Memrizaçã (Instance- Based) Cnexinista Genétic Estatístic Paradigma bólic Os sistemas de aprendizad simbólic buscam aprender cnstruind representações simbólicas de um cnceit através da análise de exempls e cntraexempls desse cnceit As representações simbólicas estã tipicamente na frma de alguma expressã lógica tais cm árvres de decisã, regras u redes semânticas 1 2 Paradigma Instance-Based Uma frma de classificar um exempl é lembrar de utr similar cuja classe é cnhecida e assumir que nv exempl terá a mesma classe Essa filsfia exemplifica s sistemas baseads em exempls, que classificam exempls nunca vists através de exempls similares cnhecids Esse tip de sistema de aprendizad é denminad preguiçs (lazy) Sistemas lazy necessitam manter s exempls na memória para classificar nvs exempls, em psiçã as sistemas gulss (eager), que utilizam s exempls para induzir mdel, descartand-s lg após Assim, saber quais exempls de treinament devem ser memrizads pr um indutr lazy é muit imprtante O ideal é reter apenas aqueles mais representativs d prblema Os algritms mais cnhecids neste paradigma sã s de izinhs mais Próxims (Nearest Neighburs) e Racicíni Basead em Cass (Case Based Reasning) Paradigma Cnexinista Redes Neurais sã cnstruções matemáticas simplificadas inspiradas n mdel bilógic d sistema nervs A representaçã de uma Rede Neural envlve unidades altamente intercnectadas e, pr esse mtiv, nme cnexinism é utilizad para descrever a área de estud A metáfra bilógica cm as cnexões neurais d sistema nervs tem interessad muits pesquisadres e tem frnecid muitas discussões sbre s mérits e as limitações dessa abrdagem de aprendizad Em particular, as analgias cm a bilgia têm levad muits pesquisadres a acreditar que as Redes Neurais pssuem um grande ptencial na resluçã de prblemas que requerem intens prcessament sensrial human, tais cm visã e recnheciment de vz 4 Paradigma Genétic Paradigma Estatístic Este paradigma de aprendizad é derivad d mdel evlucinári de aprendizad Um classificadr genétic cnsiste de uma ppulaçã de elements de classificaçã que cmpetem para fazer a prediçã Elements que pssuem um desempenh ruim sã descartads, enquant s elements mais frtes prliferam, prduzind variações de si mesms Este paradigma pssui uma analgia direta cm a teria de Darwin, na qual sbrevivem s mais bem adaptads a ambiente Alguns peradres genétics básics que aplicads a ppulaçã geram nvs indivídus sã: Reprduçã, Cruzament, Mutaçã e Inversã Esses peradres atuam n cntrle da quantidade de cópias prduzidas de um indivídu, na trca de material genétic, na preservaçã de uma espécie e na manutençã de uma certa Pesquisadres em estatística têm criad diverss métds de classificaçã, muits deles semelhantes as métds psterirmente desenvlvids pela cmunidade de Aprendizad de Máquina A idéia geral cnsiste em utilizar mdels estatístics para encntrar uma ba aprximaçã d cnceit induzid áris desses métds sã paramétrics, assumind alguma frma de mdel, e entã encntrand valres aprpriads para s parâmetrs d mdel a partir ds exempls Pr exempl, um classificadr linear assume que as classes pdem ser expressas cm cmbinaçã linear ds valres ds atributs, e entã prcura uma cmbinaçã linear particular que frnece a melhr aprximaçã sbre cnjunt de exempls Dentre s métds estatístics, destacam-se s de aprendizad Bayesian, que utilizam um mdel prbabilístic basead n cnheciment prévi d prblema, qual é cmbinad cm s exempls de treinament para determinar a prbabilidade final de uma hipótese diversidade na nva ppulaçã 5 6

7 Cnteúd Intrduçã Hierarquia d Aprendizad Paradigmas de Aprendizad AM: Cnceits e Definições Linguagens de Descriçã Indutr Prgrama que gera uma hipótese (classificadr) a partir de um cnjunt de exempls Cnjunt de Exempls u Dataset Indutr Classificadr 7 8 Indutr Arguments Dedutivs x Indutivs Infrmalmente, bjetiv de um indutr (u algritm de aprendizad u algritm de induçã) cnsiste em extrair um bm classificadr a partir de um cnjunt de exempls rtulads A saída d indutr, classificadr, pde entã ser usada para classificar exempls nvs (ainda nã rtulads) cm a meta de predizer crretamente rótul de cada um Após iss, classificadr pde ser avaliad cnsiderand sua precisã, cmpreensibilidade u grau de interesse, velcidade de aprendizad, requisits de armazenament, grau de cmpactaçã u qualquer utra prpriedade desejável que determine quã bm e aprpriad ele é para a tarefa em questã Arguments Dedutivs Se tdas as premissas sã verdadeiras entã a cnclusã é verdadeira Tda a infrmaçã d cnteúd factual da cnclusã já está, pel mens implicitamente, nas premissas Arguments Indutivs Se tdas as premissas sã verdadeiras, a cnclusã é prvavelmente verdadeira, mas nã necessariamente verdadeira (à exceçã ds arguments matemátics indutivs) A cnclusã cntém infrmaçã que nã está implicitamente u explicitamente nas premissas Arguments indutivs preservam falsidade 9 40 Arguments Dedutivs x Indutivs Um exempl de deduçã: Alguém diz a vcê Tdas as maçãs sã vermelhas. A seguir, uma pessa lhe dá uma maçã. cê infere que ela é vermelha Um exempl de induçã: cê vê 5 maçãs vermelhas. cê cnclui Tdas as maçãs sã vermelhas Supnha que vcê lhe cm mais cuidad as maçãs e perceba que uma dela é de cr laranja. Ist falsifica sua cnclusã (hipótese) Exempl, Atribut & Classe Exempl Exempl, cas u registr (instance) É um cnjunt fix de atributs Um exempl descreve bjet de interesse, tal cm um paciente, exempls médics sbre uma determinada dença u históric de clientes de uma dada cmpanhia Atribut Atribut u camp (feature) Uma única característica de um exempl Classe Atribut especial que descreve fenômen de interesse (smente n Aprendizad Supervisinad) 41 42

8 Atribut O dmíni (cnjunt de valres que um atribut pde assumir) d atribut X i é indicad pr dm(x i ) Exempl Atribut sex; dm(sex) = {m, f} Atribut cr; dm(cr) = {verde, vermelh,...} Atribut temperatura; dm(temperatura) = {baixa, média, alta} Atribut pes; dm(pes) = { w : w R } Tips de Atributs Nminal (u discret u categóric), quand atribut assume valres em um cnjunt finit, send que alguns indutres pdem também aceitar uma subdivisã entre s atributs nminais: Ordenad: dmíni é rdenad, mas a diferença absluta ds valres é descnhecida (e.g. escala de temperatura: baixa, média, alta u severidade de um machucad) Nã-rdenad: nã existe uma rdem entre s valres (e.g., cr: vermelh, verde, azul; cupaçã; estad civil, raça) Cntínu (u numéric u real), quand dmíni é rdenad e pde ser representad pr um valr real (e.g., pes R, um númer real) 4 44 Atribut Atribut Para qualquer tip de atribut, usualmente existe também um símbl imprtante que significa descnhecid, u seja, a ausência de um valr para aquele atribut Este símbl especial é bem diferente, pr exempl, d valr zer (às vezes usad para númers) u de cadeias de caracteres vazias Na mairia ds indutres dispníveis, este valr é representad pr um pnt de interrgaçã? Um utr símbl especial, mesm nã send recnhecid pr váris indutres, é nã-se-aplica Pr exempl, para atribut númer de gestações, pde ser utilizad símbl nã-se-aplica cas paciente seja d sex masculin Em geral, este símbl é representad pr um pnt de exclamaçã! Atribut Esclha de Atributs Além diss, váris indutres assumem que s atributs riginais que descrevem s exempls sã relevantes suficiente para aprender a tarefa em questã Entretant, alguns atributs pdem nã ser diretamente relevantes e utrs até irrelevantes Um atribut é irrelevante se existe uma descriçã cmpleta e cnsistente das classes a serem aprendidas que nã usa aquele atribut Um pnt imprtante a ser cnsiderad é a esclha de atributs cm ba capacidade preditiva Nã imprta qual métd seja empregad, s cnceits que pdem ser aprendids estã à mercê ds exempls e da qualidade ds atributs Pr exempl, para a tarefa de determinar se uma pessa está u nã cm gripe, pde-se esclher atributs cm baix pder preditiv, tais cm (cr-d-cabel, cr-d-lh, mdel-d-carr, númer-de-filhs) u atributs cm alt pder preditiv, tais cm (temperatura, resistência-da-pele, exame-d-pulmã) Para esta tarefa específica, n segund cas, melhres previsões em exempls nã-rtulads prvavelmente crrerã d que cm primeir cnjunt de atributs 47 48

9 Classe Cnjunt de Exempls (Dataset( Dataset) N aprendizad supervisinad td exempl pssui um atribut especial, rótul u classe, que descreve fenômen de interesse, ist é, a meta que se deseja aprender e pder fazer previsões a respeit Um exempl nã-rtulad cnsiste d exempl, excet rótul, u seja, um vetr de valres ds atributs Os rótuls sã tipicamente pertencentes a um cnjunt discret (nminal) de classes {C 1, C 2,..., C k } n cas de classificaçã u de valres reais n cas de regressã 49 N Aprendizad Supervisinad, cada exempl é rtulad segund sua classe n Exempls m Atributs Classe k valres distints N Aprendizad Nã Supervisinad, cada exempl nã pssui classe assciada n Exempls m Atributs 50 Exempl de um Cnjunt de Exempls para Classificaçã Exempl de um Cnjunt de Exempls para Regressã Dez exempls (n=10) Duas classes (k=2): ; Nã Dis atributs (m=2): é rdenad Tip de eícul é categóric (Esprte, an, Caminhã) Rótul da classe indica se a pessa cmpru prdut Atribut dependente (classe) é categóric eícul C E E C E Classe Nã Nã Nã Dez exempls (n=10) Dis atributs (m=2): e tip de veícul (Esprte, an, Caminhã) Despesa indica quant a pessa gastu durante uma visita recente à cncessinária Atribut dependente (classe) é numéric eícul C E E C E Despesa $0 $150 $0 $2 $400 $80 $100 $125 $500 $ Exempl de um Cnjunt de Exempls para Aprendizad Nã Supervisinad Cnjunts de Exempls Dez exempls (n=10) Três atributs (m=):, tip de veícul (Esprte, an, Caminhã) e cr d veícul Neste cas, nã há assciaçã explícita de algum atribut cm uma determinada classe eícul C E E C E Cr pret verde azul branc azul pret branc azul erde azul Em geral, um cnjunt de exempls é dividid em dis subcnjunts disjunts: cnjunt de treinament que é usad para aprendizad d cnceit e cnjunt de teste que é usad para medir grau de efetividade d cnceit aprendid Os subcnjunts sã disjunts para assegurar que as medidas btidas utilizand cnjunt de teste sejam de um cnjunt diferente d usad para realizar aprendizad, trnand a medida estatisticamente válida 5 54

10 Cnjunts de Exempls Err Aparente Após induzir uma hipótese, é pssível avaliá-la n cnjunt de treinament bem cm n cnjunt de teste É usual denminar as medidas de desempenh de um classificadr efetuadas sbre cnjunt de treinament cm aparentes (também cnhecidas cm medidas de re-substituiçã) e as medidas efetuadas sbre cnjunt de teste cm medidas reais (u verdadeiras) Pr exempl, cas a medida seja err, pde-se ter err aparente e err verdadeir Para a mairia das hipóteses, a medida aparente é um estimadr ruim d seu desempenh futur, uma vez que ela tem a tendência de pssuir um bias timista Em geral, err calculad sbre cnjunt de exempls de treinament (err aparente) é menr que err calculad sbre cnjunt de exempls de teste (err verdadeir) Cnjunt de Teste Cnjunt de Treinament Indutr h Taxa de Err (Aparente) d Classificadr Err erdadeir Preparaçã de Dads Cnjunt de Teste Cnjunt de Treinament Indutr h Taxa de Err (erdadeira) d Classificadr Fase que antecede prcess de aprendizagem, para facilitar u melhrar prcess. Exempls: remver exempls incrrets transfrmar frmat ds exempls para que pssam ser usads cm um determinad indutr selecinar um subcnjunt de atributs relevantes (FSS Feature Subset Selectin) Cnheciment d Dmíni Ruíd Backgrund Knwledge Infrmaçã sbre valres válids de um atribut Critéris para esclher atributs Critéris para esclher hipóteses Restrições n relacinament ds atributs Regras para geraçã de cnceits de nível mais alt Cnstruçã de nvs atributs derivads ds atributs riginais 59 Exempls imperfeits que pdem ser derivads d prcess de aquisiçã, transfrmaçã u rtulaçã das classes Ex: exempls cm s mesms atributs mas cm classes diferentes X1 X2 X X4 Y vercast yes dnt_g rain yes dnt_g rain 2 80 yes dnt_g sunny 2 95 n dnt_g sunny yes dnt_g sunny 85 n dnt_g vercast yes g rain n g rain n g sunny n g vercast 2 90 yes g rain n g sunny yes g vercast n g vercast n g 60

11 Classificadr Dad um cnjunt de exempls, classificadr é a saída d indutr Cnjunt de Exempls u Dataset Indutr Classificadr Classificadr Dad um cnjunt de treinament, um indutr gera cm saída um classificadr (hipótese u descriçã de cnceit) de frma que, dad um nv exempl, ele pssa predizer precisamente sua classe Cada exempl é um par (x, f(x)), nde x é a entrada f(x) é a saída (f descnhecida!) y=f(x) assume valres discrets y {C 1, C 2,,C k }: classificaçã y=f(x) assume valres reais: regressã Induçã u inferência indutiva: dada uma cleçã de exempls de f( ), retrnar uma funçã h( ) que aprxima f( ), u seja, h(x) f(x) h( ) é denminada uma hipótese sbre a funçã bjetiv f( ) Exempls de Hipóteses (a) exempls riginais (b), (c), (d) pssíveis hipóteses Exempls de Hipóteses Qual a melhr hipótese para s exempls em (a)? (a) (b) (a) (b) (c) (d) (c) (d) 6 64 Bias Qualquer critéri de preferência de uma hipótese sbre utra (além da cnsistência cm s exempls) (a) (b) ariância Mede quant as supsições d algritm da aprendizad variam para diferentes cnjunts de treinament Maires detalhes serã vists nas próximas aulas (c) (d) 65 66

12 Estabilidade Um indutr é instável se uma pequena perturbaçã (variaçã) n cnjunt de treinament pde causar mdificaçã n classificadr gerad Pr exempl: FSS em regressã árvres de decisã redes neurais Indutres instáveis pssuem alta variância Estabilidade Um indutr é estável se classificadr gerad nã muda muit cas s exempls de treinament se alterem Há sempre um trade-ff entre bias e variância: indutres instáveis, em geral, geram classificadres cm alta variância mas cm pequen bias indutres estáveis, em geral, geram classificadres cm baixa variância mas cm alt bias Md de Aprendizad Espaç de Descriçã Sempre que td cnjunt de treinament deva estar presente para aprendizad, md de aprendizad de um algritm é nãincremental, também cnhecid cm md batch Pr utr lad, se indutr nã necessitar cnstruir a hipótese a partir d iníci, quand nvs exempls sã adicinads a cnjunt de treinament, md de aprendizad é incremental Prtant, n md incremental indutr apenas tenta atualizar a hipótese antiga sempre que nvs exempls sã adicinads a cnjunt de treinament Em geral, aprendizad nã-incremental deve frnecer resultads melhres, uma vez que é permitid, a indutr, acess a tds s exempls de treinament de uma única vez, pssibilitand que ele timize suas decisões Entretant, se temp cmputacinal é um fatr imprtante e nvs exempls sã freqüentemente adicinads a cnjunt de treinament, aprendizad incremental pde ser cnsiderad para pupar temp m atributs pdem ser vists cm um vetr Assim,cada atribut crrespnde a uma crdenada em um espaç m-dimensinal denminad espaç de descriçã N Aprendizad Supervisinad, cada pnt n espaç de descriçã pde ser rtulad cm a classe assciada Espaç de Descriçã Um indutr divide espaç de descriçã em regiões Cada regiã é rtulada cm uma classe Exempl: m=2 atributs (psitivs) e seja classificadr: if X1 < 5 and X2 < 8 then classe= else classe= divide espaç bidimensinal em duas regiões X2 8 4 Espaç de Descriçã Para classificar um nv exempl cm (X1,X2) = (2.5, 4), basta verificar em qual regiã ela se lcaliza e atribuir a classe assciada àquela regiã (neste cas, classe ) X2 8 4 * X X1 72

13 Espaç de Descriçã: Exempl Assuma seguinte cnjunt de exempls sbre exempls de crédit bancári Classe Bm Bm Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã Bm 7 74 Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã < 25 Nã Bm Bm Bm Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã < 25 Nã Bm Bm Bm 77 78

14 Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k < 25 Nã > 1k Nã Nã Bm Bm Bm Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã > 45 > 45 Nã Bm Bm Nã Bm Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã > 45 > 45 Nã Bm Nã > 5k Nã Bm 8 84

15 Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã > 45 > 45 Nã > 5k Nã Bm Nã > 5k Nã Bm Bm Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã Espaç de Descriçã: Exempl Induzind uma Árvre de Decisã < 25 Nã > 1k Nã > 45 > 45 Nã > 5k Nã Bm Bm 87 Nã > 5k Nã Bm Bm 88 Err e Precisã Err x Pssíveis Hipóteses Principais fatres de err: Qualidade (representatividade) da infrmaçã ds atributs Adaptaçã d algritm de aprendizad as exempls Distribuiçã ds exempls futurs Quantidade de exempls H1 H2 H H

16 Qual a Melhr Hipótese? Nã Esquecer Err... H4... Cnjunt de Treinament Indutr Cnjunt de Teste h Taxa de Err (erdadeira) d Classificadr Err de H4 Err de H1 Cnjunt de Teste Cnjunt de Teste 9 94 Overfitting Underfitting A hipótese extraída a partir ds exempls é muit específica para cnjunt de treinament A hipótese apresenta um bm desempenh para cnjunt de treinament, mas um desempenh ruim para s cass fra desse cnjunt X X1 Hipótese induzida Nvs exempls fra d cnjunt de treinament 95 A hipótese induzida apresenta um desempenh ruim tant n cnjunt de treinament cm de teste pucs exempls representativs fram dads a sistema de aprendizad (e.g. algritms de árvres de decisã u de induçã de regras) usuári pré-definiu um tamanh muit pequen para classificadr (e.g. insuficientes neurônis em uma rede neural u um alt valr de pda para árvres de decisã) 96

17 Relaçã entre Tamanh d Classificadr e Err Err Relaçã entre Tamanh d Classificadr e Err Err Underfitting Cnjunt de Teste Overfitting Cnjunt de Teste Cnjunt de Treinament Cnjunt de Treinament N1 N2 N Tamanh d Classificadr N1 N2 N Tamanh d Classificadr Cnsistência e Cmpletude Relaçã entre Cmpletude e Cnsistência Depis de induzida, uma hipótese pde ser avaliada sbre cnsistência, se classifica crretamente s exempls cmpletude, se classifica tds s exempls X2 * * * * * * * * * Cmpleta e cnsistente X1 (a) X2 * * * * * * * * * Incmpleta e cnsistente X1 (b) 99 X2 * * * * * * * * * Cmpleta e incnsistente X1 (c) X2 * * * * * * * * * Incmpleta e incnsistente X1 (d) 100 Cmplex Regra É uma cnjunçã de disjunções ds atributs de teste, na frma: X i p valr nde X i é um atribut, p é um peradr relacinal e valr é cnstante válida para atribut X i Exempls Sex = Masculin >= Sex = Feminin and < 90 Uma regra assume a frma if L then R que é equivalente a L R R L R :- L As partes esquerda L e direita R sã cmplexs sem atributs cmuns entre eles, u seja atributs(l) atributs(r) = Ø A parte esquerda L é denminada cndiçã, premissa, antecedente, cauda u crp da regra A parte direita R é denminada cnclusã u cabeça da regra

18 Regra de Classificaçã Uma regra de classificaçã assume a frma restrita de uma regra if L then classe = C i u simplesmente if L then C i nde C i pertence a cnjunt de k valres de classe {C 1, C 2,..., C k } A parte esquerda L é um cmplex Regra de Assciaçã Uma regra de assciaçã assume que nã existe uma definiçã explícita de classe e qualquer atribut (u atributs) pde ser usad cm parte da cnclusã da regra Exempl if X ='S' and X 5 > 2 then X 1 ='N and X 2 < Cbertura Cnteúd Seja regra L R Exempls que satisfazem a parte L da regra sã cberts pela regra (u a regra dispara para esses exempls) Exempls que satisfazem tant a cndiçã L cm a cnclusã R sã cberts crretamente pela regra Exempls satisfazend a cndiçã L mas nã a cnclusã R sã cberts incrretamente pela regra Exempls que nã satisfazem a cndiçã L nã sã cberts pela regra Exempls satisfazend... L L L R L R sã... Nã cberts pela regra Cberts pela regra Cberts crretamente pela regra Cberts incrretamente pela regra Intrduçã Hierarquia d Aprendizad Paradigmas de Aprendizad AM: Cnceits e Definições Linguagens de Descriçã Linguagens de Descriçã Linguagens de Descriçã Qualquer que seja tip de aprendizad, é necessári uma linguagem para descrever bjets (u pssíveis events) e uma linguagem para descrever cnceits em terms cmputacinais Três tips de DL: Linguagem Descriçã de Exempls (Instance Descriptin Language - IDL) Linguagem de Descriçã de Hipóteses (Hyptheses Descriptin Language - HDL) Linguagem de Descriçã de Cnheciment d Dmíni (Backgrund Knwledge Language - BDL) 107 Lógica de rdem zer u Prpsicinal O bjet é representad e descrit em terms de cnjunções, disjunções e negações de cnstantes bleanas que representam um camp Ex: fêmea adulta pde_ter_filhs Lógica de atributs Ntaçã equivalente à LP, mas s atributs sã tratads cm variáveis Ex: sex=fêmea idade=adulta classe=pde_ter_filhs u sex(fêmea) idade(adulta) classe(pde_ter_filhs) 108

19 Linguagens de Descriçã Lógica de 1ª rdem u Relacinal Pde representar bjets cm predicads que especificam prpriedades u relações Cláusulas de Hrn sã um exempl Ex: mach(x) prgenitr(z,x) prgenitr(z,y) irmã(x,y) u irmã(x,y) mach(x) prgenitr(z,x) prgenitr(z,y) u irmã(x,y) :- mach(x), prgenitr(z,x), prgenitr(z,y) Lógica de 2ª rdem Extensã da lógica de primeira rdem, em que s predicads pdem ser cnsiderads cm variáveis Ex: P 1 (X,Y) :- P 2 (X), P (Z,X), P 4 (Z,Y) pde ser instanciad cm: irmã(x,y) :- mach(x), prgenitr(z,x), prgenitr(z,y) Funções Matemáticas Linguagens de Descriçã de Alguns Indutres Indutr IDL HDL BDL C4.5 Atribut Atribut CART Atribut Atribut CN2 Atribut Atribut Ripper Atribut Atribut Atribut Fil Atribut Primeira Ordem Primeira Ordem Rede Neural Atribut Funçã Matemática Características Gerais ds Sistemas de AM Representaçã da Classificaçã Md de Aprendizad - Supervisinad - Nã Supervisinad Paradigmas de Aprendizad - bólic - Estatístic - Instance-Based - Cnexinista - Genétic Linguagens de Descriçã - Exempls - Hipóteses - Cnheciment d Dmíni Frmas de Aprendizad - Incremental - Nã Incremental Paradigma de Aprendizad Cnjunt de Exempls alres ds Atributs Sistema de Aprendizad Classes Crretas Classificadr Específic para uma Aplicaçã Esfrç em Cada Etapa Estrutura Esfrç (%) Cnheciment Infrmaçã 10 Dads 0 Determinaçã de Objetivs Preparaçã de Dads Aprendizad de Máquina Análise & Assimilaçã

20 Dad, Infrmaçã, Cnheciment Dad: é a estrutura fundamental sbre a qual um sistema de infrmaçã é cnstruíd Infrmaçã: a transfrmaçã de dads em infrmaçã é freqüentemente realizada através da apresentaçã ds dads em uma frma cmpreensível a usuári Cnheciment: Frnece a capacidade de reslver prblemas, invar e aprender basead em experiências prévias Uma cmbinaçã de instints, idéias, regras e prcediments que guiam as ações e decisões Imprtante Observar que... Dad nã é Infrmaçã Infrmaçã nã é Cnheciment Cnheciment nã é Inteligência Inteligência nã é Sabedria Resum Nesta aula fram apresentads cnceits e definições de alguns terms amplamente utilizads em Aprendizad de Máquina, além de uma descriçã sbre as principais linguagens de descriçã A investigaçã de estruturas diferentes, que pdem ser aprpriadas para diferentes cntexts, bem cm entendiment d seu pder e limitaçã sã necessáris para us cm êxit de Aprendizad de Máquina Quant mair a cmpreensã sbre as estruturas fundamentais usadas pr classificadres, mais adequadamente pde-se aplicar u alterá-las cm base n cnheciment d dmíni Além da cmpreensã ds algritms de AM, é igualmente imprtante pder avaliar seu desempenh, que verems nas próximas aulas Slides baseads n Capítul 4 d livr: Rezende, S.O. (ed). Sistemas Inteligentes, Manle, 0, ISBN Material elabrad pr Jsé August Baranauskas Revisã