Bias de AM. Bias e Variância Estatísticos

Transcrição

1 Bias, Variância & Ensembles Em aulas anterires vims cnceit de bias de AM, qual se cnstitui em certas supsições e esclhas efetuadas pels indutres na busca de uma hipótese Nesta aula verems que bias e a variância pdem ser vists cm cmpnentes d err de um classificadr Assim, métds que reduzam bias u a variância, u ambs, sã imprtantes em AM Um desses métds, ensembles, cnsiste em induzir váris classificadres e entã cmbináls em um únic classificadr final, através de um mecanism de vtaçã Em geral, ensembles mstraram ser eficazes quand aplicads a indutres que sã instáveis, tais cm induçã de regras, árvres de decisã u redes neurais Bias de AM Supsições adtadas pels algritms de frma a generalizar s dads de sã denminadas biases de Aprendizad de Máquina Dis tips de Biases de AM abslut relativ Jsé August Baranauskas Departament de Física e Matemática FFCLRP-USP august@usp.br URL: 2 Bias de AM Bias e Variância Estatístics Bias abslut indutr assume que a funçã a ser aprendida é um element de um determinad cnjunt de funções (espaç restrit de hipóteses) Ex: algritm perceptrn restringe a busca smente n espaç de funções lineares enquant árvres de decisã traçam hiperplans paralels as eixs Bias relativ indutr tem uma rdem de preferência nas hipóteses, assumind que a funçã a ser aprendida é mais similar a um cnjunt de funções d que de utr Ex: s algritms de induçã de árvres de decisã cnsideram árvres menres antes de cnsiderar as árvres maires. Se esses algritms encntram uma árvre pequena que classifica crretamente s dads de entã uma árvre mair nã é cnsiderada 3 Bias estatístic O bias estatístic captura a idéia de err sistemátic para uma dada amstra Ex: se funçã a ser aprendida é uma nda senidal f(x) = sin(x) e algritm de aprendizad cnstrói funções lineares h(x)=axb, entã haverá errs sistemátics, a cada subida e descida da nda senidal Variância A variância captura as variações aleatórias n algritm, de uma amstra para utra A variaçã pde ser devida à variaçã d cnjunt de, de ruíd aleatóri ns dads u pel cmprtament aleatóri d própri algritm de aprendizad, tais cm s valres iniciais aleatóris que sã freqüentemente utilizads em redes neurais backprpagatin 4 Relaçã entre Biases de AM e Bias e Variância Estatístics Princípi Fundamental da Decmpsiçã O err de um classificadr h pde ser decmpst: err mínim, que pde ser btid pel classificadr ideal: limite inferir n err esperad de qualquer indutr; bias, que mede quã aprximadamente indutr erra em média; variância, que mede quant s errs d indutr vã variar err(h) = err(f) bias(h) variância(h) Em classificaçã, f = B* (classificadr de Bayes) 5 6

2 Princípi Fundamental da Decmpsiçã Reduçã d Err Em geral, um indutr cnstrói divisões n espaç da descriçã, que pdem ser cnsideradas cm uma família de funções H Cada indutr tenta selecinar melhr classificadr h, usand cnjunt de e cnjunt das funções H Pr exempl, se a família de funções H, que pdem ser geradas pr um algritm de aprendizad, é um pequen cnjunt de funções lineares e a funçã bjetiv f é nã linear, entã bias de h será grande Pr utr lad, uma vez que um númer pequen de parâmetrs sã estimads a partir d pequen cnjunt H, a variância de h será pequena Mas se H é uma grande família de funções, cm as funções representadas pr árvres de decisã u redes neurais, entã bias é usualmente pequen (uma vez que é quase sempre pssível aprximar a funçã f pr alguma h pertencente à H), mas a variância pde ser grande (já que muits parâmetrs pdem ser ajustads) 7 Reduzir bias e variância estatístics Cmbinaçã de classificadres: ensembles Um ensemble h* cnsiste num cnjunt de classificadres {h 1, h 2,, h L } cujas previsões sã cmbinadas para prever a classe de um nv exempl Nrmalmente, a classe prevista cm mair freqüência pr {h 1, h 2,, h L } é a classe prevista pel classificadr final h* (vt majritári) Em geral, um ensemble é mais precis d que qualquer um ds classificadres que cmpõe 8 Ensembles Ensembles Dads Dads Precisã Treinament Teste Indutr 1 Indutr 2 Classificadr 1 Classificadr 2 Classificadr H if if if if if if Treinament Teste Indutr 1 Indutr 2 Classificadr 1 Classificadr 2 Classificadr H Ensemble (Vtaçã) Indutr H if if if Indutr H 9 10 Ensembles Dads Ensembles Dads Treinament Teste Classificadr 1 Ensemble (Vtaçã) Treinament Teste Classificadr 1 Ensemble (Vtaçã) Precisã Indutr 1 Indutr 1 Indutr 2 Classificadr 2 Indutr 2 Classificadr 2 Classificadr H Classificadr H Indutr H class B Indutr H class B 11 12

3 Ensembles Cada classificadr n ensemble deve discrdar de um utr Ex: Supnha ensemble {h 1, h 2, h 3 } e um nv exempl x a ser classificad Se s três classificadres sã idêntics, entã quand h 1 (x) erra, h 2 (x) e h 3 (x) também erram Tdavia, se s errs ds três classificadres nã estã crrelacinads, entã quand h 1 (x) está errad, h 2 (x) e h 3 (x) pdem estar certs Se iss crrer, através d vt majritári, nv exempl x será crretamente classificad pel ensemble Necessidade de Ensembles O espaç de hipóteses H pde nã cnter a funçã bjetiv f A invés diss, H pde incluir várias aprximações igualmente bas para f Pela cmbinaçã dessas aprximações é pssível representar classificadres que estejam fra de H Um fat imprtante é que ensembles sã geralmente mais preciss que s classificadres individuais que cmpõe Necessidade de Ensembles Métds para Criar Ensembles X2 A regiã real de separaçã de classes, indicada pela linha diagnal, é aprximada de frmas diferentes pr quatr árvres de decisã em (a) A cmbinaçã das quatr árvres, num ensemble, frnece uma regiã que se aprxima mais da diagnal em (b) 8 (a) 5 10 X1 X2 8 (b) 5 10 X1 15 Stack Windw Wagg Arc 16 Stack Windw Stacking utiliza um meta-indutr n lugar d esquema de vtaçã Cada exempl de é classificad pr um indutr nível 0, send, preferencialmente, cada indutr nível 0 diferente ds demais A entrada para meta-indutr (indutr de nível 1) sã as classificações preditas pr cada um ds classificadres nível 0 Assim, númer de atributs d indutr nível 1 é igual a númer de indutres nível 0, cada atribut significand um indutr nível 0 17 Selecina um subcnjunt de exempls (windw) d cnjunt de e gera uma hipótese Essa hipótese é usada para classificar s exempls remanescentes n cnjunt de Se existir exempls nã classificads, eles sã incluíds na janela riginal e uma segunda hipótese é gerada O prcess se repete até que a hipótese crrespndente à janela atual classifique tds s exempls fra da janela 18

4 Algritm Windwing (Btstrap Aggregatin) 19 Gera uma amstra btstrap S 1 e a hipótese crrespndente h 1 Repete prcess L vezes, gerand amstras S 2, S 3,, S L e induzind hipóteses h 2, h 3,, h L, respectivamente Tds s classificadres sã cmbinads em um únic classificadr h*, utilizand vt majritári ing é mais eficaz ns algritms instáveis, nde mudanças pequenas n cnjunt de prduzem grandes mudanças ns classificadres gerads 20 Algritm ing Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u amstra btstrap Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u amstra btstrap 24 25

5 Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u amstra btstrap Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u Obtenha um classificadr amstra btstrap Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u Obtenha uma amstra btstrap Em uma amstra bstrap, alguns ds exempls riginais aparecem 0, 1 u Obtenha um classificadr amstra btstrap amstra btstrap A final, s classificadres sã cmbinads pel vt majritári entre eles A final, s classificadres sã cmbinads pel vt majritári entre eles Nvs exempls que se encntrem nas regiões numeradas sã classificads cm: Regiã 1 [1,2-]: - Regiã 2 [2,1-]: Regiã 3 [1,2-]: - Regiã 4 [2,1-]: Regiã 5 [3,0-]: Regiã 6 [2,1-]:

6 Wagg (Weight Aggregatin) Wagging é similar a bagging mas ele altera s pess ds exempls d cnjunt de, a invés de amstrar O métd repetidamente perturba cnjunt de cm bagging faz, mas a invés de tirar amstras, wagging adicina ruíd gaussian à cada pes cm média zer e desvi padrã fixad nrmalmente em dis Em cada iteraçã, wagging inicia cm tds s pess iguais e entã ruíd é adicinad as pess e uma hipótese é induzida fi intrduzid pr Shapire (1990) cm um métd de melhrar desempenh de algritms Após algumas melhrias, algritm Ada (Adaptative ing) fi intrduzid em 1995, também denminad Ada.M1 O algritm de bsting gera classificadres sequencialmente enquant bagging pde gerá-ls em paralel A cada exempl de é assciad um pes A cada iteraçã de bsting, um classificadr é extraíd a partir ds exempls pnderads e cada exempl é repnderad cas ele tenha sid classificad incrretamente Antes de induzir primeir classificadr, tds s exempls sã equiprváveis, u seja, cada exempl tem um mesm pes assciad Após induzir primeir classificadr, bsting altera s pess ds exempls de, repetind esse cicl L vezes O classificadr final é frmad utilizand vt pnderad n qual pes de cada classificadr depende de seu desempenh n cnjunt de O algritm Ada requer um indutr cuj err seja limitad pr uma cnstante estritamente menr que 1/2 Algumas implementações utilizam resampling uma vez que alguns indutres nã sã capazes de suprtar exempls pnderads

7 Aumente s pess d exempls de classificads incrretamente Aumente s pess d exempls de classificads incrretamente 40 Obtenha um classificadr Aumente s pess d exempls de classificads incrretamente 41 Aumente s pess d exempls de classificads incrretamente Aumente s pess d exempls de classificads incrretamente 42 43

8 Obtenha um classificadr Aumente s pess d exempls de classificads incrretamente Aumente s pess d exempls de classificads incrretamente A final, faça (cuidadsamente) uma cmbinaçã pnderada ds classificadres btids em tdas as iterações Arc (Adaptively( Resample and Cmbine) Arcing é um term definid pr Breiman (1996a) para descrever a família de algritms que amstram e cmbinam de frma adaptativa O algritm arc-x4 demnstru-se tã precis quant Ada, sem utilizar a pnderaçã para cmpr classificadr final Assim, pder d algritm Ada é derivad da repnderaçã ds exempls e nã da cmbinaçã final Arc (Adaptively( Resample and Cmbine) Ensembles: : Prblemas O classificadr final h* é muit grande O classificadr final h* tende a ser redundante O classificadr final h* é difícil de ser interpretad pel cérebr human Se cada classificadr que cmpõe é simbólic (árvre u regras) nã é pssível definir qual regra fi aplicada para encntrar a classe d nv exempl (fi efetuada uma vtaçã) 49 50

9 Ensembles: : Prblemas Ensembles: : Prblemas Algum métd é necessári para cnverter uma cmbinaçã de árvres (u utras hipóteses mais cmplexas) numa hipótese menr equivalente. Estas árvres sã muit redundantes; cm pdems remver essa redundância enquant ainda reduzind bias e variância? (Dietterich, 1997) Dads Treinament Teste Indutr 1 Indutr 2 Classificadr 1 Classificadr 2 Classificadr H Ensemble (Vtaçã) if if if Indutr H class B Sistema Ruler (Fayyad,, 96) Sistema Xruler Dads Amstras Randômicas Treinament Teste Filtr Estatístic Regras Pdadas Pda de Cndições das Regras Algritm Guls Regras de Cbertura Mínima Pdadas e Filtradas Cnjunt Mínim e Rbust de Regras Dads Amstras Randômicas Treinament Teste Filtr Estatístic if if if Regras Filtradas Algritm Guls de Cbertura Mínima Cnjunt Mínim e Rbust de Regras Algritm de AM (Árvre de Decisã) O-BTree if if if if if if Algritms de AM (ID3, C4.5, CN2, Ripper, T2,) if if if Acumuladr de Regras A Base de Regras if Frmat Padrã Regras if if if Base de Regras 53 54