Aprendizagem de Máquina

Transcrição

1 Introdução Aprendzagem de Máquna Alessandro L. Koerch Redes Bayesanas A suposção Naïve Bayes da ndependênca condconal (a 1,...a n são condconalmente ndependentes dado o valor alvo v): Reduz a complexdade da aprendzagem, mas... É geralmente muto restrtva Redes Bayesanas (Bayesan Belef Networks ou smplesmente Bayes Nets) descrevem a ndependênca condconal entre subconjuntos de varáves. Mestrado em Informátca Aplcada Pontfíca Unversdade Católca do Paraná (PUCPR) Mestrado em Informátca Aplcada Aprendzagem de Máquna 2 Introdução Introdução Redes Bayesanas descrevem a dstrbução de probabldade que rege conjunto de varáves especfcando: Naïve Bayes: Assume que todas as varáves são condconalmente ndependentes dado o valor da varável alvo. Um conjunto de suposções de ndependênca condconal Um conjunto de probabldades condconas Redes Bayesanas: Assume ndependênca condconal para subconjuntos de varáves. É uma solução ntermedára entre Bayes Ótmo e Naïve Bayes. Mestrado em Informátca Aplcada Aprendzagem de Máquna 3 Mestrado em Informátca Aplcada Aprendzagem de Máquna 4

2 Independênca Condconal Independênca Condconal Defnção: X é condconalmente ndependente de Y dado Z se a dstrbução de probabldades regendo X é ndependente do valor de Y dado o valor de Z, sto é: ( x, y j, z k ) P( X = x Y = y j, Z = z k ) = P( X = x Z = z k ) mas resumdamente escrevemos P ( X Y, Z ) = P( X Z ) Exemplo: Trovão é condconalmente ndependente da Chuva dado o Relâmpago P (Trovão Chuva, Relâmpago) = P (Trovão Relâmpago) Naïve Bayes usa ndependênca condconal para justfcar: P( X Y, Z ) = P( X Y, Z ) P( Y Z ) = P( X Z ) P( Y Z ) Mestrado em Informátca Aplcada Aprendzagem de Máquna 5 Mestrado em Informátca Aplcada Aprendzagem de Máquna 6 Um rede Bayesana representa a dstrbução de probabldade conjunta para um conjunto de varáves. A Fgura a segur representa a dstrbução conjunta de probabldades das varáves booleanas Storm, Lghtnng, Thunder, ForestFre, Campfre e BusTourGroup. Mestrado em Informátca Aplcada Aprendzagem de Máquna 7 Mestrado em Informátca Aplcada Aprendzagem de Máquna 8

3 Redes Bayesanas Redes Bayesanas A Rede Bayesana representa um conjunto de declarações condconalmente ndependentes. Cada nó é declarado ser condconalmente ndependente de seus não descendentes dados seu predecessor medato. Drected acyclc graph A rede representa um conjunto de declarações condconalmente ndependentes Cada nó é declarado ser condconalmente ndependente de seus não descendentes dados seu predecessor medato. Drected acyclc graph Mestrado em Informátca Aplcada Aprendzagem de Máquna 9 Mestrado em Informátca Aplcada Aprendzagem de Máquna 10 Consdere o nó Campfre: Campfre é condconalmente ndependente de seus não descendentes Lghtnng e Thunder dados seus pas medatos Storm e BusTourGroup Isto sgnfca que as varáves Lghtnng e Thunder não fornecem nformações adconas sobre Campfre A tabela mostra as probabldades condconas assocadas a varável Campfre. O valor do campo esquerdo superor expressa: P(Campfre=True Storm=True,BusTourGroup=True) = 0.4 Mestrado em Informátca Aplcada Aprendzagem de Máquna 11 Mestrado em Informátca Aplcada Aprendzagem de Máquna 12

4 Redes Bayesanas Inferênca em Redes Bayesanas Como podemos nferr (as probabldades) os valores de uma ou mas varáves da rede a partr de valores observados de outras? Representa a dstrbução de probabldades conjuntas sobre todas as varáves, e.g. P(Storm, BusTourGroup,..., ForestFre) Em geral, n P( y1,..., y ) = P( y Parents ( Y )) n = 1 onde Parents(Y ) representa os predecessores medatos de Y no grafo. Então, a dstrbução conjunta é nteramente defnda pelo grafo mas P (y Parents(Y )) Redes Bayesanas contém todas nformações necessáras para esta nferênca Se somente uma varável possur valor desconhecdo, é fácl nfer la Em geral, é um problema NP dfícl Mestrado em Informátca Aplcada Aprendzagem de Máquna 13 Mestrado em Informátca Aplcada Aprendzagem de Máquna 14 Inferênca em Redes Bayesanas Na prátca pode ter sucesso em mutos casos: Métodos exatos de nferêncas funconam bem para algumas estruturas de rede. Métodos Monte Carlo smulam a rede aleatoramente para calcular soluções aproxmadas Aprendzagem Redes Bayesanas Dversas varantes desta tarefa de aprendzagem A estrutura da rede pode ser conhecda ou desconhecda Exemplos de trenamento podem fornecer valores de todas as varáves da rede ou somente algumas Se a estrutura for conhecda e todas as varáves observadas, então, é tão fácl quanto o trenamento de um classfcador Naïve Bayes Mestrado em Informátca Aplcada Aprendzagem de Máquna 15 Mestrado em Informátca Aplcada Aprendzagem de Máquna 16

5 Aprendzagem Redes Bayesanas Aprendzagem Redes Bayesanas Supondo a estrutura conhecda e varáves parcalmente observáves, e.g. observar ForestFre, Storm, BusTourGroup, Thunder mas não Lghtnng, Campfre,... Smlar ao trenamento de redes neuras com undades esconddas De fato, pode aprender tabelas de probabldade condconal da rede, usando gradente ascendente Faça w jk ndcar uma entrada na tabela de probabldade condconal para a varável Y na rede w jk = P (Y = y j Parents(Y ) = a lsta u k de valores) E.g. se Y = Campfre então u k deve ser < Storm = T, BusTourGroup = F> Converge para rede h que maxmza localmente P(D h) Mestrado em Informátca Aplcada Aprendzagem de Máquna 17 Mestrado em Informátca Aplcada Aprendzagem de Máquna 18 Aprendzagem Redes Bayesanas Aprendzagem Redes Bayesanas Executa o gradente ascendente repetdamente 1. atualzando todos w jk usando dados de trenamento D w jk w jk + η 2. então, re normalze w jk para assegurar j d D P ( y, u h j w jk k d) w jk = 1 0 w 1 jk Algortmo EM também pode ser utlzado repetdamente: 1. calcular probabldades de varáves não observadas assumndo h 2. calcular novo w jk para maxmzar E [ln P (D h)] onde D agora nclu tanto as probabldades observadas quanto as calculadas para varáves não observadas Quando a estrutura não é conhecda... Algortmos usam busca gulosa (greedy search) para adconar / subtrar bordas e nós Tema de pesqusa atvo Mestrado em Informátca Aplcada Aprendzagem de Máquna 19 Mestrado em Informátca Aplcada Aprendzagem de Máquna 20

6 Resumo Combna conhecmento prévo com dados observados Impacto do conhecmento prévo (quando correto!) serve para reduzr a complexdade da amostra Área de pesqusa atva: Estender de varáves booleanas para valores reas Dstrbuções parametrzadas ao nvés de tabelas Estender para prmera ordem ao nvés de sstemas proposconas Métodos de nferênca mas efetvos Mestrado em Informátca Aplcada Aprendzagem de Máquna 21