Aprendizagem de Máquina

Transcrição

1 Plano e Aula Aprenzagem e Máquna Rees Neuras Artfcas (RNAs) Alessanro L. Koerch Mestrao em Informátca Aplcaa Pontfíca Unversae Católca o Paraná (PUCPR) Introução Motvação Bológca Perceptron Superfíce e Decsão Desca o Graente Rees Multcamaas (Multlayer) Retropropagação (Backpropagaton) Generalzação e Sobreajuste Exemplo: Reconhecmento e Faces Mestrao em Informátca Aplcaa Aprenzagem e Máquna 2 Referêncas Introução Dua R., Hart P., Stork D. Pattern Classfcaton 2e. Wlley Interscence, Capítulo 6 Mtchell T. Machne Learnng. WCB McGra Hll, Capítulo 4. Haykn S. Neural Netorks: A Comprehensve Founaton (2n Eton) 842 pages Prentce Hall; 2n eton (July 6, 1998) ISBN: Bshop C. Neural Netorks for Pattern Recognton. 504 pages. Oxfor Unversty Press (January 1996) ISBN: Rees Neuras Artfcas (RNAs) fornecem um métoo geral e prátco para a aprenzagem e funções e valor real e e valor screto a partr e exemplos. Algortmos tas como o Backpropagaton (retropropagação) utlzam a esca o graente para ajustar os parâmetros as rees para melhor aaptar um conjunto e trenamento e pares entraa saía (ou vetor e atrbutos valor o conceto alvo). A aprenzagem e rees neuras é robusta a erros nos aos e trenamento. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 3 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 4

2 Introução Introução Moelo nsprao na aprenzagem e sstemas bológcos rees complexas e neurônos nterconectaos. Moelo mprecso, pos não consera mutas complexaes. Também chamaas e Artfcal Neural Netorks (ANN) ou smplesmente Neural Netorks (NN). Dversas aplcações prátcas: Interpretação e cenas vsuas. Reconhecmento a fala. Aprenzao e estratégas para controlar robôs. Reconhecmento e caracteres manuscrtos. Reconhecmento e faces Bonformátca Preção fnancera Etc... Mestrao em Informátca Aplcaa Aprenzagem e Máquna 5 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 6 Motvação Bológca Motvação Bológca Consere os seres humanos: Tempo e chaveamento o neurônos: seg Número e neurônos: ooo.ooo (10 10 ) Conexões por neurôno: a ( ) Tempo para o reconhecmento e uma cena: 0.1 seg muta computação paralela!! Propreae e rees neuras artfcas (RNAs): Mutas unaes e lmar smlares aos neurônos Mutas nterconexões poneraas entre unaes Processo altamente paralelo e strbuío Ênfase em ajustar pesos automatcamente Apesar as RNAs serem motvaas pelos sstemas neuras bológcos, mutas complexaes não são moelaas pelas RNAs. Duas lnhas e pesqusas: Objetvo e utlzar RNAs para estuar e moelar o processo e aprenzagem bológco. Objetvo e obter algortmos e aprenzagem e máquna altamente efcentes. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 7 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 8

3 Quano Conserar RNAs Exemplo: Sstema ALVINN Entraa screta ou e valor real e alta mensão Saía screta ou e valor real Saía for um vetor e valores Daos possvelmente ruosos Forma a função alvo é esconheca Letura humana os resultaos não é mportante Sstema ALVINN: utlza RNAs para guar um veículo autônomo em velocae normal em vas públcas. Entraa: Gr e 30 x 32 pxel fornecos por uma câmera montaa na frente o veículo. 960 neurônos Exemplos: Reconhecmento e fonemas na fala Classfcação e magens Preção fnancera Camaa escona (hen): 4 neurônos Saía: Dreção para qual o veículo eve segur. 30 neurônos e saía, caa um ncano uma reção partcular para o veículo. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 9 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 10 ALVINN Drge a 112km/h Problemas Apropraos para RNAs Aprenzagem e RNAs é bem aaptaa para problemas one os aos e trenamento corresponem a aos com ruío e aos complexos, como os obtos através e câmeras e mcrofones. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 11 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 12

4 Problemas Apropraos para RNAs Problemas Apropraos para RNAs Instâncas são representaas por pares atrbuto-valor. A função alvo a ser aprena é escrta por um vetor e característcas (números reas). O valor o conceto alvo (.e. a saía a função alvo) poe ser valores scretos, valores reas ou vetores e valores scretos e reas. Geralmente o valor e caa saía é um número real entre 0 e 1 que correspone a confança a preção. Os exemplos e trenamento poem conter erros. Granes tempos e trenamento são acetáves. Algortmos e trenamento e rees geralmente consomem muto tempo (e poucos segunos a mutas horas. Depene o número e pesos, número e exemplos e trenamento e outros parâmetros. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 13 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 14 Problemas Apropraos para RNAs Exemplo Avalação rápa a função alvo aprena. Uma vez trenaa, a avalação a ree, aa uma nova nstânca, é geralmente muto rápa. A hablae os humanos entenerem a função alvo aprena não é mportante. Geralmente é fícl nterpretarmos os pesos aprenos pelas rees neuras. Fazem menos sento o que um conjunto e regras (C4.5). Daa a magem e um personagem, ele eve ser classfcao corretamente, ou seja, se a magem for o personagem Bart, ela eve ser classfcaa pelo algortmo e aprenzagem como seno o personagem Bart. Classes / Valor o Conceto Alvo Marge Homer Bart Famíla Mestrao em Informátca Aplcaa Aprenzagem e Máquna 15 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 16

5 Exemplo Representação a RNA vetor e característcas valor o conceto alvo assocao ao vetor ree neural trenaa valor o conceto alvo estmao Erro = (valor o conceto alvo real) (valor o conceto alvo estmao) unt efnton secton : no. typename untname act bas st poston act func out func stes , 2, 0 Act_Ientty , 3, 0 Act_Ientty , 4, 0 Act_Ientty , 5, 0 Act_Ientty , 6, 0 Act_Ientty , 7, 0 Act_Ientty , 8, 0 Act_Ientty , 9, 0 Act_Ientty ,10, 0 Act_Ientty ,11, 0 Act_Ientty ,12, 0 Act_Ientty ,13, 0 Act_Ientty h 5, 2, 0 Act_Ientty h 5, 3, 0 Act_Ientty h 5, 4, 0 Act_Ientty h 5, 5, 0 Act_Ientty h 5, 6, 0 Act_Ientty h 5, 7, 0 Act_Ientty h 5, 8, 0 Act_Ientty h 5, 9, 0 Act_Ientty o 8, 2, 0 Act_Ientty o 8, 3, 0 Act_Ientty o 8, 4, 0 Act_Ientty o 8, 5, 0 Act_Ientty Mestrao em Informátca Aplcaa Aprenzagem e Máquna 17 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 18 Representação a RNA: Pesos Perceptron Ree neural elementar baseaa em uma unae chamaa Perceptron connecton efnton secton : target ste source:eght 13 1: , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: : , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 2: , 3: , 4: , 5: , 6: , 7: , 8: , 9: , 10: , 11: , 12: : , 14: , 15: , 16: , 17: , 18: , 19: , 20: : , 14: , 15: , 16: , 17: , 18: , 19: , 20: : , 14: , 15: , 16: , 17: , 18: , 19: , 20: : , 14: , 15: , 16: , 17: , 18: , 19: , 20: Um perceptron: Recebe um vetor e entraas e valor real Calcula uma combnação lnear estas entraas Fornece: +1 se o resultao é maor que algum lmar 1 caso contráro. Mas precsamente, fornecas as entraas x 1 a x n, a saía o(x 1,..., x n ) computaa pelo perceptron é... Mestrao em Informátca Aplcaa Aprenzagem e Máquna 19 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 20

6 Perceptron Perceptron one: Caa elemento é uma constante e valor real, ou peso, que etermna a contrbução a entraa x na saía o perceptron. A aprenzagem o perceptron envolve: A escolha os valores os pesos o a n. Algumas vezes utlzaremos notação vetoral smplfcaa: Mestrao em Informátca Aplcaa Aprenzagem e Máquna 21 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 22 Superfíces e Decsão Superfíces e Decsão Poemos ver o perceptron como uma superfíce e separação em um espaço n- mensonal e nstâncas. O perceptron fornece 1 para nstâncas spostas em um lao o hperplano e -1 para nstâncas spostas no outro lao. Um únco perceptron consegue separar somente conjuntos e exemplo lnearmente separáves. Lnearmente Separável Lnearmente Não Separável Mestrao em Informátca Aplcaa Aprenzagem e Máquna 23 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 24

7 Superfíces e Decsão Superfíces e Decsão Superfíce e separação para um perceptron e uas entraas (x 1, x 2 ). Mas algumas funções não são representáves e.g., não lnearmente separável Portanto, queremos rees estes... Mestrao em Informátca Aplcaa Aprenzagem e Máquna 25 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 26 Superfíces e Decsão Superfíces e Decsão Mestrao em Informátca Aplcaa Aprenzagem e Máquna 27 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 28

8 Regra e Trenamento Perceptron Regra e Trenamento Perceptron Como aprener os pesos para um perceptron? Problema: etermnar um vetor e pesos que faça o perceptron prouzr a saía correta ( 1 ou +1) para caa um os exemplos e trenamento. Solução: _ Começar com um vetor e pesos aleatóros e aplcar teratvamente a regra perceptron para caa exemplo e trenamento, mofcano os pesos caa vez que ele classfcar um exemplo erroneamente. Este processo é repeto váras vezes até que o perceptron classfque toos os exemplos e trenamento corretamente. Os pesos o perceptron são mofcaos a caa passo e acoro com a regra e trenamento o perceptron, que mofca o peso assocao a entraa x e acoro com a regra: one t é o valor alvo para o exemplo e trenamento. o é a saía geraa pelo perceptron. = η η é uma constante pequena (e.g. 0.1) chamaa e taxa e aprenzagem. + ( t o) x Mestrao em Informátca Aplcaa Aprenzagem e Máquna 29 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 30 Regra e Trenamento Perceptron Regra e Trenamento Perceptron Se o exemplo e trenamento é classfcao corretamente: (t o) = zero =0 Se o exemplo e trenamento é classfcao ncorretamente, o valor e é alterao: Se x = 0.8, η = 0.1, t = 1, o = -1 A atualzação o peso será: = η ( t o) x = 0.1(1 ( 1))0.8 = Poe se provar que este procemento e aprenzagem converge entro e um número fnto e passos quano: Os aos e trenamento são lnearmente separáves; η é sufcentemente pequeno. Porém: falha em convergr se os aos forem lnearmente não separáves. Alternatva: esca o graente Mestrao em Informátca Aplcaa Aprenzagem e Máquna 31 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 32

9 Desca o Graente Desca o Graente Para aos não lnearmente separáves, a Regra Delta converge em reção a aproxmação que melhor se ajusta ao conceto alvo. Iéa chave: usar a esca o graente para procurar no espaço e hpóteses o melhor vetor e pesos. Conserano uma unae lnear, sto é, um perceptron sem lmar: Consere uma unae lnear smples, one: o = + x x n n Especfcano uma mea para o erro e trenamento e uma hpótese (vetor e pesos) relatvamente aos exemplos e trenamento: E[ r ] = 1 2 D ( t o ) D é o conjunto e exemplos e trenamento. t é o valor alvo para o exemplo e trenamento. o é a saía a unae lnear para o exemplo. E() é a metae o quarao a ferença entre saía alvo e unae lnear e saía somaa sobre toos os exemplos e trenamento. 2 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 33 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 34 Desca o Graente Desca o Graente O algortmo e esca o graente poe enteno através a vsualzação o espaço e hpóteses. A esca o graente etermna um vetor e pesos que mnmza E, começano com um vetor ncal e pesos arbtráro e mofcano o repetamente em pequenos passos. A caa passo, o vetor e pesos é alterao na reção que prouz a maor quea ao longo a superfíce e erro. _ Este processo contnua até atngr um erro mínmo global. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 35 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 36

10 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 37 Desca o Graente Graente: Regra e trenamento para a esca o graente: one: e _ E[] r r = η = n E E E E,...,, ] [ 1 0 r E = η v v r + Mestrao em Informátca Aplcaa Aprenzagem e Máquna 38 Desca o Graente one x nca um componente únco e entraa x para o exemplo e trenamento. _ ) )( ( ) ( ) ( ) ( ) 2( 2 1 ) ( 2 1 ) ( x o t E x t o t o t o t o t o t E = = = = = r r Mestrao em Informátca Aplcaa Aprenzagem e Máquna 39 Desca o Graente Assm, a regra para atualzação os pesos para o graente escenente é D x o t = = ) ( η Mestrao em Informátca Aplcaa Aprenzagem e Máquna 40 Desca o Graente Resumno o algortmo esca o graente para a aprenzagem e unae lneares: 1. Pegar um vetor ncal aleatóro e pesos; 2. Aplcar a unae lnear para toos os exemplos e trenamento e calcular para caa peso e acoro com a equação anteror; 3. Atualzar caa peso aconano e então repetr este processo. O algortmo convergrá para um vetor e pesos com erro mínmo. _

11 Desca o Graente Resumo A regra e trenamento perceptron tem sucesso se: Exemplos e trenamento são lnearmente separáves Taxa e aprenzagem η for sufcentemente pequena _ Regra e trenamento a unae lnear utlza a esca o graente Convergênca garanta para a hpótese com erro quarao mínmo Daa uma taxa e aprenzagem η sufcentemente pequena Mesmo quano aos e trenamento contém ruío Mesmo quano aos e trenamento não forem separáves Mestrao em Informátca Aplcaa Aprenzagem e Máquna 41 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 42 Rees Multcamaas Rees Multcamaas Perceptrons expressam somente superfíces e ecsão lnear. Rees multcamaas trenaas pelo algortmo backpropagaton são capazes e expressar uma rca vareae e superfíces e ecsão não lneares. Ree multcamaas poem representar superfíces e ecsão altamente não lneares. Por exemplo, uma típca ree multcamaas e sua superfíce e ecsão (Fg.). Exemplo: Dstnção entre 10 vogas possíves no reconhecmento a fala. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 43 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 44

12 Rees Multcamaas Rees Multcamaas Que tpo e unaes evemos utlzar como base e uma ree multcamaas? Lneares? Múltplas camaas e unaes lneares cascateaas prouzem somente funções lneares (Fg.). Rees capazes e representar funções altamente não lneares. Unae cuja saía seja uma função não lnear e suas entraas unae sgmoal. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 45 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 46 Rees Multcamaas Unae Sgmoal 1 σ (x) é a função sgmoal: 1 + e x Propreae nteressante: σ ( x ) = σ ( x )(1 σ ( x)) x Poemos ervar regras o graente escenente para trenar: Uma unae sgmoal Rees multcamaas e unaes sgmoas backpropagaton Mestrao em Informátca Aplcaa Aprenzagem e Máquna 47 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 48

13 Algortmo Backpropagaton Algortmo Backpropagaton Aprene os pesos para uma ree multcamaas, aa uma ree com um número fxo e unaes e nterconexões. O algortmo backpropagaton emprega a esca o graente para mnmzar o erro quarátco entre a saía a ree e os valores alvos para estas saías. valor o conceto alvo na saía a ree valor o conceto alvo Erro = (valor o conceto alvo real) (valor o conceto alvo estmao) Como temos múltplas unaes e saía, reefnmos E como seno a soma os erros sobre toas as unaes e saía a ree: E ( r ) 1 2 D outputs é o conjunto e unaes e saía na ree t k valor alvo assocao com a k ésma unae e saía e exemplo e trenamento. o k valor e saía assocao com a k ésma unae e saía e exemplo e trenamento. k outputs ( t k o k ) 2 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 49 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 50 Algortmo Backpropagaton Algortmo Backpropagaton Problema e aprenzagem o algortmo backpropagaton: Busca em um amplo espaço e hpóteses efno por toos os valores e pesos possíves para toas as unaes na ree. Encontrar a hpótese,.e. os pesos que mnmzem o erro méo quarátco (E). Mestrao em Informátca Aplcaa Aprenzagem e Máquna 51 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 52

14 Algortmo Backpropagaton Algortmo Backpropagaton Notação: Um ínce é atrbuío a caa nó a ree, one nó poe ser uma entraa a ree ou a saía e alguma unae a ree. x j nca a entraa a partr o nó para unae j e j nca o peso corresponente. δ n nca o termo o erro assocao com a unae n. Smlar a (t o). Mestrao em Informátca Aplcaa Aprenzagem e Máquna 53 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 54 Mas sobre Backpropagaton Mas sobre Backpropagaton Desca o graente sobre o vetor e pesos ntero a ree Faclmente generalzaa para grafos retos arbtráros Encontrará um erro mínmo local (não necessaramente global) Na prátca, geralmente funcona bem (poe executar múltplas vezes). Geralmente nclu peso o momento α Mnmza o erro sobre os exemplos e trenamento Generalzará bem sobre exemplos subseqüentes? O trenamento poe levar mlhares e terações vagaroso A utlzação a ree após o trenamento muto rápa. n) = ηδ x + α ( n 1), j ( j, j, j Mestrao em Informátca Aplcaa Aprenzagem e Máquna 55 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 56

15 MLP 3 Camaas MLP 3 Camaa Função alvo: Isto poe ser apreno? Mestrao em Informátca Aplcaa Aprenzagem e Máquna 57 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 58 MLP 3 Camaas Convergênca o Backpropagaton Uma ree: Representação a camaa escona aprena Desca o graente para algum mínmo local Talvez não seja um mínmo global Aconar momento Desca o graente estocástco Trenar múltplas rees com pesos ncas ferentes Natureza a convergênca Incalzar pesos próxmo e zero Portanto, rees ncas quase lneares Progressvamente para funções não lneares com o progresso o trenamento Mestrao em Informátca Aplcaa Aprenzagem e Máquna 59 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 60

16 Capacaes Expressvas e RNAs Generalzação e Sobreajuste Funções Booleanas Caa função booleana poe ser representaa por rees com uma únca camaa escona Mas poem necesstar unaes esconas exponencas (em número e entraas) Funções Contínuas Caa função contínua lmtaa poe ser aproxmaa pela ree com uma camaa escona, com um erro arbtráro pequeno [Cybenko, 1989][Hornk et al. 1989] Qualquer função poe ser aproxmaa por uma ree com uas camaas esconas para uma precsão arbtrára [Cybenko, 1988] A conção e paraa o algortmo backpropagaton fo exaa em aberto. Quano evemos parar o trenamento,.e. parar e atualzar os pesos? Escolha óbva: contnuar o trenamento até que o erro (E) seja menor o que um valor préestabeleco. Porém, sto mplca em sobreajuste (overfttng)!!! Mestrao em Informátca Aplcaa Aprenzagem e Máquna 61 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 62 Generalzação e Sobreajuste Generalzação e Sobreajuste O algortmo backpropagaton é susceptível a sobreajustar a ree aos exemplos e trenamento ao preço e reuzr a generalzação sobre exemplos novos. A fgura lustra o pergo e mnmzar o erro sobre os aos e trenamento em função o número e terações (atualzação os pesos). Mestrao em Informátca Aplcaa Aprenzagem e Máquna 63 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 64

17 Generalzação e Sobreajuste Generalzação e Sobreajuste A lnha nferor mostra o ecréscmo o erro sobre os exemplos e trenamento em função o número e terações e trenamento. Esta lnha mee o Erro e Aprenzagem A lnha superor mostra o erro meo sobre exemplos e valação (não utlzaos para atualzar os pesos!!!) Esta lnha mee a Precsão a Generalzação A precsão que a ree classfca corretamente exemplos ferentes os utlzaos no trenamento. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 65 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 66 Reconhecmento e Faces RNAs Reconhecmento e Faces RNAs Tarefa e Aprenzagem: classfcar e magens e faces e váras pessoas em váras poses. 20 pessoas ferentes 32 magens por pessoa Varações na expressão: alegre, trste, braba, neutra, etc... No total: 624 magens 120 x 128 em níves e cnza. Função Alvo: uma vareae e funções tas como entfcar uma pessoa, reção em que ela está olhano, o sexo, usano óculos ou não, etc... Tarefa Partcular: aprener a reção em que a pessoa está olhano (left, rght, straght ahea, upar) Resultaos: trenamento em 260 magens. 90% e precsão em um conjunto e testes. Cofcação a Entraa: magens e 30 x 32 pxels. Uma reução na resolução as magens orgnas. Cofcação a Saía: uma únca unae e saía com valores 0.2, 0.4, 0.6 e 0.8 para cofcar caa uma as possíves saías. Não!!!! Ao nvés sso, 4 unaes e saía (0,0,0,1)...(1,0,0,0) Mestrao em Informátca Aplcaa Aprenzagem e Máquna 67 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 68

18 Reconhecmento e Faces RNAs Reconhecmento e Faces RNAs Estrutura a ree: entraas e saías são etermnaas pelos aos. Na camaa escona: 3 neurônos: 90% 30 neurônos: 92% (5 mnutos) (1 hora) Apreneno corretamente posção a cabeça, reconheceno 1 em 20 faces. Mestrao em Informátca Aplcaa Aprenzagem e Máquna 69 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 70 Reconhecmento e Faces RNAs Resumo Rees Neuras: um métoo prátco para aprenzagem e funções e valor real e vetoral sobre atrbutos e valor contínuo e screto. Robustez a ruíos nos aos e trenamento. O espaço e hpóteses conserao pelo algortmo backpropagaton é o espaço e toas as funções que poem ser representaas pelos pesos. O backpropagaton busca o espaço e hpóteses possíves usano a esca o graente para reuzr teratvamente o erro em uma ree (ajustar aos aos e trenamento). Mestrao em Informátca Aplcaa Aprenzagem e Máquna 71 Mestrao em Informátca Aplcaa Aprenzagem e Máquna 72

19 Resumo Sobreajuste resulta em rees que não generalzam bem. Métoos e valação cruzaa para alvar este problema (utlzar um conjunto e valação). Backpropagaton é o algortmo e aprenzagem mas comum, porém exstem mutos outros... Mestrao em Informátca Aplcaa Aprenzagem e Máquna 73