Redes Neurais (Inteligência Artificial)

Transcrição

1 Redes Neuras (Intelgênca Artfcal) Aula 14 Redes Neuras Edrle Soares de Lma

2 Formas de Aprendzado Aprendzado Supervsonado Árvores de Decsão. K-Nearest Neghbor (KNN). Support Vector Machnes (SVM). Redes Neuras. Aprendzado Não Supervsonado Aprendzado Por Reforço

3 Introdução Redes Neuras podem ser consderadas um paradgma dferente de computação. Insprado na arqutetura paralela do cérebro humano. Elementos de processamento smples. Grande grau de nterconexões. Interação adaptatva entre os elementos.

4 Introdução No cérebro, o comportamento ntelgente é uma propredade emergente de um grande número de undades smples (ao contráro do que acontece com regras e algortmos smbólcos). Neurônos lgam e deslgam em alguns mlssegundos, enquanto o hardware atual faz o mesmo em nano segundos. Entretanto, o cérebro realza tarefas cogntvas complexas (vsão, reconhecmento de voz) em décmos de segundo. O cérebro deve estar utlzando um paralelsmo massvo.

5 Introdução O cérebro humano tem sdo extensamente estudado, mas anda não somos capazes de entender completamente o seu funconando. O cérebro é muto complexo, até mesmo o comportamento de um smples neurôno é bem complexo.

6 Neurôno Estrutura de um Neurôno: Corpo celular Dendrtos Axôno Termnas snáptcos

7 Funconamento de um Neurôno Através dos dentrtos, o neurôno recebe snas de outros neurônos a ele conectados por meo das snapses. Os snas são acumulados no corpo do neurôno. Quando a soma dos snas passa de um certo lmar (~ 50mV) um snal é propagado no axôno. As snapses tem um peso que pode ser: exctatóro: ncrementam a soma dos snas. nbdor: decrementam.

8 Introdução Característcas do Cérebro Humano: neurônos. Cada neurôno tem em meda 10 4 conexões. Mlhares de operações por segundo. Neurônos morrem frequentemente e nunca são substtuídos. Reconhecmento de faces em aproxmadamente 0.1 segundos.

9 Introdução O cérebro humano é bom em: Reconhecer padrões, Assocação, Tolerar ruídos... O computador é bom em: Cálculos, Precsão, Lógca.

10 Introdução Formas mas báscas de aprendzado em Redes Neuras: Perceptron: Algortmo para aprendzagem de redes neuras smples (uma camada) desenvolvdo nos anos 50. Backpropagaton: Algortmo mas complexo para aprendzagem de redes neuras de múltplas camadas desenvolvdo nos anos 80.

11 Aprendzagem de Perceptron Usa-se um conjunto de exemplos de trenamento que dão a saída desejada para uma undade, dado um conjunto de entradas. O objetvo é aprender pesos snáptcos de tal forma que a undade de saída produza a saída correta pra cada exemplo. O algortmo faz atualzações teratvamente até chegar aos pesos corretos.

12 Perceptron Undade de Threshold Lnear X 1 W 1 X 2... W 2 W n n 0 w x 1 f n 0 w x 0 X n 1 otherwse

13 Rede de Perceptrons Valores de Saída Camada de Saída Pesos Ajustaves Camada de Entrada Snas de entrada

14 Aprendzado de Perceptrons Para que um perceptron possa aprender uma função deve-se mudar o valor dos pesos ajustáves por uma quantdade proporconal a dferença entre a saída desejada e atual saída do sstema. w w w w ( t o) x Saída desejada: t x 1 x 2... x n o x 1 x 2... x n t t = saída desejada. o = atual saída do perceptron. = Learnng rate.

15 Aprendzado de Perceptrons Regra de aprendzado: w w w w ( t o) x Se a saída do perceptron não estver correta (t!= o): Os pesos w são alterados de forma que a saída do perceptron para os novos pesos seja próxma de t. O algortmo va convergr para a correta classfcação se: O conjunto de trenamento é lnearmente separável. é sufcentemente pequeno.

16 Trenando um Neurôno Operador And A B Saída A 0.3 T=0.2 Threshold = 0.2 Learnng Rate = B -0.1 w w w w ( t o) x A B Somatóro Saída Erro

17 Trenando um Neurôno Operador And A B Saída A 0.3 T=0.2 Threshold = 0.2 Learnng Rate = B -0.1 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.3)+(0*-0.1) = (0*0.3)+(1*-0.1) = (1*0.3)+(0*-0.1) = (1*0.3)+(1*-0.1) =

18 Trenando um Neurôno Operador And A B Saída A 0.2 T=0.2 Threshold = 0.2 Learnng Rate = B -0.1 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.2)+(0*-0.1) = (0*0.2)+(1*-0.1) = (1*0.2)+(0*-0.1) = (1*0.2)+(1*-0.1) =

19 Trenando um Neurôno Operador And A B Saída A 0.1 T=0.2 Threshold = 0.2 Learnng Rate = B -0.1 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.1)+(0*-0.1) = (0*0.1)+(1*-0.1) = (1*0.1)+(0*-0.1) = (1*0.1)+(1*-0.1) = 0 0 1

20 Trenando um Neurôno Operador And A B Saída A 0.2 T=0.2 Threshold = 0.2 Learnng Rate = B 0.0 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.2)+(0*-0.0) = (0*0.2)+(1*-0.0) = (1*0.2)+(0*-0.0) = (1*0.2)+(1*-0.0) =

21 Trenando um Neurôno Operador And A B Saída A 0.1 T=0.2 Threshold = 0.2 Learnng Rate = B 0.0 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.1)+(0*0.0) = (0*0.1)+(1*0.0) = (1*0.1)+(0*0.0) = (1*0.1)+(1*0.0) =

22 Trenando um Neurôno Operador And A B Saída A 0.2 T=0.2 Threshold = 0.2 Learnng Rate = B 0.1 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.2)+(0*0.1) = (0*0.2)+(1*0.1) = (1*0.2)+(0*0.1) = (1*0.2)+(1*0.1) =

23 Trenando um Neurôno Operador And A B Saída A 0.1 T=0.2 Threshold = 0.2 Learnng Rate = B 0.2 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.1)+(0*0.2) = (0*0.1)+(1*0.2) = (1*0.1)+(0*0.2) = (1*0.1)+(1*0.2) =

24 Trenando um Neurôno Operador And A B Saída A 0.1 T=0.2 Threshold = 0.2 Learnng Rate = B 0.1 w w w w ( t o) x A B Somatóro Saída Erro 0 0 (0*0.1)+(0*0.1) = (0*0.1)+(1*0.1) = (1*0.1)+(0*0.1) = (1*0.1)+(1*0.1) =

25 Lmtações Um únco Perceptron consegue resolver somente funções lnearmente separáves. Em funções não lnearmente separáves o perceptron não consegue gerar um hperplano para separar os dados.

26 Redes Multcamadas Perceptrons expressam somente superfíces de decsão lnear. Entretanto, é possível combnar város perceptrons lneares para gerar superfíces de decsão mas complexas. Dessa forma podemos, por exemplo, gerar uma superfíces de classfcação para o operador XOR.

27 Operador XOR Operador XOR A B Saída X h 1 OR 1-1 o -0.5 X 2 1 h 2 AND -1.5

28 Redes Multcamadas Camada de Saída Camadas Ocultas Camada de Entrada

29 Redes Multcamadas Adconar uma camada oculta a rede permte que a rede possa gerar uma função de convex hull. Duas camadas ocultas permte a rede gerar um função com dferentes convex hulls.

30 Redes Multcamadas Undades lneares são capazes gerar funções lneares, dessa forma função de uma rede multcamada também será lnear. Entretanto, exstem mutas funções que não podem ser modeladas por funções lneares. Por esse motvo é necessáro utlzar uma outra função de atvação.

31 Redes Multcamadas Funções de atvação mas comuns: Sgmodal: Radal (Gausana): p h e p x w w h f y n 1 1 ; ; ) ( h n e w w x h f y

32 Redes Multcamadas Undade Sgmod X 1 W 1 X 2... W 2 W n n net 0 w x 1 o ( net ) 1 e h p X n

33 Função Sgmodal f ( net ( t)) ( net ( t) )/ 1 e

34 Função Sgmodal f ( net ( t)) ( net ( t) )/ 1 e

35 Backpropagaton Aprende os pesos para uma rede multcamadas, dada uma rede com um número fxo de undades e nterconexões. O algortmo backpropagaton emprega a descda do gradente para mnmzar o erro quadrátco entre a saída da rede e os valores alvos para estas saídas.

36 Descda do Gradente A descda do gradente busca determnar um vetor de pesos que mnmza o erro. Começando com um vetor ncal de pesos arbtráro e modfcando-o repetdamente em pequenos passos. A cada passo, o vetor de pesos é alterado na dreção que produz a maor queda ao longo da superfíce de erro.

37 Backpropagaton Aprende os pesos para uma rede multcamadas, dada uma rede com um número fxo de undades e nterconexões. O algortmo backpropagaton emprega a descda do gradente para mnmzar o erro quadrátco entre a saída da rede e os valores alvos para estas saídas. Valor de sada da rede Valor da sada buscada Erro (E) = (Valor da sada buscada) (Valor de sada da rede)

38 Backpropagaton

39 Backpropagaton Incalza cada peso w com um pequeno valor randômco. Enquanto condção de parada não for atngda faça { Para cada exemplo de trenamento faça { Entre com os dados do exemplo na rede e calcule a saída da rede (o k ) Para cada undade de saída k faça { } } } Para cada undade oculta h faça { } Para cada peso w j da rede faça { } k ok ( 1ok )( tk ok ) h oh (1 oh ) wh, k k outputs w, j where w, j w w, j, j x j, j k

40 Backpropagaton O backpropagaton não é um algortmo ótmo e não garante sempre a melhor resposta. O algortmo de descda do gradente pode fcar preso em um erro mínmo local. É possível refazer o trenamento varando os valores ncas dos pesos. Backpropagaton é o algortmo de aprendzagem mas comum, porém exstem mutos outros.

41 Letura Complementar Mtchell, T. Machne Learnng, McGraw Hll Scence/Engneerng/Math, Duda, R., Hart, P., Stork, D., Pattern Classfcaton, John Wley & Sons, 2000