Redes Neurais Artificiais. Sistemas de Informação/Ciências da Computação UNISUL Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 9)

Transcrição

1 Redes Neurais Artificiais Sistemas de Informação/Ciências da Computação UNISUL Aran Bey Tcholakian Morales, Dr. Eng. (Apostila 9)

2 Conceitos 2

3 Redes Neurais As Redes Neurais Artificias são modelos computacionais de processamento de dados inspirados nos neurônios biológicos e na estrutura paralela do cérebro, isto é, na forma como o cérebro humano funciona. As RN, apresentam algumas características muito interessantes: - são capazes de aprender; de generalizar as soluções; de lidar com dados ruidosos ou incompletos. 3

4 Características: Redes Neurais As Redes aprendem por experiência, não necessitando explicitar os algoritmos para executar uma determinada tarefa (aprendizado); As redes são capazes de realizar associações entre padrões diferentes (associação); e generalizar o seu conhecimento a partir de exemplos anteriores (generalização); As redes são capazes de lidar com ruídos e distorções respondendo corretamente aos novos padrões. Isto é, a perda de um conjunto de elementos processadores e/ou conexões sinápticas não causa o mal funcionamento da rede neural (robustez) 4

5 Redes Neurais: neurônio biológico O neurônio biológico é entendido como sendo basicamente o dispositivo elementar do sistema nervoso, que possuía muitas entradas e uma saída. A partir do corpo celular, ou soma, (o centro dos processos metabólicos da célula nervosa) projetam-se extensões filamentares, os dendritos, e o axônio. 5

6 Redes Neurais: neurônio artificial Neurónio = processador de informação recebe e envia impulso a milhares de neurónios dendritos: canais de entrada corpo celular: órgão de cômputo (soma ponderada, função não linear) axónio: canal de saída distribuição a outros neurónios Potencial pos-sináptico: y sign( h (w, x) = w. x = j w j x j n i 0 wix i k ) Entradas x 1 x 2 sinapsis (pesos) w 1 w 2 dendritas w n somatória pesada função de activação saída axon f( ) y O factor bias t é usualmente subtraído ao potencial pos-sináptico função de activação para obter y: x n -1 t limiar (threshold) y = f (w. x t) y = f(w x t) = f( j w j x j t)

7 Redes Neurais Selecione: File> New Project> Samples> Neuroph> Basic Neuron Sample 7

8 Redes Neurais Modelo simples de um neurónio artificial Input nodes X 1 Black box w 1 Output node X 2 w 2 Y w 3 X 3 t 8

9 Redes Neurais As redes neurais são estruturas que consistem em um conjunto de nós interconectados chamados neurônios. Cada neurônio tem entradas por meio do qual ele recebe saídas de outros neurônios e saídas através do qual são enviadas para as entradas de outros neurônios. A maneira na qual os neurónios estão interligados determina o tipo de arquitetura de rede neural. 9

10 Redes Neurais: arquitetura As RNAs contêm tem 3 tipos de camadas (layers): input layer: informação que entra no neurónio hidden layer: camadas intermédias, podem ser várias output layer: informação que sai Modelos mais populares: Perceptron: modelo mais simples, não usa hidden layers Multi-layer Feed-Forward: os nós de uma camada estão ligados apenas aos nós da seguinte camada modelo com 3 camadas nós de saída nós de entrada nós ocultos

11 Histórico Histórico McCulloch & Pitts (1943): modelo computacional para o neurônio artificial. Não possuía capacidade de aprendizado; Hebb (1949): modelo de aprendizado (Hebbian Learning Rule); Rosenblatt (1957): Perceptron, com grande sucesso em certas aplicações e problemas em outras aplicações aparentemente similares; Minsky & Papert ( Perceptrons 1969): prova matemática de que as redes Perceptron são incapazes de solucionar problemas simples tipo OU-EXCLUSIVO; Rumelhart (início da década de 80): novos modelos que superaram os problemas dos Perceptrons. 11

12 Perceptron 12

13 Perceptron Perceptron é uma simples rede neural de duas camadas com vários neurônios na camada de entrada e um ou mais neurônios na camada de saída, baseada no algoritmo de aprendizagem regra de Hebb ou regra delta. Um perceptron é um classificador linear binário, ou seja, uma função f: X Y que mapea um vector binário x a um valor binário y 13

14 Perceptron O perceptron, é formado por unidades básicas de neurônios do tipo MCP, e por uma regra de aprendizado baseado na regra de Hebb. Características Básicas: Regra de Propagação: net j = ( x i.w ij ) Função de Ativação: Degrau Topologia: uma única camada de processadores Algoritmo de Aprendizado: w ij =.x i.(t j - s j ) = taxa de aprendizado (constante) x i = é o valor de entrada da rede t j = saída desejada s j = saída obtida (real) e i = (saída desejada saída obtida). Ajuste de pesos: w ij (t +1) = w ij (t) + w ij 15

15 Perceptron 1.Iniciar os pesos sinápticos com valores randômicos e pequenos; 2.Aplicar um padrão de entrada, com seu respectivo valor de saída desejado ( t j ), e verificar a saída da rede ( s j ); 3. Calcular o erro na saída: e j = t j - s j 4. Se e j = 0, voltar ao passo 2; Se e j <> 0, atualizar os pesos: w ij =.x i.e j 5. Voltar ao passo 2. 16

16 Perceptron Função AND: x 1 x 2 Saída X 1 W 1 X 2 A 0 X 2 W 2 F(Net) A 2 S W 3 1 (bias) A 3 A 1 X 1 17

17 Perceptron W 0 = (0 0 0 ) Entrada Net s t e W W (1 1 1) (1 1 1) (1 1 1) (1 0 1) (-1 0-1) (0 1 0) (0 1 1) (0-1 -1) (0 0-1) (0 0 1) x (0 0-1) (1 1 1) (1 1 1) (1 1 0) (1 0 1) (-1 0-1) (0 1-1) (0 1 1) x (0 1-1) (0 0 1) x (0 1-1) 18

18 Perceptron Entrada Net s t e W W (1 1 1) (1 1 1) (1 2 0) (1 0 1) (-1 0-1) (0 2-1) (0 1 1) (0-1 -1) (0 1-2) (0 0 1) (0 0-1) (0 1-3) (1 1 1) (1 1 1) (1 2-2) (1 0 1) x (1 2-2) (0 1 1) x (1 2-2) (0 0 1) x (1 2-2) W 1 = 1; W 2 = 2; W 0 = -2 19

19 Perceptron W 1 = 1; W 2 = 2; W 0 = -2 W 2.X 2 + W 1.X 1 + W 0 = 0; X 2 = - W 1 /W 2 X 1 W 0 /W 2 X 2 = -1/2 X X 2 A 0 A 2 X 1 A 3 A 1 20

20 Perceptron Para criar e treinar rede neural Perceptron usando Neuroph faça: Passo 1. Criar projeto Neuroph: Clique em File> New Project. Selecione Projeto Neuroph, clique em Avançar. Digite o nome do projeto e localização, clique em concluir 21

21 Passo 2. Crie Perceptron rede. Clique em File> New File Perceptron Selecione projeto a partir do menu drop-down do projeto e selecione o tipo de arquivo da Rede Neural, clique em Avançar 22

22 Digite o nome da rede, selecione Perceptron tipo de rede, clique em Avançar. Perceptron Na nova caixa de diálogo: digite o número de neurônios de entrada (2) e de saída (1), escolha Perceptron Aprendizagem e clique Criar botão 23

23 Perceptron Isto irá criar a rede neural Perceptron com dois neurônios na entrada, e um na camada de saída. Por padrão, todas as funções de transferência, são do tipo passo. 24

24 Perceptron Passo 3. Para criar conjunto de treinamento, clique em File> New File para abrir o assistente de conjunto de treinamento Selecione set Training tipo de arquivo, clique em Avançar 25

25 Perceptron Digite o nome do conjunto de treinamento, o número de entradas e saídas, como mostrado na imagem abaixo e clique Criar botão.

26 Perceptron Em seguida, crie conjunto de treinamento, introduzindo elementos de formação como valores de neurônios na camada de entrada e saída de entrada e de saída desejados. Use Adicionar linha botão para adicionar novos elementos e clique em OK botão quando terminar

27 Passo 4: Para iniciar o processo de treinamento da rede, na janela de rede selecionar conjunto de treinamento e clique no botão Train. Perceptron Em Set Aprender Parâmetros de aprendizagem padrão de uso de diálogo e basta clicar no trem botão. 28

28 Perceptron Passo 5. Após o treinamento for concluído, você pode testar a rede para a formação integral definidas selecionando conjunto de treinamento para testar e clicando em teste botão. Isto irá mostrar os resultados dos testes na nova guia. 29

29 Perceptron Para testar a entrada única, use Set Input botão. Isto irá abrir conjunto de entrada da rede de diálogo na qual você pode digitar os valores de entrada para a rede, com espaço entre os valores. 30

30 Perceptron Rede aprendeu lógica e função: podemos ver que o neurônio de saída tem valor 0. Você pode selecionar vista gráfico para ver diferente visão da rede: 31

31 Perceptron Função OR: x 1 x 2 Saída X 2 A 2 A 3 A 0 A 1 X 1 32

32 Perceptron Função XOR: x 1 x 2 Saída X 2 A 2 A 3 A 0 A 1 X 1 33

33 O problema do OU-Exclusivo Conclusão: Mudando-se os valores de w i, muda-se a inclinação e a posição da reta; Entretanto, é impossível achar uma reta que divida o plano de forma a separar os pontos A 1 e A 2 de um lado e A 0 e A 3 de outro; Redes de 1 única camada só representam funções linearmente separáveis! 34

34 O problema do OU-Exclusivo Rosenblatt (1962) provou que uma rede Perceptron é capaz de aprender tudo que puder representar. Minsky & Papert provaram (Perceptrons 1969) que existem séries restrições sobre o que as redes Perceptron são capazes de Representar. Por exemplo, as redes Perceptron não são capazes de Representar a função OU-Exclusivo 35

35 Redes Neurais Multicamadas 36

36 Redes Neurais Multicamadas Redes Multi-Layer Perceptron (MLP): são redes do tipo Perceptron com mais de uma camada. Esta rede é constituída por várias camadas de neurónios (pelo menos três), onde cada neurónio de uma camada está ligada a todos os neurónios na camada seguinte. 37

37 Redes Neurais Multicamadas Redes de apenas uma camada só representam funções linearmente separáveis, redes de múltiplas camadas solucionam essa restrição. O grande desafio foi achar um algoritmo de aprendizado para a atualização dos pesos das camadas intermediárias. Idéia Central: os erros dos elementos processadores da camada de saída,conhecidos pelo treinamento supervisionado são retropropagados para as camadas intermediárias. 38

38 Redes Neurais Multicamadas x 1 x 2 x 3 x 4 x 5 Input Layer Input I 1 w i1 w I i2 2 w i3 S i Neuron i Activation function g(s i ) O i Output O i Hidden Layer I 3 threshold, t Output Layer Podem existir várias camadas ocultas Aprender RNAs ysignifica aprender os pesos dos dados. O algoritmo mais popular: back-propagation

39 Redes Neurais Multicamadas: funções de ativação

40 Redes Neurais Multicamadas: XOR Não existe uma fronteira linear que possa separar estas duas classes. (como o Perceptron pode construir apenas um hiperplano, não podemos usa-lo para modelar este problema). Os exemplos podem ser classificados usando 2 hiperplanos que dividem o espaço dos atributos (input space) em suas respectivas classes

41 Redes Neurais Multicamadas Para criar e treinar rede neural Multicamadas usando Neuroph faça: Passo 1. Criar projeto Neuroph: Clique em File> New Project. Selecione Projeto Neuroph, clique em Avançar. Digite o nome do projeto e localização, clique em concluir 46

42 Redes Neurais Multicamadas Passo 2. Crie Multicamadas rede. Clique em File> New File Selecione projeto a partir do menu drop-down do projeto e selecione o tipo de arquivo da Rede Neural, clique em Avançar 47

43 Redes Neurais Multicamadas Digite o nome da rede, selecione Multi Layer Perceptron tipo de rede, clique em Avançar. Na nova caixa de diálogo: digite o número de neurônios de entrada (9), de saída (1), camada escondida (5). 48

44 Redes Neurais Multicamadas Isto irá criar a rede neural Multicamadas. 49

45 Redes Neurais Multicamadas Passo 3. Para criar conjunto de treinamento, clique em File> New File para abrir o assistente de conjunto de treinamento Selecione set Training tipo de arquivo, clique em Avançar 50

46 Redes Neurais Multicamadas Digite o nome do conjunto de treinamento, o número de entradas e saídas, como mostrado na imagem abaixo e clique Criar botão.

47 Redes Neurais Multicamadas Passo 4: Para iniciar o processo de treinamento da rede, devemos selecionar os dados da rede e na janela de rede selecionar conjunto de treinamento e clique no botão Train. 52

48 Redes Neurais Multicamadas Passo 5. Após o treinamento for concluído, você pode testar a rede para a formação integral definidas selecionando conjunto de treinamento para testar e clicando em teste botão. Isto irá mostrar os resultados dos testes na nova guia. 53