Redes Neurais. Artificiais. Fabricio Breve Parte 2. 19/04/2018 Fabricio Breve. Bias. Sinais de entrada. Pesos sinápticos.

Transcrição

1 Redes Neurais Parte 2 Artificiais x 1 w k1 Bias b k x 1 x 2 x 3 x m +1 y 1 y 2 y o Sinais de entrada x 2 x m Fabricio Breve fabricio@rc.unesp.br w k2 w km Pesos sinápticos Σ Junção aditiva v k f(. ) Saída y k 19/04/2018 Fabricio Breve 1

2 Redes Neurais Artificiais PERCEPTRON DE UMA ÚNICA CAMADA 19/04/2018 Fabricio Breve 2

3 Perceptron Desenvolvida por Frank Rosenblatt, 1958 Utiliza modelo de McCulloch-Pitts como neurônio Rede mais simples para classificação de padrões linearmente separáveis Primeiro modelo de aprendizado supervisionado 19/04/2018 Fabricio Breve 3

4 Separabilidade Linear 19/04/2018 Fabricio Breve 4

5 Separabilidade Linear 19/04/2018 Fabricio Breve 5

6 Separabilidade Linear Entradas Saída Entradas Saída x 1 x 2 x 1 AND x x 1 x 2 x 1 XOR x (0,1) (1,1) (0,1) (1,1)? (0,0) (1,0) (0,0) (1,0) 19/04/2018 Fabricio Breve 6

7 Perceptron Simples para Classificação de Padrões Uma única camada de neurônios com pesos sinápticos ajustáveis e bias Sob condições adequadas converge para o conjunto de pesos adequado Particularmente se padrões de treinamento pertencem a classes linearmente separáveis Prova de convergência: Teorema de Convergência do Perceptron 19/04/2018 Fabricio Breve 7

8 Perceptron Simples para Classificação de Padrões Neurônios similares aos de McCulloch e Pitts com função de ativação de limiar Mas incluindo um bias Principal contribuição de Rosenblatt Regra de aprendizado para treinar os perceptrons para resolver problemas de reconhecimento e classificação de padrões 19/04/2018 Fabricio Breve 8

9 Entradas Perceptron Simples para Classificação de Padrões +1 w 0 = b x 1 x 2 w 1 w 2 u Função de Ativação y Σ f(u) Saída x m w m Junção de Soma Perceptron mais simples para realizar classificação de padrões 19/04/2018 Fabricio Breve 9

10 Treinamento Para cada padrão de entrada x i calcule a saída da rede y i Se não for a resposta esperada calcule o erro: A saída esperada é conhecida (treinamento supervisionado) e i = d i y i Atualizar pesos de acordo com as regras: w t + 1 = w t + αe i x i b t + 1 = b t + αe i onde w R 1 m, x i R 1 m, e b R /04/2018 Fabricio Breve 10

11 Algoritmo de treinamento X R N m é a matriz de N padrões de entrada Cada padrão tem dimensão m Cada padrão é uma linha de X d é o vetor de saídas desejadas f( ) é uma função de limiar 1 e 1, 0 e 1, etc... Critério de parada Número fixo de iterações max_it Soma E dos erros quadráticos, de cada padrão de entrada, igual a zero (E = 0) Algoritmo retorna o vetor de pesos w é a taxa de aprendizado 19/04/2018 Fabricio Breve 11

12 Algoritmo de treinamento procedimento [w] = perceptron(max_it,α,x,d) inicializar w // ajuste para zero ou pequenos valores aleatórios inicializar b // ajuste para zero ou um pequeno valor aleatório t 1; E 1; enquanto t < max_it & E > 0 faça E 0; para i de 1 até N faça // para cada padrão de treinamento y i ƒ(wx it + b) // saída da rede para x i e i d i - y i // determinar o erro para x i w w + α e i x i // atualizar o vetor de pesos b b + α e i // atualizar o termo de bias E E + e 2 i // acumular o erro fim-para t t + 1 fim-enquanto fim-procedimento Algoritmo de aprendizado de um perceptron simples. A função f(. ) é uma função de limiar, e a saída desejada é 1 se um padrão pertence à classe ou 1 (ou 0 ) se ele não pertence à classe. 19/04/2018 Fabricio Breve 12

13 Perceptron de Múltiplas Saídas para Classificação de Padrões A regra de aprendizado pode ser facilmente estendida para lidar com mais de um neurônio de saída Neste caso o vetor y com a saída de cada neurônio é dado por: y = f Wx i T + b onde W R o m, x i R 1 m, y i R o 1, e b R o 1 19/04/2018 Fabricio Breve 13

14 Perceptron de Múltiplas Saídas para Classificação de Padrões 19/04/2018 Fabricio Breve 14

15 Algoritmo de Treinamento (Perceptron com múltiplas saídas) D é a matriz de saídas desejadas Cada coluna é a saída para um dos padrões de entrada Vetor de erro é calculado subtraindo o vetor de saída do vetor de saída esperada e i = d i y i Se os padrões forem linearmente separáveis o algoritmo converge 19/04/2018 Fabricio Breve 15

16 Algoritmo de Treinamento (Perceptron com múltiplas saídas) procedimento [W] = perceptron(max_it,α,x,d) inicializar W // ajuste para zero ou pequenos valores aleatórios inicializar b // ajuste para zero ou pequenos valores aleatórios t 1; E 1; enquanto t < max_it & E > 0 faça E 0; para i de 1 até N faça // para cada padrão de treinamento y i ƒ(wx it + b) // saída da rede para x i e i d i - y i // determinar o erro para x i W W + α e i x i // atualizar o vetor de pesos b b + α e i // atualizar o termo de bias E E + soma(e 2 ji ) // j = 1,...,o fim-para t t + 1 fim-enquanto fim-procedimento Algoritmo de aprendizado de um perceptron de múltiplas saídas. A função f(. ) é uma função de limiar, e a saída desejada é 1 se um padrão pertence à classe ou 1 (ou 0 ) se ele não pertence à classe. Note que e i, d i, y i, e b são vetores e W é uma matriz. e ji corresponde ao erro do neurônio j quando recebe o padrão de entrada i. 19/04/2018 Fabricio Breve 16

17 Função Softmax Em problemas com múltiplas saídas temos neurônios que classificam um-versus-resto. Exemplo: vermelho X verde e azul azul X verde e vermelho verde X vermelho e azul Nesse caso, usar função de limiar pode levar à ambiguidades, com mais de um neurônio disparando ao mesmo tempo. Como resolver este problema? 19/04/2018 Fabricio Breve 17

18 Função Softmax Usar valores contínuos de saída pode ser uma solução Podem ser interpretados como um índice de confiança na resposta. Uma estratégia comum é usar uma função de ativação do tipo softmax na camada de saída. y = f u j = exp u j onde j = 1,, K K exp u k σ k=1 Dessa forma a saída dos neurônios fica contínua, no intervalo [0 1], com soma 1. Cada exemplo é classificado pelo neurônio que apresentou maior valor de saída. 19/04/2018 Fabricio Breve 18

19 Exemplos de Aplicação AND x 0 x 1 x 2 dd Entrada 1: Entrada 2: Entrada 3: Entrada 4: x 1 S 0 S 1 w 0 w 1 S out y Peso inicial: w 0 = 0, w 1 = 0, w 2 = 0 Taxa de aprendizado: α = 0,5 Função de ativação de limiar: s out > 0 y = 1 s out 0 y = 0 x 2 S 2 Lembre-se: x 0 = b w X d /04/2018 Fabricio Breve

20 Exemplos de Aplicação (1,0) (1,1) (0,0) (0,1) 19/04/2018 Fabricio Breve 20

21 Exemplos de Aplicação 1º CICLO Entrada 1: Entrada 2: Entrada 3: Entrada 4: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ) = f(0) = 0 y = d y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ) = f(0) = 0 y = d y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ) = f(0) = 0 y = d y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ) = f(0) = 0 y d w 0 = w 0 + (d y) x 0 = 0 + 0,5 (1 0) 1 = 0,5 w 1 = w 1 + (d y) x 1 = 0 + 0,5 (1 0) 1 = 0,5 w 2 = w 2 + (d y) x 2 = 0 + 0,5 (1 0) 1 = 0,5 19/04/2018 Fabricio Breve 21

22 Exemplos de Aplicação 2º CICLO Entrada 1: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f(0, , ,5 0) = f(0,5) = 1 y d w 0 = w 0 + (d y) x 0 = 0,5 + 0,5 (0 1) 1 = 0 w 1 = w 1 + (d y) x 1 = 0,5 + 0,5 (0 1) 0 = 0,5 w 2 = w 2 + (d y) x 2 = 0,5 + 0,5 (0 1) 0 = 0,5 Entrada 2: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( , ,5 1) = f(0,5) = 1 y d w 0 = w 0 + (d y) x 0 = 0 + 0,5 (0 1) 1 = 0,5 w 1 = w 1 + (d y) x 1 = 0,5 + 0,5 (0 1) 0 = 0,5 w 2 = w 2 + (d y) x 2 = 0,5 + 0,5 (0 1) 1 = 0 19/04/2018 Fabricio Breve 22

23 Exemplos de Aplicação 2º CICLO Entrada 3: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, , ) = f(0) = 0 y = d Entrada 4: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, , ) = f(0) = 0 y d w 0 = w 0 + (d y) x 0 = 0,5 + 0,5 (1 0) 1 = 0 w 1 = w 1 + (d y) x 1 = 0,5 + 0,5 (1 0) 1 = 1 w 2 = w 2 + (d y) x 2 = 0 + 0,5 (1 0) 1 = 0,5 19/04/2018 Fabricio Breve 23

24 Exemplos de Aplicação 3º CICLO Entrada 1: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 0) = f(0) = 0 y = d Entrada 2: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f ,5 1 = f 0,5 = 1 y d, w 0 = w 0 + (d y) x 0 = 0 + 0,5 (0 1) 1 = 0,5 w 1 = w 1 + (d y) x 1 = 1 + 0,5 (0 1) 0 = 1 w 2 = w 2 + (d y) x 2 = 0,5 + 0,5 (0 1) 1 = 0 19/04/2018 Fabricio Breve 24

25 Exemplos de Aplicação 3º CICLO Entrada 3: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, ) = f(0,5) = 1 y d w 0 = w 0 + (d y) x 0 = 0,5 + 0,5 (0 1) 1 = 1 w 1 = w 1 + (d y) x 1 = 1 + 0,5 (0 1) 1 = 0,5 w 2 = w 2 + (d y) x 2 = 0 + 0,5 (0 1) 0 = 0 Entrada 4: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( , ) = f( 0,5) = 0 y d w 0 = w 0 + (d y) x 0 = 1 + 0,5 (1 0) 1 = 0,5 w 1 = w 1 + (d y) x 1 = 0,5 + 0,5 (1 0) 1 = 1 w 2 = w 2 + (d y) x 2 = 0 + 0,5 (1 0) 1 = 0,5 19/04/2018 Fabricio Breve 25

26 Exemplos de Aplicação 4º CICLO Entrada 1: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, ,5 0) = f( 0,5) = 0 y = d Entrada 2: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, ,5 1) = f(0) = 0 y = d 19/04/2018 Fabricio Breve 26

27 Exemplos de Aplicação 4º CICLO Entrada 3: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, ,5 0) = f(0,5) = 1 y d w 0 = w 0 + (d y) x 0 = 0,5 + 0,5 (0 1) 1 = 1 w 1 = w 1 + (d y) x 1 = 1 + 0,5 (0 1) 1 = 0,5 w 2 = w 2 + (d y) x 2 = 0,5 + 0,5 (0 1) 0 = 0,5 Entrada 4: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( , ,5 1 = f(0) = 0 y d w 0 = w 0 + (d y) x 0 = 1 + 0,5 (1 0) 1 = 0,5 w 1 = w 1 + (d y) x 1 = 0,5 + 0,5 (1 0) 1 = 1 w 2 = w 2 + (d y) x 2 = 0,5 + 0,5 (1 0) 1 = 1 19/04/2018 Fabricio Breve 27

28 Exemplos de Aplicação 5º CICLO Entrada 1: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, ) = f( 0,5) = 0 y = d Entrada 2: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( 0, ) = f(0,5) = 1 y d w 0 = w 0 + (d y) x 0 = 0,5 + 0,5 (0 1) 1 = 1 w 1 = w 1 + (d y) x 1 = 1 + 0,5 (0 1) 0 = 1 w 2 = w 2 + (d y) x 2 = 1 + 0,5 (0 1) 1 = 0,5 19/04/2018 Fabricio Breve 28

29 Exemplos de Aplicação 5º CICLO Entrada 3: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 0) = f(0) = 0 y = d Entrada 4: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 1) = f(0,5) = 1 y = d 19/04/2018 Fabricio Breve 29

30 Exemplos de Aplicação 6º CICLO Entrada 1: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 0) = f( 1) = 0 y = d Entrada 2: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 1) = f( 0,5) = 0 y = d Entrada 3: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 0) = f(0) = 0 y = d Entrada 4: y = f(w 0 x 0 + w 1 x 1 + w 2 x 2 ) y = f( ,5 1) = f(0,5) = 1 y = d 19/04/2018 Fabricio Breve 30

31 Exemplos de Aplicação x 2 y = 0 (1,0) (1,1) (0,0) (0,1) y y f f w x 1 1 w 2 x 1x1 0,5x2 2 b 1 x 1 19/04/2018 Fabricio Breve 31

32 Exercício Dado o seguinte cadastro de pacientes: Nome Febre Enjoo Manchas Dores Diagnóstico João sim sim pequenas sim doente Pedro não não grandes não saudável Maria sim sim pequenas não saudável José sim não grandes sim doente Ana sim não pequenas sim saudável Leila não não grandes sim doente Ensine uma rede Perceptron a distinguir: Paciente saudáveis Pacientes doentes 19/04/2018 Fabricio Breve 32

33 Exercício Testar a rede para novos casos: Nome Febre Enjoo Manchas Dores Diagnóstico Luis não não pequenas sim? Laura sim sim grandes sim? 19/04/2018 Fabricio Breve 33

34 Generalização Classificação correta de padrões não utilizados no treinamento ou com ruído Ocorre através da detecção de características relevantes do padrão de entrada durante o treinamento Padrões desconhecidos são atribuídos a classes cujos padrões apresentam características semelhantes Garante tolerância a falhas 19/04/2018 Fabricio Breve 34

35 ADALINE Widrow e Hoff, 1960 Introduzidos quase ao mesmo tempo que o Perceptron ADAptive LInear NEuron Função de ativação linear em vez de limiar Também restrito a problemas linearmente separáveis 19/04/2018 Fabricio Breve 35

36 ADALINE Algoritmo de treinamento LMS (Least Mean Squared) Mais poderoso que a regra de aprendizado do Perceptron Aprendizado continua mesmo após aprender o padrão de treinamento Mais robusto a ruído 19/04/2018 Fabricio Breve 36

37 Redes Neurais Artificiais PERCEPTRON DE MÚLTIPLAS CAMADAS 19/04/2018 Fabricio Breve 37

38 Perceptron de Múltiplas Camadas Arquitetura de RNA mais utilizada Possui uma ou mais camadas intermediárias de nós Grande Funcionalidade Uma camada intermediária: qualquer função contínua ou Booleana Duas camadas intermediárias: qualquer função Treinada com o algoritmo Backpropagation 19/04/2018 Fabricio Breve 38

39 Perceptron de Múltiplas Camadas Histórico: Em 1969 Minsky e Papert lançaram um livro mostrando as limitações do Perceptron Basicamente sua incapacidade de lidar com problemas não linearmente separáveis 19/04/2018 Fabricio Breve 39

40 Perceptron de Múltiplas Camadas Histórico: Rosenblatt e Widrow sabiam dessas limitações e propuseram o uso de múltiplas camadas Mas não conseguiram generalizar seus algoritmos para treinar essas redes mais poderosas Isto diminuiu bastante o interesse em redes neurais nos anos 70 19/04/2018 Fabricio Breve 40

41 Perceptron de Múltiplas Camadas Histórico Apenas nos anos 80 surgiu o algoritmo de retropropagação de erro Uma generalização do LMS Popularizado por Rumelhart et. al (1986) Fez ressurgir o interesse em redes neurais 19/04/2018 Fabricio Breve 41

42 Perceptron de Múltiplas Camadas Uma camada de entrada, uma ou mais camadas intermediárias e uma camada de saída Treinamento: Algoritmo de Retropropagação Camadas intermediárias e ocultas tipicamente usam funções sigmoides g( a) 1 1 exp( a)

43 Perceptron de Múltiplas Camadas x 1 x 2 y 1 Sinal de entrada (estímulo) x 3 x m y 2 y o Sinal de saída (resposta) Camada de entrada Primeira camada oculta Segunda camada oculta Camada de saída 19/04/2018 Fabricio Breve 43

44 Algoritmo de Retropropagação Consiste basicamente em dois passos: Passo para frente Sinal aplicado à entrada vai se propagando pelos nós computacionais da rede até chegar aos nós de saída Passo para trás Todos os pesos sinápticos são ajustados de acordo com uma regra de correção de erro

45 Variações do Algoritmo de Retropropagação Momentum Quickprop Newton Levenberg Marquardt Super Self-Adjusting Backpropagation (supersab) Métodos de gradiente conjugado 19/04/2018 Fabricio Breve 45

46 Por que múltiplas camadas? 19/04/2018 Fabricio Breve 46

47 Por que múltiplas camadas? 19/04/2018 Fabricio Breve 47

48 Por que múltiplas camadas? Lippmann, R.P., "An introduction to computing with neural nets," ASSP Magazine, IEEE, vol.4, no.2, pp.4,22, Apr 1987 doi: /MASSP URL: 19/04/2018 Fabricio Breve 48

49 Por que múltiplas camadas? Unidades intermediárias Detectores de características Geram uma codificação interna da entrada Dado um número grande o suficiente de unidades intermediárias é possível formar representações internas para qualquer distribuição dos padrões de entrada 19/04/2018 Fabricio Breve 49

50 Por que múltiplas camadas? Número de camadas intermediárias necessárias 1 camada: suficiente para aproximar qualquer função contínua ou Booleana 2 camadas: suficiente para aproximar qualquer função 3 ou mais camadas: pode facilitar o treinamento da rede Cuidado: cada vez que o erro é propagado para uma camada anterior, ele se torna menos útil 19/04/2018 Fabricio Breve 50

51 Dificuldades de aprendizado Overfitting Depois de um certo ponto do treinamento, a rede piora ao invés de melhorar Memoriza padrões de treinamento, incluindo suas peculiaridades (piora generalização) Alternativas Encerrar treinamento mais cedo (early stop) Reduzir pesos (weight decay) 19/04/2018 Fabricio Breve 51

52 Overfitting Pode ser utilizado um subconjunto de validação para testar a capacidade de generalização Parando o treinamento quando a capacidade de generalização deixa de melhorar Exemplo: dividindo os exemplos em: Subconjunto de Treinamento Usados para treinar a rede, sinal de erro usado para ajustar pesos. Subconjunto de Validação Usado para testar a capacidade de generalização da rede a cada época, ou para testar diferentes arquiteturas/algoritmos de rede candidatas. Subconjunto de Testes Usado apenas após o treinamento, para testar a capacidade da rede escolhida e treinada, em classificar dados que ainda não foram vistos. 19/04/2018 Fabricio Breve 52

53 Erro Overfitting 0,12 0,1 0,08 A partir desta época o erro continua diminuindo nos dados de treinamento, mas piora nos dados de validação, caracterizando o overfitting. 0,06 0,04 0,02 0 Treinamento Épocas Validação 19/04/2018 Fabricio Breve 53

54 Atualização dos pesos Ciclo Apresentação de todos os exemplos de treinamento durante o aprendizado Exemplos devem ser apresentados em ordem aleatória Abordagens para atualização dos pesos Por padrão (online) Por ciclo (batch) 19/04/2018 Fabricio Breve 54

55 Atualização dos Pesos Por padrão Pesos são atualizados após apresentação de cada padrão Estável se taxas de aprendizado forem pequenas Taxas elevadas rede instável Reduzir progressivamente as taxas Mais rápida, principalmente se o conjunto de treinamento for grande e redundante Requer menos memória 19/04/2018 Fabricio Breve 55

56 Atualização dos Pesos Por ciclo Pesos atualizados depois que todos os padrões de treinamento forem apresentados Geralmente mais estável Pode ser lento se o conjunto de treinamento for grande e redundante Melhor método depende da aplicação 19/04/2018 Fabricio Breve 56

57 Redes Neurais Artificiais REDES DE FUNÇÃO DE BASE RADIAL 19/04/2018 Fabricio Breve 57

58 Redes de Função de Base Radial Radial Basis Function Vê a rede neural como um problema de ajuste de curva em um espaço de alta dimensionalidade Aprender equivale a encontrar uma superfície num espaço multidimensional que forneça o melhor ajuste para os dados de treinamento do ponto de vista estatístico 19/04/2018 Fabricio Breve 58

59 Redes de Função de Base Radial Possui 3 camadas: Entrada: nós sensoriais que recebem os dados do ambiente. Intermediária (oculta): faz uma transformação não-linear do espaço de entrada para um espaço oculto, normalmente de alta dimensionalidade Saída: linear, e fornece a resposta da rede ao sinal de entrada x 1 x 2 φ m x d entradas bias φ 0 φ 1 φ 2 funções de base saídas y 1 y 2 y c

60 Redes de Função de Base Radial f(u k ) f 2 u k exp u k k f(u k ) f u k u u k u k (1,0) (1,1) (0,0) (0,0) (0,1) (1,0) (0,1) (1,1) 19/04/2018 Fabricio Breve 60

61 MÁQUINAS DE VETOR DE SUPORTE 19/04/2018 Fabricio Breve 61

62 Máquinas de Vetor de Suporte Support Vector Machines Máquina linear Constrói um hiperplano em que a margem de separação entre classes seja máxima Baseadas na Teoria do Aprendizado Estatístico Vapnik e Chervonenkis em 1968 Reduz erro de generalização 19/04/2018 Fabricio Breve 62

63 Perceptron Máquinas de Vetor de Suporte Hiperplano: Perceptron X Máquinas de Vetor de Suporte 19/04/2018 Fabricio Breve 63

64 Redes Neurais Artificiais MAPAS AUTO- ORGANIZÁVEIS 19/04/2018 Fabricio Breve 64

65 Mapas Auto-Organizáveis Modelos não supervisionados Baseado em aprendizagem competitiva Os neurônios competem entre si para serem ativados ou disparados Apenas um será ativado em dado instante de tempo Winner-Takes-All O vencedor leva tudo Somente o peso do neurônio vencedor e de seus vizinhos é atualizado Os pesos aproximam o padrão de entrada 19/04/2018 Fabricio Breve 65

66 Mapas Auto-Organizáveis Competição Para cada padrão de entrada os neurônios da rede competem entre si para determinar o vencedor Cooperação O neurônio vencedor determina sua vizinhança espacial, os neurônios vizinhos também serão estimulados Adaptação O neurônio vencedor e seus vizinhos terão seus vetores de peso atualizados Atualização dos vizinhos proporcional a distância 19/04/2018 Fabricio Breve 66

67 Mapa de Kohonen Função de Vizinhança R = 0 R = 1 R = 2 Vizinhança de grade retangular 19/04/2018 Fabricio Breve 67

68 Mapa de Kohonen Função de Vizinhança R = 0 R = 1 R = 2 Vizinhança de grade hexagonal 19/04/2018 Fabricio Breve 68

69 Mapas Auto-Organizáveis Procedimento adaptativo. O vencedor e seus vizinhos são movidos em direção ao padrão de entrada. A unidade vencedora realiza a maior atualização em direção ao padrão de entrada, seguida de suas vizinhas imediatas. (a) Vizinhança uni-direcional. (b) Vizinhança bi-direcional. 19/04/2018 Fabricio Breve 69

70 Mapas Auto-Organizáveis 19/04/2018 Fabricio Breve 70

71 Pombo Galinha Pato Ganso Coruja Falcão Águia Raposa Cão Lobo Gato Tigre Leão Cavalo Zebra Vaca Mapas Auto-Organizáveis Nomes de Animais e seus Atributos Animal pequeno é tem gosta de médio grande patas patas pelos cascos crina/juba penas caçar correr voar nadar /04/2018 Fabricio Breve 71

72 Mapas Auto-Organizáveis cão.. raposa.. gato.. águia coruja tigre... lobo falcão... leão pombo cavalo galinha vaca.... ganso zebra pato.. Mapa de características contendo neurônios rotulados com respostas mais fortes e suas respectivas entradas 19/04/2018 Fabricio Breve 72

73 Mapas Auto-Organizáveis cão cão raposa raposa raposa gato gato gato águia águia cão cão raposa raposa raposa gato gato gato águia águia lobo lobo lobo raposa gato tigre tigre tigre coruja coruja lobo lobo leão leão leão tigre tigre tigre falcão falcão lobo lobo leão leão leão tigre tigre tigre falcão falcão lobo lobo leão leão leão coruja pombo falcão pombo pombo cavalo cavalo leão leão leão pombo galinha galinha pombo pombo cavalo cavalo zebra vaca vaca vaca galinha galinha pombo pombo zebra zebra zebra vaca vaca vaca galinha galinha pato ganso zebra zebra zebra vaca vaca vaca pato pato pato ganso Mapa semântico obtido através do uso de mapeamento simulado de penetração de eletrodo. O mapa é dividido em três regiões apresentando: pássaros, espécies pacíficas e caçadores 19/04/2018 Fabricio Breve 73

74 Redes Neurais Artificiais OUTRAS REDES NEURAIS 19/04/2018 Fabricio Breve 74

75 Outras Redes Neurais Máquinas de Comitê Redes ART (Adaptive Resonance Theory) Redes de Hopfield Máquina de Boltzmann Redes de Crença Sigmóide Máquina de Helmholtz Echo States Networks 19/04/2018 Fabricio Breve 75

76 Redes Neurais Artificiais APLICAÇÕES DE REDES NEURAIS ARTIFICIAIS 19/04/2018 Fabricio Breve 76

77 Aplicações de Redes Neurais Artificiais Reconhecimento de voz e imagem Diagnóstico médico Controle de robôs Controle de processos químicos Otimização Finanças Fusão de sensores Bioinformática 19/04/2018 Fabricio Breve 77

78 RNAs na indústria RNAs são muito utilizadas em indústrias no exterior Especialmente quando instalação rápida ou grande velocidade de operação é requerida Ex.: Caixas de peixes congelados da Birds Eye são inspecionados visualmente por uma RNA Caixas imperfeitas são rejeitadas para exportação 19/04/2018 Fabricio Breve 78

79 RNAs no setor de serviços Tem havido um grande número de pesquisas sobre a utilização de RNAs para previsão financeira Tendências sugerem expansão destas aplicações Ex.: Cartão de crédito VISA utiliza RNAs para liberação de cartões e detecção de fraudes 19/04/2018 Fabricio Breve 79

80 RNAs na medicina RNAs têm sido utilizadas para Diagnóstico de doenças Rede treinada para, dado um conjunto de sintomas, diagnosticar a doença e sugerir melhor tratamento Câncer Diabetes Reconhecimento de imagens médicas Reconhecimento de fraturas Reconhecimento de anomalias no coração 19/04/2018 Fabricio Breve 80

81 RNAs na bioinformática Existem trabalhos que utilizam RNAs para: Reconhecimento de genes em seqüências de DNA Análise de expressão gênica Previsão da estrutura de proteínas 19/04/2018 Fabricio Breve 81

82 Empresas que utilizam RNAs General Motors Mercedes Benz Nasa AT&T British Telecom Lucent technology Citibank Glaxo British Aerospace Post office Rhodia 19/04/2018 Fabricio Breve 82

83 Empresas que utilizam RNAs no Brasil Usiminas Marinha do Brasil Petrobrás CEPEL Rhodia Belgo-Mineira Itaipu Embraer Furnas CHESF Banco Itaú Banco do Brasil 19/04/2018 Fabricio Breve 83

84 Conclusão Redes Neurais têm sido bem sucedidas em problemas como Reconhecimento de Padrões, dentre outros. Alguns problemas: Como definir valores de seus parâmetros? Algoritmos Genéticos Como explicar as decisões tomadas pela rede? Extração de conhecimento 19/04/2018 Fabricio Breve 84

85 Referências Bibliográficas CASTRO, Leandro Nunes. Fundamentals of Natural Computing: Basic Concepts, Algorithms, And Applications. CRC Press, CARVALHO, André Ponce de Leon F. de. Notas de Aula, BROWNLEE, Jason. Clever Algorithms: Nature-Inspired Programming Recipes. Jason Brownlee, HAYKIN, Simon. Neural Networks and Learning Machines, 3rd Edition. Prentice Hall, KOVACS, Zsolt L. Redes Neutrais Artificiais: Fundamentos e Aplicações. Livraria da Física, BISHOP, Christopher M. Pattern Recognition and Machine Learning. Springer, /04/