Introdução às Redes Neurais Artificiais

Transcrição

1 Introdução às Redes Neurais Artificiais Perceptrons de Múltiplas Camadas II Prof. João Marcos Meirelles da Silva Departamento de Engenharia de Telecomunicações Escola de Engenharia Universidade Federal Fluminense Prof. João Marcos Meirelles da Silva p. 1/60

2 Créditos autorais Este curso e estes slides são parcialmente adaptados da bibliografia citada e das aulas do professor Luiz Pereira Calôba - COPPE/UFRJ Prof. João Marcos Meirelles da Silva p. 2/60

3 Sumário Taxa de Aprendizado Momento Backpropagation Modos de Treinamento Critérios de Parada Resumo do Algoritmo BP Exemplo: O problema da porta lógica XOR Problemas no Treinamento Prof. João Marcos Meirelles da Silva p. 3/60

4 Sumário Regularização Melhorias de Desempenho Exemplo: Classificação Exemplo: Compressão de Imagens Prof. João Marcos Meirelles da Silva p. 4/60

5 Taxa de Aprendizado Quanto menor η, menor será a modificação nos pesos das sinapses e mais suave será a trajetória no espaço de busca do problema treinamento mais demorado e tendência a uma maior acurácia da rede; Quanto maior η, maior será a modificação nos pesos das sinapses treinamento mais rápido e tendência à instabilidade. Uma forma de aumentar a taxa de aprendizado e evitar o perigo de instabilidade é a chamada Regra Delta Generalizada. Prof. João Marcos Meirelles da Silva p. 5/60

6 Momento w ji (n) = α w ji (n 1) + ηδ j (n)y i (n) (1) onde α > 0 é chamada de constante de momento. Se α = 0, então a equação (1) reduz-se à Regra Delta já conhecida. Prof. João Marcos Meirelles da Silva p. 6/60

7 Back-Propagation Algorithm Vamos reescrever a equação (1) como uma série temporal de índice t. O índice t varia do instante inicial 0 até o instante corrente n. Relembrando que w ji (n) = η n α n t δ j (t)y i (t) (2) t=0 δ j (n)y i (n) = E(n) w i (n) (3) Prof. João Marcos Meirelles da Silva p. 7/60

8 Back-Propagation Algorithm podemos reescrever a equação (2) em sua forma equivalente: w ji (n) = η n t=0 n t E(n) α w ( ji t) (4) w ji (n) representa um somatório de uma série temporal ponderada exponencialmente. Para que a série seja convergente 0 α < 1; Prof. João Marcos Meirelles da Silva p. 8/60

9 Back-Propagation Algorithm Se E(n)/ w ji (n) possui o mesmo sinal algébrico em iterações consecutivas, w ji cresce em magnitude; Se E(n)/ w ji (n) possui o sinais algébricos opostos em iterações consecutivas, w ji decresce em magnitude; Prof. João Marcos Meirelles da Silva p. 9/60

10 Modos de Treinamento Modo Sequencial Também conhecido como modo on-line ou modo estocástico; A correção das sinapses w ji (n) é aplicada a cada padrão apresentado em cada época; Lida bem com padrões redundantes na base de dados; Padrões devem ser apresentados à rede de forma aleatória melhor forma de explorar o espaço de busca de w ji ; Requer uma quantidade menor de memória quando comparado ao processo em lote (batelada); Prof. João Marcos Meirelles da Silva p. 10/60

11 Modos de Treinamento Modo Batelada (Batch Mode) A correção das sinapses w ji (n) é aplicada ao final de uma época: w ji = η N N n=1 e j (n) e j(n) w ji (5) Permite uma estimativa mais acurada do vetor gradiente local; Permite uma paralelização mais fácil da rede; Prof. João Marcos Meirelles da Silva p. 11/60

12 Critérios de Parada Norma Euclidiana do vetor gradiente menor que um valor específico; Taxa de alteração em E avg menor que um valor específico (tipicamente 0,1% a 1%); Teste de generalização da rede. Prof. João Marcos Meirelles da Silva p. 12/60

13 Resumo do Algoritmo Inicialização Pesos das sinapses e thresholds a partir de uma distribuição uniforme de média zero e variância de forma que o desvio padrão de v j (t) esteja na região linear de φ j (v j (t)); Padrões de treinamento Apresentar todos os padrões x i à rede de forma aleatória, formando uma época; Prof. João Marcos Meirelles da Silva p. 13/60

14 Resumo do Algoritmo Propagação da Entrada Calcular o campo de indução local (v (l) j (n)) para todos os neurônios, camada a camada. O campo de indução local (v (l) j (n)) para o neurônio j da camada l é dado por: m0 v (l) j (n) = i=0 w (l) ji (n)y(l 1) i (n) (6) onde y (l 1) i é o sinal de saída do neurônio i da camada anterior (l 1) na iteração n, e w (l) ji (n) é o peso da sinapse do neurônio j da camada l oriunda da saída do neurônio i. Prof. João Marcos Meirelles da Silva p. 14/60

15 Resumo do Algoritmo Para i = 0, temos y (l 1) 0 (n) = +1 e w (l) j0 (n) = b(l) j (n) é o bias aplicado ao neurônio j na camada l. Calculando o erro e j (n) = d j (n) y j (n) (7) onde d j (n) é o j-ésimo elemento da vetor de saídas desejadas d(n). Prof. João Marcos Meirelles da Silva p. 15/60

16 Resumo do Algoritmo Retropropagação Calcule os gradientes locais δs: Para o neurônio j da camada de saída L δ (l) j (n) = e(l) j (n)φ j(v (L) j (n)) (8) Para o neurônio j da camada escondida l δ (l) j (n) = φ j(v (l) j (n)) k δ (l+1) k (n)w (l+1) kj (n) (9) e modifique as sinapses de acordo com: w (l) ji (n + 1) = w(l) ji (n) + ηδ(l) j (n)y(l 1) i (n) (10) Prof. João Marcos Meirelles da Silva p. 16/60

17 Resumo do Algoritmo Iteração Apresenta à rede tantas épocas de treinamento quanto forem necessárias até que o critério de parada seja atingido, como por exemplo: E avg = 1 N N E(n) 0.1 (11) n=1 ver equações (2) e (3) da aula 4! Prof. João Marcos Meirelles da Silva p. 17/60

18 Exemplo 1 Seja a rede mostrada abaixo: Figura 1: Rede Multilayer Perceptron como exemplo. Prof. João Marcos Meirelles da Silva p. 18/60

19 Exemplo 1 Para a fase feedfoward e camada escondida, temos que: v (1) 1 = w (1) 10 + w(1) 11 x 1 + w (1) 12 x 2 + w (1) 13 x 3 v (1) 2 = w (1) 20 + w(1) 21 x 1 + w (1) 22 x 2 + w (1) 23 x 3 Em notação matricial: v(1) 1 v (1) 2 = w(1) 10 w (1) 11 w (1) 12 w (1) 13 w (1) 20 w (1) 21 w (1) 22 w (1) x 1 x 2 (12) x 3 Prof. João Marcos Meirelles da Silva p. 19/60

20 Exemplo 1 Logo: v (1) = W (1) x b, (13) onde v (1) R 2 1, W (1) R 2 4 e x b = [+1 x] T R 4 1. A saída da camada intermediária é dada por: onde o R 2 1. o = tanh(v (1) ) (14) Prof. João Marcos Meirelles da Silva p. 20/60

21 Exemplo 1 Para a camada de saída,temos: v (2) 1 = w (2) 10 + w(2) 11 o 1 + w (2) 12 o 2 v (2) 2 = w (2) 20 + w(2) 21 o 1 + w (2) 22 o 2 v (2) 3 = w (2) 30 + w(2) 31 o 1 + w (2) 32 o 2 Em notação matricial: v (2) 1 v (2) 2 v (2) 3 = w (2) 10 w (2) 11 w (2) 12 w (2) 20 w (2) 21 w (2) 22 w (2) 30 w (2) 31 w (2) o 1 o 2 (15) Prof. João Marcos Meirelles da Silva p. 21/60

22 Exemplo 1 Logo: v (2) = W (2) o b, (16) onde v (2) R 3 1, W (2) R 3 3 e o b = [+1 o] T R 3 1. A saída da camada intermediária é dada por: onde y R 3 1 y = tanh(v (2) ) (17) Prof. João Marcos Meirelles da Silva p. 22/60

23 Exemplo 1 Calculando os erros, temos: e 1 = d 1 y 1 e 2 = d 2 y 2 e 3 = d 3 y 3 No caso desse exemplo (rede autoassociativa), temos que d x. Na forma matricial: e = x y, e R 3 1 (18) Prof. João Marcos Meirelles da Silva p. 23/60

24 Exemplo 1 Agora, vamos retropropagar os erros. Vamos inicialmente calcular os gradientes (camada de saída): Na forma matricial: δ (2) 1 = e 1 (1 y 1 )(1 + y 1 ) = e 1 (1 y 2 1) δ (2) 2 = e 2 (1 y 2 )(1 + y 2 ) = e 2 (1 y 2 2) δ (2) 3 = e 3 (1 y 3 )(1 + y 3 ) = e 3 (1 y 2 3) δ (2) = diag(e)[1 diag(y)y], δ (2) R 2 1 (19) No Matlab: delta2 = e. (1 y. 2); Prof. João Marcos Meirelles da Silva p. 24/60

25 Exemplo 1 Para a camada escondida, temos: onde v δ R 2 1, W (2)T R 3 3 e δ (2) R 3 1. v δ = W (2)T δ (2) (20) Calculando os gradientes da camada 1 de forma escalar: δ (1) 1 = (1 o 2 1)v δ (1) δ (1) 2 = (1 o 2 2)v δ (2) Prof. João Marcos Meirelles da Silva p. 25/60

26 Exemplo 1 Em notação matricial: δ (1) = diag[1 diag(o)o]v δ (21) Agora que temos os gradientes da camada (1) e (2), podemos proceder com a atualização dos pesos: W (1) e W (2) W (1) = W (1) + η.δ (1) x b W (2) = W (2) + η.δ (2) o b Prof. João Marcos Meirelles da Silva p. 26/60

27 Exemplo 1 De forma genérica, para uma rede MLP m-n-l, temos: m Número de neurônios da camada de entrada; N Número de neurônios da camada escondida ou intermediária; L Número de neurônios da camada de saída; x Vetor de entrada. x R m 1 ; x b Vetor de entrada com bias. x b = [+1 x] T ; o Vetor de saída da camada escondida. o R N 1. o = [tanh(v (1) 1 ), tanh(v(1) 2 ),...,tanh(v(1) N )]T ; o b Vetor de entrada da camada de saída. o b = [+1 o] T ; Prof. João Marcos Meirelles da Silva p. 27/60

28 Exemplo 1 W (1) Matriz de pesos da camada escondida W (1) = w (1) 10 w (1) w (1) 1m w (1) N0 w (1) N1... w (1) Nm W (2) Matriz de pesos da camada de saída W (2) = w (2) 10 w (2) w (2) 1N w (2) L0 w (2) L1... w (2) LN,, W(1) R N (m+1) W(2) R L (N+1) Prof. João Marcos Meirelles da Silva p. 28/60

29 Exemplo 1 Propagação v (1) = W (1) x b (22) o = tanh(v (1) ) (23) v (2) = W (2) o b (24) y = tanh(v (2) ) (25) Cálculo do Erro e = d y, e R L 1 (26) Prof. João Marcos Meirelles da Silva p. 29/60

30 Exemplo 1 Retropropagação δ (2) = diag(e)[1 diag(y)y], δ (2) R L 1 (27) v δ = W (2)T δ (2), v δ R (N+1) 1 (28) δ (1) = diag[1 diag(y)y]v δ, δ (2) R L 1 (29) Atualização dos Pesos W (1) = W (1) + η.diag(δ (1) )x b (30) W (2) = W (2) + η.diag(δ (2) )o b (31) Prof. João Marcos Meirelles da Silva p. 30/60

31 Exemplo 2 O problema da porta lógica XOR Vamos considerar o problema da função lógica XOR (Ou Exclusivo), que é um problema não linearmente separável. Cor vermelha classe C 0 Cor verde classe C 1 Prof. João Marcos Meirelles da Silva p. 31/60

32 Exemplo 2 O problema não pode ser resolvido através de uma rede neural de camada única; Mas pode ser resolvido através utilizando-se uma camada escondida com dois neurônios. Vamos assumir que: Cada neurônio é representado pelo modelo de McCulloch-Pitts, com um threshold na função de ativação; Os valores 0 e 1 serão representados de forma binária: 0 e +1, respectivamente. Prof. João Marcos Meirelles da Silva p. 32/60

33 Exemplo 2 Prof. João Marcos Meirelles da Silva p. 33/60

34 Exemplo 2 Neurônio 1 Neurônio 2 v 1 = x 1 w 11 + x 2 w 12 + b 1 = x 1 + x 2 1, 5 (32) Neurônio 3 v 2 = x 1 w 21 + x 2 w 22 + b 2 = x 1 + x 2 0, 5 (33) v 3 = y 1 w 31 + y 2 w 32 + b 3 = 2y 1 + y 2 0, 5 (34) Prof. João Marcos Meirelles da Silva p. 34/60

35 Exemplo 2 Prof. João Marcos Meirelles da Silva p. 35/60

36 Exemplo 2 % xor_backprop.m % Rede Feedfoward para o problema da função lógica XOR % treinamento back-propagation clear all close all clc disp( Criando os padrões de entrada x... ) x = [0 0; 0 1; 1 0; 1 1] pause(1); disp( Criando as saídas desejadas (targets)y... ) y = [ ] Prof. João Marcos Meirelles da Silva p. 36/60

37 Exemplo 2 pause(1); disp( Criando rede com 2 unidades na camada esco % 2 Neurônios na camada escondida. nnet = newff(x,y,2,{ tansig, tansig }); pause(1); disp( Treinando a rede... ) nnet = train(nnet, x, y); disp( Testanto os padrões ) sim(nnet,[0 0; 0 1; 1 0; 1 1] ) Prof. João Marcos Meirelles da Silva p. 37/60

38 Problemas no Treinamento Problemas usuais nas redes feedfoward multicamadas treinadas através do algoritmo back-propagation: Overtraining (ou overfitting) Prof. João Marcos Meirelles da Silva p. 38/60

39 Problemas no Treinamento Problemas usuais nas redes feedfoward multicamadas treinadas através do algoritmo back-propagation: Overtraining (ou overfitting) Convergência prematura Prof. João Marcos Meirelles da Silva p. 38/60

40 Overtraining O erro sobre o conjunto de treinamento torna-se bem pequeno, mas quando novos dados são apresentados à rede, ela não reconhece Problemas de generalização; Prof. João Marcos Meirelles da Silva p. 39/60

41 Overtraining O erro sobre o conjunto de treinamento torna-se bem pequeno, mas quando novos dados são apresentados à rede, ela não reconhece Problemas de generalização; A rede memorizou os dados do conjunto de treinamento, mas não consegue generalizar em novas situações; Prof. João Marcos Meirelles da Silva p. 39/60

42 Overtraining O erro sobre o conjunto de treinamento torna-se bem pequeno, mas quando novos dados são apresentados à rede, ela não reconhece Problemas de generalização; A rede memorizou os dados do conjunto de treinamento, mas não consegue generalizar em novas situações; Ocorre devido à capacidade da rede ajustar uma função sobre dados contaminados com ruído (o que é natural em aplicações reais); Prof. João Marcos Meirelles da Silva p. 39/60

43 Overtraining Prof. João Marcos Meirelles da Silva p. 40/60

44 Overtraining Como evitar o overtraining e melhorar a generalização? Utilizar redes suficientemente pequenas Demonstração: nnd11gn.m a a Nove neurônios na camada escondida e difficult index = 1. Prof. João Marcos Meirelles da Silva p. 41/60

45 Overtraining Como evitar o overtraining e melhorar a generalização? Utilizar redes suficientemente pequenas Demonstração: nnd11gn.m a Parada Prematura a Nove neurônios na camada escondida e difficult index = 1. Prof. João Marcos Meirelles da Silva p. 41/60

46 Overtraining Como evitar o overtraining e melhorar a generalização? Utilizar redes suficientemente pequenas Demonstração: nnd11gn.m a Parada Prematura Regularização a Nove neurônios na camada escondida e difficult index = 1. Prof. João Marcos Meirelles da Silva p. 41/60

47 Tamanho da Rede Em geral, uma única camada escondida é suficiente para aproximar qualquer função. No entanto, em algumas situações, uma segunda camada escondida pode facilitar o treinamento; Prof. João Marcos Meirelles da Silva p. 42/60

48 Tamanho da Rede Em geral, uma única camada escondida é suficiente para aproximar qualquer função. No entanto, em algumas situações, uma segunda camada escondida pode facilitar o treinamento; Mas quantos neurônios devemos dispor na camada escondida? Prof. João Marcos Meirelles da Silva p. 42/60

49 Tamanho da Rede Em geral, uma única camada escondida é suficiente para aproximar qualquer função. No entanto, em algumas situações, uma segunda camada escondida pode facilitar o treinamento; Mas quantos neurônios devemos dispor na camada escondida? Tentativa e Erro! Prof. João Marcos Meirelles da Silva p. 42/60

50 Tamanho da Rede Em geral, uma única camada escondida é suficiente para aproximar qualquer função. No entanto, em algumas situações, uma segunda camada escondida pode facilitar o treinamento; Mas quantos neurônios devemos dispor na camada escondida? Tentativa e Erro! Network Growing Network Pruning Prof. João Marcos Meirelles da Silva p. 42/60

51 Parada Prematura Validação Cruzada: Nesta técnica, o conjunto de dados é didivido em 3 sub-conjuntos: Treinamento Validação Teste Prof. João Marcos Meirelles da Silva p. 43/60

52 Parada Prematura Validação Cruzada: Nesta técnica, o conjunto de dados é didivido em 3 sub-conjuntos: Treinamento Validação Teste Treinamento (60%): Cálculo dos gradientes, pesos e bias. Prof. João Marcos Meirelles da Silva p. 43/60

53 Parada Prematura Validação Cruzada: Nesta técnica, o conjunto de dados é didivido em 3 sub-conjuntos: Treinamento Validação Teste Treinamento (60%): Cálculo dos gradientes, pesos e bias. Validação (20%): O erro sobre este conjunto é monitorado. Prof. João Marcos Meirelles da Silva p. 43/60

54 Parada Prematura Validação Cruzada: Nesta técnica, o conjunto de dados é didivido em 3 sub-conjuntos: Treinamento Validação Teste Treinamento (60%): Cálculo dos gradientes, pesos e bias. Validação (20%): O erro sobre este conjunto é monitorado. Teste (20%): Usado para comparar diferentes modelos de redes (conjunto de controle). Prof. João Marcos Meirelles da Silva p. 43/60

55 Parada Prematura Prof. João Marcos Meirelles da Silva p. 44/60

56 Regularização Outra forma de evitar o overtraining e melhorar a generalização Prof. João Marcos Meirelles da Silva p. 45/60

57 Regularização Outra forma de evitar o overtraining e melhorar a generalização Envolve a modificação da função custo, a qual geralmente é a soma dos quadrados do erro da rede sobre o conjunto de treinamento Prof. João Marcos Meirelles da Silva p. 45/60

58 Regularização Outra forma de evitar o overtraining e melhorar a generalização Envolve a modificação da função custo, a qual geralmente é a soma dos quadrados do erro da rede sobre o conjunto de treinamento A função custo utilizada para o aprendizado no algoritmo back-propagation normalmente é dada por: E avg = mse = 1 N N e 2 j (37) j=1 Prof. João Marcos Meirelles da Silva p. 45/60

59 Regularização É possível melhorar a capacidade de generalização da rede modificando a função de custo utilizada, adicionando-se um termo que consiste na média da soma dos quadrados dos pesos e dos bias. msereg = (γ)mse + (1 γ)msw (38) onde msw = 1 n n wj 2 (39) j=1 n é o número de pesos da rede (incluindo os bias). Prof. João Marcos Meirelles da Silva p. 46/60

60 Regularização Utilizando esta nova função custo, a rede passa a treinar com valores de pesos e bias menores respostas mais suáveis e menos propensas a cyanovertraining Prof. João Marcos Meirelles da Silva p. 47/60

61 Regularização Utilizando esta nova função custo, a rede passa a treinar com valores de pesos e bias menores respostas mais suáveis e menos propensas a cyanovertraining Dificuldade em determinar um valor ótimo para γ: Se γ 0 a rede não aprende Se γ 1 overtraining Prof. João Marcos Meirelles da Silva p. 47/60

62 Regularização Utilizando esta nova função custo, a rede passa a treinar com valores de pesos e bias menores respostas mais suáveis e menos propensas a cyanovertraining Dificuldade em determinar um valor ótimo para γ: Se γ 0 a rede não aprende Se γ 1 overtraining Demonstração: Exemplo_Reg.m Prof. João Marcos Meirelles da Silva p. 47/60

63 Convergência Prematura Problema de Mínimos Locais; Prof. João Marcos Meirelles da Silva p. 48/60

64 Convergência Prematura Problema de Mínimos Locais; A rede opera com um desempenho, muitas vezes, inadequado; Prof. João Marcos Meirelles da Silva p. 48/60

65 Convergência Prematura Problema de Mínimos Locais; A rede opera com um desempenho, muitas vezes, inadequado; Como comparar as diversas soluções possíveis somente via observação do erro; Prof. João Marcos Meirelles da Silva p. 48/60

66 Como Evitar a Paralisia? Utilizar uma grande quantidade de dados para treinamento; Prof. João Marcos Meirelles da Silva p. 49/60

67 Como Evitar a Paralisia? Utilizar uma grande quantidade de dados para treinamento; Acompanhar a evolução do erro durante o treinamento (método da validação cruzada); Prof. João Marcos Meirelles da Silva p. 49/60

68 Como Evitar a Paralisia? Utilizar uma grande quantidade de dados para treinamento; Acompanhar a evolução do erro durante o treinamento (método da validação cruzada); Executar o treinamento diversas vezes e optar pelos pesos que resultaram no menor erro encontrado. Prof. João Marcos Meirelles da Silva p. 49/60

69 Melhorias de Desempenho Prof. João Marcos Meirelles da Silva p. 50/60

70 Melhorias de Desempenho Atualização sequencial versus batelada; Prof. João Marcos Meirelles da Silva p. 50/60

71 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Prof. João Marcos Meirelles da Silva p. 50/60

72 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Função de ativação; Prof. João Marcos Meirelles da Silva p. 50/60

73 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Função de ativação; Valores de saída desejada; Prof. João Marcos Meirelles da Silva p. 50/60

74 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Função de ativação; Valores de saída desejada; Normalização das entradas; Prof. João Marcos Meirelles da Silva p. 50/60

75 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Função de ativação; Valores de saída desejada; Normalização das entradas; Inicialização; Prof. João Marcos Meirelles da Silva p. 50/60

76 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Função de ativação; Valores de saída desejada; Normalização das entradas; Inicialização; Aprendizado a partir de dicas ; Prof. João Marcos Meirelles da Silva p. 50/60

77 Melhorias de Desempenho Atualização sequencial versus batelada; Maximizando o conteúdo de informação; Função de ativação; Valores de saída desejada; Normalização das entradas; Inicialização; Aprendizado a partir de dicas ; Taxas de aprendizado; Prof. João Marcos Meirelles da Silva p. 50/60

78 Exemplo 3 O objetivo deste exemplo é o distinguir entre duas classes C 1 e C 2, bidimensionais, Gaussianas e parcialmente sobrepostas. Podemos expressar as PDFs condicionais para as duas classes como: Classe C 1 : f x (x C 1 ) = Classe C 2 : f x (x C 2 ) = 1 2πσ πσ2 2 exp exp ( 1 2σ 2 1 x µ 1 2 ) ( 1 ) 2σ2 2 x µ 2 2 onde µ 1 = [0, 0] T e µ 2 = [2, 0] T são os vetores média, e σ 2 1 = 1 e σ 2 2 = 4 são as variâncias. As duas classes são assumidas como sendo equiprováveis, logo, p 1 = p 2 = 0.5. Prof. João Marcos Meirelles da Silva p. 51/60

79 Exemplo 3 Função densidade de Probabilidade para as classes C 1 e C 2 PDF da Classe C1 PDF da Classe C x x1 x x1 Prof. João Marcos Meirelles da Silva p. 52/60

80 Exemplo 3 Base de Dados Rotulada (ClassesC1eC2.m) 8 6 Base de Dados Rotulada C1 C2 4 2 x x1 No Matlab, digite: load ClassesC1eC2.mat. Prof. João Marcos Meirelles da Silva p. 53/60

81 Exemplo 4 Compressão de Imagens Prof. João Marcos Meirelles da Silva p. 54/60

82 Exemplo 4 Entrada: Padrões de A até J formados por 63 pixeis (7x9) Sabe-se que um conjunto de N padrões ortogonais podem ser mapeados em log 2 N neurônios na camada escondida Como os padrões neste exemplo não são ortogonais, esta relação pode ser tomada como um valor mínimo: log 2 63 = 5, A rede deverá ser, no mínimo, do tipo Prof. João Marcos Meirelles da Silva p. 55/60

83 Exemplo 4 A camada de saída só é útil para a fase de treinamento; A nova saída da rede, durante a fase de operação, é a saída da camada escondida (padrão comprimido). É este novo padrão (retirado da camada escondida) que será transmitido; O receptor deverá possuir um rede neural de uma única camada com 63 neurônios e cujos pesos de entrada deverão ser iguais aos pesos da camada de saída da rede onde os padrões forem aprendidos. Prof. João Marcos Meirelles da Silva p. 56/60

84 Exemplo 4 Prof. João Marcos Meirelles da Silva p. 57/60

85 Referências 1. Haykin, S., Neural Networks - A Comprehensive Foundation, 2 nd edition - Prentice Hall, Fausett, L., Fundamental of Neural Networks - Architectures, Algorithms and Applications, Prentice Hall, Theodoris, S., Koutroumbas, K, Pattern Recognition, 4 th edition, Academic Press. Prof. João Marcos Meirelles da Silva p. 58/60

86 FIM Prof. João Marcos Meirelles da Silva p. 59/60

87 FIM Prof. João Marcos Meirelles da Silva p. 60/60