Inteligência Computacional

Transcrição

1 Inteligência Computacional REDES NEURAIS ARTIFICIAIS ADALINE Renato Dourado Maia Faculdade de Ciência e Tecnologia de Montes Claros Fundação Educacional Montes Claros

2 Adaline Adaline = Adaptive Linear Neuron ou Adaptive Linear Element. Surgiu na literatura quase que simultaneamente com o Perceptron ao final da década de 5. Assim como o Perceptron, é um modelo baseado em elementos que executam operações sobre a soma ponderada de suas entradas. Operações não-lineares, no caso do Perceptron, e puramente lineares, no cado do Adaline. /36

3 Adaline Apesar das semelhanças, os trabalhos que descreveram o Perceptron e o Adaline surgiram em áreas diferentes e com enfoques diferentes: Frank Rosenblatt, que era psicólogo, enfocou a descrição do Perceptron em aspectos cognitivos do armazenamento da informação e da organização cerebral, enquanto Bernard Widrow e Marcian Hoff enfocaram a descrição do Adaline na construção de filtros lineares. Perceptron = Separador Linear Adaline = Aproximador Linear de Funções 3/36

4 Adaline O algoritmo de treinamento do Adaline utiliza a informação contida no gradiente do erro para obter calcular o ajuste ΔW a ser aplicado ao vetor de pesos. Esse algoritmo, conhecido como Regra Delta, deu origem, anos mais tarde, ao primeiro algoritmo de treinamento de redes Perceptron de múltiplas camadas, o Backpropagation. 4/36

5 Pesos das Conexões + f (u) w x w... wm Σ u Função de Ativação f (u) y Saída u Junção Somadora { u Saída Linear y Saída de Ativação xm Arquitetura do Adaline. ( ) m y= f (u)= f w j x j =u j= T W=[ w w w w m ] X=[ + x T x xm] } Vetores Aumentados 5/36

6 Análise Matemática do Adaline ( ) m y= f (u)= f w j x j = f ( W X )=u=w + w x +w x + +w m x m j= Combinação Linear das Entradas Adaline com Uma Entrada y=w+ w x Reta! 6/36

7 Função Quadrática de Erro N N N N T J (W )= ( d i y i ) = ( d i ( W X i ) ) = d i ( W X i ) = ( e i ) i = i= i= i= ( ) O objetivo do treinamento será minimizar a função de custo J(W): Para uma condição inicial qualquer W(), deseja-se obter a direção do ajuste a ser aplicado ao vetor de pesos, de forma que o valor de custo a ele associado se aproxime do mínimo da função de custo J (W). Como? 7/36

8 A Regra Delta Qual é o significado do vetor gradiente de uma função? 8/36

9 F u nç ão f(x ) = x + 3 f ( x )=x + 3 f ( x)= x 8 { x = 3 x = x = x= x= x= x= f(x ) 8 6 f ( x) x= η f (x ) x= x 3 4 f ( x)= 6 f ( x)= 4 f ( x )= f ( x)= f ( x)= f ( x)= 4 f ( x)= 6 f ( x )= x =(,) Partindo do ponto x =, qual deve ser o ajuste a ser feito no valor de x para que se obtenha um menor valor de f(x)? x ( k + )= x (k ) η f ( x ( k ) ) f ( x (k + ) )< f ( x ( k ) ) 9/36

10 F unç ão f(x ) = x f(x ) x 3 4 Script em Matlab/Octave: Gradiente.m /36

11 A Regra Delta O vetor gradiente aponta para a direção e o sentido de maior crescimento da função de custo. Portanto, o ajuste dos pesos deve considerar a mesma direção e o sentido contrário ao do vetor gradiente (método da descida mais íngreme) da função de custo J(W). Assim: Δ W J ( W ( k ))= η J ( W (k )) E agora? Contas! :-) /36

12 Δ W J (W ) Δ W= η J ( W) N N J (W ) T J (W )= d i ( W Xi ) J (W)= = d i ( W T Xi ) ( X i ) i = W i = ( ) N N ( ) N J (W ) J (W )= = d i ( W T X i ) ( Xi ) = e i ( Xi )= ( e i X i ) W i= i= i= ( ) N J (W )= ( e i X i ) i= N Δ W= η J (W)=η ( e i X i ) i= /36

13 A Regra Delta O Algoritmo do Mínimo Quadrado Médio LMS considera valores instantâneos para a função de custo: Utiliza-se uma estimativa para o vetor gradiente. A atualização dos pesos é realizada após a apresentação de cada padrão de treinamento. W( k +)=W (k )+ Δ W Δ W=η e (k ) X (k ) { Taxa de Aprendizado (Constante Positiva) Erro =Saída Desejada (d ) Saída Obtida ( y ) Padrão de Entrada 3/36

14 Δ W J (W ) Δ W = η J ( W) J ( W) e( k ) J (W )= e(k ) J ( W)= =e (k ) W W e(k )=d (k ) W (k )T X (k ) e (k ) = X(k ) W J (W) e( k ) J (W)= =e(k ) = e (k ) X(k ) W W Δ W = η J (W)=η e (k ) X(k ) W ( k +)=W (k )+ Δ W=W (k )+η e (k )X( k ) { Taxa de Aprendizado (Constante Positiva) Erro =Saída Desejada (d ) Saída Obtida ( y ) Padrão de Entrada 4/36

15 Superfícies de Erro O conjunto dos (m+) pesos a serem ajustados em uma rede neural pode ser visto como um ponto em um espaço (m+)-dimensional o espaço de pesos. Cada conjunto de pesos possui um valor associado de erro para cada padrão de entrada e também para o conjunto completo de padrões de treinamento. Os valores de erro para todos os conjuntos possíveis de pesos definem uma superfície no espaço de pesos a superfície de erro. 5/36

16 Superfícies de Erro A questão que resulta então é: Qual é o papel do algoritmo de treinamento? A forma como como normalmente os algoritmos supervisionados operam é pela minimização de uma função de custo baseada no erro entre as saídas da rede e as saídas desejadas. Problema de otimização, em geral não linear e irrestrito. A superfície de erro possui, potencialmente, uma grande quantidade de mínimos locais. Diversos métodos de busca podem ser utilizados. 6/36

17 S uperfíc ie H ipotétic a de E rro E rro w w C urvas de N ível da S uperfíc ie H ipotétic a de E rro w w Script em Matlab/Octave: GradienteParaboloide.m 7/36

18 F unç ão f(x ) = P ()*x 5 + P ()*x 4 + P (3)*x 3 + P (4)*x + P (5)*x + P (6) 4 3 f(x ) x Método da Descida mais Íngreme Problemas? 8/36

19 F unç ão f(x ) = P ()*x 5 + P ()*x 4 + P (3)*x 3 + P (4)*x + P (5)*x + P (6) 4 Perigos? Variação de η? f(x ) x Script em Matlab/Octave: GradienteMomentum.m 9/36

20 "Convergence of Minimization Methods" from the Wolfram Demonstrations Project ConvergenceOfMinimizationMethods /36

21 Algoritmo [W ] = Adaline( MaxEpocas, η, X, D, E) {X ℝ m N ; D ℝ N ; E ; η > ; MaxEpocas > } W InicializaPesos(w Limite, m) X InserePolarizacao(X) Epoca ErroEpoca repita ErroEpocaAnterior ErroEpoca ErroEpoca para i de até N faça yi YAdaline (W, Xi ) ei d i y i W W+ η ei Xi ErroEpoca ErroEpoca+e i fim para ErroEpoca ( ErroEpoca / N ) Epoca Epoca + até ( ErroEpoca ErroEpocaAnterior E ) ou ( Epoca= MaxEpocas) fim algoritmo /36

22 Algoritmo [W ] = InicializaPesos (w Limite, m) {w limite > ; m } para i de até (m+) faça wi U [ w Limite, w Limite ] fim para fim algoritmo Algoritmo [ y ] = YAdaline ( X, W) {X ℝ(m+ ) ; W ℝ(m+) } y =W X fim algoritmo /36

23 No Laboratório de Circuitos... Suponha que você queira saber o valor de um resistor e que, para tanto, montou o circuito apresentado a seguir e tabulou os valores de tensão no resistor para diferentes valores da corrente de entrada. i (t) R VR 3/36

24 M ediç ões - Tens ão x C orrente V R (k ) i(k ) Qual é o valor do resistor? 4/36

25 E voluç ão da A prox im aç ão O btida A m os tras R eta O btida f(x ) x.5.5 Script em Matlab/Octave: AdalineReta.m 5/36

26 E rro Q uadrátic o A c um ulado por É poc a de Treinam ento 5 4 E rro Q uadrátic o É poc a Script em Matlab/Octave: AdalineReta.m 6/36

27 Combinação Linear de Sinais { f ( t)=sen (t) f (t)=cos(t ) f 3 (t)=t F (t)=a + a f (t )+ a f (t)+ a 3 f 3( t) ( a = π ; a =,565 ; a =,657 ; a 3=,674 ) 7/36

28 S inal : f (t) S inal : f (t).5.5 f (t) f (t) t S inal 3: f3 (t) 4 6 t C írc ulos = D es ejado / C ontínuo = O btido 4 6 F (t) f (t) 4-4 t t 6 8 ^ F (t )=w +w f (t )+ w f (t )+ w 3 f 3 (t ) ^ F (t )= 3,3389+,55874 f (t )+, f ( t )+,678 f 3 (t ) 8/36

29 E rro Q uadrátic o A c um ulado por É poc a 35 3 E rro Q uadrátic o É poc a 9/36

30 C írc ulos = D es ejado / C ontínuo = O btido 4 3 F (t)=a + a f (t )+ a f (t)+ a 3 f 3( t) F (t) - ( a = π ; a =,565 ; a =,657 ; a 3=,674 ) t A função F(t) apresenta uma relação não linear com t. Entretanto, utilizando-se um modelo linear nos parâmetros, foi possível aproximá-la. Identificação de Sistemas Dinâmicos! 3/36

31 Adaline e Classificação Pode-se utilizar o Adaline para resolver problemas de classificação? 3/36

32 Pesos das Conexões + f (u) w x w... wm Σ Função de Ativação u f (u) y u Saída Junção Somadora { u Saída Linear y Saída de Ativação xm Arquitetura do Adaline para Classificação. y= f (u)= f ( m wjxj j= ){, u, u< = T W=[ w w w w m ] X=[ + x T x xm] } Vetores Aumentados 3/36

33 "Delta and Perceptron Training Rules for Neuron Training" from the Wolfram Demonstrations Project DeltaAndPerceptronTrainingRulesForNeuronTraining/ 33/36

34 Adaline para Classificação x Perceptron 34/36

35 Adaline para Classificação x Perceptron 35/36

36 Por enquanto, isso é tudo, pessoal! 36/36