Redes Neurais Artificiais (RNA)

Transcrição

1 Redes Neurais Artificiais (RNA) Definições: 1. Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, conectados em rede, são capazes de aprender e de generalizar. 2. Técnica de aproximação de funções por regressão não linear.

2 Capacidade de Generalização Isso significa que se a rede aprende a lidar com um certo problema, e lhe é apresentado um similar, mas não exatamente o mesmo, ela tende a reconhecer esse novo problema, oferecendo a mesma solução.

3 Redes Neurais Artificiais (RNA) Devido à sua estrutura, as Redes Neurais Artificiais são bastante efetivas no aprendizado de padrões a partir de dados: não-lineares, incompletos, com ruído e até compostos de exemplos contraditórios.

4 Inspiração biológica

5

6 O neurônio biológico

7 O neurônio biológico Os dendritos tem por função, receber os estímulos transmitidos pelos outros neurônios; O corpo de neurônio, também chamado de soma, é responsável por coletar e combinar informações vindas de outros neurônios; E finalmente o axônio, protegido por uma bainha de mielina, o canal de saída do neurônio, é responsável por transmitir os estímulos para outros neurônios ou músculos.

8 O neurônio biológico O fluxo da informação ocorre sempre no sentido: Dendritos - Corpo celular - Axônio

9 Cérebro humano

10 O neurônio biológico A chegada de um trem de pulso no botão sináptico localizado na região terminal do axônio provoca a liberação de transmissores na fenda sináptica. Sinapses podem ser excitatórias (facilitam a passagem do potencial de ação) ou inibitórias (inibem a passagem do potencial de ação).

11 O neurônio biológico Neurônios podem se conectar com outros neurônios...

12 O neurônio biológico Neurônios podem se conectar com os músculos...

13 O neurônio biológico Neurônios podem se conectar com os órgãos sensoriais...

14 O neurônio biológico Há cerca de 100 bilhões deles no cérebro e na coluna vertebral. A maioria deles está localizado no córtex cerebral, o córtex é identificado popularmente como massa cinzenta. O córtex existe apenas nos cérebros de mamíferos. O córtex é a estrutura responsável pelas habilidades cognitivas superiores, tais como memória, raciocínio lógico, linguagem, consciência, dentre outras..

15 O neurônio biológico Em média, cada neurônio forma entre mil e dez mil sinapses. O cérebro humano possui cerca de neurônios, e o número de sinapses é de mais de 10 14, possibilitando a formação de redes muito complexas.

16 Neurônio artificial

17 O neurônio McCulloch-Pitts (MP) Modelo matemático de um neurônio biológico proposto em W.S. McCulloch and W. Pitts (1943). A logical calculus of the ideas immanent nervous activity, Bulletin of Mathematical Biophysics, vol.5, p É bom lembrar que todo modelo é apenas uma aproximação do fenômeno ou objeto real cujas funcionalidades se pretende estudar. All models are wrong, but some are useful. George E. P. Box Assim, o neurônio MP é uma aproximação útil do neurônio real, pois serve até hoje como bloco construtivo básico de algoritmos de redes neurais

18 O neurônio McCulloch-Pitts (MP) Na construção do neurônio MP se está interessado em modelar aspectos ligados ao Processamento da Informação em um neurônio biológico. Entende-se por processamento da informação os caminhos e etapas pelas quais passam os potenciais de ação que trafegam de: um neurônio a outro neurônio, receptores sensoriais a um neurônio, ou de um neurônio a um atuador (e.g. músculo). Assim, devemos desenvolver modelos matemáticos que representem os dendritos, as sinapses, o corpo celular e o axônio.

19 O neurônio McCulloch-Pitts (MP)

20 O neurônio McCulloch-Pitts (MP) Passo 2: A força (ou eficiência) das conexões sinápticas de uma certa árvore dendrítica é modelada como um fator (peso sináptico), cujo papel é modular o fluxo de sinais passando por uma certa árvore dendrítica.

21 O neurônio McCulloch-Pitts (MP) Passo 3: A função do corpo celular de realizar o balanço ou acúmulo energético é modelada por uma operação de somatório sobre as entradas moduladas pelos pesos sinápticos. u(t): somatório ou ativação u(t) = w 1 x w p x p θ Onde: x 1, x 2, x p : entradas w 0, w 1, w p : pesos sinápticos w 0 = θ x 0 : Limiar (bias)

22 O neurônio McCulloch-Pitts (MP) Passo 4: O axônio é modelado como uma chave ON-OFF, que indica se o neurônio respondeu ao estímulo atual. Em outras palavras, se houve ou não o envio de um potencial de ação. Modelo completo do neurônio de McCulloch-Pitts Bias: entrada fixa x 0 =-1 sinais de entrada x 1 x 2 x p w 0 w 1 w 2 w p pesos sinápticos w 0 = theta junção aditiva u(t) função de ativação f(u) y(t) saída x 1, x 2, x p : entradas w 0, w 1, w p : pesos sinápticos u(t) = w 1 x w p x p θ f = função degrau y(t) = f u = 1, se u > 0 y t = f u = 0, caso contrário

23 Matematicamente a saída pode ser expressa por: ou considerando o bias como entrada de valor x 0 = -1 e peso w 0 =, Expressão matemática do neurônio artificial p j w j x j f u f y 0 ) ( p j j j bias x w f u f y 1 ) (

24 Componentes do neurônio artificial Neurônio Biológico possui de forma resumida: Dendritos, Sinapses, Corpo celular Axônio Neurônio Artificial possui: As conexões (arestas ponderadas), As sinapses (entradas), A junção somadora, e A função de ativação.

25 Princípio de funcionamento A operação de um neurônio artificial se resume em: Sinais são apresentados à entrada (x j à x p ); Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade (w); É feita a soma ponderada dos sinais que produz um nível de atividade (u); A função de ativação f(u) tem a função de limitar a saída e introduzir nãolinearidade ao modelo. O bias tem o papel de aumentar ou diminuir a influência do valor das entradas. É possível considerar o bias como uma entrada de valor constante 1 ( excitatória) ou -1 (inibitória), multiplicado por um peso igual a.

26 Princípio de funcionamento Seja o neurônio artificial mostrado na figura a seguir. x 1, x 2 : entradas w 1, w 2 : pesos sinápticos θ : Limiar (bias) u: ativação A ativação (u) do neurônio é dada por: u = w 1 x 1 + w 2 x 2 θ (1)

27 Princípio de funcionamento A equação (1) define um plano em (x 1, x 2, u) O tracejado indica onde o plano está abaixo do plano (x 1, x 2 ).

28 Princípio de funcionamento Para fins de classificação basta trabalhar no plano (x 1, x 2 ). Isto equivale a fazer u = 0 na equação do plano, ou seja: u = w 1 x 1 + w 2 x 2 θ = 0 Assim, a equação da reta no plano (x 1, x 2 ) é dada por: x 2 = (w 1 /w 2 )x 1 + θ/w 2 (2)

29 Princípio de funcionamento A equação (2) define a reta em (x 1, x 2 ) apresentada a seguir:

30 Princípio de funcionamento Assim, um neurônio pode ser usado para separar com eficiência duas classes que estejam bem isoladas uma da outra. O perceptron de limiar é chamado separador linear

31 Exemplos de Funções Lógicas Exemplo 1(1): Implementando funções lógicas (AND, OR, NOT). Representação do Problema (Função OR)

32 Exemplos de Funções Lógicas Exemplo 1(2): É possível encontrar uma reta que separe os pontos da Classe 1 (y=1) dos da Classe 2 (y=0)? SIM. Observação: Na verdade, é possível encontrar infinitas retas que separam as duas classes.

33 Exemplos de Funções Lógicas Exemplo 2: O seguinte neurônio implementa a porta OR. w 1 = w 2 = 1 e θ = 0,5 y = 1 se u > 0 y = 0 se u 0

34 Exemplos de Funções Lógicas Exemplo 3: O seguinte neurônio implementa a porta AND. w 1 = w 2 = 1 e θ = 1,5 y = 1 se u > 0 y = 0 se u 0

35 Exemplos de Funções Lógicas Exemplo 4: O seguinte neurônio implementa a porta NOT. w 1 = 1 e θ = 0,5 y = 1 se u > 0 y = 0 se u 0

36 Resumo O neurônio MP pode ser usado para implementar as portas lógicas AND, OR e NOT porque estas, do ponto de vista geométrico, podem ser interpretadas como um problema de classificação binária (duas categorias). O neurônio MP, do ponto de vista geométrico, pode ser interpretado como uma reta (2D), ou um plano (3D) ou ainda um hiperplano (> 3D), que é usado para separar duas categorias de dados distintas. Na implementação das portas lógicas AND, OR e NOT, os valores dos pesos e do limiar foram determinados pelo projetista com base na análise geométrica do problema.

37 Resumo Como fazer com que o neurônio MP determine de forma automática os valores dos pesos e do limiar para um problema específico? Para que o neurônio MP seja capaz de aprender sozinho a resolver um problema de classificação é necessário dotá-lo de uma regra de aprendizagem. Uma regra de aprendizagem nada mais é do que uma equação que altera os valores dos pesos e do limiar em função dos erros cometidos durante a execução da tarefa de classificação.

38 Rede Perceptron Simples (PS) A rede PS é considerada o primeiro algoritmo de redes neurais artificiais. A rede PS foi proposta por Frank Rosenblatt em F. Rosemblat (1958). The Perceptron: A probabilistic model for iformation storage and organization in the brain, Psychological Review, v.65, p Perceptron Simples = Neurônio de MP + Regra de Aprendizagem A regra de aprendizagem é o mecanismo que torna a rede Perceptron Simples um dispositivo inteligente.

39 Rede Perceptron Simples (PS) Regra de Aprendizagem do Perceptron A atualização do peso depende do erro e da entrada: w t + 1 = w t + e t x t A fim de tornar o processo de ajuste do vetor w mais estável, é comum introduzir na equação anterior um fator η, chamado de passo de aprendizagem: Onde: 0 < η 1 w t + 1 = w t + ηe t x t

40 Rede Perceptron Simples (PS) Perceptron Simples = Neurônio MP + Regra de Aprendizagem w t + 1 = w t + ηe t x t w t + 1 = w t + ηe t x t e 0 < η 1

41 Algoritmo do Perceptron Simples 1. Início (t=0) 1.1 Definir valor de η entre 0 e Iniciar w(0) com valores nulos ou aleatórios. 2. Funcionamento 2.1 Selecionar vetor de entrada x(t). 2.2 Calcular ativação u(t). 2.3 Calcular saída y(t). 3. Treinamento 3.1 Calcular erro: e t = d t y(t) 3.2 Ajustar pesos via regra de aprendizagem. 3.3 Verificar critério de parada Se atendido, finalizar treinamento Caso contrário, fazer t=t+1 e ir para Passo 2.

42 Treinamento do neurônio

43 Treinamento

44 Treinamento

45 Treinamento

46 Treinamento

47 Treinamento

48 Treinamento

49 Treinamento

50 Treinamento

51 Classificação de múltiplas classes

58 Dicas para Projetar uma Rede PS

59 Dicas para Projetar uma Rede PS

60 Adaline Na mesma época em que Rosenblatt propôs o Perceptron, Widrow e Hoff propuseram o algoritmo dos mínimos quadrados (regra delta) para a rede Adaline (Adaptive Linear Element), similar ao Perceptron, porém com função de ativação linear ao invés de função degrau. O algoritmo backpropagation é uma generalização da regra delta. O objetivo do algoritmo de treinamento é minimizar o erro quadrático médio (MSE) entre a saída de rede e a saída desejada.

61 Adaline Rede com várias entradas/ saídas O i-ésimo neurônio da rede

62 Adaline A soma dos erros quadráticos para um determinado padrão é dada por: E n i 1 e 2 i n i 1 ( d i y i ) 2 O gradiente de E, também denominado de índice de desempenho ou função custo, fornece a direção de crescimento mais rápido de E. Portanto, a direção oposta ao gradiente de E é a direção de maior decrescimento.

63 Adaline O erro pode ser reduzido ajustando-se os pesos da rede de acordo com: w IJ w IJ E w IJ onde w IJ é o peso específico para o neurônio póssináptico I, da entrada J (x j com j = 1, p), e é a taxa de aprendizagem (x 0 é o bias).

64 Adaline ) ( ) ( I I p i IJ i i IJ IJ y d w y d w w E J I I IJ I I I IJ j j j Ij j Ij I I x y d w y y d w E x w x w f f y ) 2( ) 2( ) ( ) (.x w Como Como w IJ influencia apenas o neurônio I,

65 Regra delta Portanto a regra delta para o Adaline resume-se em: Onde b I é o ajuste do peso para o bias (w i0 ) com x 0 = 1. ) ( ) ( I I I I J I I IJ IJ y d b b x y d w w

66

67 Aprendizagem com Momento Aprendizagem com momento usa uma memória (incremento anterior) para aumentar a velocidade e estabilizar a convergência Equação de correção dos pesos: w ij n 1 w n e n x n w n w n 1 ij i Observação: é a constante de momento, normalmente é ajustada entre 0,5 e 0,9 j ij ij

68 Exemplo de Momento

69 Momentum

70 Problemas não linearmente separáveis

81 Rede Perceptron Multicamadas

113 Minimizar a paralisia da rede A atualização de um peso entre duas unidades depende da derivada da função de ativação da unidade posterior e função de ativação da unidade anterior. Por tanto, é importante evitar escolhas de pesos iniciais que tornem as funções de ativação ou suas derivadas iguais a zero.

114 Minimizar a paralisia da rede Os valores para os pesos iniciais não devem ser muito grandes, tal que as derivadas das funções de ativação tenham valores muito pequenos (região de saturação). Nem os pesos iniciais devem ser muito pequenos, pois, a soma pode cair perto de zero, e, o aprendizado torna-se lento. Assim, devem-se inicializar os pesos e bias com valores randômicos entre [-0.5, 0.5] ou [-1, 1].

115 Rede Multilayer Perceptron (MLP)

116 Treinamento da MLP A rede MLP utiliza aprendizado supervisionado: para determinadas entradas esperam-se saídas específicas. Algoritmo de aprendizagem backpropagation: Regra de aprendizagem baseada na correção do erro pelo método do Gradiente O algoritmo de aprendizagem é composto de duas fases: Cálculo do erro (forward) Correção dos pesos sinápticos (backward)

117 Algoritmo Backpropagation Erro no j-ésimo neurônio da camada de saída no instante t. e t d t y t j j t = iteração, t-ésimo padrão de treinamento apresentado à rede. j Ajuste dos pesos: w ji t + 1 = w ji t α δ j (t) x i (t) Para camada de saída: δ j (t) = f j [u j t ] e j (t) Para camada oculta: δ j (t) = f j [u q j t ] k=1[ δ k(t) w ki ]

118 Fase backward Algoritmo Backpropagation Treinamento é feito em duas fases: Fase forward

119 Fase forward Entrada é apresentada à primeira camada da rede e propagado em direção às saídas. Camadas intermediárias Camada de entrada Camada de saída

120 Fase forward Os neurônios da camada i calculam seus sinais de saída e propagam à camada i + 1 Camadas intermediárias Camada de entrada Camada de saída

121 Fase forward A última camada oculta calcula seus sinais de saída e os envia à camada de saída Camadas intermediárias Camada de entrada Camada de saída

122 Fase forward A camada de saída calcula os valores de saída da rede. Camadas intermediárias Camada de entrada Camada de saída

123 Fase backward Camadas intermediárias Camada de entrada Camada de saída

124 Fase backward A camada de saída calcula o erro da rede: j Camadas intermediárias Camada de entrada Camada de saída Erro ( j )

125 Fase backward Calcula o termo de correção dos pesos (a atualização será feita depois) Camada de entrada Camadas intermediárias Dw ji = j x i Camada de saída Erro ( j )

126 Fase backward Envia o erro para a última camada oculta Camada de entrada Camadas intermediárias Camada de saída Erro ( j )

127 Fase backward A camada oculta calcula o seu erro j = f (u j ). k w lk Camada de entrada Camadas intermediárias Camada de saída Erro ( j ) Erro ( k )

128 Fase backward Calcula o termo de correção dos pesos (a atualização será feita depois) Camada de entrada Camadas intermediárias Dw ij = j x i Camada de saída Erro ( j )

129 Fase backward A camada oculta calcula o seu erro j = f (u j ). k w lk Camada de entrada Camadas intermediárias Camada de saída Erro ( j ) Erro ( k )

130 Fase backward Calcula o termo de correção dos pesos (a atualização será feita depois) Camada de entrada Camadas intermediárias Dw ij = j x i Camada de saída Erro ( j )

131 Fase backward Cada unidade atualiza seus pesos w ij (novo) = w ij (velho) + Dw jk Camada de entrada Camadas intermediárias Camada de saída

132 Camada de entrada Backpropagation Camadas intermediárias Repete-se o processo enquanto enquanto a rede não aprender o padrão de entrada Camada de saída

133 Características do treinamento da rede MLP O aprendizado é resultado de apresentação repetitiva de todas as amostras do conjunto de treinamento. Cada apresentação de todo o conjunto de treinamento é denominada época. O processo de aprendizagem é repetido época após época, até que um critério de parada seja satisfeito.

134 Critérios de Parada para a rede MLP O processo de minimização do MSE (função custo) não apresenta convergência garantida e não possui um critério de parada bem definido. Critério de parada não muito recomendável, que não leva em conta o estado do processo iterativo é predeterminar o número total de iterações (épocas).

135 Critérios de Parada para a rede MLP Critério de parada que leva em conta o processo iterativo (inclui a possibilidade de existência de mínimos locais): Seja * o vetor de pesos que denota um ponto mínimo (local ou global). A condição para que * seja um mínimo é que, o gradiente I(θ) da função custo seja zero em = * Como critério de parada tem-se: Quando o erro quadrático médio atingir um valor suficientemente pequeno. Quando a norma euclidiana da estimativa do vetor gradiente I(θ) atinge um valor suficientemente pequeno.

136 Critérios de Parada para a rede MLP Nota-se que se o critério é de valor mínimo de MSE então não se garante que o algoritmo irá atingir esse valor. Por outro lado, se o critério é o mínimo valor do vetor gradiente deve-se considerar que o algoritmo termina no mínimo local mais próximo.

137 Critérios de Parada para a rede MLP Outro critério de parada, que pode ser usado em conjunto com um dos critérios anteriores é a avaliação da capacidade de generalização da rede após cada época de treinamento. O processo de treinamento é interrompido antes que a capacidade de generalização da rede fique restrita. Overfitting: Depois de um certo ponto do treinamento, a rede piora ao invés de Melhorar.

138 Definindo uma Rede MLP Arquitetura da rede: número de camadas entrada, saída e ocultas. Função de ativação: sigmoidal, tangente hiperbólica. Regra de aprendizagem A quantidade de neurônios na camada de entrada e saída é dada pelo problema a ser abordado.

139 Definindo uma Rede MLP A quantidade de neurônios nas camadas ocultas pode ser determinado usando heurísticas. Deve-se lembrar que: Um número grande de neurônios na camada oculta aumenta a capacidade de mapeamento não-linear da rede, mas, Se o número for muito grande, o modelo pode se sobre-ajustar aos dados e diz-se que a rede está sujeita ao sobre-treinamento (overfitting). Uma rede com poucos neurônios na camada oculta pode não ser capaz de realizar o mapeamento desejado, o que é denominado de underfitting. O underfitting também pode ser causado quando o treinamento é interrompido de forma prematura.

140 Definindo uma Rede MLP Normalizar os dados de entrada: É importante trabalhar com valores de entrada que estejam contidos num intervalo de [0, 1]para evitar a saturação da função de ativação (p.e. sigmoidal). Inicialização aleatória dos pesos: Inicializar os pesos e bias a valores randômicos entre -0.5 e 0.5, ou entre -1 e 1. Os valores dos pesos não devem muito grandes nem muito pequenos, pois, podem gerar dois problemas: saturar as funções de ativação ou tornar o aprendizado muito lento respectivamente.

141 Definindo uma Rede MLP Treinamento e validação da rede Os dados dividem-se em 3 grupos: 70% para treinamento, 15% para teste e 15% para validação. Os dados de teste permitem evitar o overfitting, são utilizados durante o treinamento. Os dados de validação são utilizados após o treinamento, permitem verificar a eficiência da rede.