Inteligência Artificial Redes Neurais

Transcrição

1 Inteligência Artificial Jarley P. Nóbrega, Dr. Faculdade Nova Roma Bacharelado em Ciência da Computação Semestre Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

2 Cérebro humano Funcionamento dos neurônios neurônios dispostos em > 20 tipos, sinapses, com tempo de disparo na faixa de 1ms 10ms; Sinais são descritos como impulsos elétricos com um certo nível de ruído. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

3 Formulação matemática Neurônio (ou unidade) de McCulloch Pitts A saída do neurônio é uma combinação linear dos dados de entrada: ( ) a i g (in i ) = g W j,i a j j O modelo acima é uma simplificação de neurônios reais, mas com capacidade de demonstrar o seu funcionamento em aplicações de aprendizagem. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

4 Funções de ativação Quando alteramos o peso (bias) w 0,i, mudamos a localização do limiar de disparo do neurônio. (a) é a função passo ou função { limiar +1, x 0 (b) é a função sinal : g (x) = 1, x < 0 (c) é a função sigmoide: g (x) = 1/(1 + e x ) Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

5 Funções de ativação McCulloch e Pitts apresentaram uma prova que as funções lógicas básicas podem ser representadas pelo neurônio. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

6 Estruturas de redes neurais Redes neurais feed-forward single-layer perceptrons; multi-layer perceptrons. As redes do tipo feed-forward implementam funções, mas não possuem estado interno. Redes recorrentes Possuem ciclos entre as unidades e mantém estado interno. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

7 Exemplo de redes neurais feed-forward Rede neural feed-forward: um conjunto de funções não lineares com parâmetros. Ao ajustar os pesos, mudamos a função. É dessa forma que a rede aprende a partir das entradas fornecidas. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

8 Single-layer perceptrons As unidades de saída operam de forma separada e não compartilham os pesos. Ajustar pesos altera a localização, a orientação e a inclinação do curva acima. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

9 Limitações de single-layer perceptrons Considere um perceptron com g = função passo (Rosenblatt, 1957, 1960). Essa rede pode representar as funções lógicas AND, OR, NOT, mas não consegue representar o XOR. Dizemos que o perceptron representa um separador linear no espaço formado pelos dados de entrada: W j x j > 0 ou Wx > 0 j Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

10 Como o perceptron aprende Aprende através do ajuste dos pesos para reduzir o erro de saída no conjunto de treinamento. Em redes neurais, representamos o erro quadrado de uma entrada x com a respectiva saída y de acordo com a equação a seguir: E = 1 2 Err2 1 2 (y hw (x))2 Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

11 Como o perceptron aprende A otimização dos pesos, com o objetivo de reduzir o erro no treinamento, é realizado por uma busca utilizando o gradiente descendente: A regra para atualização do peso é feita de acordo com a expressão: O perceptron converge para uma função consistente para qualquer conjunto de entrada que seja linearmente separável. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

12 Como o perceptron aprende Problema: se os dados de entrada não são linearmente separáveis, o perceptron não consegue aprender a função corretamente. Exemplo: utilizando as entradas no problema do restaurante Enquanto a árvore de decisão consegue classificar a entrada, o perceptron apresenta uma taxa de erro alta. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

13 Multilayer perceptron (MLP) Resolve o problema de aprendizagem quando os dados de entrada não são linearmente separáveis. Acrescenta um número de camadas intermediárias (conhecidas como camadas escondidas) Em cada camada escondida, o número de unidades (neurônios) é escolhido previamente ou otimizado durante o treinamento. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

14 Como o MLP aprende O MLP consegue aprender qualquer função contínua com apenas 2 camadas. O MLP consegue aprender qualquer função com apenas 3 camadas. Qualquer curva ou superfície pode ser aprendida através de um MLP com 3 ou mais camadas. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

15 Como o MLP aprende - algoritmo backpropagation A camada de saída é igual ao do perceptron: W j,i W j,i + α α j i, em que i = Err i g (in i ). A camada propaga o erro para as camadas iniciais a partir do erro medido na camada de saída: j = g (in i ) W j,i i i Os pesos são atualizados na camada escondida de acordo com a seguinte regra: W j,k W j,k + α α k j. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

16 Como o MLP aprende - algoritmo backpropagation Para uma única entrada, o erro é medido de acordo com a seguinte expressão: E = 1 2 (y i a i ) 2. A soma dos erros ocorre em todos os i nós da camada de saída, conforme o cálculo do gradiente: Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

17 Como o MLP aprende - algoritmo backpropagation Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

18 Como o MLP aprende - algoritmo backpropagation A cada iteração do algoritmo (conhecida como época), os pesos das camadas escondidas são ajustados e o erro de treinamento diminui. Após um certo número de épocas, o erro torna-se estável. Exemplo: Problema do restaurante, com 100 entradas: Problemas: backpropagation é um algoritmo lento e sujeito a mínimos locais. Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

19 Como o MLP aprende - algoritmo backpropagation Curva de aprendizado com um MLP de 4 camadas para o problema do restaurante: MLP pode ser usada para aprender padrões completos a partir dos dados de entrada, mas as suas respostas não são facilmente explicáveis (ao contrário das árvores de decisão). Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21

20 Exemplo - Reconhecimento de caracteres - MNIST mnist.html Jarley P. Nóbrega, Dr. (Nova Roma) Inteligência Artificial Semestre / 21