Inteligência Artificial. IA Conexionista: Perceptron de Múltiplas Camadas Mapas Auto-Organizáveis. Renan Rosado de Almeida

Transcrição

1 Inteligência Artificial IA Conexionista: Redes Neurais Artificiais Perceptron de Múltiplas Camadas Mapas Auto-Organizáveis Renan Rosado de Almeida

2 Perceptron de Múltiplas Camadas (MLP) Um problema de classificação linear pode ser resolvido por um perceptron elementar. Já para resolver problemas de classificação não lineares o modelo mais indicado de rede neural é Perceptron de Múltiplas Camadas (MLP), que implementa um classificador universal. Quando a saída do MLP é contínua, a sua funcionalidade é de um aproximador universal de funções.

3 Arquitetura do MLP [Figura extraída de Engel.]

4 Funcionamento do MLP O processamento da informação no MLP possui as seguintes fases: Fase de propagação Quando o sinal de entrada é propagado através da rede, camada por camada, até produzir uma saída. Esta fase é responsável pela atuação da rede, ocorrendo de forma online. Fase de adaptação Quando ocorrem os ajustes dos pesos da rede. O fluxo de informação se dá da camada de saída em direção à camada de entrada. As diferenças entre os valores de saída da rede e os valores desejados causam parcelas individuais de erro para cada neurônio, que são usadas para corrigir os pesos, segundo o algoritmo backpropagation. Ocorre apenas durante o treinamento da rede, de forma off-line, sem que a rede atue no ambiente.

5 Backpropagation 1. Inicializar os pesos com valores arbitrários não nulos. 2. Apresentar um padrão de entrada x(n) e propagá-lo até a saída da rede. 3. Calcular os erros instantâneos na saída da rede, e k (n). 4. Calcular os gradientes locais dos neurônios da camada de saída, δ s k(n). 5. Ajustar os pesos da camada de saída pela expressão: w s kj s s ( n + 1) = w ( n) + ηδ ( n). i ( n) 6. Calcular os gradientes locais dos neurônios da camada oculta, δ o j(n). 7. Ajustar os pesos da camada oculta pela expressão: w kj o o o ji ( n + 1) = w ji ( n) + ηδ j ( n). xi ( n 8. Repetir os passos de 2 a 7 para todos os padrões de treinamento (1 época). 9. Enquanto o erro médio quadrado (EMQ) para o arquivo de treinamento for maior que o desejado, repetir o passo 8. EMQ = 1 P P i= 1 2 e i k j )

6 Backpropagation Gradiente do erro em relação a um peso de saída: s s δ k ( n) = e ( n) f ( v ( n)) k s k [Figura extraída de Engel.]

7 Backpropagation Ajuste de um vetor de pesos na camada oculta: δ o j w o s T s ( n) = f ( v ( n)) ( w ( n). δ ( n)) o j o j o o ( n + 1) = w ( n) + ηδ ( n). x( n) j k j [Figura extraída de Engel.]

8 Exemplo MLP: XOR O Perceptron de Múltiplas Camadas (MLP) abaixo está treinado para implementar a função XOR (OU Exclusivo). x 0 =+1 w 0 =0,5-1 x i =+1 1 i w 0 =-0,5-1 x 2 1 i 2 w 0 =0,5 1 ϕ( v) = Função sinal: + 1 sev 0 1 sev < 0

9 Exemplo MLP: XOR (cont.) Para cada combinação de entrada (x 1, x 2 ), demonstre as entradas e a saída de cada neurônio da rede, assim como o potencial de ativação (v). Demonstre as fronteiras de decisão produzidas pela rede.

10 Exemplo MLP: XOR (cont.) Respostas: Neurônio 1 x 1 x 2 v i , , , ,5-1 Neurônio 2 x 1 x 2 v i , , , ,5 +1

11 Exemplo MLP: XOR (cont.) Respostas: Neurônio 3 i 1 i 2 v y , , , ,5-1 (-1,+1) (+1,+1) (-1,-1) (+1,-1)

12 Sistemas auto-organizáveis Os sistemas auto-organizáveis estão relacionados com a aprendizagem não-supervisionada. Um algoritmo de aprendizagem não-supervisionada procura encontrar, autonomamente, similaridades entre conjuntos de dados, identificando agrupamentos com características comuns. Nesses sistemas os pesos dos neurônios armazenam características de um protótipo correspondente a um agrupamento de dados de entrada com características similares. Algoritmos de treinamento modificam os pesos localmente, em uma vizinhança do neurônio.

13 Identificação de agrupamentos A identificação de agrupamentos é uma tarefa descritiva que agrupa dados através da similaridade de seus atributos. Trata-se de um aprendizado não-supervisionado, pois a similaridade entre os atributos é intrínsica aos dados, não necessitando de um arquivo de treinamento com classes pré-definidas. Geralmente permite a descrição de um agrupamento através de um padrão protótipo. A ênfase dessa tarefa é a descrição do dados e não a A ênfase dessa tarefa é a descrição do dados e não a previsão de como um novo caso será classificado.

14 Identificação de agrupamentos Exemplo de clusterização

15 Aprendizado de um protótipo Um neurônio com aprendizado competitivo pode aprender o protótipo de um agrupamento de vetores de entrada, segundo: 1. Selecionar um vetor de entrada x i, ao acaso, de acordo com a distribuição de probabilidade do agrupamento. 2. Atualizar os pesos por w(n+1) = w(n) + α ( x(n) w(n) ) 3. Repetir os passos 1 e 2 para um número de vezes igual ao número de vetores de entrada do agrupamento. 4. Repetir o passo 3 várias vezes. w se modifica em direção à média dos vetores do agrupamento Deve-se reduzir α com o tempo, pois uma vez que w atingiu a Deve-se reduzir com o tempo, pois uma vez que w atingiu a média do agrupamento, ele não deve mais se modificar.

16 O Mapa Auto-Organizável (SOM) Mapa Auto-Organizável (SOM), do inglês Self-Organizing Map Proposto por Teuvo Kohonen em 1982 É um tipo de rede neural artificial treinada através de aprendizado não-supervisionado, que produz uma representação de baixa dimensionalidade do espaço de entrada, chamada de mapa. Sistema auto-organizável inspirado no córtex cerebral.

17 SOM: Inspiração biológica Possui forte inspiração neurofisiológica. Observação de imagens Ressonância magnética Tomografia computadorizada Regiões ativas durante aplicação de acupuntura no ponto LI-5 Fonte: Neuro-imaging of Acupunture Project Estímulos geram regiões de excitação no cérebro. Quando um neurônio é excitado, uma área ao redor também sofre excitação.

18 SOM: Inspiração biológica Somatotopia: mapeamento das sensações da superfície do Somatotopia: mapeamento das sensações da superfície do corpo na estrutura do cérebro.

19 O Mapa Auto-Organizável (SOM) É uma rede competitiva organizada numa grade (bidimensional ou de outra dimensionalidade) onde existe interação entre neurônios dentro de uma vizinhança. Os neurônios da camada de saída competem para serem ativados ou disparados pelos vetores de entrada. Através do ajuste de pesos considerando as vizinhanças, se preserva a distribuição de probabilidades (topologia) dos vetores de entrada. Com isso, unidades fisicamente próximas no mapa respondem a classes de vetores de entrada que são próximas entre si. Regiões no espaço de entrada com maior densidade produzem regiões no mapa envolvendo maior número de neurônios.

20 Arquitetura da rede SOM Camada Competitiva Camada de Entrada

21 Funcionamento da SOM O funcionamento da rede SOM pode ser resumido pelas seguintes etapas: Apresentar um vetor na entrada da rede Calcular as ativações dos neurônios da camada competitiva Determinar o neurônio vencedor (mais próximo da entrada) Fase de treinamento: Ajustar o vetor de pesos do neurônio vencedor e de todos os neurônios em sua vizinhança. Fase de recuperação ou atuação: O neurônio vencedor indica o agrupamento ao qual o vetor de entrada pertence.

22 Atualização dos pesos Todos neurônios da rede têm seus pesos atualizados por: w i ( n + 1) = w ( n ) + η ( n ). π ( n ).( x ( n ) w ( n )) i ic i Onde a função de vizinhança gaussiana (contínua), centrada no neurônio vencedor de índice c é: π 2 d ic n) = exp 2σ ( n) ic ( 2 A largura da vizinhança também decresce com o tempo segundo: σ( n) n = σ 0 exp τ 2

23 Exemplo SOM Dada a seguinte rede SOM: Camada de entrada com apenas um neurônio; Camada competitiva com 2 neurônios e pesos todos em 0; Vizinhança formada por 1 neurônio ao lado; Constante de correção de 0.5 para o neurônio vencedor; Constante de correção de 0.1 para o neurônio vizinho; Usar distância euclidiana para calcular o vencedor; a) Desenhe a arquitetura da rede e; b) Clusterize as entradas -2, -1, 1, 2.

24 Exemplo SOM a) Arquitetura da rede

25 Exemplo SOM b) Clusterize as entradas -2, -1, 1, 2. w i ( n + 1) = w ( n ) + η ( n ). π ( n ).( x ( n ) w ( n )) i ic i Função de vizinhança (π ic ): abrange apenas o neurônio vizinho. Constante de correção (ž): ž vencedor =0,5 e ž vizinho =0,1 Para este caso discreto, podemos adotar a seguinte simplificação: w i ( n + 1) = w ( n) + η.( x( n) w ( n)) i i

26 Exemplo SOM b) Clusterize as entradas -2, -1, 1, 2. w i ( n + 1) = w ( n) + η.( x( n) w ( n)) i i n x(n) w e (n) w d (n) (arbitrário) -0, , ,8 0, ,52 1,18

27 Simulação da SOM Inicialização aleatória dos pesos normalizados. A auto-organização pode ser visualizada conectando-se os vetores de pesos dos vizinhos mais próximos. No início, a rede não está auto-organizada e a figura correspondente é de uma malha de conexões aleatórias. Com o treinamento, a rede vai se auto-organizando, com as conexões entre pesos de neurônios vizinhos correspondendo à distribuição dos vetores de entrada.

28 Simulação da SOM [Figura extraída de Engel.]

29 Exemplo prático: Simulação da SOM Código Matlab: (som.m)

30 Exemplo prático: Simulação da SOM Código Matlab: (som.m)

31 Exemplos Perceptron de Múltiplas Camadas (MLP) Aproximação de funções: seno Código Matlab: mlp_aproximacao.m Seno RNA (não treinada) RNA (treinada)

32 Exemplos Perceptron de Múltiplas Camadas (MLP) Reconhecimento de dígitos Código C: mlp.c

33 Exemplos Perceptron de Múltiplas Camadas (MLP) Implementação do XOR Código Matlab: mlp_xor.m

34 Bibliografia * Redes Neurais: princípios e prática. HAYKIN, Simon. Porto Alegre: Bookman, 2001 Redes Neurais Artificias: fundamentos e aplicações. KOVÁCS, Zscolt. São Paulo, Anotações da disciplina CMP121 - Redes Neurais, UFRGS. Prof. Paulo Engel.

35 Bibliografia Materiais didáticos: UFRJ - Tópicos Especiais em Redes Neurais PUC-RIO - Notas de aula de Redes Neurais (ELE1361) * UFRGS Prof. Paulo Engel. Redes Neurais (CMP121) UFRGS Prof. Luis Otavio. Inteligência Artificial(INF01048)