Introdução às Redes Neurais Artificiais

Transcrição

1 Introdução às Redes Neurais Artificiais Mapas Auto-Organizáveis Prof. João Marcos Meirelles da Silva Departamento de Engenharia de Telecomunicações Escola de Engenharia Universidade Federal Fluminense Prof. João Marcos Meirelles da Silva p. 1/27

2 Créditos autorais Este curso e estes slides são parcialmente adaptados da bibliografia citada e das aulas do professor Luiz Pereira Calôba - COPPE/UFRJ caloba Prof. João Marcos Meirelles da Silva p. 2/27

3 Sumário Introdução Principal Característica Espaços de Trabalho Aprendizado Algoritmo Exemplo Prof. João Marcos Meirelles da Silva p. 3/27

4 Introdução Redes de Aprendizado Competitivo: Padrões similares não permaneciam juntos; SOM ou Mapas de Kohonen: Padrões similares permanecem juntos, há uma transição suave entre classes; Utiliza os conceitos de camada competitiva e aprendizado não-supervisionado; Produz uma representação discretizada, geralmente em 2D, do espaço de entradas dos padrões de treinamento (mapa); Prof. João Marcos Meirelles da Silva p. 4/27

5 Introdução Imita a organização do córtex cerebral; Utilizam uma função de vizinhança para preservar as propriedades topológicas do espaço de entrada; Útil para visualizar, em baixas dimensões, dados de grandes dimensões. Prof. João Marcos Meirelles da Silva p. 5/27

6 Principal característica f(x) : R m R (1) ou f(x) : R m R 2 (2) Prof. João Marcos Meirelles da Silva p. 6/27

7 Espaços de trabalho No treinamento de Kohonen, existem dois espaços à considerar: O espaço das entradas x As entradas x e as sinapses w são definidas nesse espaço, e as distâncias d serão dadas por d i = x w i ; O espaço de competição M O mapa auto-organizável de Kohonen, onde as distâncias laterais r entre os neurônios são definidas neste espaço. Neurônios N i e N j r ji = j i Prof. João Marcos Meirelles da Silva p. 7/27

8 Aprendizado em 3 fases: Competição Cooperação Adaptação das sinapses Prof. João Marcos Meirelles da Silva p. 8/27

9 Competição Seja: x = [x 1, x 2,...,x m ] T w j = [w j1, w j2,...,w jm ] T, j = 1, 2,...,m Vence o neurônio cujo produto interno x T w j for maior! Aprendizado por Competição Prof. João Marcos Meirelles da Silva p. 9/27

10 Cooperação Caso unidimensional Mapa Unidimensional. Prof. João Marcos Meirelles da Silva p. 10/27

11 Cooperação Caso unidimensional O neurônio vencedor dá a localização do centro de vizinhança topológica, definindo junto com o raio, quais serão os neurônios que irão cooperar. Prof. João Marcos Meirelles da Silva p. 11/27

12 Cooperação Caso bidimensional Prof. João Marcos Meirelles da Silva p. 12/27

13 Cooperação Opções de Arranjo de Topologia da Vizinhança Biologicamente falando, um neurônio que dispara tende a excitar mais os neurônios próximos dos que os que estão mais distantes; Prof. João Marcos Meirelles da Silva p. 13/27

14 Cooperação Opções de Arranjo de Topologia da Vizinhança Este conceito nos leva a pensar em uma vizinhança topológica (R) em torno do neurônio vencedor i que decai suavemente com a distância lateral (r ji ). Prof. João Marcos Meirelles da Silva p. 14/27

15 Cooperação Opções de Arranjo de Topologia da Vizinhança Durante a fase de treinamento, o valor de R diminui. Prof. João Marcos Meirelles da Silva p. 15/27

16 Definição do Raio Uma escolha típica para R é dada pela própria função Gaussiana, a qual é invariante à rotações (isto é, independente da localização do neurônio): R(n) = exp ( r2 ji 2σ 2 (n) ) ) σ(n) = σ 0 exp ( nτ1, n = 0, 1, 2,... (3) O parâmetro σ é chamado de largura efetiva da vizinhança topológica, σ 0 é o valor inicial e o parâmetro τ 1 é uma constante de tempo. (4) Prof. João Marcos Meirelles da Silva p. 16/27

17 Adaptação das sinapses A alteração das sinapses pode seguir um dos dois esquemas: 1. O vencedor treina e os demais vizinhos dentro de R também, igualmente: w j (n + 1) = w j (n) + α(n)(x w j (n)) 2. O vencedor treina e os demais vizinhos dentro de R também, porém de acordo com a seguinte regra: w j (n + 1) = w j (n) + α(n)r(n)(x w j (n)) Prof. João Marcos Meirelles da Silva p. 17/27

18 Algoritmo Passo 1: Iniciar os pesos w ij Passo 2: Iniciar os parâmetros topológicos de vizinhança Passo 3: Iniciar taxa de aprendizado Passo 4: Enquanto a condição de parada for falsa, execute os passos 5 a 11 Passo 5: Para cada vetor x de treinamento, execute os passos 6-8 Passo 6: Para cada j, calcule: D(j) = i (w ij x i ) 2 (5) Passo 7: Encontre o índice j para o qual D(j) é mínimo; Passo 8: Para todos os neurônio j dentro de uma vizinhança especificada de J, e para todo i: w ij (n + 1) = w ij (n) + α[x i w ij (n)] (6) 17-1

19 Passo 9: Atualize a taxa de aprendizado; Passo 10: Reduza o raio de vizinhança topológica de tempos em tempos; Passo 11: Teste a condição de parada 17-2

20 Exemplo Mapa unidimensional x unidimensional 8 neurônios R = 2 α = 0, 4 N i, i = w i = 0,2 0,5 0,1 0,9 0,6 0,5 0,8 0,2 Seja uma entrada x = 0, 65, temos: Competição no espaço de entrada: d(x, w i ), i = 1, 2,...,8 Prof. João Marcos Meirelles da Silva p. 18/27

21 d 1 0,45 d 2 0,15 d 3 0,55 d 4 0,25 d 5 0,05 d 6 0,15 d 7 0,15 d 8 0,45 Neurônio N 5 é o vencedor! Vizinhos de N 5 para R = 2 no mapa: N 3, N 4, N 6 e N 7 Atualização das sinapses w 3, w 4, w 5, w 6 e w 7 no espaço de entrada Prof. João Marcos Meirelles da Silva p. 19/27

22 w j (2) = (1 α)w j (1) + αx = 0, 6w j (1) + 0, 26, j = 3, 4, 5, 6, 7 N i, i = w i (1) = 0,2 0,5 0,1 0,9 0,6 0,5 0,8 0,2 w i (2) = 0,2 0,5 0,32 0,80 0,62 0,56 0,74 0,2 Observe que todos os pesos alterados se aproximaram da entrada e entre si! Prof. João Marcos Meirelles da Silva p. 20/27

23 Há basicamente duas formas de visualizarmos as redes SOM: O mapa é visto como uma rede elástica (uni ou bidimensional) com os vetores de pesos sinápticos representados como pontos e, entre os vizinhos, através de conexões; Nomes de classes são associados aos neurônios em uma rede bidimensional. Após o treinamento, algumas regiões são apresentadas onde o caminho entre um ponto A e um ponto B mostra a afinidade entre os dados. Esta forma de apresentação é comumente chamada de mapas de contexto ou mapas semânticos. Prof. João Marcos Meirelles da Silva p. 21/27

24 Exemplos de redes elásticas: Caso bidimensional (ExemploSOM01.m) Caso unidimensional (ExemploSOM02.m) Prof. João Marcos Meirelles da Silva p. 22/27

25 Exemplo de Mapa de Contexto: Rede SOM bidimensional (wpi-soms) (a) Antes do treinamento (b) Após o treinamento Prof. João Marcos Meirelles da Silva p. 23/27

26 Nomes de animais e seus atributos Prof. João Marcos Meirelles da Silva p. 24/27

27 Considerações Finais SOM É uma técnica de agrupamento que impõe relacionamentos de vizinhança sobre os centróides resultantes das classes; Classes vizinhas possuem um relacionamento maior do que classes distantes umas das outras; Uma rede SOM bidimensional é uma projeção não linear da função original de distribuição de probabilidade em duas dimensões; Como qualquer algoritmo de segmentação, também possui limitações. Prof. João Marcos Meirelles da Silva p. 25/27

28 Referências 1. Haykin, S., Neural Networks - A Comprehensive Foundation, 2 nd edition - Prentice Hall, Fausett, L., Fundamental of Neural Networks - Architectures, Algorithms and Applications, Prentice Hall, Theodoris, S., Koutroumbas, K, Pattern Recognition, 4 th edition, Academic Press. Prof. João Marcos Meirelles da Silva p. 26/27

29 FIM Prof. João Marcos Meirelles da Silva p. 27/27