Redes Neurais. Mapas Auto-Organizáveis. 1. O Mapa Auto-Organizável (SOM) Prof. Paulo Martins Engel. Formação auto-organizada de mapas sensoriais

Transcrição

1 . O Mapa Auto-Organizável (SOM) Redes Neurais Mapas Auto-Organizáveis Sistema auto-organizável inspirado no córtex cerebral. Nos mapas tonotópicos do córtex, p. ex., neurônios vizinhos respondem a freqüências sonoras similares. Existe correlação entre a ordenação da freqüência de entrada e a posição do neurônio no mapa. A arquitetura do SOM corresponde a uma rede neural com uma camada competitiva bidimensional ou unidimensional, onde existe interação lateral entre os neurônios dentro de uma vizinhança. Os neurônios competem entre si, através de conexões especiais que implementam reforço central e inibição lateral. Através do ajuste de pesos considerando as vizinhanças, se preserva a distribuição de probabilidades (topologia) dos vetores de entrada. Com isso, unidades fisicamente próximas no mapa respondem a classes de vetores de entrada que são próximas entre si. Regiões no espaço de entrada com maior densidade de vetores de entrada produzem regiões no mapa envolvendo maior número de neurônios. 2 Formação auto-organizada de mapas sensoriais Estrutura básica de circuitos neurais usada em modelos cerebrais. Kernel de interações laterais: chapéu mexicano. Formação de bolhas de ativação Bolhas bidimensionais de atividades. Atividade de uma célula corresponde ao tamanho do ponto. Matriz de entrada M sinais de entrada X Matriz de realimentação N Respostas de saída Y (a) 7 unidades na parte positiva, 5 unidades na parte negativa (b) unidade na parte positiva, 5 unidades na parte negativa 3 4

2 Somatotopia: mapeamento das sensações da superfície do corpo na estrutura do cérebro Existem outros mapas sensoriais: retinotopia, tonotopia Córtex Somatossensorial primário Arquitetura da rede SOM Camada Competitiva Áreas Somatossensoriais Camada de Entrada 5 6 Processamento do SOM A rede SOM pode ser modelada de forma contínua, através de um sistema dinâmico, envolvendo conexões realimentadoras para produzir excitação central e inibição lateral, ou de forma discreta, envolvendo um juiz externo, para escolher um neurônio vencedor num processo de competição do tipo o vencedor leva tudo. O processamento da SOM pode ser resumido através do seguinte procedimento de aprendizado não-supervisionado: Apresentar um vetor na entrada da rede Calcular as ativações dos neurônios da camada competitiva Determinar o neurônio vencedor (neurônio mais próximo da entrada) Fase de treinamento: Modificar o vetor de pesos do vencedor e de todos os neurônios dentro de uma vizinhança do vencedor. Fase de recuperação (recordação) ou atuação: O neurônio vencedor indica o agrupamento ao qual o vetor de entrada pertence. Treinamento do SOM O treinamento do SOM se baseia no ajuste de uma vizinhança centrada no neurônio vencedor, de modo a orientar o vetor de pesos de todos os neurônios da vizinhança em direção ao vetor de entrada. O tamanho da vizinhança deve variar no tempo, iniciando com uma abrangência larga e finalizando com uma vizinhança muito estreita. A vizinhança pode ser implementada através de uma função contínua, como uma gaussiana, ou discreta, incluindo os vizinhos mais próximos dentro de um quadrado ou hexágono de largura variável. 7 8

3 Mapeamento do Espaço de Entrada num Espaço de Saída Mapeamento do Espaço de Entrada num Espaço de Saída Considere que H representa o espaço (contínuo) de entrada, cuja topologia é representada pela relação métrica dos vetores x H, e que A represente um espaço de saída discreto. Espaço de entrada contínuo w Espaço de saída discreto Então, Φ representa a transformação não-linear chamada de mapa de características, que mapeia o espaço de entrada H para o espaço de saída A: w 6 w Φ(x;w) i(x) Φ: H A w 2 5 A organização do mapa é visualizada pela imagem dos pesos no espaço de característica, assinalando os vizinhos mais próximos. 6 9 Ajuste dos pesos do SOM Na fase de treinamento, os pesos dos neurônios dentro de uma certa vizinhança centrada no neurônio vencedor são ajustados de modo a aproximá-los do vetor de entrada w : x: w6 w w 2 w w8 8 x x 2 w 2 w w 9 x w 7 w 6 n n + w 2 w x w 7 w 9 Atualização dos pesos Dentro da vizinhança os pesos são calculados por: w i (n + ) = w i (n) + η(n). (x w i (n)) A taxa de aprendizado, η (n), deve decrescer com o tempo discreto n: η (n) = η exp τ = 5 _ n ( τ ) τ = 2 (x - w i (n)) x w i (n+) w i (n) 2

4 Atualização dos pesos para vizinhança contínua Simulação da rede SOM Todos neurônios da rede têm seus pesos atualizados por: Sendo π ic a função de vizinhança gaussiana, centrada no neurônio vencedor de índice c : A largura da vizinhança deve também decrescer com o tempo: π ic σ = σ = 5 w i (n+) = w i (n)+ η(n).π ic (n).(x(n) w i (n)) π ic (n) = exp σ (n) = σ exp d 2 ic ( ) 2σ 2 (n) _ n ( ) τ 2 Tipicamente, escolhe-se σ de modo que toda a rede sofra ajustes significativos na fase inicial do aprendizado. Inicialização aleatória dos pesos normalizados A auto-organização da rede pode ser a qualquer tempo visualizada traçando-se linhas no espaço dos pesos entre os vetores de peso que são os vizinhos mais próximos. Para melhor visualização, apenas as linhas ortogonais entre vizinhos são traçadas. Com a inicialização aleatória normalizada, a rede não está auto-organizada e a figura correspondente é de uma malha de conexões aleatórias de pontos numa circunferência. Conforme o treinamento avança, a rede vai se tornando auto-organizada com as conexões entre pesos de neurônios vizinhos correspondendo à distribuição dos vetores de entrada. 3 4 As fases do processo adaptativo: ordenação e convergência O treinamento do SOM usualmente ocorre em duas fases: uma fase de ordenação, ou auto-organização, e uma fase de convergência. Fase de ordenação: Nesta fase ocorre a ordenação topológica dos vetores de peso, podendo se estender por épocas ou mais. A taxa de aprendizagem deve iniciar com um valor próximo a,, decrescendo gradualmente, mas permanecendo acima de,. Sugestão de parâmetros para épocas: η =,; τ = (com isso, η f =,37). A função de vizinhança deve inicialmente incluir quase todos os neurônios da grade e então diminuir lentamente com o tempo. Assumindo uma grade bidimensional quadrada, σ seria igual ao raio da grade. A redução da vizinhança seria controlada pela constante de tempo (σ f = ): As fases do processo adaptativo: ordenação e convergência Fase de convergência: Esta fase é necessária para realizar um ajuste fino do mapa e produzir uma quantização estatística mais precisa do espaço de entrada. Como regra geral, o número de iterações nesta fase deve ser no mínimo 5 vezes o número de neurônios da grade. A taxa de aprendizagem deve permanecer durante esta fase em um valor pequeno, da ordem de,. Não se deve deixar η chegar a zero para que a grade não fique presa num estado metaestável (defeito topológico). A função de vizinhança deve conter apenas os vizinhos mais próximos do neurônio vencedor. τ 2 = lnσ 5 6

5 Rede SOM treinada Entradas: os quatro vetores de um espaço de Hamming bidimensional Fase de reconhecimento Vetores de entrada de funções Booleanas (espaço de Hamming bidimensional) vencedor vencedor t = t = 5 t = 3 Distribuição triangular na entrada: Distribuição circular na entrada: x x vencedor 7 vencedor 8 SOM no MATLAB Funções: newsom, plotsom SOM unidimensional n = n = 2 n = 5 n = n = 2 n = 5 n = n = n = n = 5 n = 9 2

6 Simulação do SOM A simulação discreta do SOM é composta das seguintes etapas:. Inicializar os pesos da rede aleatoriamente e os parâmetros η, σ e n max. Inicializar a variável de tempo discreto n =. 2. Apresentar, aleatoriamente, um vetor de entrada do arquivo de treinamento e calcular a ativação de todos os neurônios da rede. 3. Determinar o neurônio vencedor, de índice c. 4. Calcular o fator de vizinhança (π ic ) para cada neurônio i da rede, em função da sua distância em relação ao neurônio c, d ic. 5. Atualizar os pesos de todos os neurônios da rede, levando em conta o seu fator de vizinhança. 6. Incrementar n e atualizar os parâmetros η e σ. 7. Voltar para 2 enquanto n n max. Determinação do vencedor Como na rede SOM desejamos preservar a topologia do espaço de entrada, os vetores de treinamento não devem ser normalizados antes de serem apresentados à rede. Com isso, o processo de escolha do vencedor deve ser baseado na distância euclidiana entre os vetores de entrada (x) e de peso de cada neurônio i (w i ). Para cada neurônio i da rede, a rotina de competição deve calcular a magnitude do vetor diferença, x w i e determinar o índice c do neurônio com menor magnitude Determinação do fator de vizinhança Para uma rede bidimensional com L linhas e C colunas, a determinação da distância entre um neurônio i e o vencedor c, d ic, pode ser calculada diretamente pelas suas posições na rede, (L i, C i ) e (L c, C c ), respectivamente. Dependência temporal dos parâmetros Lin = 3 Lin = 2 Lin = quociente L c = floor(c /C) C c = mod(c, C) resto Lin = Col = (d ic ) 2 = (L i L c ) 2 + (C i C c ) 2 σ (n) = σ exp _ n ( ) τ 2 π ic (n) = exp d 2 ic ( ) 2σ 2 (n) 23 24

7 Propriedades do Mapa de Características Aproximação do espaço de entrada: o algoritmo SOM é um algoritmo de quantização vetorial que fornece uma boa aproximação para o espaço de entrada H. Ordenação topológica: o mapa de características Φ calculado pelo algoritmo SOM é ordenado de modo topológico: a localização espacial de um neurônio na grade corresponde a uma característica particular dos padrões de entrada. Casamento de densidade: o mapa de características Φ reflete variações nas estatísticas da distribuição de entrada: regiões de H onde amostras x ocorrem com alta probabilidade são mapeadas para domínios maiores no espaço de saída A (maior resolução). Com isso, o mapa treinado apresenta um fator de magnificação m(x) correspondente à fdp f(x) do vetor aleatório de entrada X. Na forma padrão do algoritmo SOM, a codificação produz m(x) f 2/3 (x). Seleção de características: a partir dos dados do espaço de entrada o mapa seleciona um conjunto das melhores características para aproximar a distribuição subjacente. O mapa de características fornece uma aproximação discreta das chamadas curvas (superfícies) principais, representando uma generalização não-linear da análise de componentes principais. Mapas Semânticos (Contextuais) Pode-se formar mapas topográficos para dados abstratos, como palavras, nos quais as relações semânticas são refletidas por suas distâncias relativas no mapa. Para tanto, é necessária a inclusão dos contextos nos quais cada símbolo aparece. Com isso, a rede é capaz de detectar a similaridade lógica entre palavras, a partir das estatísticas de seus contextos. O problema dos mapas semânticos está relacionado com a formação auto-organizada de uma organização de categorias (representação interna) por meio de dados que contêm informação implícita relacionada com estas categorias. O problema de aplicar a lei de adaptação competitiva (baseada em distância) a símbolos é que o significado de um símbolo é desassociado da sua codificação, não havendo assim uma noção de similaridade lógica entre as representações simbólicas. Entretanto, a similaridade lógica entre os símbolos pode ser detectada indiretamente se eles forem apresentados juntamente com um conjunto de atributos do item que eles codificam, ou seja, o seu contexto. O vetor de entrada para o mapa x seria a concatenação do código simbólico x s com o conjunto de atributos x a : x = [x s x a ] T Mapas Semânticos (Contextuais) Nomes de animais e seus atributos A entrada do mapeamento semântico é um vetor de duas componentes ortogonais, x s e x a, onde a norma da componente dos atributos predomina sobre a norma da parte simbólica durante o processo de auto-organização. Assim, o mapeamento topográfico reflete principalmente as relações métricas do conjunto de atributos. Entretanto, como as entradas dos sinais simbólicos estão concomitantemente ativas com a componente simbólica durante o treinamento, são formados traços de memória entre estas entradas e as células do mapa que foram selecionadas pela componente de atributos. Por outro lado, durante a fase de reconhecimento de informações de entrada, os sinais de atributo são mais fracos, ou ausentes, mas, mesmo assim, a componente simbólica é capaz de ativar as mesmas unidades do mapa. Normalmente, os atributos são variáveis discretas (ausência:, ou presença: ), cuja identidade é claramente dada pela sua posição no campo de atributos (x a ). Exemplo: geração de um mapa semântico cujas entradas representam a codificação do nome de um (entre 6) animal (x s ) e um conjunto de 3 atributos discretos (x a ), representando características como tamanho, número de patas, cobertura e hábitos. x s é um vetor 6-D com apenas um bit igual a a (=,2) e os demais são zero. 27 é pequeno é médio é grande tem 2 patas tem 4 patas tem pelos tem cascos tem crina tem penas caça corre voa nada couja fal cavalo 28

8 Treinamento Os 6 vetores de treinamento (29 elementos) foram normalizados e submetidos a uma rede, por 2 épocas. Após o treinamento, cada célula se tornou mais responsiva a um vetor de entrada. Na fase de teste, foi apresentada como entrada x = [x s, ] T, e a unidade vencedora foi anotada: pacíficos Visualização por rotulação Podemos visualizar um mapa de características rotulando cada neurônio pelo padrão de teste que excita este neurônio de maneira máxima (melhor estímulo). A rotulação produz uma partição da grade de neurônios evidenciando uma hierarquia de domínios aninhados. cavalo cavalo cavalo fal fal fal fal fal fal fal fal aves caçadores Quantização Vetorial por Aprendizagem (LVQ) Um procedimento de quantização vetorial divide o espaço de entrada em um certo número de regiões distintas e, para cada região, define um vetor de reconstrução. Cada vetor de entrada x é representado pelo rótulo do subespaço ao qual ele pertence, o índice k, ou código, do neurônio vencedor. O conjunto dos vetores de reconstrução forma o livro de códigos do quantizador. Assim, no lugar do vetor original, pode-se usar o seu código para armazenamento ou transmissão, obtendo-se uma considerável economia em armazenagem ou largura de banda de transmissão, às custas de alguma distorção. A quantização realizada segue a função densidade de probabilidade da entrada: a densidade de neurônios e portanto de subespaços é máxima nas áreas em que entradas aparecem com maior probabilidade. Uma quantização mais esparsa (grossa) é obtida nas regiões onde as entradas são escassas. A mínima distorção de codificação é obtida com um quantizador de Voronoi, que realiza a partição do espaço (em células de Voronoi) pela regra do vizinho mais próximo. Cada célula é associada a um vetor (de reconstrução) de Voronoi. 3 Quantização Vetorial por Aprendizagem (LVQ) O algoritmo SOM fornece um método aproximativo para calcular os vetores de Voronoi, especificados aqui pelos vetores de pesos dos neurônios do mapa. Num segundo estágio, realizado por LVQ, é realizado o ajuste fino do mapa a fim de melhorar a qualidade das regiões de decisão do classificador de padrões. Para isso, é usado um conjunto de padrões previamente classificados: se a classe do vetor de entrada x e do vetor de Voronoi w correspondente concordarem, w é movido em direção a x; caso contrário w é afastado de x. vetor de Voronoi célula de Voronoi 32

9 Procedimento para Quantização Vetorial Treinar (de modo não-supervisionado) um SOM com vetores de treinamento de entrada. Propagar todos os vetores de treinamento (supervisionado) e distribuir rótulos para os neurônios da rede correspondendo à classe mais freqüente dos vencedores e, para os neurônios restantes da rede, por vizinhança dos vencedores. Assim, dispomos de uma rede treinada, correspondente a um livro de códigos inicial. A seguir, procede-se com um algoritmo de treinamento para minimizar os erros de classificação na região mais próxima do vencedor. No final, temos uma rede treinada de modo supervisionado, correspondendo a um livro de códigos que minimiza o erro de classificação para o arquivo de treinamento. Entrada Mapa de características auto-organizável Quantizador vetorial por aprendizagem Rótulos de classe Algoritmo LVQ Assuma que um certo número de vetores de código w i esteja colocado no espaço de entrada para aproximar vários domínios do vetor de entrada x por seus vetores quantizados. Usualmente vários vetores de código são atribuídos a cada classe dos valores de x e decide-se então que x pertence à mesma classe do vetor de código mais próximo, w c. A seguir, procede-se com um algoritmo de treinamento para minimizar os erros de classificação na região mais próxima do vencedor. w 6? x(n) w 2 w Professor Algoritmo LVQ Seja x(n) um vetor de entrada, w i (n) uma seqüência de vetores de código w i no tempo e w c (n) o vetor de código mais próximo a x(n). Partindo de valores iniciais apropriados, as seguintes expressões definem o processo básico LVQ: w c (n + ) = w c (n) + α(n) [ x(n) w c (n) ] se x e w c pertencerem a mesma classe Exemplo de aplicação do algoritmo LVQ x, de rótulo azul, é apresentado à rede no tempo n. Num tempo k futuro, ele é reapresentado à rede. w (n+) w c (n + ) = w c (n) α(n) [ x(n) w c (n) ] se x e w c pertencerem a classes diferentes w i (n + ) = w i (n) para i c onde α(n) é o parâmetro taxa de aprendizado com valores no intervalo < α(n) < α(n) deve decrescer monotonamente com o tempo: α(n) = α ( n τ ) w 6 w (n) x(n) x(k) w 2 (k+) w 2 (n) (k) 35 36