Redes Neurais e Sistemas Fuzzy

Transcrição

1 Redes Neurais e Sistemas Fuzzy Mapas Auto-Organizáveis 1. O Mapa Auto-Organizável (SOM) Sistema auto-organizável inspirado no córtex cerebral. Nos mapas tonotópicos do córtex, p. ex., neurônios vizinhos respondem a freqüências sonoras similares. Existe correlação entre a ordenação da freqüência de entrada e a posição do neurônio no mapa. A arquitetura do SOM corresponde a uma rede neural com uma camada competitiva bidimensional ou unidimensional, onde existe interação lateral entre os neurônios dentro de uma vizinhança. Os neurônios competem entre si, através de conexões especiais que implementam reforço central e inibição lateral. Através do ajuste de pesos considerando as vizinhanças, se preserva a distribuição de probabilidades (topologia) dos vetores de entrada. Com isso, unidades fisicamente próximas no mapa respondem a classes de vetores de entrada que são próximas entre si. Regiões no espaço de entrada com maior densidade de vetores de entrada produzem regiões no mapa envolvendo maior número de neurônios. 2

2 Formação auto-organizada de mapas sensoriais Estrutura básica de circuitos neurais usada em modelos cerebrais. Kernel de interações laterais: chapéu mexicano. Matriz de entrada M sinais de entrada X Matriz de realimentação N Respostas de saída Y 3 Formação de bolhas de ativação Bolhas bidimensionais de atividades. Atividade de uma célula corresponde ao tamanho do ponto. (a) 7 unidades na parte positiva, 15 unidades na parte negativa (b) 1 unidade na parte positiva, 5 unidades na parte negativa 4

3 Somatotopia: mapeamento das sensações da superfície do corpo na estrutura do cérebro Existem outros mapas sensoriais: retinotopia, tonotopia Córtex Somatossensorial primário Áreas Somatossensoriais 5 Arquitetura da rede SOM Camada Competitiva Camada de Entrada 6

4 Processamento do SOM A rede SOM pode ser modelada de forma contínua, através de um sistema dinâmico, envolvendo conexões realimentadoras para produzir excitação central e inibição lateral, ou de forma discreta, envolvendo um juiz externo, para escolher um neurônio vencedor num processo de competição do tipo o vencedor leva tudo. O processamento da SOM pode ser resumido através do seguinte procedimento de aprendizado não-supervisionado: Apresentar um vetor na entrada da rede Calcular as ativações dos neurônios da camada competitiva Determinar o neurônio vencedor (neurônio mais próximo da entrada) Fase de treinamento: Modificar o vetor de pesos do vencedor e de todos os neurônios dentro de uma vizinhança do vencedor. Fase de recuperação (recordação) ou atuação: O neurônio vencedor indica o agrupamento ao qual o vetor de entrada pertence. 7 Treinamento do SOM O treinamento do SOM se baseia no ajuste de uma vizinhança centrada no neurônio vencedor, de modo a orientar o vetor de pesos de todos os neurônios da vizinhança em direção ao vetor de entrada. O tamanho da vizinhança deve variar no tempo, iniciando com uma abrangência larga e finalizando com uma vizinhança muito estreita. A vizinhança pode ser implementada através de uma função contínua, como uma gaussiana, ou discreta, incluindo os vizinhos mais próximos dentro de um quadrado ou hexágono de largura variável. 8

5 Mapeamento do Espaço de Entrada num Espaço de Saída Considere que H representa o espaço (contínuo) de entrada, cuja topologia é representada pela relação métrica dos vetores x H, e que A represente um espaço de saída discreto. Então, representa a transformação não-linear chamada de mapa de características, que mapeia o espaço de entrada H para o espaço de saída A: : H A A organização do mapa é visualizada pela imagem dos pesos no espaço de característica, assinalando os vizinhos mais próximos. 9 Mapeamento do Espaço de Entrada num Espaço de Saída Espaço de entrada contínuo w 1 Espaço de saída discreto 1 w 6 w 1 (x;w) 2 3 i(x) w 5 w w 4 w

6 Ajuste dos pesos do SOM Na fase de treinamento, os pesos dos neurônios dentro de uma certa vizinhança centrada no neurônio vencedor são ajustados de modo a aproximá-los do vetor de entrada w 1 : w w6 2 w 3 w 1 w 5 w 9 w 5 x w 3 w 11 w 12 w w 4 w8 8 w 7 w 6 w 2 w 1 x w 7 w 4 w 9 x: x 1 x 2 n n Atualização dos pesos Dentro da vizinhança os pesos são calculados por: w i (n + 1) = w i (n) + (n). (x w i (n)) A taxa de aprendizado, (n), deve decrescer com o tempo discreto n: (n) = 0 exp _ n ( 1 ) x (x - w i (n)) w i (n+1) w i (n) 1 = 20 1 = 5 12

7 Atualização dos pesos para vizinhança contínua Todos neurônios da rede têm seus pesos atualizados por: Sendo ic a função de vizinhança gaussiana, centrada no neurônio vencedor de índice c : A largura da vizinhança deve também decrescer com o tempo: w i (n+1) = w i (n) + (n). ic (n).(x(n) w i (n)) ic (n) = exp (n) = 0 exp d 2 ic ( ) 2 2 (n) _ n ( ) 2 ic = 5 Tipicamente, escolhe-se 0 de modo que toda a rede sofra ajustes significativos na fase inicial do aprendizado. = 1 13 Simulação da rede SOM Inicialização aleatória dos pesos normalizados A auto-organização da rede pode ser a qualquer tempo visualizada traçando-se linhas no espaço dos pesos entre os vetores de peso que são os vizinhos mais próximos. Para melhor visualização, apenas as linhas ortogonais entre vizinhos são traçadas. Com a inicialização aleatória normalizada, a rede não está auto-organizada e a figura correspondente é de uma malha de conexões aleatórias de pontos numa circunferência. Conforme o treinamento avança, a rede vai se tornando auto-organizada com as conexões entre pesos de neurônios vizinhos correspondendo à distribuição dos vetores de entrada. 14

8 As fases do processo adaptativo: ordenação e convergência O treinamento do SOM usualmente ocorre em duas fases: uma fase de ordenação, ou auto-organização, e uma fase de convergência. Fase de ordenação: Nesta fase ocorre a ordenação topológica dos vetores de peso, podendo se estender por 1000 épocas ou mais. A taxa de aprendizagem deve iniciar com um valor próximo a 0,1, decrescendo gradualmente, mas permanecendo acima de 0,01. Sugestão de parâmetros para 1000 épocas: 0 = 0,1; 1 = 1000 (com isso, f = 0,037). A função de vizinhança deve inicialmente incluir quase todos os neurônios da grade e então diminuir lentamente com o tempo. Assumindo uma grade bidimensional quadrada, 0 seria igual ao raio da grade. A redução da vizinhança seria controlada pela constante de tempo ( f = 1): ln 0 15 As fases do processo adaptativo: ordenação e convergência Fase de convergência: Esta fase é necessária para realizar um ajuste fino do mapa e produzir uma quantização estatística mais precisa do espaço de entrada. Como regra geral, o número de iterações nesta fase deve ser no mínimo 500 vezes o número de neurônios da grade. A taxa de aprendizagem deve permanecer durante esta fase em um valor pequeno, da ordem de 0,01. Não se deve deixar chegar a zero para que a grade não fique presa num estado metaestável (defeito topológico). A função de vizinhança deve conter apenas os vizinhos mais próximos do neurônio vencedor. 16

9 Rede SOM treinada Entradas: os quatro vetores de um espaço de Hamming bidimensional t = 1 t = 5 t = 30 Distribuição triangular na entrada: Distribuição circular na entrada: 17 Fase de reconhecimento Vetores de entrada de funções Booleanas (espaço de Hamming bidimensional) vencedor vencedor x 1 x vencedor vencedor 18

10 Funções: newsom, plotsom SOM no MATLAB n = 1 n = 20 n = 50 n = 100 n = SOM unidimensional n = 1 n = 20 n = 50 n = 100 n = 1500 n =

11 Simulação do SOM A simulação discreta do SOM é composta das seguintes etapas: 1. Inicializar os pesos da rede aleatoriamente e os parâmetros, e n max. Inicializar a variável de tempo discreto n = Apresentar, aleatoriamente, um vetor de entrada do arquivo de treinamento e calcular a ativação de todos os neurônios da rede. 3. Determinar o neurônio vencedor, de índice c. 4. Calcular o fator de vizinhança ( ic ) para cada neurônio i da rede, em função da sua distância em relação ao neurônio c, d ic. 5. Atualizar os pesos de todos os neurônios da rede, levando em conta o seu fator de vizinhança. 6. Incrementar n e atualizar os parâmetros e. 7. Voltar para 2 enquanto n n max. 21 Determinação do vencedor Como na rede SOM desejamos preservar a topologia do espaço de entrada, os vetores de treinamento não devem ser normalizados antes de serem apresentados à rede. Com isso, o processo de escolha do vencedor deve ser baseado na distância euclidiana entre os vetores de entrada (x) e de peso de cada neurônio i (w i ). Para cada neurônio i da rede, a rotina de competição deve calcular a magnitude do vetor diferença, x w i e determinar o índice c do neurônio com menor magnitude. 22

12 Determinação do fator de vizinhança Para uma rede bidimensional com L linhas e C colunas, a determinação da distância entre um neurônio i e o vencedor c, d ic, pode ser calculada diretamente pelas suas posições na rede, (L i, C i ) e (L c, C c ), respectivamente. Lin = 3 Lin = 2 Lin = quociente L c = floor(c /C) C c = mod(c, C) resto Lin = Col = (d ic ) 2 = (L i L c ) 2 + (C i C c ) 2 (n) = 0 exp _ n ( ) 2 ic (n) = exp d 2 ic ( ) 2 2 (n) 23 Dependência temporal dos parâmetros 24

13 Propriedades do Mapa de Características Aproximação do espaço de entrada: o algoritmo SOM é um algoritmo de quantização vetorial que fornece uma boa aproximação para o espaço de entrada H. Ordenação topológica: o mapa de características calculado pelo algoritmo SOM é ordenado de modo topológico: a localização espacial de um neurônio na grade corresponde a uma característica particular dos padrões de entrada. Casamento de densidade: o mapa de características reflete variações nas estatísticas da distribuição de entrada: regiões de H onde amostras x ocorrem com alta probabilidade são mapeadas para domínios maiores no espaço de saída A (maior resolução). Com isso, o mapa treinado apresenta um fator de magnificação m(x) correspondente à fdp f(x) do vetor aleatório de entrada X. Na forma padrão do algoritmo SOM, a codificação produz m(x) f 2/3 (x). Seleção de características: a partir dos dados do espaço de entrada o mapa seleciona um conjunto das melhores características para aproximar a distribuição subjacente. O mapa de características fornece uma aproximação discreta das chamadas curvas (superfícies) principais, representando uma generalização não-linear da análise de componentes principais. 25 Mapas Semânticos (Contextuais) Pode-se formar mapas topográficos para dados abstratos, como palavras, nos quais as relações semânticas são refletidas por suas distâncias relativas no mapa. Para tanto, é necessária a inclusão dos contextos nos quais cada símbolo aparece. Com isso, a rede é capaz de detectar a similaridade lógica entre palavras, a partir das estatísticas de seus contextos. O problema dos mapas semânticos está relacionado com a formação auto-organizada de uma organização de categorias (representação interna) por meio de dados que contêm informação implícita relacionada com estas categorias. O problema de aplicar a lei de adaptação competitiva (baseada em distância) a símbolos é que o significado de um símbolo é desassociado da sua codificação, não havendo assim uma noção de similaridade lógica entre as representações simbólicas. Entretanto, a similaridade lógica entre os símbolos pode ser detectada indiretamente se eles forem apresentados juntamente com um conjunto de atributos do item que eles codificam, ou seja, o seu contexto. O vetor de entrada para o mapa x seria a concatenação do código simbólico x s com o conjunto de atributos x a : x = [x s x a ] T. 26

14 Mapas Semânticos (Contextuais) A entrada do mapeamento semântico é um vetor de duas componentes ortogonais, x s e x a, onde a norma da componente dos atributos predomina sobre a norma da parte simbólica durante o processo de auto-organização. Assim, o mapeamento topográfico reflete principalmente as relações métricas do conjunto de atributos. Entretanto, como as entradas dos sinais simbólicos estão concomitantemente ativas com a componente simbólica durante o treinamento, são formados traços de memória entre estas entradas e as células do mapa que foram selecionadas pela componente de atributos. Por outro lado, durante a fase de reconhecimento de informações de entrada, os sinais de atributo são mais fracos, ou ausentes, mas, mesmo assim, a componente simbólica é capaz de ativar as mesmas unidades do mapa. Normalmente, os atributos são variáveis discretas (ausência: 0, ou presença: 1), cuja identidade é claramente dada pela sua posição no campo de atributos (x a ). Exemplo: geração de um mapa semântico cujas entradas representam a codificação do nome de um (entre 16) animal (x s ) e um conjunto de 13 atributos discretos (x a ), representando características como tamanho, número de patas, cobertura e hábitos. x s é um vetor 16-D com apenas um bit igual a a (= 0,2) e os demais são zero. 27 Nomes de animais e seus atributos vaca zebra cavalo leão tigre gato lobo cão raposa águia falcão couja ganso pato galinha pombo é pequeno é médio é grande tem 2 patas tem 4 patas tem pelos tem cascos tem crina tem penas caça corre voa nada

15 Treinamento Os 16 vetores de treinamento (29 elementos) foram normalizados e submetidos a uma rede 10 10, por 2000 épocas. Após o treinamento, cada célula se tornou mais responsiva a um vetor de entrada. Na fase de teste, foi apresentada como entrada x = [x s, 0] T, e a unidade vencedora foi anotada: pacíficos aves caçadores 29 Visualização por rotulação Podemos visualizar um mapa de características rotulando cada neurônio pelo padrão de teste que excita este neurônio de maneira máxima (melhor estímulo). A rotulação produz uma partição da grade de neurônios evidenciando uma hierarquia de domínios aninhados. pato pato cavalo cavalo zebra zebra vaca vaca vaca vaca pato pato cavalo zebra zebra zebra vaca vaca tigre tigre ganso ganso ganso zebra zebra zebra lobo lobo tigre tigre ganso ganso falcão falcão falcão lobo lobo lobo tigre tigre ganso coruja falcão falcão falcão lobo lobo lobo leão leão pombo coruja coruja falcão falcão cão cão cão leão leão pombo pombo coruja coruja coruja cão cão cão cão leão pombo pombo águia águia águia cão cão cão cão gato galinha galinha águia águia águia raposa raposa raposa gato gato galinha galinha águia águia águia raposa raposa raposa gato gato 30