1. Conceitos básicos dos Sistemas Auto-organizáveis. Os sistemas auto-organizáveis estão relacionados com aprendizagem nãosupervisionada.

Transcrição

1 Redes Neurais Sistemas Auto-Organizáveis. Conceitos básicos dos Sistemas Auto-organizáveis Os sistemas auto-organizáveis estão relacionados com aprendizagem nãosupervisionada. O objetivo de um algoritmo de aprendizagem não-supervisionada é extrair características significativas dos dados de entrada, sem supervisão de um professor. O algoritmo procura encontrar, de forma autônoma, similaridades entre conjuntos de dados, identificando assim, agrupamentos de dados com características comuns. Nos sistemas neurais auto-organizáveis, os pesos dos neurônios armazenam as características de um protótipo correspondente a um agrupamento de dados de entrada com características similares. O algoritmo de treinamento aplica regras locais de modificação de pesos, ou seja, levando em conta uma vizinhança em torno do neurônio. A estrutura de um sistema auto-organizável pode consistir em apenas uma camada de entrada e uma camada auto-organizável de saída, ou em múltiplas camadas, em que a auto-organização se processa seqüencialmente através das camadas.

2 Modelos Descritivos A tarefa de geração de um modelo descritivo consiste (em grande parte) em analisar os dados do domínio (entradas) e sugerir uma partição do domínio, de acordo com similaridades observadas nos dados. Entradas Modelo Determinação de uma configuração de centróides de agrupamentos dos dados Modelo de agrupamento dos dados Dados para agrupamento de subespécies da planta Iris uma amostra do domínio Conjunto de medidas c_sepala l_sepala c_petala l_petala,,8, 0,,,, 0, ,0,,,,,,, ,,9,,8,,,8, comprimento-sepala largura-sepala comprimento-petala largura-petala Modelo Rótulo de classe natural

3 Dados da planta Iris largura-sepala largura-petala comprimento-sepala comprimento-petala Modelo de agrupamento para os dados da planta Iris largura-sepala largura-petala comprimento-sepala comprimento-petala

4 Avaliação de modelos descritivos Questão fundamental: quantos grupos representam mais adequadamente os dados? Usualmente, adotam-se métricas estatísticas de qualidade da configuração de agrupamento: média de distâncias intragrupo e de distâncias inter-grupos. A avaliação da qualidade de um modelo descritivo normalmente é problemática se não dispusermos de informação extra (conhecimento de perícia). A busca informada pela melhor configuração é muito mais eficiente. Exemplos de tarefas com aprendizagem não-supervisionada. Identificação de agrupamentos (clusterização): Os dados de entrada são agrupados por similaridade das suas características. Por aprendizagem não-supervisionada, o sistema deve encontrar os agrupamentos inerentes nos dados de entrada. A saída do sistema fornece o rótulo do agrupamento dos padrões de entrada.. Quantização vetorial: Um espaço contínuo de entrada deve ser discretizado otimamente. Cada vetor contínuo de entrada é atribuído a um vetor protótipo que melhor representa as suas características. A saída do sistema é uma representação discreta do espaço de entrada.. Redução de dimensionalidade: Os dados de entrada são projetados num sub-espaço com uma dimensionalidade menor que a dimensionalidade dos dados. O sistema deve aprender um mapeamento ótimo, em que a variância nos dados de entrada seja preservada nos dados de saída.. Extração de características: O sistema deve extrair as características do sinal de entrada. Em geral, implica redução de dimensionalidade. 8

5 Identificação de agrupamentos A identificação de agrupamentos é uma tarefa descritiva que procura agrupar dados utilizando a similaridade dos valores de seus atributos como fator de decisão quanto à sua pertinência num entre vários agrupamentos possíveis. Este processo utiliza técnicas de aprendizagem não-supervisionada, pois a similaridade entre os atributos é uma característica intrínseca dos dados, não necessitando de um arquivo de treinamento com classes pré-definidas. Em geral, a identificação dos agrupamentos intrínsecos dos dados permite a descrição de cada agrupamento através de um padrão protótipo. O processo normalmente é iterativo e interativo, necessitando que o usuário modifique parâmetros e reapresente os dados até encontrar uma configuração satisfatória de agrupamentos. A ênfase nesta tarefa é a descrição dos dados e não a previsão de como um novo caso será classificado. 9 Modelos de RN para identificação de agrupamentos Existe uma variedade de modelos de RN que são usados para a tarefa de identificação de agrupamentos. Todos eles têm em comum algum processo de aprendizagem não-supervisionada, auto-organizável. Nós estudaremos inicialmente os conceitos básicos dos sistemas auto-organizáveis, introduzindo a noção de redes competitivas. Aqui, um protótipo de um agrupamento é armazenado como pesos de um neurônio. A seguir, será apresentado o Mapa Auto-Organizável (SOM, self-organizing map) proposto por T. Kohonen (98), que é uma rede competitiva organizada numa grade bidimensional (ou de outra dimensionalidade) onde existe interação entre neurônios dentro de uma vizinhança. Por causa desta característica, a rede SOM além de armazenar os protótipos dos agrupamentos, preserva também a topologia original da distribuição dos agrupamentos no espaço de características. Finalmente, será apresentado o modelo da rede ART (Adaptive Resonance Theory), de S. Grossberg e G. Carpenter, que é uma rede auto-organizável incremental. 0

6 . Aprendizado Competitivo: a rede CPN A Rede Counterpropagation (CPN) é um exemplo de rede que implementa aprendizado competitivo. Dado um conjunto de pares de vetores (x i, y i ), a rede aprende a associar um vetor x na entrada a um vetor y na saída. Vetor de saída y Camada de saída Camada competitiva Camada de entrada Vetor de entrada x Vetor de entrada y Camada de entrada Componentes da rede CPN Realiza a transformação do padrão de entrada num padrão de refletância. Padrão de entrada: I = [ I, I,..., I n ] T Intensidade do padrão de entrada: I = i I i Padrão de refletância : = [,,..., n ] T com: i = I i ( i I i ) Com isso, o padrão de refletância tem intensidade unitária: i i = O padrão de refletância é independente da intensidade total do padrão de entrada correspondente. O padrão de refletância da imagem de um objeto, por exemplo, seria independente das condições de iluminação ou sombra. x x i x n x n Com isso se resolve o dilema ruído-saturação. v v v i v n v n + + I I + n I i I I I n I n

7 . O Instar A camada oculta da CPN é composta de um conjunto de elementos chamados instars. O instar é um elemento que agrega todos os sinais de saída da camada de entrada (padrão de refletância). A agregação do padrão de refletância se dá através do cálculo do potencial de ativação do instar: u = x T. w x w y w m x m x A funcionalidade do instar A resposta do instar é calculada de modo escalar como a soma ponderada das entradas pelos pesos respectivos, ou seja: m y = w j x j j = Por outro lado, este mesmo valor pode ser obtido pelo produto escalar entre dois vetores: o vetor de entrada x e o vetor de pesos w: x w x w x = Uma importante propriedade da representação vetorial é que o produto escalar é proporcional ao alinhamento entre os vetores: x x T. w = w = [ x ] y = x T. w = x w cos w w

8 O processo de aprendizagem do instar A resposta máxima do instar se dará quando w estiver perfeitamente alinhado com x (colinear). O processo de aprendizado do instar visa modificar o vetor de pesos de modo a aproximá-lo do vetor de entrada. A aprendizagem do instar se dá por um processo iterativo que, a cada instante de tempo discreto n, diminui a diferença ente os vetores w e x, segundo a expressão: w(n+) = w(n) + (x(n) w(n)), com 0 < < sendo o parâmetro da taxa de aprendizagem do instar x x w w(n+) (x w ) w(n) Aprendizado do protótipo de um agrupamento O instar pode aprender o protótipo de um agrupamento de vetores de entrada, armazenando-o como o seu vetor de pesos, segundo o procedimento a seguir:. Selecionar um vetor de entrada x i, ao acaso, de acordo com a distribuição de probabilidade do agrupamento.. Atualizar os pesos por w(n+) = w(n) + ( x(n) w(n) ). Repetir os passos e para um número de vezes igual ao número de vetores de entrada do agrupamento.. Repetir o passo várias vezes. Com isso, w se modifica em direção à média dos vetores do agrupamento: Se < w > = 0 então < w > = < x > Deve-se reduzir com o tempo, pois uma vez que w atingiu a média do agrupamento, ele não deve mais se modificar. x < w > x x

9 . Redes Neurais Competitivas (RNC) As redes neurais competitivas (RNC) são formadas por um conjunto de nós processadores do tipo instar que competem entre si, para ser o protótipo de um vetor apresentado na entrada. O aprendizado não-supervisionado da RNC é uma extensão do algoritmo de aprendizado do instar. O principal objetivo de uma RNC é realizar o agrupamento de padrões. Elas servem de modelo para sistemas de descoberta de conhecimento, já que são capazes de descobrir regularidades dos padrões de entrada de forma autônoma. Na versão discreta de operação, o processo competitivo é implementado com a ajuda de um juiz externo, que decide qual neurônio é o vencedor, adotando algum critério baseado numa métrica de distância entre o vetor de entrada e o vetor de pesos dos neurônios. Na versão contínua, o processo competitivo é autônomo, determinado pelas conexões laterais, cujo comportamento é dado por um sistema de equações diferenciais. Princípios básicos das RNC Cada neurônio da rede armazena nos seus pesos o valor correspondente ao vetor protótipo de um agrupamento de vetores de entrada. O armazenamento do protótipo de um agrupamento se dá pelo aprendizado nãosupervisionado do instar correspondente. Para cada vetor de entrada apresentado à rede, o neurônio representante do agrupamento correspondente é escolhido por competição. O neurônio vencedor da competição é escolhido como aquele cujo vetor de pesos está mais próximo do vetor de entrada. Na fase de aprendizagem, apenas os pesos do instar correspondente ao neurônio vencedor são ajustados. Após a competição, a saída do neurônio vencedor é colocada em, e a saída de todos os demais neurônios é colocada em 0. Com isso, implementa-se uma competição do tipo o vencedor leva tudo. 8

10 Partição induzida pelos protótipos Como a decisão da pertinência a um dos agrupamentos se dá pelo critério do vizinho mais próximo, uma configuração de protótipos de agrupamentos induz uma partição do espaço de características equivalente a um diagrama de Voronoi. Diagrama de Voronoi: poliedros convexos em torno dos centróides, determinados pelas bissetrizes das medianas entre os protótipos. 9 Exemplo de RNC A RNC abaixo é formada por uma camada competitiva com três instars. A camada de entrada apenas distribui o vetor bidimensional de sinais de entrada normalizados. A cada apresentação de um vetor de entrada, apenas um instar (o vencedor de índice k) terá saída y k =. Todos os demais terão saída nula. y y y w, x w w w w x, x 0

11 Determinação do vencedor O neurônio vencedor é aquele que está mais próximo do vetor de entrada. Pode-se adotar uma de duas métricas para escolher o vencedor: Menor distância euclidiana (menor módulo). Neste caso, o vencedor é aquele cujos vetores estão mais próximos num sentido euclidiano. Menor ângulo. Neste caso, a ativação de cada neurônio, correspondente ao ângulo entre os vetores w e x, é usada como métrica de proximidade. A ativação y é proporcional ao co-seno do ângulo ( ) entre os vetores x e w y = x T. w = x. w. cos O co-seno tem valor máximo igual a quando os vetores são colineares, ou seja, = 0. Assim, a métrica do menor ângulo é equivalente à do maior co-seno: cos = x T. w x. w Determinação do vencedor A distância euclidiana considera o módulo dos vetores. Assim, vetores colineares, mas de módulos diferentes, são distintos por esta métrica. No caso da ativação, o critério de similaridade é o ângulo entre vetores. Neste caso, vetores colineares, de módulos diferentes, são equivalentes.

12 Exercício Considere uma RNC com duas entradas e dois instars, com os pesos conforme mostrado na figura. Considere ainda que temos um arquivo com os seguintes vetores que devem ser agrupados num dos dois agrupamentos representados pelos neurônios: = [, ] T, x = [, ] T, x = [, ] T, x = [, ] T Agrupar os dados de entrada pelos seguintes critérios:. Menor distância euclidiana;. Menor ângulo. y y x 0 x = [, ] T, x = [, ] T, x = [, ] T, x = [, ] T x w y y 0 x x x x c = {x, x } c = {, x } c = {, x } c = {x, x }. Menor distância euclidiana x w x. Menor ângulo. w

13 A Camada Competitiva da rede CPN A camada competitiva da rede CPN é composta de instars que respondem maximamente a um grupo de vetores de entrada, em uma região diferente do espaço. Cada unidade recebe o vetor de entrada I = [I, I,..., I n ] T A i-ésima unidade tem um vetor de pesos associado w i = [w i, w i,..., w in ] T O seu valor de potencial é calculado como: v i = I T. w i O instar vencedor da competição é aquele que apresenta o maior valor de v f( ) f(x ) f(x i ) f(x n ) f(x n ) x + x i x n x n v v v i v n v n w i w in w ii I I I n I n I i Resposta temporal da camada competitiva f( ) f(x ) v + f(x ) x v + f( ) + + w.0 I (t) [V].0.0 I (t) [V].0 (t) [V] x (t) [V] I I t [ms] t [ms] Implementação algorítmica da camada competitiva A funcionalidade da camada competitiva da rede CPN pode ser implementada por um procedimento de escolha de um único vencedor por juiz externo. Neste caso, pode-se usar a distância euclidiana mínima entre os instars e o vetor de entrada como critério para escolha do vencedor. A saída do vencedor é então colocada em e a dos demais neurônios em 0.

14 Exercício Considere o conjunto de vetores bidimensionais {, x,, x } : = [, ] T, x = [, ] T, x = [, ] T, x = [, ] T, x = [, ] T, x = [, ] T Desejamos treinar uma rede CPN com dois Instars, (n) e w (n), com os seis vetores de treinamento (apenas uma época). Considere: () = [, ] T e w () = [, ] T e = 0, x x x x x w n = : = [, ] T, () = [, ] T e w () = [, ] T vencedor : () = + 0,( ) =, () = + 0,( ) = n = : x = [, ] T, () = [., ] T e w () = [, ] T vencedor w : () = + 0,( ) =, w () = + 0,( ) = w w w x 8

15 n = : x = [, ] T, () = [., ] T e w () = [., ] T vencedor : () =, + 0,(,) =, () = + 0,( ) = n = : x = [, ] T, () = [., ] T e w () = [., ] T vencedor w : () =, + 0,(,) =, w () = + 0,( ) =, w x w w x 9 n = : x = [, ] T, () = [., ] T e w () = [.,.] T vencedor : () =, + 0,(,) =, () = + 0,( ) =, n = : x = [, ] T, () = [.,.] T e w () = [.,.] T vencedor w : () =, + 0,(,) =,8 w () =, + 0,(,) =, x w x w w 0

16 Estimação da função densidade de probabilidade Uma característica valiosa de uma rede competitiva treinada para modelar um domínio é que cada unidade da rede vença a competição com igual probabilidade, equivalendo a uma quantização vetorial, que divide o espaço (contínuo) de vetores entrada em regiões discretas, equiprováveis. Entretanto, Rumelhart e Zipser notaram que, com o uso da regra de aprendizado competitivo (regra de Kohonen) onde apenas um elemento tem seus pesos ajustados, é possível que alguns de seus elementos nunca vençam a competição. A regra de treinamento de Kohonen não garante que os vetores w i treinados sejam aproximadamente equiprováveis (vencedores) em relação aos vetores x apresentados à rede de acordo com a função densidade de probabilidade,, do domínio. Se forem equiprováveis, a probabilidade de um vetor x, retirado de R n de acordo com, estar mais próximo a w i é aproximadamente /N, para todo i =,,..., N. Pela regra original, dependendo de, alguns vetores w i nunca (ou quase nunca) serão vencedores, enquanto que alguns outros terão uma probabilidade de vencer muito maior do que o esperado. A regra de Kohonen tende a favorecer regiões de baixa densidade de vetores. Influência da função densidade de probabilidade no aprendizado Rede de neurônios treinada com x unidimensional gerado aleatoriamente entre 0 e, segundo a função densidade de probabilidade ( ) mostrada abaixo. Função densidade de probabilidade ( ) mostrando regiões de áreas iguais Aprendizado de Kohonen. = 0,0 para 000 iterações.

17 Influência da função densidade de probabilidade no aprendizado Rede de neurônios treinada com x unidimensional gerado aleatoriamente entre 0 e, segundo a função (com uma lacuna) mostrada abaixo. Função densidade de probabilidade ( ) mostrando regiões de áreas iguais Aprendizado de Kohonen. = 0,0 para 000 iterações. Apenas um neurônio conseguiu ultrapassar a lacuna. Aprendizagem competitiva com mecanismo de consciência Uma solução para o problema de sub-sobre-amostragem da regra de Kohonen, proposta por DeSieno, é construir um mecanismo de consciência para monitorar a história de sucesso de cada unidade da rede. Se uma unidade ganha a competição muito mais freqüentemente que /N das vezes, então a sua consciência a retira da competição por um certo tempo, permitindo que outras unidades nas áreas sobre-amostradas se espalhem para as regiões sub-amostradas. O conceito básico deste mecanismo é armazenar (iterativamente) a freqüência p i com que cada w i vence a competição. Este valor é calculado localmente por: p i (n + ) = p i (n) + (y i p i (n)) onde y i é ou 0, dependendo se w i venceu ou não a competição no passo n. 0 < << é uma constante de valor pequeno (tipicamente 0,000).

18 Estimação da função densidade de probabilidade A freqüência p i é usada para calcular um bias para o peso w i, que corresponde ao desvio de p i em relação à condição equiprovável (/N): bi pi N onde é um fator de bias (tipicamente 0) que determina a distância que um peso perdido pode alcançar para entrar na solução. Pela fórmula, unidades que vencem muito freqüentemente têm valores de bias grandes negativos; unidades que vencem raramente têm bias positivos grandes. O processo competitivo leva em conta agora o bias de cada elemento: bias positivo favorece a vitória (diminui a distância efetiva); bias negativo dificulta a vitória. y i = se w i x b i w j x b j j i y i = 0 caso contrário O vetor de pesos do vencedor é então ajustado pela regra de Kohonen: w i (n + ) = w i (n) + (x w i (n)) y i Aprendizado com consciência Rede de neurônios treinada com x unidimensional gerado aleatoriamente entre 0 e, segundo a função densidade de probabilidade ( ) mostrada abaixo. Função densidade de probabilidade ( ) mostrando regiões de áreas iguais Aprendizado de Kohonen com cosciência. = 0,0 para (apenas) 00 iterações.

19 Influência da função densidade de probabilidade no aprendizado Rede de neurônios treinada com x unidimensional gerado aleatoriamente entre 0 e, segundo a função (com uma lacuna) mostrada abaixo. Função densidade de probabilidade ( ) mostrando regiões de áreas iguais Aprendizado de Kohonen com consciência. = 0,0 para 000 iterações. O mecanismo de consciência não teve dificuldade com este tipo de função.. O Outstar O outstar é composto de uma unidade da camada competitiva e todas as unidades da camada de saída. Ele representa o componente básico da camada de saída da CPN. y y y y n yn y Camada de saída Vetor de saída y z Camada competitiva Camada de entrada Vetor de entrada x Vetor de entrada y 8

20 O Outstar como modelo de condicionamento clássico Grossberg afirma que o outstar é a arquitetura neural mínima capaz de implementar o condicionamento clássico (Pavlov) z y y z estímulo condicional EC (audição da campainha); y estímulo incondicional EIC (visão de comida); y resposta incondicional RIC (salivação); Inicialmente assume-se que um estímulo condicional z não é capaz de gerar uma resposta em qualquer das unidades de saída a que ele está conectado. Um estímulo incondicional y é capaz de causar uma resposta incondicional. Durante o treinamento, se z está presente enquanto y está causando y a conexão entre a unidade de z e a unidade de y é aumentada. Após o treinamento, z será capaz de causar uma resposta condicional y mesmo sem a presença de y. 9 Treinamento do outstar A saída do outstar pode representar o rótulo (y) de um determinado cluster. Neste caso, todas as saídas da rede correspondentes a cada vetor de um mesmo cluster são idênticas, e os pesos do outstar são calculados pela atribuição direta do rótulo: w = y ou, individualmente, w i = y i Cada vetor de entrada (x) de um mesmo cluster pode ser associado a valores de saídas (y) um pouco diferentes (contínuas). Neste caso, as saídas da rede não representam o rótulo do cluster mas valores contínuos de saída. A rede está realizando o mapeamento de vetores de entrada para vetores de saída. Neste caso, o vetor de peso do outstar associado ao cluster dos vetores de entrada deve aprender o valor médio dos vetores de saída correspondentes. Para tanto, utilizamos um processo similar ao aprendizado do instar: w i (t + ) = w i (t) + ( y i w i (t) ) onde é o parâmetro da taxa de aprendizado para o outstar. 0

21 Mapeamento direto da CPN (versão discreta) Assuma que dispomos de uma rede CPN treinada e temos um vetor de entrada I e desejamos encontrar o vetor y correspondente. O procedimento corresponde ao seguinte algoritmo: I i. Normalize o vetor de entrada: xi I. Aplique o vetor de entrada à porção do vetor x da camada. Aplique um vetor zero à porção do vetor y da camada.. A camada só distribui o vetor de entrada já normalizado para a camada.. A camada é uma camada competitiva do tipo o vencedor leva tudo. A unidade cujo vetor de peso está mais próximo do vetor de entrada vence a competição e tem a sua saída fixa em. Todas as outras unidades têm saída 0.. O único neurônio vencedor da camada excita um outstar. n n Sinais para o mapeamento direto da CPN (versão discreta) Vetor de saída y i w i w mi w w m i p Camada de saída Camada competitiva Camada de entrada x x n Vetor de entrada x Vetor de entrada y

22 Treinamento da CPN (versão discreta) Assumindo que dispomos de um conjunto de vetores de treinamento adequados, efetuamos o treinamento da camada competitiva da CPN de acordo com o seguinte algoritmo:. Selecione um vetor de entrada dentre os vetores de treinamento. A seleção deve ser aleatória correspondente à distribuição de probabilidade dos vetores.. Normalize o vetor de entrada e o aplique à camada competitiva.. Determine o vencedor calculando o v de cada unidade e selecionando a unidade com o maior valor.. Calcule (x w) apenas para a unidade vencedora e atualize os pesos do vencedor de acordo com a expressão: w(t + ) = w(t) + (x w). Repita passos a até todos os vetores de entrada serem processados uma vez.. Repita passo até todos vetores de entrada serem classificados corretamente.. Teste a eficiência do treinamento aplicando vetores de várias classes não usados no treinamento. Se ocorrerem erros de classificação deve-se repetir o passo.