CAPÍTULO 3 REDES NEURAIS ARTIFICIAIS

Transcrição

1 CAPÍTULO 3 REDES NEURAIS ARTIFICIAIS Este Capítulo apresenta uma introdução às Redes Neurais Artificiais clássicas em geral, e também, uma introdução aos modelos mais usados de redes, baseadas em aprendizagem não-supervisionada relevantes para o entendimento das propriedades mais importantes encontradas na Rede Morfológica Não- Supervisionada, a ser apresentada no Capítulo INTRODUÇÃO ÀS REDES NEURAIS ARTIFICIAIS Redes Neurais Artificiais (RNAs) são modelos matemáticos que, inspirados nos modelos das estruturas cerebrais, são capazes de processar informação. Os paradigmas de RNAs, criados com a inspiração da neurofisiologia e teoria do comportamento (estímulo-resposta), são conhecidos também como modelos conexionistas, sistemas adaptativos, redes neurais ou neuronais, ou ainda sistemas neuromórficos. As RNAs exploram características de processamento paralelo distribuído, ou seja, as inspirações neurofisiológicas, do ponto de vista das conexões cerebrais, tornam os modelos conexionistas naturalmente adequados à utilização de sistemas paralelos, interconectados e distribuídos em larga escala. Os modelos de RNAs são concebidos como uma resposta aos problemas que envolvem raciocínio de bom senso, conceitos de lógica nebulosa e processamento de informações incompletas ou imprecisas. A maior parte destes problemas, geralmente, está relacionada aos sistemas que necessitam automatizar processos que envolvem classificação de padrões e tomadas de decisão, como por exemplo: visão por computador, reconhecimento de voz, reconhecimentos táteis e olfativos, e atuação motora. As RNAs mostram-se aptas, 37

2 também, na resolução de problemas de reconhecimento de padrões, otimização, controle, compressão de dados, diagnóstico, aproximação de funções, dentre outros. Vários sistemas computacionais, baseados em RNAs, foram implementados com pouco esforço de programação e grande sucesso em aplicações comerciais e industriais. As RNAs já foram aplicadas com êxito em muitos empreendimentos, como por exemplo nas seguintes aplicações: detecção de fraudes em sistemas de crédito, avaliação de bolsas de valores, avaliação de crédito em transações comerciais, controle de processos industriais, gerenciamento de linhas de produção, planejamento para controle de produção, controle de qualidade, diagnóstico de máquinas e usinas nucleares, sistema de apoio à decisão, manutenção preventiva, detecção de drogas em processos de embarque e desembarque, exploração mineral, reconhecimento ótico de caracteres tipográficos e manuscritos, reconhecimento de padrões em imagens de satélite, detecção de vírus em computador, diagnóstico médico em tomografia computadorizada, implementação de métodos de otimização. Detalhes sobre as várias aplicações utilizando-se RNAs podem ser encontrados em: Kosko (1992); White e Sofge (1992); Zurada (1992); Soucek (1991); Morgan e Scofield (1994); Simpson (1990); e Hunter (1993). As RNAs são produto de pesquisas em várias áreas, incluindo-se biologia, matemática, computação, psicologia, linguagem natural e controle. Grande parte desta multidisciplinariedade pode ser explicada, a partir de objetivos associados à criação de sistemas inteligentes. Por serem inspiradas em modelos da neurociência, as RNAs são diferentes dos modelos computacionais convencionais (modelos seqüenciais von Neumann ). Por serem modelos paralelos, as RNAs não são, por completo, adequadas a 38

3 implementações baseadas em modelos computacionais tradicionais, cujos projetos de hardware e software, geralmente, são baseados em grandes quantidades de memória contígua, as quais, são utilizadas por uma CPU complexa, cujo processamento é previamente codificado em lógica seqüencial. Em oposição a este modelo, as RNAs são concebidas como uma arquitetura adequada a uma grande quantidade de simples unidades ativas interconectadas, as quais são caracterizadas por uma pequena memória local, e Processamento Paralelo Distribuído (PPD), cujas bases da arquitetura e funcionamento, assemelham-se às estruturas de redes dos tecidos nervosos cerebrais. As pesquisas na área de Redes Neurais Artificiais geralmente originam-se nas inspirações biológicas como referência para o desenvolvimento de modelos conexionistas, baseados em RNAs. No entanto, alguns pesquisadores, baseandose em suas próprias inspirações, podem produzir modelos matemáticos que dificilmente fariam parte de um sistema biológico já existente, mas que não devem ser descartados para pesquisas de novos sistemas cognitivos artificiais NEURÔNIOS ARTIFICIAIS E REDES NEURAIS ARTIFICIAIS Os neurônios artificiais são tratados na neurocomputação como elementos ativos, com memória e processamento local, de forma que, quando conectados, compõem as RNAs (Redes Neurais Artificiais). Estes modelos de neurônios computacionais também são conhecidos como elementos de processamento (Eps), "nó" ou "neuro-nó". Os neurônios artificiais podem ser simulados ou implementados com tecnologia baseada em eletrônica analógica, digital ou híbrida, e ainda, por sistemas óticos, mecânicos ou eletromecânicos, ou por algum mecanismo ativo que permita implementações de sistemas de controle adaptativo. Porém, na maioria das 39

4 implementações já realizadas, estes elementos de processamento de informação foram simulados a partir de sistemas computacionais digitais. O funcionamento básico de cada nó consiste no produto interno entre o vetor de entrada e o vetor peso, isto é, baseado no modelo biológico da "soma" (somatório) da multiplicação de cada entrada (valor apresentado aos dendritos artificiais ) pelo correspondente peso (reforçador ou inibidor), mantido em cada conexão ( sinapse ), o valor parcial (action potencial) obtido por essas operações é então submetido à função de transferência (função de limiarização), a qual produz o valor de saída do nó. Esta saída é então submetida aos dendritos dos nós da camada seguinte, se houver, caso contrário o valor é assumido como resposta da rede. Além da função de transferência, cada nó tem uma função ou regra interna responsável pela aprendizagem. Essa função atua na adaptação dos pesos ou conexões de modo a obter em cada nó um comportamento adequado em tempo de ativação. Isto é, essa função atua de forma a obter valores de saídas apropriados, em resposta aos sinais de entrada que ativam cada nó. Esta adaptação é usualmente acompanhada pela modificação dos valores das variáveis armazenadas na memória local do nó. Nem todas as adaptações acontecem via modificação dos valores armazenados na memória local. Por exemplo: conexões entre nós podem ser criadas ou destruídas, neurônios podem ser criados ou destruídos, ou ainda esquemas que permitem substituir as funções de transferência de determinados neurônios. Algumas funções de aprendizagem podem extrapolar o domínio dos nós, podendo inclusive atuar como um mecanismo de supervisão da rede como um todo. Uma rede Neural artificial pode ser observada como um grafo orientado (do inglês directed graph) constituído de um conjunto de nós conectados por um conjunto de ligações (Nielsen, 1989). Uma rede neural é uma estrutura de processamento 40

5 paralelo e distribuído, de informação representada na forma de, por exemplo, um grafo dirigido com os seguintes elementos: - Os nós, correspondentes ao campo do neurônio, são os elementos de processamento (nós); - As conexões da rede são as ligações do grafo. Cada conexão funciona como um caminho unidirecional de condução instantânea de sinal entre os nós e; - A intensidades das conexões entre neurônios, as sinapses, no caso de redes neurais computacionais, são representadas por pesos w ij que representam a intensidade de interação do nó N i com o nó N j. O sinal de w ij indica excitação quando positivo ou inibição para valores negativos, com as seguintes características: - cada nó pode receber qualquer número de conexões de entrada; - cada nó pode conectar-se com um número qualquer de outros nós. O valor emitido para todos esses outros nós é o mesmo; - cada nó pode ter uma memória local; - cada nó possui um estado de ativação (generating potential) e - os sinais de entrada e de saída de uma rede neural são adquiridos e enviados, via conexões. As redes neurais geralmente têm os nós agrupados em subconjuntos, os quais são chamados de camadas. Tipicamente todos os nós pertencentes a uma camada têm um mesmo tipo de função de transferência, e são denominadas redes implícitas, isto é, redes formadas por nós com funções e estrutura de conexões padrão. Esta definição é suficientemente geral para especificação de qualquer rede neural, configurada como uma 41

6 coleção de camadas, com uma arquitetura padrão bem definida. Caso a rede seja explícita, deve-se especificar cada nó de cada camada. Cada camada consiste, geralmente, de uma matriz unidimensional ou bidimensional de nós. As camadas podem ter qualquer configuração geométrica. Os nós podem ter conexões com nós na mesma camada, assim como, com nós de outras camadas. Para facilitar a compreensão do funcionamento dos módulos de uma rede, pode-se assumir que estas são compostas inteiramente de nós que funcionam por eventos, isto é, processa-se a resposta de todos os neurônios de uma camada e então propaga-se os valores calculados para outra camada que então é habilitada para processamento, e assim por diante. No entanto, Redes Neurais Artificiais implementadas com tecnologia analógica podem funcionar em regime dinâmico, isto é, gerar respostas sincronizadas com os sinais de entrada, independente de um sinal de controle digital. Um exemplo de Rede Neural Artificial, contendo três camadas, pode ser observado na Figura 3.1. REDE COM TRÊS CAMADAS NÓ ou NEURO-NODE CONEXÃO CAMADA INTERNA CAMADA DE SAÍDA CAMADA DE ENTRADA Fig Exemplo de uma rede neural. Muitas redes neurais incluem a camada de entrada, onde cada nó recebe somente uma entrada do mundo exterior à rede. A camada de entrada recebe seus 42

7 sinais, via uma matriz de dados, fornecidos pelo agente externo. Os nós da camada de entrada, tipicamente, não têm nenhuma outra função, além de distribuir os sinais que os atinge, para outros nós da rede. Esses nós, chamados de unidades de entrada, geralmente, não têm memória local e suas funções de transferência são simplesmente um registro que libera o sinal de entrada para outros nós, uma vez que estes sejam ativados IMPLEMENTAÇÕES DE RNAS tecnologias: A maioria das implementações de RNAs é baseada nas seguintes - Simulações computacionais: são implementações em software que simulam o comportamento paralelo das redes neurais artificiais. Estas podem ser implementadas em supercomputadores, cuja tecnologia básica de processamento é vetorial. Isto é, são programas processados com alto grau de paralelismo, caracterizados por um sistema com arquitetura de alta performance. As arquiteturas paralelas, de alta performance, são baseadas em um grande número de processadores, os quais, geralmente, são organizados vetorialmente. Os detalhes sobre esse tipo de arquitetura podem ser observados em Stone (1987) e Hwang e Briggs (1987). Implementação de simuladores utilizando-se computadores convencionais, muito mais lentos, podem ser desenvolvidas como primeiro passo para a Neurocomputação. - Implementações eletrônicas: são dedicadas ao aumento da capacidade de processamento conexionista. Geralmente, esse tipo de implementação é desenvolvido em processadores tipo Orientado por Barramento (do inglês Bus Oriented), coprocessadores e circuitos integrados dedicados. Detalhes sobre esses tipos de implementação podem ser encontrados em Nielsen (1989); Soucek e Soucek (1988); Parbery (1994) e Zarándy et al. (1996). 43

8 - Implementações eletro-óticas e óticas: são implementações em equipamentos óticos, geralmente baseados em princípios holográficos. Um exemplo desse tipo de implementação pode ser observado em Beale e Jackson (1990). Alguns exemplos e detalhes de implementações de RNAs são apresentados em: Maren et al. (1990); Simpson (1990); Nielsen (1989); Arbib (1995); Peretto (1992); e Anderson e Rosenfeld (1989) PRINCÍPIOS DE APRENDIZAGEM EM RNAS O termo aprendizagem implica em mudanças no conhecimento conexionista, isto é, os nós, de alguma forma, devem mudar seu comportamento de entrada e/ou saída em resposta aos sinais recebidos, Hanson et al. (1994), Haykin (1994); Beale e Jackson (1990); Rumelhart e McClenlland (1986); e Nielsen (1989). As regras de aprendizagem, geralmente, são expressas através de equações, que são utilizadas nas funções de transferências dos nós de uma rede neural. Esta seção descreve os métodos básicos de treinamento e um resumo de alguns tipos de regras de aprendizagem Métodos de Treinamento Existem dois métodos básicos de aprendizagem para RNAs, isto é, as RNAs podem aprender por métodos supervisionados ou não-supervisionados. Os métodos não-supervisionados têm conotação de aprendizagem "autodidata", enquanto que os métodos supervisionados são implementados por treinamento com auxílio de mecanismos de referência tipo "professor" (monitor). O treinamento não-supervisionado é obtido através do ajuste da rede até uma resposta estável, para um determinado padrão de entrada. Além dos métodos já citados, existe o aprendizado por reforço, o qual pode ser classificado com uma variação do método supervisionado. 44

9 Os mecanismos de aprendizagem são implementados com base em regras ou algoritmos. Estes algoritmos, geralmente, são desenvolvidos com a inspiração no funcionamento de sistemas vivos ou sistemas físicos em geral. Os métodos de treinamento sugerem uma classificação das RNAs em categorias de aprendizagem. Segundo Nielsen (1989), as categorias de aprendizagem podem ser: - Supervisionada: Define uma situação na qual a rede funciona como um sistema de entrada/saída. A rede recebe uma entrada como um vetor de entrada x µ e emite um vetor y µ (onde µ em x é o número do padrão de entrada, e em y é o número do padrão de saída associada ao padrão de entrada x). O treinamento de tal sistema implica num regime no qual a rede neural é alimentada, com uma seqüência, suficientemente representativa, de exemplos x µ como entradas, e saídas y µ corretas ou desejadas. Para cada entrada é verificado se uma saída y µ é fornecida à rede de modo a informar precisamente qual a saída que a rede deve fornecer. Para distinguir melhor a saída real da rede daquela desejada, utilizase a notação (y µ )' para a primeira e y µ para a última. Assim (y µ )' pode ser vista como uma estimativa de y µ. Em muitos exemplos, os pares (x µ,y µ ) usados no treinamento de uma rede podem ser exemplos de uma função y µ = f(x µ ) fixa, ou estocástica do tipo y µ = f(x µ ) + n i, onde n i é por exemplo um vetor ruído aleatório. - Reforço: É similar à aprendizagem supervisionada, mas em vez de ser dada a saída correta y µ para cada tentativa de treinamento, a rede recebe somente uma graduação (do inglês score) que indica quão bem a rede tem desempenhado na seqüência de exemplos de treinamento. 45

10 A vantagem do aprendizado por reforço é que não é necessário saber a resposta correta para cada entrada, de forma a treinar a rede a executar a tarefa. As grandes aplicações das redes, baseadas nesse tipo de aprendizado, são em controle e em problemas de otimização de processos onde não há meios de se saber as saídas desejáveis. - Auto-organizável (Não-Supervisionada): A rede se modifica em resposta às entradas x µ, sem recorrer a nenhum valor de saída y µ ou a alguma graduação de desempenho, previamente estabelecido. Esta categoria de treinamento, embora pareça sem objetivo, é bastante útil. Aplicações relevantes podem ser observadas no desenvolvimento de categorias em agrupamentos de padrões ou em restauração de imagens baseadas em padrões de referência previamente treinados Regras de Aprendizagem Muitas regras de aprendizado são de uso geral. Muitas das mais populares são alguma espécie de variação da mais conhecida lei de aprendizado, a Regra de Hebb, ou sinapse de Hebb (1949). Pesquisas têm continuado e novas idéias estão sendo tentadas. Alguns pesquisadores têm a modelagem de aprendizado biológico como seu objetivo principal; outros estão experimentando adaptações de suas percepções de como a natureza trabalha o aprendizado. A maioria das RNAs, já implementadas, foram baseadas nas seguintes regras: Regra de Hebb (1949), Regra Delta (Widrow, 1960), Regra ou Modelo de aprendizagem de Kohonen (1982), Regra Retro Propagação do Erro (Werbos, 1974; Parker, 1982 e Rumelhart et al., 1986), Regra de Aprendizagem por Reforço (Klopf, 1988), Regra de Aprendizagem por Cooperação-Competição (von der Malsburg, 1973; Grossberg, 1976 e 1980; e Kohonen, 1982a e 1982b). 46

11 Vários pesquisadores têm contribuído em análise e desenvolvimento de variações das regras de aprendizagem, por exemplo: Nilsson (1965) propôs achar vetores que representem as modas (máximos locais) da função de distribuição de probabilidade; Tsypkin (1973) propôs a minimização da função desempenho, do tipo média quadrática ; Grossberg (1976) demonstrou um esquema estável de aprendizagem que não destruiria informação previamente aprendida, quando executando um processo de armazenagem de uma nova informação (retreinamento); Willshaw e von der Malsburg (1976) procuraram descobrir um mapeamento topológico contínuo de uma superfície bidimensional para outra superfície bidimensional por meio de axônios auto-organizáveis. Dentre as várias redes desenvolvidas, as redes de Kohonen e ART são os modelos mais usados na maioria das implementações não-supervisionadas. No Capítulo 5, alguns mecanismos utilizados nessas redes serão adaptados para o desenvolvimento de um novo paradigma de rede não-supervisionado. A seguir serão apresentados mais detalhes de arquitetura e funcionamento das redes de Kohonen e ART DESCRIÇÃO DA REDE DE KOHONEN A rede de Kohonen é uma rede não-supervisionada que contém duas camadas. A primeira camada ou camada de entrada é responsável pela aquisição de padrões. A Segunda camada é conhecida também por camada ou mapa de Kohonen. O número de nós na primeira camada deve ser igual ou superior ao número de componentes que compõe o padrão de entrada. O número de nós da camada de Kohonen deve ser igual ou superior ao número de classes a serem aprendidas. Sejam os padrões de entrada x µ R N, contendo cada um n sinais de entrada (x µ 1, x µ 2,..., x µ n), os quais podem ser classificados em k classes. Então, pode-se definir uma rede de Kohonen composta por uma camada de entrada contendo n nós, e uma camada de Kohonen contendo k nós. Cada nó da camada de entrada possui um peso fixo 47

12 w e = 1, pois não deve alterar os valores de cada padrão recebido. Cada neurônio j da camada de Kohonen tem i pesos w ij associado a este. Um exemplo de arquitetura da rede de Kohonen, contendo dois neurônios na camada de entrada e nove neurônios na camada de Kohonen, pode ser observado na Figura 3.2 a seguir: Camada de Kohonen Neurônios de entrada } w j Fig Arquitetura de uma rede tipo Kohonen. FONTE: Beale, R; Jackson, (1990) Modelo de Aprendizagem de Kohonen O procedimento desenvolvido por Tuevo Kohonen (1982a), foi inspirado no aprendizado em sistemas biológicos (Kohonen, 1982a e 1982b). Neste procedimento, os elementos de processamento competem pela oportunidade de aprender. O elemento de processamento contendo a maior saída é declarado o vencedor e tem a capacidade de inibir seus concorrentes, ajustar seus próprios pesos e permitir que seus vizinhos mais próximos (nós dentro da vizinhança corrente) também ajustem seus pesos. A idéia do processo competitivo em uma determinada camada, como acima descrito, baseia-se no fato de que, após cada nó da camada de Kohonen ter calculado sua intensidade de entrada d j, então uma competição é estabelecida. Essa competição tem como objetivo determinar qual nó obteve a menor distância d j, isto é, descobrir qual o nó tem seus pesos w j mais próximos a x. Possíveis desempates são 48

13 resolvidos pela escolha do nó de menor índice. Esta competição pode ser implementada de várias maneiras: - Para todos os nós, em uma camada de Kohonen, obtém-se o neurônio com o menor valor de d j, e então este é selecionado como nó vencedor, isto resulta no neurônio, mais representativo, associado ao padrão sob treinamento. Este deve enviar uma realimentação para todos os nós da camada de Kohonen. - Pode-se também utilizar o mecanismo de inibição lateral (Kohonen, 1982a e 1989). O conceito de inibição lateral é implementado por conexões entre os neurônios, da camada de Kohonen, as quais, em tempo de competição, possibilitam a cada neurônio inibir seus concorrentes mais próximos. Estes por sua vez propagam o sinal de inibição para seus vizinhos, e o processo é repetido até que um neurônio saia vencedor. - Outra possibilidade seria selecionar como ativo, o nó que apresente o menor valor de d j. Cada nó compara seu valor d j com estes recebidos de outros nós. Isto permite verificar qual é o neurônio cujos pesos estão mais próximos do padrão sob treinamento. Em casos de mais de um nó apresentar a mesma similaridade (distância), escolhe-se o de menor índice (imaginando-se uma ordem da esquerda para a direita e da parte superior para a parte inferior da camada de Kohonen), por exemplo: - Pode-se utilizar também um parâmetro L (limiar) de similaridade, o qual definirá o valor máximo de distância (diferença) que é aceitável, para incluir o padrão sob treinamento dentro da classe representada por um determinado neurônio. Usando-se um limiar L, o qual pode ser aumentado através de pequenos incrementos, a regra estabelece que o primeiro nó a ter uma distância menor que L vence a competição. 49

14 Os dados para treinamento de uma camada de nós, na rede de Kohonen, consistem de vetores x µ aleatórios obedecendo a uma função densidade de probabilidade ρ. A cada um desses vetores, que entram na rede, os nós competem entre si para determinar o vencedor, utilizando a distância mínima d j. Ao receber um padrão de entrada, cada nó desta camada, calcula seu nível de ativação de entrada segundo uma medida de distância a seguir: d j = D(w j,x) (3.1) função distância. onde w j = (w jl, w j2,..., w jn ) e x = (x l, x 2,..., x n ), e D(u,v) é uma Essa função distância define o quanto cada neurônio está apto a representar o padrão apresentado, em tempo de treinamento. Para implementação da métrica de similaridade geralmente utiliza-se a distância Euclidiana: 2 D( w, x) = ( x w ) (3.2) j i i ji Independente do método acima adotado, para estabelecer a competição, o nó vencedor terá sua saída z i igual a 1. Todas os outros nós são colocados em 0, isto é, o ganhador leva tudo (do inglês Winner Take-all ) e a fase de aprendizagem começa modificando os pesos associados ao nó vencedor. Nessa fase, a modificação dos pesos (aprendizado) do neurônio vencedor e de sua vizinhança v rr (v rr é um grupo de neurônios vizinhos que circundam o neurônio vencedor) na camada competitiva é implementada de acordo com a seguinte regra (Kohonen, 1982a e 1982b): novo ij velho ij µ i velho ij w = w + α ( x w ) z (3.4) i 50

15 onde w ij são os pesos, α é a constante de aprendizagem, com 0 < α 1, x µ i são as componentes dos vetores de entrada e z i é o valor de saída do neurônio vencedor. A saída z i {0,1}, w ij R N, e x µ R N. O tamanho da vizinhança v rr pode variar durante o período de treinamento. O padrão usual é começar com uma definição maior da vizinhança, e estreitá-la conforme o treinamento procede. Este princípio é similar aquele usado na estimação de densidade de probabilidade (Banon, 1977). O fato do segundo termo do lado direito da equação ser multiplicado por z i, permite apenas ao neurônio vencedor modificar seus pesos. O novo valor do vetor peso do nó vencedor é uma combinação convexa dos antigos vetores pesos e de x µ. Assim, esta regra de aprendizagem move o vetor peso uma fração ao longo da linha reta entre o antigo vetor peso e o vetor x µ. O vetor peso do neurônio vencedor pode ser observado como sendo puxado na direção do vetor x µ, de forma que x µ torna-se capaz de exercer uma força atrativa somente no vetor peso mais próximo. Quando novos vetores x µ são alimentados para a rede, os vetores pesos normalizados (unitários) são puxados para eles, e assim, formam uma "nuvem" próxima à região onde os vetores x µ realmente são definidos. No início do treinamento a constante α é usualmente colocada em valor alto, geralmente em torno de 0.8. Quando os vetores w i movem-se para dentro da área dos dados de entrada, então α é diminuído para 0.1 ou a um outro valor menor para fins de obter um equilíbrio final. Durante o treinamento, os vetores de peso tornam-se mais densos onde os x µ são mais comuns e tornam-se menos densos (ou ausentes) onde os vetores x µ 51

16 dificilmente, ou nunca, aparecem. Um possível algoritmo para treinamento da rede de Kohonen pode ser observado a seguir: Sejam W ij. os pesos das conexões entre a camada de entrada e a camada de Kohonen, X i o padrão de entrada, e α a taxa de aprendizagem. Passo 0. Inicializar os pesos W ij. Determinar os parâmetros da vizinhança topológica. Determinar o parâmetro da taxa de aprendizagem α. Passo 1. Enquanto condição de parada é fazer, faça Passos 2-8. Passo 2. Para cada vetor de entrada x, fazer Passos 3-5.* Passo 3. Para cada neurônio j, computar: D( w, x ) = ( w x ) j ij i i Passo 4. Encontrar o índice j tal que D(w j,x) seja mínimo. Passo 5. Para todas as unidades j dentro de uma vizinhança v rr especificada de j, e para todo i, fazer: w ( new) = w ( old) + α [ x w ( old)] ij ij i ij 2 Passo 6. Atualizar a taxa de aprendizagem. Passo 7. Reduzir o raio da vizinhança topológica. Passo 8. Testar condição de parada. A condição de parada pode ser determinada por um número máximo de iterações que deverão ser realizadas, ou pela distância mínima D(w j, x) que se deseja alcançar. Passo 9. Fim Fig Algoritmo de treinamento da rede de Kohonen. Fonte: Fausett (1994). 52

17 A ativação da rede ocorre quando é apresentado um padrão de entrada a ser classificado. A rede, então, procura o neurônio na camada de Kohonen que melhor representa esta entrada, isto é, aquele cujos pesos estão mais próximos do padrão de entrada. O padrão de entrada é, portanto, classificado dentro de uma classe de padrões determinados durante a fase de treinamento. Um possível algoritmo de ativação é apresentado a seguir: Passo 0. Inicializar os pesos W ij (com os valores já treinados) Passo 1. Enquanto condição de parada é falsa, fazer Passos 2-6. Passo 2. Ler vetor de entrada x. Passo 3. Para cada neurônio j, computar: D( w, x ) = ( w x ) j ij i i 2 Passo 4. Encontrar o índice j tal que D(w j,x) seja mínimo (neurônio vencedor). Passo 5. Enviar z i para saída: z j 1 se z j é o neurônio vencedor = 0 cc Passo 6. Testar condição de parada. A condição de parada ocorre quando não houver mais padrões a serem apresentados. Passo 7. Fim Fig Exemplo de algoritmo para ativação da rede Kohonen. 53

18 Para uma análise mais detalhada deste paradigma pode-se observar na literatura da área de Redes Neurais vários trabalhos relevantes em Desieno (1988), Kohonen, (1989) e Lo et al. (1991 e 1992) O PRINCÍPIO DE RESSONÂNCIA ADAPTATIVA - REDE ART A rede baseada em Adaptive Resonance Theory (ART), proposta por Carpenter e Grossberg (1987a), é um modelo de rede neural Não-Supervisionada o qual originalmente foi desenvolvido sob duas camadas. Uma camada denominada camada de entrada e uma outra denominada camada de ressonância, como mostra a Figura 3.3, esta rede também ficou conhecida como ART1. F 2 + Bias Gain Ctrl + STORAGE LAYER TOP - DOWN PATTERN bottom - up pattern BOTTOM-UP PATTERN - F1(b) + - Gain Control + INPUT LAYER - + F1(a) Global Reset Process External Input Pattern Fig Modelo de Rede ART. FONTE: Caudill et al., (1992). Em um segundo trabalho, Carpenter e Grossberg (1987b), desenvolveram uma segunda rede, denominada ART2, com capacidade para processamento de padrões em nível de cinza. Ambos os modelos munidos de uma regra de aprendizagem competitiva possibilitam armazenagem, em tempo de ativação dos padrões amostrados. A rede dispõe de um subsistema de atenção, e um subsistema de orientação, os quais atuam em um mecanismo de reset. Estes itens, juntos, implementam a 54

19 verificação de similaridade, entre o padrão apresentado e um padrão já representado por algum neurônio já treinado, e habilita ou não o treinamento ou retreinamento de um determinado neurônio. Os nós da camada de entrada são responsáveis pela recepção dos padrões a serem treinados. Os padrões de entrada são representados por componentes de vetores x µ µ = (x 1µ, x 2µ,..., x nµ ), onde x i {0, 1} N µ para a Rede ART1 e x i R N para a Rede ART2. Cada nó da camada de ressonância representa uma classe (Caudill et al., 1992). Os neurônios das duas camadas são totalmente conectados entre si. A camada inferior é a camada de entrada; a camada superior é a camada de armazenamento. Cada padrão apresentado à rede, inicialmente, estimula uma atividade na camada de entrada. Esse é o padrão bottom-up ou apresentação. Ele é apresentado a cada nó da camada superior de armazenamento. Esse padrão é modificado durante a sua transmissão, através das sinapses, para a camada superior onde esta estimula um padrão de resposta na camada de armazenamento. A atividade resultante é o padrão top-down, também chamado de padrão esperado, isto é, o padrão obtido como resposta do neurônio mais representativo. Inicialmente, este padrão, geralmente, é bem diferente do padrão bottom-up. No entanto, após o treinamento, o novo padrão é armazenado. As duas camadas, a de entrada e a de ressonância, podem ser vistas de uma outra maneira. O modo básico de operação é um teste de hipótese, isto é, o padrão de entrada é passado para a camada superior, que tenta reconhecê-lo e então o neurônio mais representativo apresenta sua resposta padrão, armazenado em seus pesos, como uma possível classe a qual o padrão, apresentado na entrada, poderia ser incluso. 55

20 A camada superior faz uma suposição sobre qual categoria esse padrão bottom-up pertence e o envia, na forma de padrão top-down, para a camada de entrada. O resultado é então comparado com o padrão original; se a suposição estiver correta, isto é, se o padrão for semelhante o suficiente (dentro de um parâmetro prédefinido como aceitável), os pesos do neurônio, vencedor dessa categoria, são reforçados em relação a este padrão. Se a suposição estiver incorreta (muito longe da categoria já treinada), a camada superior faz uma outra suposição, isto é, tenta um outro neurônio livre, cujo sinal de reset permita o treinamento do novo padrão. Eventualmente, o padrão é colocado em uma categoria existente ou é treinado como o primeiro exemplo de uma nova categoria. Assim, a camada superior forma uma hipótese para uma categoria já treinada para cada padrão de entrada; essa hipótese é então testada, enviando-a de volta para a camada mais baixa para ver se a similaridade é aceitável. Uma boa similaridade (similaridade dentro de uma faixa prédeterminada), resulta em uma hipótese válida; pouca similaridade resulta em uma nova hipótese. Se o padrão apresentado aos nós da camada de entrada, pela entrada top-down, é similar ao padrão excitado, na camada de entrada pela entrada externa, então o sistema está em ressonância adaptativa. É um estado de ressonância porque as atividades nas camadas se reforçam mutuamente, entrando em ressonância. Ela é adaptativa, porque os pesos nas conexões entre as camadas são continuamente modificados, enquanto os padrões entre os neurônios ressoam, para fortalecer o reconhecimento desse padrão de entrada. Uma das etapas importantes de ação é como a rede reage quando os dois padrões não ressoam. Se o padrão top-down não for similar o suficiente ao padrão bottom-up já existente em um neurônio treinado, a rede ART deve pesquisar um novo neurônio para verificação de uma melhor similaridade. 56

21 Esse processo de pesquisa continua até que um casamento adequado seja encontrado, ou o padrão de entrada seja aprendido como um novo item de dados. Tal pesquisa ocorre somente se a primeira suposição estiver incorreta. Quando a primeira suposição se aproxima do padrão de entrada, a rede reconhece imediatamente a entrada sem pesquisar ou testar padrões já armazenados, uma característica importante para os sistemas autônomos práticos. Para a estrutura mínima da rede ART descrita aqui, os nós da camada de armazenamento são conectados em uma arquitetura competitiva interna. Somente um vencedor é permitido; isso significa que o padrão top-down consiste de um nó ativado na camada de armazenamento. Significando que mudanças de arquitetura devem ser feitas para a rede permitir múltiplo nós vencedores na camada de armazenamento. Uma característica chave do funcionamento das redes ARTs é que elas têm uma resposta especial a um sinal de entrada chamado de reset global. Se um neurônio particular estiver ativo quando o reset global é recebido, aquele neurônio é inibido imediatamente e permanece inibido por algum período de tempo depois do reset global ser removido. Se o reset global chegar quando o neurônio não estiver ativo, ele permanece desligado enquanto o sinal reset estiver presente, mas, uma vez removido o sinal, o neurônio pode se tornar ativo imediatamente. As restrições funcionais impostas à rede são baseadas na estratégia competição-cooperação. O mecanismo de atenção permite aos nós da camada de entrada, adquirir os sinais para a operação da rede somente quando estes estão presentes. Por outro lado o mecanismo de orientação retira de ativação os nós de saída que não são selecionados como possíveis vencedores. 57

22 Arquitetura da Rede ART1 A arquitetura simplificada da rede neural ART1 envolve três grupos de neurônios: um campo de processamento de entrada (chamado de camada F 1 ), as unidades de agrupamento (a camada F 2 ), e um mecanismo para controlar o grau de similaridade de padrões colocados no mesmo agrupamento (um mecanismo reset). A camada F 1 consiste de duas partes: o registro de entrada e interface. A interface, parte superior da camada de entrada, combina os sinais do registro de entrada e da camada F 2, para efetuar a análise de similaridade entre o sinal de entrada com o vetor de peso do neurônio que foi selecionado como um candidato para o aprendizado. Pode-se denotar o registro de entrada da camada F 1 como F 1 (a) e a interface como F 1 (b). Para controlar a similaridade dos padrões colocados no mesmo agrupamento, há dois grupos de conexões (cada um com os seus próprios pesos) entre cada neurônio da interface do campo de entrada e cada neurônio da camada de ressonância. A camada F 1 (b) está conectada à camada F 2 pelos pesos bottom-up. O peso bottom-up na conexão da i-ésima unidade da camada F 1 para a j-ésima unidade da camada F 2 é designada b ij. A camada F 2 é conectada à camada F 1 (b) pelos pesos topdown; o peso bottom-up na conexão da j-ésima unidade da camada F 2 é designada t ji. A camada F 2 é uma camada competitiva: a unidade de agrupamento contendo a maior entrada de rede se torna a candidata para aprender o padrão de entrada. As ativações de todas as unidades F 2 são estabelecidas em zero. Nesta fase, as unidades de interface combinam a informação da entrada e das unidades da camada F 2. A diferença entre o padrão de entrada e o neurônio mais representativo define se haverá aprendizagem ou não. Essa decisão é feita pela unidade reset, baseada em sinais que ela recebe da entrada F(a) e da interface F(b) da camada F 1. 58

23 Se o neurônio vencedor não tiver permissão para aprender, este é inibido e um novo neurônio é selecionado como possível candidato. Os nós da camada de entrada recebem sinais tanto do meio ambiente externo à rede, como da camada de saída. Os nós da camada de saída recebem como entradas os sinais vindos apenas da camada de entrada. A estratégia de operação estabelece que primeiro deve haver uma competição entre os nós da camada de saída, usando o princípio utilizado nas redes multiplicativas, até que somente um nó permaneça ativo. O nó vencedor envia por sua vez um sinal de realimentação para a camada de entrada, possibilitando a esta uma nova ativação. Esta ativação criada pelo nó vencedor, chamada de geração de hipótese, é então comparada (teste da hipótese gerada) com o sinal de entrada. No caso da diferença encontrada não exceder um valor pré-definido, então o nó vencedor é rotulado como o representante do padrão de entrada e este é agrupado ao padrão armazenado. Se a diferença calculada na comparação, entre o valor de entrada e o gerado pelo nó vencedor, exceder um determinado limiar, definido a priori através de um parâmetro, então o nó vencedor não pode representar a classe a qual pertence o vetor de entrada. Como conseqüência o nó vencedor pode ser retirado da lista de nós que possam ser representantes. Nessa fase, duas atitudes possíveis podem ser tomadas: a primeira baseada na existência de algum nó vencedor ainda na lista de nós, o que permite o ciclo ser recomeçado com a ativação da camada de saída através dos sinais enviados pelos nós da camada de entrada; e a segunda opção, isto é, a de não existir mais nenhum nó que possa ainda ser um nó vencedor. Se isto acontecer deve-se considerar a criação de um novo nó na topologia e fazer aprender o padrão de entrada através da mudança de seus pesos. 59

24 Pode-se então sintetizar que a operação da rede ARTl é a de buscar entre os padrões armazenados, correspondentes a cada classe, aquele que melhor se aproxima do padrão que é apresentado na entrada. No caso de não existir nenhuma classe, um novo nó é criado e a ele é associada uma nova classe. A ativação da rede após uma fase de aprendizagem é baseada na cooperação-competição entre os nós. Um algoritmo simplificado mostra o modelo de cooperação-competição estabelecido para o processo de ativação e treinamento das Redes ARTs. A seguir é apresentado o algoritmo da Rede ART1: Passo 1. Inicialize parâmetros Passo 2. Enquanto a condição de parada for falsa realize os passos 3-10 Passo 3. Para cada vetor de entrada, execute passos 4-9 Passo 4. Processe atualização da camada F 1 Passo 5. Enquanto a condição de reset for verdadeira, execute passos 6-8 Passo 6. Encontre neurônio candidato para aprender o padrão corrente (processe camada F 2 para localizar neurônio mais representativo) Passo 7. Verifique validade da distância entre o padrão amostrado e o neurônio mais representativo Passo 8. Teste condição de reset: - Se o parâmetro reset é verdadeiro então o neurônio corrente é inibido; retorne ao passo 5 - Se o parâmetro reset é falso então o neurônio corrente é habilitado para aprender; executar o passo 9 Passo 9. Execute adaptação dos pesos do neurônio ganhador da camada F 2 Passo 10. Teste condição de parada. Fig. 3.6 Algoritmo da rede ART. FONTE: Fausett (1994). 60

25 Na prática, pode-se implementar uma Rede ART utilizando-se alguns recursos já analisados na Rede de Kohonen. A implementação da ressonância para encontrar o neurônio mais representativo pode ser efetuada através do algoritmo de competição proposto por Kohonen (1982a e 1989), o teste de similaridade pode ser implementado através de uma métrica do tipo distância Euclidiana também apresentado em Kohonen (1989), e a disponibilidade de aprendizagem seria efetuada por uma variável de controle que pode simular o mecanismo de reset. 61

26 62