Regra de Oja. Para taxa de aprendizagem pequena, Oja aproximou. pesos para criar uma forma útil da aprendizagem

Transcrição

1 Regra de Oja A regra de Hebb necessita da normalização dos pesos para criar uma forma útil da aprendizagem i i i i i i n x n y n w n x n y n w n w 2 1 JDSS-LAC/INPE Para taxa de aprendizagem pequena, Oja aproximou a equação anterior para i n y n x n y n w n w n y n x n y n w n w i i i i i i 2 1 1

2 Regra de Oja A regra de Oja evita o crescimento ilimitado dos pesos aplicando um termo de esquecimento proporcional ao quadrado da saída Padrões não frequentes serão esquecidos pois a regra esquece associações antigas

3 Rede Instar Rede proposta por Grossberg com um único neurônio de McCulloch-Pitts treinado com a regra estrela: n 1 w n y n x n w n w ij ij i j ij em que y(n) é a saída limitada aos valores zero ou um o peso é atualizado somente se o neurônio está ativo

4 Rede Instar Quando o neurônio está ativo, a rede move os pesos na direção da entrada em uma direção linear, diretamente proporcional ao tamanho de Um neurônio treinado com a regra instar fornece saída 1 para exemplos próximos do padrão de treinamento (o bias controla a vizinhança), ou seja, é capaz de reconhecer se um vetor padrão é similar à uma classe armazenada nos pesos

5 Regra Competitiva e a Rede winner-take-all A regra instar é similar à regra de Hebb e à de Oja: Regra de Hebb : w Regra de Oja : w Regra instar : w yx 2 yx y w yx yw Na regra de Oja, o segundo termo evita a instabilidade da regra de Hebb O uso da regra instar com um neurônio não-linear, preserva padrões não-freqüentes enquanto o neurônio estiver inativo

6 Rede Instar-Outstar de Grossberg

7 Rede Instar-Outstar de Grossberg A rede outstar associa uma entrada escalar a um vetor de saída para recuperação de padrões. A regra de aprendizagem é obtida alterando os papéis das entradas com a saída, isto é, n 1 w n x n y n w n w ij ij j i ij Se a saída é substituída pela resposta desejada, o resultado é exatamente o mesmo

8 Redes Recorrentes de Elman & e de Jordan Redes simples, baseadas em neurônios de contexto Fáceis de treinar (estando os parâmetros de realimentação fixos) Realiza o mapeamento com topologias pequenas Não há recorrência no caminho entrada-saída

9 Redes de Elman

10 Redes de Jordan

11 Redes de Elman & de Jordan Treinadas de forma aproximada com retropropagação Memória engloba várias camadas Mapeamento não-linear dinâmico Usadas inicialmente para reconhecimento de seqüências (redes seqüenciais) A rede de Jordan associa a mesma entrada fixa a várias seqüências de saída em função do contexto

12 Redes de Jordan São redes parcialmente recorrentes Possui conexões de feedback entre a saída e um grupo de neurônios conhecidos como unidades ou neurônios de contexto.

13 Conexões feedforward Camada de saida Entrada Conexões feedforward u u 1 Neurônios de contexto 1 Conexões feedback Rede de Jordan Camada escondida JDSS-LAC/INPE

14 Algoritmo Rede de Jordan N e número de entradas N s número de saídas N c número de neurônios de contexto N p número de neurônios da primeira camada (de entrada) da rede N o número de neurônios da camada escondida da rede w ij peso entre a i-ésima entrada e o neurônio j na camada escondida w jk peso entre o j-ésimo neurônio na camada oculta e o k-ésimo neurônio de saída Lo j Limiar de decisão do j-ésimo neurônio da camada escondida Ls k Limiar de decisão do k-ésimo neurônio da camada de saída o j saída do j-ésimo neurônio da camada escondida

15 Algoritmo Rede de Jordan ds k delta do erro do k- ésimo neurônio de saída s k saída do k-ésimo neurônio da camada de saída M número de vetores de saída para cada sequência armazenada na rede do j delta do erro do j- ésimo neurônio da camada oculta sequência armazenada na u peso fixo de t k saída esperada do késimo neurônio de saída E k erro do k-ésimo neurônio de saída autoexcitação dos neurônios de contexto eta taxa de aprendizagem do passo de retropropagação

16 Algoritmo Rede de Jordan 1. Definir o tamanho do vetor de seleção N e (número de entradas) e do vetor de saída N s. 2. Definir o número de neurônios da camada escondida, de contexto e de entrada N o = N e + N s N c = N s N p = N e + N c 3. Inicializar os pesos w ij e w jk e os limiares Lo j e Ls k valores aleatórios pequenos em torno de zero.

17 Algoritmo Rede de Jordan 4. Para cada uma das sequências que deve ser armazenadas na rede: 4.1 Coloque o vetor selecionado na entrada 4.2 Inicializar as unidades de contexto para 0 x i = 0 (i= N e +1, N e +2,..., N p )

18 Algoritmo Redes de Jordan 4.3 Para cada um dos M vetores de saída da sequência Apresentar a saída esperada da rede t k Calcular a ativação dos neurônios da camada oculta Calcular a ativação dos neurônios da camada de saída s k Calcular o erro de saída

19 Algoritmo Redes de Jordan Calcular os gradientes da camada de saída e da camada oculta Atualizar os pesos Atualizar as saídas dos neurônios de contexto x k+ne = u*x k+ne + s k k = 1,2,3,...,N s (N s =N c ) 5. Se após a apresentação de todas as sequências, nenhum erro for maior que a tolerância definida, a aprendizagem pára.

20 JDSS-LAC/INPE Entrada Conexões feedforward Camada escondida Camada de saida u u 1 Neurônios de contexto 1 Conexões feedback Redes de Elman

21 Algoritmo Rede de Elman N e número de entradas N s número de saídas N c número de neurônios de contexto N p número de neurônios da primeira i camada (de entrada) N o número de neurônios da camada escondida w ij peso entre a i-ésima entrada e o neurônio j na camada escondida w jk peso entre o j-ésimo neurônio na camada escondida e o k-ésimo neurônio de saída Lo j Limiar de decisão do j-ésimo neurônio da camada escondida Ls k Limiar de decisão do k-ésimo neurônio da camada de saída o j saída do j-ésimo neurônio da camada escondida

22 Algoritmo Rede de Elman s k saída do k-ésimo neurônio da camada de saída t k saída esperada do késimo neurônio de saída E k erro do k-ésimo neurônio de saída ds k delta do erro do k- ésimo neurônio de saída do j delta do erro do j- ésimo neurônio da camada escondida u peso fixo de autoexcitação dos neurônios de contexto t eta taxa de aprendizagem do passo de retropropagação

23 Algoritmo Rede de Elman 1. Definir o tamanho do vetor de seleção N e (número de entradas) e do vetor de saída N s. 2. Definir o número de neurônios da camada oculta, de contexto e de entrada N o = N e + N s N c = N s N p = N e + N c

24 Algoritmo Rede de Elman 3. Inicializar os pesos w ij e w jk e os limiares Lo j e Ls k valores aleatórios pequenos em torno de zero. 4. Inicializar as unidades de contexto para 0 x i = 0,5 (i= N e +1, N e +2,..., N p )

25 Algoritmo Rede de Elman 4.3 Para cada um dos caracteres da seqüência de treinamento Apresentar a saída esperada da rede t k Calcular a ativação dos neurônios da camada oculta Calcular a ativação dos neurônios da camada de saída Calcular o erro de saída

26 Algoritmo Rede de Elman Calcular os gradientes da camada de saída e da camada oculta Atualizar os pesos Atualizar as saídas dos neurônios de contexto x j+ne = o j+ne j= 1,2,3,...,N o (N c = N o ) 5. Se após a apresentação de todas as sequências, nenhum erro for maior que a tolerância definida, a aprendizagem pára.

27 Extração de Regras É a tarefa de converter modelos de redes neurais treinadas em representações mais facilmente compreensíveis Surgiu em função de Necessidades das aplicações de Data mining

28 Técnicas de Extração de Conhecimento de RNAs Decomposicional Extração a nível de associações escondidas e de saída (dando origem às redes conexionistas baseadas em regras, RBCN) Pedagógica RNA vista como caixa preta e a extração ocorre sobre arquiteturas sem restrições

29 Características dos Métodos de Extração de Regras Compreensibilidade Quanto são humanamente compreensíveis Fidelidade Quanto modela a RNA da qual foi extraída Precisão Previsão precisa sobre exemplos não vistos Escalabilidade Grandes espaços de entrada, unidades e conexões Generalidade Treinamento especial e/ou restrições

30 Algoritmo SUBSET Extrai regras dos neurônios das camadas intermediárias e de saída Busca subconjuntos de pesos para cada neurônio cuja soma supera o limiar i Grande número de possibilidade processamento excessivo Regras com grande número de antecedentes

31 Algoritmo SUBSET Analisar os pesos dos neurônios da entrada e da saída. Considerar todos os subconjuntos de pesos possíveis da entrada Wi, positivos ou negativos. Encontrar todas as combinações que satisfazem a condição dos pesos > Th G. Towell, J. Shavlik, "Extracting refined rules from knowledge-based neural networks". Machine Learning 13 (1993)

32 Algoritmo SUBSET Problema: número de subconjuntos é 2 Ninp. (Ninp número de entradas) Crescimento exponencial do número de regras proposicionais conjuntivas. Solução parcial: restringir o número antecedentes, subconjuntos ou de regras usando alguma heurística. Entradas com pesos maiores são analisados primeiro; em seguida faz-se as combinações dos dois maiores pesos, até se atingir a condição do número máximo de condições antecedente.

33 Rede e regras extraídas usando o Algoritmo SUBSET

34 Rede e regras extraídas usando o Algoritmo SUBSET

35 Algoritmo M-of-N Regras da forma: SE M dos N antecedentes são verdadeiros ENTÃO... Podem ser mais compactas e compreensíveis do que regras conjuntivas. São usadas em redes KBANN (Knowledge-Based ANN), onde o conhecimento simbólico é usado para especificar os pesos iniciais. 1. Para cada unidade escondida e de saída formar grupos de links com pesos similares. 2. Ajustes dos pesos dos links para a média do grupo.

36 Algoritmo M-of-N 3. Eliminar grupos que não afetam a saída. 4. Usar protótipos de pesos (correspondentes às regras simbólicas) para comparação com os vetores de pesos. 5. Congelar os pesos e reotimizar os limiares. 6. Formar regra única para cada unidade escondida e de saída. IF(M of N antecedents (A1, A2... AN ) are true) THEN...