out II - Algoritmo Back-Propagation II - Algoritmo BackPropagation II - Algoritmo Back-Propagation Modelo de Rede Neural com Multiplas Camadas

Transcrição

1 Modelo de Rede Neural com Multilas Camadas SCE 5809 REDES NEURAIS REDE NEURAL DO TIPO MULTI- CAMADAS Profa Inut First Hidden Second Roseli Hidden Romero Outut II - Algoritmo Bac-Proagation Out(x) = g( W g( i w i x i ) ) Isto é uma função não-linear de uma combinação linear de funções não lineares de combinações lineares das entradas II - Algoritmo BacProagation OBJETIVO Encontrar um conunto de esos {W },{w }, ara MINIMIZAR I (y i - Out(x i ) ) 2 elo metodo do gradiente descent OBS: Convergência ara um MINIMO global não é garantida Na rática: não é roblema!!! δ II - Algoritmo Bac-Proagation = ηδ Se o neurônio está na camada de saída = ( y out Se o neurônio está na camada oculta ) f '( net out ) δ = f '( net ) δ w net = w out MULTI-LAYER PERCEPTRON Redes de aenas uma camada só reresentam funções linearmente searáveis Redes de múltilas camadas solucionam essa restrição O desenvolvimento do algoritmo Bac-Proagation foi um dos motivos ara o ressurgimento da área de redes neurais em 1986 or Rumelhart et 1

2 2

3 ALGORITMO Este rocedimento de arendizado é reetido diversas vezes, até que ara todos rocessadores de camada de saída e ara todos adrões de treinamento, o erro sea menor do que o esecificado ALGORITMO Inicialização: esos iniciados com valores aleatórios e equenos ([-1,1]) Treinamento Reita Considere um novo adrão de entradax i e seu resectivo vetor de saída t i deseado do con de treinamento; Reita - Alica-se o mesmo ar (x i t i ) - calcule se as saídas dos rocessadores, começando da rimeira camada escondida até a camada de saída; - calcula-se o erro na camada de saída - atualiza os esos de cada rocessador, começando ela camada de saída, até a camada de entrada; até que erro quadrático médio ara esse adrão, sea <= tolerância até que o erro quadrático médio sea <= tolerância ara todos os adrões de conunto de treinamento RNA ara Comressão de Imagens Padrão JPEG: mais utilizado PCA Clássica: método estatístico multivariado Rede PCA Adatativa: arquitetura de Redes Neurais Artificiais 3

4 Motivação RNA PCA Adatativa Redução da quantidade de dados armazenadas em sistemas comutacionais Redução da dimensionalidade de imagens que ocuem grande quantidade de memória Obtenção de métodos que atinam altas taxas de comressão não reudiquem a qualidade visual Postulado de Hebb[Hebb-1949]: Quando um axônio da célula A está suficientemente róximo ara excitar uma célula B e reetidamente tenta excitá-la, algum rocesso crescente ou mudanças metabólicas ocorrem em ambas as células Transformando em regras [Sten-73]: - Se dois neurônios ligados or uma sinase são simultaneamente ativados, a intensidade dessa sináse(conexão) é aumentada - Se dois neurônios ligados or uma sinase são ativados assincronamente, a intensidade dessa sináse é diminuída ou até mesmo eliminada RNA PCA Adatativa Rede PCA Adatativa w i Regra de Hebb: ( n ) = ηy ( n ) x ( n ) x 0 x 1 y 0 y 1 Onde η é uma constante ositiva velocde arendizado y (n) é a saída do neurônio no temo n x é -ésimo elemento do vetor de entrada no temo n Regra Anti-Hebbiana [Foldia, 1989] ( n ) = ηy ( n ) x ( n ) Saída : x -1 y m-1 1 y ( n ) = wi ( n )xi ( n ) + ul( n )yl( n ), i= 0 l< Auste dos esos: wi (n) = ηx i (n)y(n) Auste dos esos laterais: u ( n ) = y ( n )y ( n ) l µ l Teorama de Convergência[Sang- 89] Se a matriz de esos sináticos W(n) for associada a valores aleatórios no temo n = 0, então, com robabilidade 1, a regra generalizada de Hebb irá convergir na média, e, no limite, irá se aroximar de uma matriz cuas colunas serão os rimeiros m autovetores da matriz C de covariancia dos vetores de entrada x(n),ordenados or ordem decrescente de autovalor Teorema Portanto, no limite, ode-se escrever: ( n ) 0 w a = 0,1,,m-1 tal que w ( n ) = 1 ara todo Os valores reresentam os autovetores normalizados associados aos m maiores autovalores da matriz C de covariancia dos vetores de entrada x(n), estando esses autovalores ordenados em ordem decrescente 4

5 Pode-se acelerar a convergência da rede introduzindo um termo momentum β e deixando que os arâmetros de arendizagem e o momentum diminuam com o temo Em [MAO-95], utilizouse: u ( n+ 1) = µ ( n) y y + β ( n) u ( n) l onde η(n + 1) = max(αη(n), 00001), µ(n + 1) = max(αµ(n), 00002), β(n + 1) = max(αβ(n), 00001) e α é o fator de diminuição l l (2) ( n+ 1) = ( n) x y + β ( n) ( n) i η i i (1) Algoritmo PCA Adtativa-[Rubn-89] Inicio 1 Inicialize todos os esos de conexões com equenos valores aleatórios e escolha os valores ara os arâmetros de arendizagemnormalize-os em [0,1] Se normalizar em [-1,1] ode mudar os sinais dos auto-vetores 2 Reita 22 Selecione aleatoriamente um adrão -dimensional e aresente-o à rede 23 Auste os esos das conexões entre a camada de entrada e a camada de saída de acordo com a Eq (1) 24 Normalize os vetores-eso (em colunas) 25 Atualize os esos laterais de acordo com a equacao (2)(não recisa normalizar) 26 Modifique os arâmetros β, η, e µ Até que {todos os esos laterais seam suficientemente equenos (a soma de seus valores absolutos sea menor que algum threshold ε)} ou {um número de iterações máximo sea atingido} Fim Exerimentos Realizados Dados sobre as imagens: conunto comosto or 208 imagens médicas dimensão 480x640 ixels (valor em nível de cinza) reresentação de cortes de um fígado humano aquisição a artir de um microscóio laser, elo Deartamento de Patologia da Fiocruz Taxas de Comressão comrimento da cadeia de dados comrimidos Taxa de Comressão = 1 comrimento da cadeia de dados originais Taxas de Comressão ara Blocos 32x32 Número de Comonentes Princiais Taxa de Comressão 1 1 ( 1 ) = 96,875 % ( 2 ) = 93,75 % 32 3 ( 3 ) 90,625 % 1 = 32 Comressão de Imagens através do Padrão JPEG Utilização do alicativo xv (xview) ara linux: ossui módulo ara comressão JPEG ossibilita que o usuário selecione taxa de comressão 5

6 Discussão de Resultados (1) Discussão de Resultados (2) Taxa de Comressão MSE Rede PCA Adatativa PCA Clássica JPEG 96,875% 93,75% 90,625% 96,875% 93,75% 90,625% 96% 93% 90% Imagem Imagem Imagem Imagem Imagem Imagem Imagem Imagem Imagem Imagem Original Comressão PCA Clássica Imagem Roseli 501Romero Comressão Rede PCA Comressão JPEG Conclusões 3 técnicas de comressão foram aresentadas e alicadas em uma sequência de imagens médicas Analisando os MSE cometidos elas técnicas, Os resultados da Rede PCA foram bem similares aos obtidos ela PCA Clássica O desemenho do adrão JPEG foi inferior aos desemenhos obtidos elas duas outras técnicas Referências Hayin, S, Neural Networs, IEEE Press, 1999 RUMELHART, D; MCCLELLAND and THE PDP RESEARCH GROUP - Parallel Distributed Processing: Exlorations in the Microstructure of Cognition, vol I Cambridge MA:MIT Press, 1986 BRAGA, Antônio de Pádua; Carvalho, André Carlos Ponce de Leon Ferreira Redes neurais artificiais : teoria e alicações, Rio de Janeiro : LTC Editora,