Redução de Dimensões Baseada em Redes Neurais Perceptron Multicamada

Transcrição

1 Redução de Dmensões Baseada em Redes Neuras Perceptron Multcamada Soledad spezúa Llerena, Carlos Das Macel scola de ngenhara de São Carlos Unversdade de São Paulo, Brasl. Resumo Neste trabalho, é apresentada uma alternatva ao clássco método estatístco Multdmensonal Scalng (MDS) para reduzr dmensonaldade de dados multvarados. alternatva proposta usa duas redes neuras gêmeas com arqutetura Perceptron Multcamada (PMC) conectadas em paralelo, com o fm de alcançar o mapeamento dos dados de um espaço de alta dmensonaldade para outro espaço de baxa dmensonaldade (3-D). ste modelo aprende a partr de um conunto de vetores de característcas de entrada e saídas deseadas em forma de matrz de dstânca ou dssmlardade entre pares de dados. O modelo fo testado em dados sntétcos e em dados de um conhecdo exemplo de mapeamento de cores, obtendose resultados acetáves. Fo observado que nclusve com uma medda destorcda dos vetores de entrada a rede neural proposta consegue encontrar uma boa representação num espaço baxo dmensonal. Palavras Chave: Perceptron Multcamada, Multdmensonal Scalng. 1. Introdução Com o contnuo ncremento do poder computaconal e a tecnologa de armazenamento atual, é possível coletar, analsar e armazenar grandes quantdades de dados. s técncas de redução dmensonal consttuem uma ferramenta mportante para os usuáros, no processo de extração e compressão de nformação de bancos de dados com grandes quantdades de regstros e atrbutos. Mutos métodos têm sdo propostos para tratar a redução de dmensonaldade de dados multvarados. Por exemplo, têm-se técncas estatístcas como análse de componentes prncpas (PC) e escalonamento multdmensonal (MDS) [6]; técncas de ntelgênca artfcal baseadas em redes neuras [1] como mapas auto-organzados (SOM-maps), redes uto-assocatvas FeedForward (FN), as quas realzam a redução dmensonal medante a extração da atvdade dos neurônos desde a camada nterna, Curvlnear Components nalyss (CC) [] que fo proposta como uma melhora aos SOM-maps, NeuroScale [3] que é uma FN modfcada para ncorporar nformação subetva assocada. Posterormente se propuseram outras técncas como Generatve Topographc Mappng (GTM) [4] [5] que é um modelo probablístco que tem sdo usado como uma alternatva aos SOM-maps para sobrepor as prncpas desvantagens encontradas nesse modelo. m técncas como MDS o número de dmensões é determnado de uma forma semelhante àquela utlzada na análse fatoral [7], com o erro de aproxmação (stress) desempenhando o papel da varânca explcada. À medda que se aumenta o número de dmensões, os dados representam melhor a matrz de dstânca deseada e o valor de stress dmnu. dsposção dos dados (mapa) pode ser alcançada por város métodos; prmero é necessáro que os dados multvarados seam transformados em meddas de proxmdade (matrz de dstânca) usando alguma métrca de dstânca para logo se encontrar a dsposção de pontos num espaço de coordenadas reduzdo medante o uso de uma técnca de redução dmensonal. Neste trabalho é apresentado um método para realzar redução dmensonal com redes neuras artfcas, baseado no método proposto por Ken Suzuk [8] para mapeamento de faces. O método desenvolvdo usa um arrano de duas redes neuras com arqutetura Perceptron Multcamada (PMC) conectadas em paralelo, as quas aprendem o mapeamento não lnear, entre os vetores de característcas de entrada (com alta dmensonaldade) e a representação dos dados em baxa dmensão, tendo como snal de aprendzagem a matrz de dssmlardade deseada. O trenamento da rede é baseado no algortmo Backpropagaton com a consderação de que o snal de erro para o trenamento é obtdo a partr da dferença entre a dstânca eucldana calculada nas saídas das redes e a dssmlardade deseada. Depos do trenamento, novos dados podem ser apresentados e avalados, aprovetando a capacdade de generalzação da rede. ste trabalho está organzado da segunte forma, a parte apresenta uma defnção de nosso problema, a parte 3 segue com a solução do problema com redes neuras, a parte 4 mostra os resultados computaconas e dscussões para dos bancos de dados sntétcos e um conhecdo banco de dados para percepção de cores; fnalmente na parte 5 são apresentadas ás conclusões.. Defnção do problema Formalmente o problema pode ser defndo como: dado um conunto de p vetores de característcas de entrada X = { x 1,..., x p }, defndos em um espaço m - dmensonal m R, onde um padrão é representado *O presente trabalho fo auxlado pela CPS. genca de Governo Braslero para o desenvolvmento de recursos humanos.

2 ( 1 x m pelo vetor x = x, x,..., ). Dada também uma matrz de dssmlardade entre os padrões S= ( δ ( )), (onde δ ( ) representa a dstânca entre os padrões e ). Desea-se fazer o mapeamento φ : X Y do conunto de padrões de entrada X em um conunto de vetores de saída Y = y,..., y } defndo no espaço { 1 p n reduzdo R com n< m e y = ( y1, y,..., y n ), tal que a dstânca eucldana entre qualquer par de vetores β de saída y e y, denotado por d ( y, y β ), sea o mas próxmo possível à dssmlardade dos padrões de entrada e β, sto é, δ (, β ). Neste trabalho é consderada a matrz de dssmlardade S como uma matrz smétrca com valores δ (, β ) = δ ( β, ). 3. Solução do problema Na Fgura 1 é mostrado um dagrama lustratvo da confguração da solução do problema descrto. s duas redes neuras e B são dêntcas com arqutetura PMC e com uma topologa de três camadas (consderando a camada de entrada), cada PMC aceta um vetor de entrada (padrão), as saídas das PMC e PMC B são conectadas em paralelo a uma undade C a qual calcula a dstanca eucldana d (, β ). Quando os vetores de β entrada x, x são fornecdos, as redes produzem os β vetores de saída y, y nas suas camadas de saída, cada um com dmensão n. undade C calcula então a dstânca eucldana entre os dos vetores de saída, a qual é comprada com a dssmlardade deseada δ (, β ) (undade ) produzndo o snal de erro que é mnmzado na etapa de trenamento. s saídas de cada rede são as representações em baxa dmensão dos padrões e β. Fgura 1. Ilustração da solução MDS com duas redes PMC gêmeas, e B com topologa de três camadas. regra de aprendzado é dervada do método Backpropagaton.[9] e os pesos de conexão entre as camadas são austados de modo que vão aproxmando a dstanca obtda d (, β ) nas saídas das redes com a dstanca deseada δ (, β ) em cada par de padrões e β. O método de gradente descendente é adaptado para trenar as ambas redes. s redes e B são ncadas com a mesma confguração ncal de pesos, os quas são austados da mesma forma para prover o mesmo mapeamento (smétrco). função de atvação µ da camada oculta e da camada de saída é a função tangente hperbólca. função de erro calculada para dos padrões de entrada e β é dada por. 1 = (1) (, β ) ( δ (, β ) d(, β)) N β (, ) B d β y y = Y Y () = 1 O rro Quadrátco Médo (QM) relatvo a todos os p padrões de trenamento é: M 1 = p p, β β = 1 (, β ) 1 Fgura. Topologa das redes PMC. Na Fgura é mostrada a topologa para uma das redes, sendo a outra rede exatamente gual. No sucessvo deste texto é usada a letra para ndcar qualquer das duas redes ou B. Nesta topologa são dentfcadas as seguntes partes: - Camada de ntrada: Consttuída de m snas de entrada ( x 1, x,..., x m ) - Camada Neural scondda: Consttuída de N1 neurônos; o número de N1 é varado até obter o melhor resultado. - Camada Neural de Saída: Consttuída de N neurônos de saída ( y 1, y,..., y N ). Para os expermentos realzados neste trabalho foram usados 3 e neurônos, de acordo com o expermento. (3) - W 1 = { w1 } : Matrz de pesos de conexão entre a 1 ra e da camada da rede - W = { w } : Matrz de pesos de conexão entre a da e 3 ra camada da rede - I1 : Vetor de entradas ponderadas da camada escondda da rede. - I : Vetor de entradas ponderadas da camada de saída para a rede. - Y1 : Vetor de saídas da camada escondda na rede.

3 - Y : Vetor de saídas da camada de saída na rede. Os pesos da camada de saída W em as ambas redes são austados cada vez que é fornecdo um par de padrões de trenamento e β com dssmlardade δ (, β ). regra de atualzação dervada do método de gradente descendente é dada por (Ver nexo ): w ( t+ 1) = w ( t) +η * ( ρ * Y1 ) (4) Y ( ) Y (, ) d(, ) * ρ = δ β β * G`( I ) (5) d(, β ) onde η representa a taxa de aprendzagem. Para avalar o erro de aproxmação obtdo do método, além da função de erro quadrátco médo usado na etapa de trenamento (quação 3) foram usadas outras funções de Stress para verfcar a qualdade do mapeamento aprenddo pelas redes: - Kruskal Stress 1. Stress 1= ( ( ) d( ) ) d( ) δ (6) - Mean Relatve bsolute error d d MR (δ (, ) (, )) / (, ) = n - Root Relatve Mean-Squared error RRMS = ((δ ( ) d( )) / d( ) ) 4. Resultados computaconas e dscussões n (7) (8) Para avalar a capacdade de reconhecmento no mapeamento da rede foram testados dos bancos de dados artfcas QUDRDO e STRL e para avalar o método de redução dmensonal fo testado um conhecdo exemplo de percepção de cores apresentado em [9]. QUDRDO: ste banco de dados é composto por 4 pontos em dmensões os quas formam um quadrado (ver Fgura 3b). Os padrões de entrada das PMC são versões dstorcdas destes pontos como é mostrado na Fgura 4. s PMC foram trenadas com todas as combnações de pares entre os padrões de entrada e com dstâncas deseadas guas aos valores de dssmlardade orgnas. O obetvo então é fazer o mapeamento com as redes neuras para levar os pontos dstorcdos da Fgura 4b a uma dsposção em que a matrz de dstânca calculada se aproxme à matrz de dssmlardade orgnal. Foram testadas varas topologas de rede varando o número de neurônos da camada escondda e por cada topologa foram executados 10 trenamentos, obtendo-se o melhor deles (com respeto ao erro quadrátco médo). Para encontrar o número de neurônos adequados foram realzados expermentos ncrementando o número de neurônos na camada escondda e em cada expermento fo calculado o valor de Stress. Fgura 5 apresenta o Stress para os 3 crtéros em função do número de neurônos. Observa-se que nas topologas com 6, 9, 11 e 1 neurônos na camada escondda se apresentam os menores valores de Stress, sendo o menor entre eles o valor em 1 neurônos. Smlarmente, a Fgura 6 mostra o QM, onde também é observado que as topologas de 6, 9, 11 e 1 neurônos apresentam erros baxos. Fo tomada a topologa de 1 neurônos como a topologa ótma por ter apresentado os menores valores de Stress. Os parâmetros desta topologa são mostrados na Tabela 1 e os pontos resultantes obtdos com esta confguração são mostrados na Fgura 7, onde é observado o resultado da proxmdade com respeto aos pontos orgnas. dferença encontrada esta bascamente na rotação (Comparar Fgura 3b e 7b). Pontos Dm1 Dm Fgura 3: Pontos orgnas, Mapeamento dos pontos. Pontos dstorcdos (padrões) Dm1 Dm Fgura 4: Padrões de entrada (pontos dstorcdos), Mapeamento dos pontos dstorcdos ngressados à rede PMC. Stress Kruscal_Stress MR_Stress RRMS_Stress Número de neurônos da camada escondda Fgura 5: Stress vs. Número de neurônos. QM_Fnal Número de neurônos Fgura 6. QM vs. Número de neurônos.

4 Tabela 1: Topologa ótma com 1 neurônos na camada escondda Taxa de aprendzagem η = 0.1 Épocas de trenamento 0000 Neurônos na camada de entrada N = Neurônos na camada oculta N1 = 1 Neurônos na camada de saída N = QM Kruskal_stress MR_Stress RRMS_Stress Dm1 Dm Fgura 7: Matrz de pontos e, Mapeamento dos pontos obtdos com a rede PMC. STRL: ste banco de dados é composto por 8 pontos em dmensões os quas formam uma estrela (Fgura 8b). Os padrões de entrada das PMC são versões dstorcdas destes pontos no sentdo de rotação (Ver Fgura 9b). o gual que o obetvo do caso anteror se requer levar os pontos dstorcdos a uma dsposção na qual a matrz de dstânca calculada nos pontos resultantes se aproxme à matrz de dssmlardade. Dm1 Dm Fgura 8: Matrz de pontos orgnas. Mapeamento dos pontos. Dm1 Dm Fgura 9: Padrões de entrada (pontos dstorcdos) apresentados às redes PMC. Mapeamento de pontos dstorcdos apresentados à rede. Como no exemplo anteror, foram testadas varas topologas de rede varando o número de neurônos da camada escondda. Por cada topologa testada foram executados 10 trenamentos obtendo-se o melhor deles (com respeto ao erro quadrátco médo). Fgura 10 apresenta os valores das funções de Stress para cada topologa testada correspondentes ao melhor trenamento. Observa-se que com, 3 ou 4 neurônos na camada escondda os valores de Stress são mínmos, mas observando pelo erro quadrátco médo (Ver Fgura 11) fo vsto que a topologa com 6 neurônos na camada oculta possu o menor valor de erro, portanto fo escolhda esta topologa como a topologa ótma. Os parâmetros desta topologa são mostrados na Tabela e os pontos obtdos com esta confguração são mostrados na Fgura 1 onde pode ser observada a proxmdade com os pontos orgnas (rotados). Stress Kruscal_Stress MR_Stress RRMS_Stress Fgura 10: Stress vs. Neurônos na camada escondda. QM QM_Fnal Fgura 11: QM vs. Neurônos na camada escondda. Tabela : Topologa ótma com 6 neurônos na camada escondda Taxa de aprendzagem η = 0.1 Épocas de trenamento 0000 Neurônos na Camada de entrada N = Neurônos na Camada Oculta N1 = 6 Neurônos na Camada de Saída N = QM Kruskal_stress MR_Stress RRMS_Stress

5 Dm1 Dm Fgura 1: Pontos obtdos das PMC com topologa ótma. Mapeamento dos pontos obtdos com a rede PMC. TBL D CORS Com este exemplo fo testada a efcáca do método mplementado para redução dmensonal; aqu se tenta verfcar se a mplementação realzada neste trabalho obtém os mesmos resultados que os apresentados em kman [10] reduzndo a dmensonaldade desde 13 a dmensões. Na Tabela 5 é apresentada a matrz de dssmlardade coletada em um estudo de percepção de dados para 14 dferentes cores. Cada par de cores fo ulgado por 31 avaladores os quas davam uízos de smlardade. Incou-se em uma faxa do espetro de freqüêncas entre 434nm a 674nm, ou sea, de azulado-roxo, azul, verde, amarelo, ao vermelho. ssm para nossa rede os padrões de entrada corresponderão a 14 pontos cada um com 13 coordenadas, obtdas pelo procedmento MDS clássco [6]. O obetvo aqu é encontrar um mapeamento dos padrões de entrada em um conunto de pontos em um espaço D tal que a matrz de dstânca calculada nesses pontos se aproxme à matrz de dssmlardades deseada ( Ver Tabela 5). o gual que nos exemplos anterores, foram testadas varas topologas de rede varando o número de neurônos da camada escondda. Por cada topologa testada foram executados 6 trenamentos obtendo-se o melhor deles (com respeto ao erro quadrátco médo). Stress Kruscal_Stress MR_Stress RRMS_Stress Fgura 13: Stress vs. Neurônos na camada escondda. baxo. Os mesmos resultados observam-se no QM (Ver Fgura 14) donde a topologa de 4 neurônos apresenta o menor valor de stress e QM, mas não sendo muto dstante das outras topologas entre 3 e 9 neurônos. Tomando a topologa de 4 neurônos como a ótma, os seus parâmetros são mostrados na Tabela 4. QM QM_Fnal Fgura 14: QM vs. Neurônos na camada escondda. Tabela 4: Topologa ótma com 4 neurônos na camada escondda para o exemplo de cores Taxa de aprendzagem η = 0.01 Épocas de trenamento Precsão ε = 1.0exp-14 Neurônos na Camada de entrada N = 14 Neurônos na Camada Oculta N1 = 4 Neurônos na Camada de Saída N = Padrões P = 14 QM Kruskal_stress MR_Stress RRMS_Stress Tabela 5: Dssmlardades de cores com ranges entre 434 e 674 nm ,14 0,58 0,58 0,8 0,94 0,93 0,96 0,98 0,93 0,91 0,88 0,87 0,84 0,14 0 0,5 0,56 0,78 0,91 0,93 0,93 0,98 0,96 0,93 0,89 0,87 0,86 0,58 0,5 0 0,19 0,53 0,83 0,9 0,9 0,98 0,99 0,98 0,99 0,95 0,97 0,58 0,56 0,19 0 0,46 0,75 0,9 0,91 0,98 0,99 0,99 0,99 0,98 0,96 0,8 0,78 0,53 0,46 0 0,39 0,69 0,74 0,93 0,98 0,98 0,99 0,98 0,99 0,94 0,91 0,83 0,75 0,39 0 0,38 0,55 0,86 0,9 0,98 0,98 0,98 0,99 0,93 0,93 0,9 0,9 0,69 0,38 0 0,7 0,78 0,86 0,95 0,98 0,98 0,99 0,96 0,93 0,9 0,91 0,74 0,55 0,7 0 0,67 0,81 0,96 0,97 0,98 0,98 0,98 0,98 0,98 0,98 0,93 0,86 0,78 0,67 0 0,4 0,63 0,73 0,8 0,77 0,93 0,96 0,99 0,99 0,98 0,9 0,86 0,81 0,4 0 0,6 0,5 0,59 0,7 0,91 0,93 0,98 0,99 0,98 0,98 0,95 0,96 0,63 0,6 0 0,4 0,38 0,45 0,88 0,89 0,99 0,99 0,99 0,98 0,98 0,97 0,73 0,5 0,4 0 0,15 0,3 0,87 0,87 0,95 0,98 0,98 0,98 0,98 0,98 0,8 0,59 0,38 0,15 0 0,4 0,84 0,86 0,97 0,96 0,99 0,99 0,99 0,98 0,77 0,7 0,45 0,3 0,4 0 Fgura 15 apresenta o mapeamento resultante obtdo com o método proposto neste trabalho e a Tabela 6 apresenta as coordenadas ( dmensões) usadas para gerar este mapeamento. Fgura 13 apresenta os valores das funções de Stress para cada topologa testada correspondentes ao melhor trenamento. Observa-se que nas topologas com poucos neurônos (de 3 a 9) na camada oculta o valor de Stress é

6 5. Conclusão Fgura 15: Pontos obtdos pelas PMC com topologa ótma para dados de cores de kman [10]. Tabela 6: Matrz de coordenadas obtdas por PMC proposto neste trabalho para o mapeamento de cores. Cor Dm1 Dm Fazendo uma comparação vsual entre os resultados obtdos por PMC e os resultados MDS obtdos por kman [10] (Ver Fgura 15 e Fgura 16), pode ser observado que em ambos os mapeamentos estão bastante próxmos (obvamente desconsderando a rotação). matrz para o mapeamento obtda por kman e apresentada no nexo B. Fgura 16: Resultados MDS obtdos por kman [10]. De acordo aos testes realzados pode-se conclur que o método mplementado baseado em redes neuras artfcas PMC mostrou ser efcente na determnação de mapeamentos para redução de dmensões. vantagem adconal deste método é que uma vez trenado pode efetuar o mapeamento on-lne para padrões de entrada não apresentados na etapa de trenamento, ao contraro de outros métodos MDS que precsam realzar um recalculo de todos os dados em forma off-lne. É sugerda a realzação de um estudo comparatvo com outros métodos MDS exstentes para valdar o método. Também se sugere o uso de outras arquteturas de rede com a fnaldade de verfcar se é possível reduzr anda mas o erro e assm atngr uma maor precsão na extração de nformação relevante nos dados. Um ponto mportante fo a dfculdade na obtenção de bons aprendzados, devdo ao fato que o método de gradente descendente não garante pesos ótmos globas, pelo que é sugerdo para futuros trabalhos o estudo de outros métodos de aprendzagem. 6. Referêncas [1]. Naud, Neural and Statstcal Methods for the Vsualzaton of Multdmensonal Data. Ph. D. thess, Unv. of Mkolaa Kopernka Torunu, [] P. Demartnes and J. Hérault, Curvlnear component analyss: self-organzng neural network for nonlnear mappng of data sets, Proc. I Transacton on Neural Networks, vol. 8, pp , January [3] M.. Tppng, Topographc mappngs and feed-forward neural networks, PhD thess, The Unversty of ston n Brmngham, Feb [4] C. M. Bshop, M. Svensén, and C. K. I.Wllams, GTM: prncpled alternatve to the selforganzng map, techncal report, ston Unversty, Brmngham, Neural Computng Research Group, prl [5] J. F. M. Svensén, GTM: The generatve topographc mappng, Ph.D. thess, ston Unversty, prl [6] I. Borg and P. Groenen, Modern Multdmensonal Scalng: Theory and pplcatons. New York: Sprnger [7] R. L. Gorsuch, Factor nalyss, Hllsdale, NJ: Lawrence rlbaum. Org. ed [8] K. S. H. Yamada and S. Hashmoto, smlarty-based neural network for facal expresson analyss, Proc. Pattern Recognton Letters, vol. 8, Issue 9, pp , July 007. [9] S. Haykn, Neural Networks: Comprehensve Foundaton, Second dton, 1999, Prentce Hall. [10] G. kman, Dmensons of color vson, Proc. Journal of Psychology, vol. 38, pp , 1954.

7 ) NXO Dervação da regra de aprendzagem para os neurônos da camada de saída da rede Y I (1) = = * * W Y I W I () = Y1 W Y (3) = G`( I ) I B ( ) Y Y (4) = δ (, β ) d (, β ) * B Y (, β ) d B Substtundo (), (3) e (4) em (1): B Y ( ) Y (, ) d B (, ) * * G`( I )* Y1 W d B (, ) (5) = = δ β β β No qual: B Y ( ) Y (, ) d (, ) * (6) ρ = δ β B β * G`( I ) d B (, β ) uste ao gradente: W = η * =η * ρ * Y1 (7) W ( t+ 1) = W ( t) +η * ρ * Y1 (8) B) Pontos obtdos pelo método MDS clássco no exemplo de cores de kman [10] Cor Dm1 Dm Dm3 Dm4 Dm5 Dm6 Dm7 Dm8 Dm9 Dm10 Dm11 Dm1 Dm