SOM Hierárquico Aplicado à Compressão de Imagens

Transcrição

1 Proceedngs of the V Brazlan Conference on Neural Networks - V Congresso Braslero de Redes Neuras pp , Aprl 2 5, Ro de Janero - RJ - Brazl SOM Herárquco Aplcado à Compressão de Imagens José A. F. Costa 1, José M. Barbalho 2, A. Duarte D. Neto 2, Márco L. A. Netto 1 1 DCA - Faculdade de Engenhara Elétrca e de Computação Unversdade Estadual de Campnas Campnas - SP 2 Laboratóro de Engenhara de Computação e Automação - Departamento de Engenhara Elétrca Unversdade Federal do Ro Grande do Norte Natal - RN E-mals: {costa, marco}@dca.fee.uncamp.br, {marnho, adrao}@leca.ufrn.br Abstract The ncrease of the need for mage storage and transmsson n computer systems has grown the mportance of sgnal and mage compresson algorthms. The approach nvolvng vector quantzaton (VQ) reles on desgnng a fnte set of codes whch wll substtute the orgnal sgnal durng transmsson wth a mnmal of dstorton. Algorthms such as LGB and SOM work n an unsupervsed manner toward fndng a good codebook for a gven tranng data. However, the number of code vectors (N) needed for VQ ncreases wth the vector dmenson, and full-search algorthms such as LGB and SOM can lead to large tranng and codng tmes. An alternatve for reducng the computatonal complexty s the use of a tree-structured vector quantzaton algorthm. Ths paper presents an applcaton of an herarchcal SOM for mage compresson n whch reduces the search complexty from O(N) to O(log N), enablng a faster tranng and mage codng. Results are gven for conventonal SOM, LBG and HSOM, showng the advantage of the proposed method. 1. Introdução A mportânca de algortmos de compressão de magens é crescente, devdo a város fatores como: aumento do número de equpamentos de transmssão e armazenamento de magens, redução de custos na transmssão da nformação, massva utlzação na nternet; geração de magens a partr de softwares de smulação numérca, etc. Compressão de magens é essencal para aplcações como vídeo conferênca, multmída, armazenamento de magens e transmssão ao longo de canas lmtados em banda. O prncpal objetvo da compressão de magens é reduzr a taxa de bts para transmssão ou armazenamento mantendo um nível acetável na qualdade da magem [1-2]. São dversas as técncas de compressão de magens. Essencalmente podemos classfcar as técncas de compressão sem perdas e as técncas de compressão com perdas. As técncas de compressão lvre de perdas por não possbltarem elevadas taxas de compressão são adequadas a aplcações onde a nformação tenha que ser mantda em toda a sua fdeldade. Já as técncas de compressão com perdas possbltam elevadas taxas de compressão mas a dstorção resultante deve ser mnmzada [1-2]. Dentre os dversos métodos de compressão com perdas a etapa de quantzação é de fundamental mportânca. Técncas de quantzação vetoral são bem mas efcentes do que quantzação escalar, quando aplcadas a problemas de dmensões elevadas como é o caso da compressão de magens [3-5,10]. O processo de quantzação vetoral requer o projeto de um conjunto fnto de vetores referênca (codebook) que será utlzado para substtur partes da magem, durante a transmssão, com o mínmo de erro ou dstorção em relação à magem orgnal. A aplcação do algortmo SOM (self-organzng map) convenconal na compressão de magens já é uma técnca bastante conhecda na lteratura [8, 10, 12], com uma boa performance no que dz respeto a taxa de compressão, mas com uma complexdade de busca na ordem O(N) e elevado tempo de trenamento, comprometendo em algumas aplcações o seu uso. Neste trabalho utlza-se um SOM herárquco (HSOM) [7,13], com o ntuto de reduzr a complexdade de busca para ordem de O(log N), possbltar um trenamento mas rápdo, permtr uma abordagem de mult-resolução, e assm dsponblzar uma efetva técnca de compressão vetoral aplcada a compressão de magens. A fgura 1 lustra todo o processo de compressão / descompressão com quantzação vetoral tratado neste artgo, onde o algortmo HSOM dá níco o processo de compressão gerando o "codebook" da magem a ser comprmda. Em seguda, toda magem orgnal é quantzada por um conjunto fnto de vetores referênca do "codebook". Após a quantzação vetoral pode-se aplcar métodos de codfcação como o algortmo de Huffman, que possblta compressão de acordo com nformações estatístcas da mensagem. Com sso, uma representação comprmda da magem será obtda, sendo armazenada ou transmtda. O processo de reconstrução nca-se com a decodfcação e, posterormente, obtenção da magem reconsttuída a partr do conjunto de vetores referênca (codebook). 511

2 Imagem Orgnal HSOM Quantzação Vetoral Compressão Codfcação provê redução de dmensonaldade ao mesmo tempo em que tenta preservar ao máxmo a topologa do espaço de entrada. Armazenamento ou Transmssão Descompressão Análse dos Resultados Reconstrução da Imagem Decodfcação Fgura 1. Descrção do processo de compressão / descompressão de magens. Este artgo está organzado da segunte forma: a seção 2 descreve sobre a quantzação vetoral, enfocando o algortmo básco do SOM, enquanto que a seção 3 descreve o algortmo do HSOM. A seção 4 apresenta os crtéros de qualdade que serão utlzados para avalar quanttatvamente as magens reconsttuídas. Resultados são apresentados na seção 5. Análses e conclusões fnas são apresentadas na seção Quantzação Vetoral e o Algortmo SOM O processo de quantzação vetoral Q é um n mapeamento de vetores x R para vetores m ( = 1,2,, N) W, um subconjunto fnto de R n [3-5]. n x R m W (1) O projeto do conjunto de vetores referênca, ou codebook, é feto utlzando um algortmo de trenamento, como por exemplo LBG [5] ou SOM [14]. Na quantzação vetoral, cada amostra do snal de entrada é comparado com um conjunto de N vetores referênca m. O padrão x é mapeado para o vetor referênca com menor dstânca, ou maor smlardade. O espaço de atrbutos n-dmensonal é partconado em N células convexas e não sobrepostas, onde cada uma é representada por um únco vetor m, como lustra a Fgura 2. O algortmo mas conhecdo para quantzação vetoral é o LBG (Lnde-Buzo-Gra, ou k-means, que teratvamente re-aloca os centros dos agrupamentos de acordo com a pertnênca das amostras, dada pela dstorção mínma, geralmente a dstânca Eucldana [5]. Porém, o desempenho do LBG depende de fatores como a escolha dos vetores ncas e a solução pode não ser a ótma, devdo a problemas de mínmos locas. O mapa de Kohonen (SOM) efetua a quantzação vetoral de um espaço R n em um espaço dscreto de vetores referênca, ou neurônos, geralmente dspostos na forma de em um vetor ou uma matrz [13]. O SOM Fgura 2. Quantzação Vetoral. Cada neurôno, ou vetor referênca, é representado por um vetor de pesos n-dmensonal, T m = m, m,, m ] onde n é gual a dmensão [ 1 2 n dos vetores de entrada. Na fase de trenamento, para cada padrão de entrada é encontrado um neurôno vencedor usando o crtéro de maor smlardade, c { x m } x m = mn (2) onde. é a medda de dstânca. Os pesos do neurôno vencedor, bem como os pesos dos neurônos compreenddos em sua vznhança, são atualzados de acordo com a regra, m ( t + 1) = m ( t) + h ( t)[ x( t) m ( t)] (3) onde t ndca a teração, x (t) é o padrão de entrada fornecdo de forma aleatóra na teração t e h c (t) é o núcleo de vznhança em torno da undade c vencedora [14]. Uma varação recente do SOM convenconal é o algortmo SOM em lote (batch), que torna nsensível a seqüênca de apresentação dos dados em cada época. As contrbuções de cada padrão são acumuladas e ao fnal de cada época que é feta a atualzação dos pesos [14]. Este algortmo tem provado ser bastante efcente [9, 14] e será utlzado nas smulações neste trabalho. 3. Algortmo HSOM A prncpal motvação do uso de uma estrutura herárquca para quantzação vetoral é a redução do esforço computaconal que se faz necessáro para encontrar o neurôno vencedor em cada teração, no trenamento, e também na fase de execução, quando na codfcação da magem. O modelo utlzado neste trabalho é smlar ao descrto em Lampnen e Oja [13], e denomnado aqu de HSOM (SOM Herárquco). c 512

3 O HSOM é uma extensão do SOM convenconal. Defne-se uma estrutura de árvore, onde cada nó é um SOM, trenado com um determnado conjunto de dados. O mapa no nível 1 é trenado com o conjunto completo de dados, e de acordo com a quantzação de cada neurôno, os mapas flhos são trenados com subconjuntos deste. Geometrcamente, as células do dagrama de Vorono do mapa em um nível k são partconadas em um nível k + 1, havendo um aumento da resolução (detalhamento) a cada nível em que camnhamos na dreção do mapa raz aos neurônos folhas,.e., que estão na base da árvore. A fgura 3 lustra a confguração (smplfcada) do HSOM. Fgura 3. Confguração do SOM Herárquco. O trenamento do HSOM é executado seqüencalmente,.e., do nível mas elevado da árvore até o nível mas baxo. O algortmo básco de trenamento proposto é descrto a segur: 1. Defne-se a estrutura da árvore: número máxmo de níves (nn), número de neurônos em cada nível ou regra de produção da árvore, tamanho da vznhança, e método de ncalzação de pesos em cada sub-mapa. 2. Nível atual = Apresenta-se um padrão de entrada x, x R n, seleconado aleatoramente de todo o conjunto de padrões. 4. Uma função de atvação é usada para calcular o estado de cada neurôno em relação ao padrão x no nível herárquco mas elevado. 5. Selecona-se o neurôno vencedor, ϖ *. 6. Os pesos snáptcos do neurôno vencedor, ϖ *, com também dos neurônos que estão dentro da vznhança de ϖ * são atualzados de acordo com a regra básca do SOM. 7. Repta os passos 3-6 até completar o fase de organzação do mapa no nível atual. 8. Partcone o conjunto de dados utlzado para trenar o mapa no nível atual gerando subconjuntos. Cada sub-conjunto S é relatvo aos padrões que foram mapeados no neurôno do nível atual. 9. Para cada neurôno que fo mapeado com mas de um padrão, cre uma sub-rede e trene, de acordo com o algortmo do SOM, utlzando o sub-conjunto de dados que fo mapeado no neurôno pa, do mapa com nível herárquco medatamente nferor, como descrto nos passos 3 a Execute o passo 9 até atngr o nível máxmo da rede, defndo no níco do algortmo. Nota-se, pela fgura 3, que há uma redução sgnfcatva no esforço computaconal. Por exemplo, caso tenhamos mapas undmensonas com 10 neurônos e 3 níves, teremos na base da árvore um total de 1000 neurônos. Para um dado padrão x, a busca pelo neurôno vencedor que será utlzado para representar o snal, nca-se no nível 1,.e., 10 neurônos. A busca contnua no nível 2, no mapa flho do neurôno vencedor do mapa raz,.e., mas 10 neurônos, e assm sucessvamente. Desta forma, o espaço de busca, ou número de neurônos a serem computadas as dstâncas e detecção do vencedor caíram de 1000 para 30, o que faz aumentar sgnfcatvamente a efcênca do método em problemas que necesstem mnmzar o tempo de codfcação de snas, como no caso de transmssão de magens. Em relação ao tempo de trenamento também teremos uma grande redução, em relação a utlzação de um mapa 1x1000 (por exemplo), pos cada mapas são menores e são trenados a partr de subconjuntos de dados. Assm, com esta estrutura obteremos tempos de trenamento próxmos a de uma rede SOM undmensonal com poucos neurônos (ex. 10) e qualdade na magem reconstruída equvalente a uma rede SOM undmensonal com mutos neurônos (ex. 100). 4. Medda da Qualdade da Imagem A presença de dstorção na magem reconsttuída será nevtável, tendo em vsta que fo realzado um processo que acarreta em perda de elementos consttuntes da magem orgnal, como é o caso em qualquer processo de compressão envolvendo quantzação. Duas classes geras de crtéros são utlzados para avalar esta dstorção: 1) crtéros de fdeldade objetvos, sto é, meddas quanttatvas, e 2) os crtéros de fdeldade subjetvos baseados em análse qualtatva [2]. A relação snal-ruído méda quadrátca (SNR) e a raz do erro méda quadrátco (E rms ), são defndos, respectvamente, por [2]: = 1 M N 1 2 [ Î ( x, I ( x, ] x = 0 y = 0 M 1 N 1 x = 0 y = 0 Î ( x, SNR (4) 2 513

4 1/ 2 M = N E rms [ Î( x, I( x, ] (5) MNx= 0 y= 0 onde I(x, representa a magem orgnal e Î(x, a magem restaurada. Estes parâmetros são comumente utlzados como crtéro de fdeldade objetvo. A análse qualtatva pode ser obtda a partr das avalações subjetvas de um ou mas observadores humanos com relação a uma ou mas magens típcas [2]. 5. Resultados A plataforma de mplementação utlzada fo um computador pessoal com processador Intel Pentum III com 667 MHz. Os algortmos HSOM, SOM e LBG foram mplementados em Matlab, utlzando-se também rotnas do SOM Toolbox [15]. Utlzamos a magem da Lena, com tamanho de 512 x 512 pxels e com 256 níves de cnza, ou 8 bts/pxel (bpp). Utlzamos um HSOM com dos níves, e cada mapa possuía estrutura undmensonal com 10 neurônos. A ncalzação dos mapas fo lnear [14] e o número máxmo de épocas fo 500. O algortmo utlzado fo o SOM em lote, e a vznhança ncal correspondeu a 80% do tamanho do mapa, enquanto que o rao de vznhança fnal fo 1. A magem fo escalonada em níves de cnza para a faxa de valores entre 0 e 1 e para trenamento foram coletadas 3000 amostras obtdas aleatoramente a partr da magem Lena. O tamanho das amostras utlzado tanto no trenamento quanto na codfcação fo 3 x 3, obtendo-se um espaço de entrada 9-dmensonal. A fgura 4 mostra a magem orgnal de Lena usada nas smulações, enquanto que a fgura 5 e 6 lustram os resultados obtdos para o algortmo LBG com 10 e 100 vetores referênca. Fgura 5: Resultado para LGB com 10 vetores referênca. Fgura 6: Resultado para LGB com 100 vetores referênca. Fgura 7: SOM com 10 neurônos Fgura 4: Imagem Orgnal. Uma análse qualtatva das magens nos mostra que tanto o LBG como o SOM com 10 neurônos, fguras 5 e 7 apresentam sgnfcatvas perdas com relação a magem orgnal. Com 100 neurônos (ou vetores referênca) todos os métodos apresentam dstorções menores, a dferença como veremos pela análse quanttatva, mostra que uma melhor performance do 514

5 HSOM, prncpalmente no referente ao tempo de processamento. A grande vantagem do método herárquco é em relação ao tempo de trenamento e de codfcação. A tabela 2 mostra o tempo de trenamento, em segundos, obtdo na execução no ambente Matlab, para os métodos. O tempo de trenamento de um software desenvolvdo em uma lnguagem, por exemplo C, é cerca de 10 vezes menor. Fgura 8: SOM com 100 neurônos Fgura 9: SOM herárquco com 2 níves, com 10 neurônos em cada mapa. A tabela 1 mostra uma análse quanttatva das magens reconsttuídas para as dversas confgurações. As meddas são realzadas através da razão snal ruído, SNR, e a raz do erro médo quadrátco, E rms. Tabela 1: Meddas de Qualdade. SNR E rms LBG (10) 55,11 0,0673 LBG (100) 66,63 0,0612 SOM (10) 56,90 0,0657 SOM (100) 68,06 0,0605 HSOM 70,72 0,0593 Nota-se pela tabela 1, como esperado, que tanto o SOM convenconal e do LBG, ambos com 10 vetores refreênca, são nferores aos outros métodos em estudo. Enquanto sso, o método do HSOM é o que apresenta as melhores meddas, de tal forma que sua utlzação na obtenção de codebook rá mnmzar as dstorções nerentes ao processo de quantzação vetoral. 515 Tabela 2: Tempo de Trenamento (segundos). Métodos Tempo (s) LBG (10 neur.) 9,12 LBG (100 neur.) 171,20 SOM (10 neur.) 34,38 SOM (100 neur.) 464,34 HSOM 69,09 Verfca-se que o tempo total de trenamento do HSOM, uma estrutura com 11 mapas, 1 raz e 10 submapas, todos undmensonas com 10 neurônos, totalzando 100 neurônos na base,.e., para efetuar quantzação, é apenas cerca de 2 vezes o tempo de trenamento de um mapa undmensonal com 10 neurônos, e é também bastante nferor ao LBG com 100 vetores referênca. O ganho de tempo estende-se também na fase de codfcação, onde busca-se o vencedor em um espaço com 20 neurônos (10 em cada nível) ao nvés de 100 (SOM convenconal). Outro aspecto mportante nesta confguração herárquca é a possbldade de se trabalhar com uma abordagem de mult-resolução. Ou seja, em aplcações onde a presença de dstorção é acetável pode-se trabalhar com estruturas herárqucas com poucos níves e poucos neurônos. Já em aplcações que demandem excelentes magens resultantes do processo de compressão, pode-se utlzar mutos níves herárqucos e mutos neurônos por nível. Com relação à capacdade de compressão pode-se constatar que o sstema pode atngr taxas elevadas de compressão. No exemplo apresentado, obtvemos uma taxa de 0,66 bts por píxel, o que corresponde a cerca de 8,25% do tamanho orgnal da magem, consderando que fo aplcado a codfcação de Huffman sobre a magem quantzada e não consderando o espaço necessáro para armazenar o codebook. 6. Conclusões Neste trabalho fo proposto um método de compressão tendo como base o algortmo HSOM. A fnaldade prncpal desta confguração é reduzr o esforço computaconal necessáro ao trenar uma rede de Kohonen convenconal com um número de neurônos elevado, devdo à busca, a cada teração, pelo neurôno vencedor. Métodos como o LGB e o SOM convenconal também foram avalados quanttatvamente, e os

6 resultados mostram que o tempo de trenamento, bem como o tempo de processamento de todo processo de compressão / descompressão da magem de Lena, são bastante reduzdos no modelo herárquco proposto. Além dsso, não houve perda de qualdade do HSOM consderando o SOM convenconal com 100 neurônos. Trabalhos futuros nclurão a análse da dstorção em conjuntos de dados sntétcos e de magens para uma varedade de mapas, com ênfase especal na mplcação da escolha dos parâmetros no resultado fnal. A estrutura rígda da árvore, como apresentada neste artgo, pode ser flexblzada de váras formas, como por exemplo em Costa [9]. Pode-se utlzar nformações estatístcas dos subconjuntos de dados para escolher parâmetros dos sub-mapas a serem crados em níves mas elevados, e estratégas de poda podem também ser utlzados para elmnar ramos da árvore com mportânca menor. Em termos de processamento de magens, pode-se anda desenvolver um sstema de restauração de magens vsando melhorar a qualdade da magem resultante do processo de compressão. Assm, espera-se obter melhores resultados na qualdade fnal da magem reconstruída aumentando ao máxmo a taxa de compressão e reduzndo o esforço computaconal para codfcação, com o objetvo de melhorar o desempenho de aplcações que necesstam de transmssão de magens em canas lmtados em banda. [8] J. Kangas, and T. Kohonen. Developments and applcatons of the self-organzng map and related algorthms. Mathemathcs and Computers n Smulaton, vol. 41, pp. 3-12, [9] J. A. F. Costa. Classfcação Automátca e Análse de Dados por Redes Neuras Auto-Organzáves. Tese de Doutorado, Campnas, SP, [10] R. D. Dony and S. Haykn. Neural Network Appoaches to Image Compresson. Proc. of the IEEE, Vol. 83, No. 2, [11] S. Haykn. Neural Networks A Comprehensve Foundaton. IEEE Press, Englewood Clffs NJ, [12] F. Madero, R. Vlar and B. G. Aguar Neto. A self-organzng algorthm for mage compresson. In: Proc. of the V Brazlan Symp. on Neural Networks, IEEE Computer Socety, pp [13] Lampnen, J. and Oja, E. Clusterng propertes of herarchcal self-organzng maps. Journal of Mathematcal Imagng and Vson, v. 2, pp , [14] T. Kohonen. Self-organzng maps, 2 nd ed. Sprnger-Verlag: Berlm. [15] SOM Toolbox Team. SOM Toolbox, URL: Agradecmentos: J. Costa e M. Netto agradecem à Fapesp (proc. 99/ ). Referêncas [1] J. D. Gbson et al. Dgtal Compresson for Multmeda Prncples & Standards. Morgan Kaufmann Publshers [2] R. C. Gonzales and R. E. Woods. Dgtal Image Processng. Readng, MA, Addson-Wesley, [3] G. Burel and I. Potter. Vetor Quantzaton of Images usng Kohonen Algorthm. Theory and Implementaton. Revue Technque Thomson-CSF, vol. 23, No. 1, March, [4] C. Chan and L. Po. A Complexty Reducton Technque for Image Vector Quantzaton. IEEE Trans. on Image Processng, vol. 1, no. 3, [5] R. M. Gray and D. L. Neuhoff. Quantzaton. IEEE Trans. on Informaton Theory, vol. 44, pp , [6] P. Kokkalanen. Progress wth the Tree-Structured Self-Organzng Map. In: Proc. of the 11 th European Conference on Artfcal Intellgence, pp , [7] Mkkulanen, R. Scrpt Recognton wth Herarchcal Feature Maps. Connecton Scence, pp ,