ACELERANDO A BUSCA PELO ELEMENTO ÓTIMO EM ALGORITMOS BASEADOS EM QUANTIZAÇÃO VETORIAL

Transcrição

1 ACELERANDO A BUSCA PELO ELEMENTO ÓTIMO EM ALGORITMOS BASEADOS EM QUANTIZAÇÃO VETORIAL Jacquelie S. Pereira 1 Murilo B. de Carvalho 1 Alexadre S. de la Vega 1 Resumo: Técicas como a quatização vetorial e o algoritmo de k-meas têm sido amplamete usadas em aplicações de processameto digital de siais. Tais métodos fazem uso de um cojuto de vetores, chamado de dicioário, sobre o qual é realizada uma busca, com o objetivo de represetar os vetores de uma seqüêcia de dados de etrada pelos vetores do dicioário, de modo a miimizar a distorção medida de acordo com uma métrica específica. A criação do dicioário ótimo é ão trivial. Porém, para um dado dicioário, é possível acelerar o processo de busca, de forma a torá-lo mais rápido e eficiete. Este trabalho propõe uma ova técica para acelerar o processo de busca do melhor vetor do dicioário, baseada a partição do dicioário origial em subdicioários meores. A melhor estratégia de partição é estudada, cosiderado-se o úmero de partições efetuadas e a quatidade de redudâcia adotada os subdicioários. Palavras-chave: algoritmos de clusterig, k-meas, quatização vetorial, subdicioários. Abstract: Vector quatizatio ad the k-meas clusterig algorithm are methods widely used i digital sigal processig ad data compressio applicatios. I these techiques, a set of vectors, called codebook or dictioary, is searched for the best vectors to replace each vector of a iput data sequece. The problem of fidig the optimum codebook is o-trivial, but for a give dictioary it is possible to speed up the search for the best vector, a very computatioal itesive task. This work proposes a ew approach for the search of the best vector i the codebook, based o dictioary partitio. The best strategy is studied, cosiderig the umber of partitios ad the redudacy created o the subdictioaries set. Keywords: clusterig algorithms, k-meas, vector quatizatio, subdictioaries. 1. INTRODUÇÃO Algoritmos de clusterig têm sido amplamete empregados em aplicações de processameto digital de siais, tais como compressão com perda, detecção de bordas, recohecimeto de objetos e casameto de padrões [1, 2, 3]. Etre as técicas mais utilizadas estão a quatização vetorial [4] e o algoritmo k-meas [5]. Nessas técicas, é utilizado um cojuto de vetores chamado de codebook ou dicioário, cujos elemetos são comparados a vetores da seqüêcia de dados de etrada. O objetivo é substituir os vetores de etrada pelos vetores do dicioário, com o melhor desempeho, segudo algum critério de otimização. Normalmete, a geração de um dicioário é muito demorada e ão trivial. Porém, uma vez criado o dicioário, é possível acelerar o processo de busca, torado a codificação/decodificação de iformações mais rápida e eficiete. Uma das formas de acelerar o processo é dividir o codebook origial em dicioários meores, pois a complexidade computacioal do processo de busca depede do tamaho do dicioário. De fato, caso 1 Uiversidade Federal Flumiese - Escola de Egeharia. Departameto de Egeharia de Telecomuicações. Rua Passo da Pátria, 156 / Bl. D / Sala 504, São Domigos Niterói RJ. CEP: {jac,murilo,delavega}@telecom.uff.br. 104 ENGEVISTA, V. 11,. 2. p , dezembro 2009

2 a distâcia euclideaa seja adotada como critério de distorção, quado utiliza-se um dicioário D = {v 1, v 2,..., v L } cotedo L vetores de dimesão M, ecessita-se efetuar M subtrações, M multiplicações e M-1 somas, para determiar-se o módulo ao quadrado da difereça etre um vetor v i do dicioário e o vetor de etrada x. Assim sedo, como o dicioário cotém L vetores, gasta-se um total de LM subtrações, LM multiplicações e L(M-1) somas, para determiar-se qual dos vetores v i do dicioário é o mais próximo de x. Se o critério de proximidade ão for a distâcia euclideaa, verifica-se que a complexidade é proporcioal a L f(m), ode f(m) depede da métrica adotada. Algumas técicas que se baseiam este pricípio procuram otimizar um cojuto de dicioários que são utilizados de forma hierárquica [6]. Neste trabalho, é proposta uma técica alterativa que permite repartir um dicioário qualquer em diversos subdicioários, de modo a acelerar a busca. É importate destacar que este método pode ser aplicado a qualquer dicioário, mesmo àqueles que ão teham sido origialmete otimizados para busca hierárquica. O artigo é dividido da seguite forma: a Seção 2 é discutida a técica de partição proposta. O algoritmo proposto é descrito a Seção 3. Na Seção 4 são defiidas as simulações realizadas e apresetados os seus resultados. As coclusões ecotram-se a Seção 5. Fialmete, a Seção 6 são idicados algus trabalhos futuros. 2. PROPOSTA DE PARTIÇÃO Descosiderado-se os passos de criação do dicioário e estabelecedo-se como critério de otimização a medida de distorção etre o vetor de etrada e os vetores do dicioário, subdivide-se o dicioário em N partições. Para isso, iicialmete são gerados N vetores uiformemete distribuídos em um hipercubo, chamados cetróides. A cada cetróide c i associa-se um subdicioário, composto pelos vetores v j, do dicioário origial, mais próximos do cetróide. Para realizar uma busca, verifica-se qual o cetróide mais próximo do vetor de etrada x. Este cetróide determia qual subdicioário será utilizado para codificar x, que deverá ser represetado pelo vetor mais próximo pertecete a este subdicioário. Uma vez que o dicioário origial é dividido em grupos meores, o vetor v j que irá represetar o vetor de etrada x é buscado apeas o subdicioário que possui o cetróide mais próximo a x. Desse modo, dimiui-se o úmero de vetores a ser comparado, aumetado-se a velocidade e, coseqüetemete, dimiuido-se o tempo de busca. Cotudo, deve-se ter cuidado ao se costruir os subdicioários. Uma abordagem é colocar o i-ésimo subdicioário SD i apeas aqueles vetores do dicioário origial D que sejam mais próximos do cetróide c i. Porém, depededo da cofiguração geométrica dos vetores, pode acotecer que a busca em duas etapas (primeiro escolhedo o cetróide mais próximo e depois escolhedo o vetor mais próximo o subdicioário selecioado) ão seja equivalete à busca direta o dicioário origial. Esta situação é ilustrada a Figura 1, ode observa-se que o cetróide mais próximo de x é c 2, equato o vetor mais próximo é v 2. Figura 1 Vetores e cetróides. Uma forma de solucioar este problema é acrescetar um dado vetor v j do dicioário origial D ão apeas ao subdicioário SD i, cujo cetróide c i é o mais próximo de v j, mas também ao subdicioário associado ao segudo cetróide mais próximo, ao terceiro mais próximo e assim por diate. Defiido-se redudâcia V como o úmero de subdicioários aos quais um dado vetor v i do dicioário origial pertece, este trabalho se propõe a estudar o úmero de partições do codebook e a redudâcia ecessária em uma dada partição para que a distorção a codificação seja a meor possível. 3. ALGORITMO PROPOSTO Pretede-se mostrar que, com a divisão do dicioário em partes meores e a iclusão de re- ENGEVISTA, V. 11,. 2. p , dezembro

3 dudâcia, é possível, além de dimiuir o tempo da busca, fazer com que a distorção seja igual à de D, qualquer que seja a dimesão do vetor de etrada. É ecessário, etão, ecotrar um úmero de partições N e a redudâcia V, que faça com que isto ocorra. Com tal objetivo, foi implemetado o algoritmo a seguir. Algoritmo: Com base em uma distribuição gaussiaa, criar um vetor de etrada x, cotedo M lihas (dimesão do espaço vetorial). Com base em uma distribuição gaussiaa, criar um dicioário (codebook) D, com M lihas (dimesão do espaço vetorial) e L coluas (úmero de vetores do dicioário). Calcular a distorção etre o dicioário origial D e o vetor de etrada x, armazeado o resultado. Calcular os N cetróides c i, um para cada partição. Dividir D as N partições, preechedo cada subdicioário SD i do seguite modo: calcula-se os V cetróides c k mais próximos de cada vetor v j. Em seguida, iclui-se v j em cada um dos subdicioários SD k associados aos cetróides c k. Excluir os subdicioários com zero elemetos. Buscar o cetróide mais próximo do vetor de etrada x. Calcular a distorção etre os vetores do subdicioário de cetróide mais próximo e o vetor de etrada. O vetor de meor distorção será usado para codificar o vetor de etrada. Calcular o erro relativo percetual etre a distorção do dicioário completo e a distorção do subdicioário. O algoritmo descrito acima foi implemetado em MATLAB e simulado para vários vetores de teste e vários dicioários. 4. SIMULAÇÕES E RESULTADOS Para justificar a utilidade da idéia de particioar o dicioário em cojutos meores, reduzido o tempo de busca, é ecessário verificar se tal divisão leva a resultados com distorções iguais às do dicioário origial. Como critério de avaliação, foi utilizado o erro relativo percetual etre: i) a distorção média etre o dicioário origial D e os vetores de etrada x e ii) a distorção média etre os vetores x e os subdicioários de D. Para verificar a redudâcia V e o úmero de partições N ótimos, que fazem com que a distorção seja idêtica à do dicioário origial, o algoritmo descrito a seção aterior foi executado para vetores de etrada x de dimesões M=2, 3 e 4. Para cada dimesão M, foi criado um dicioário D, com 8192 (2 13 ) vetores, e foram utilizados 2048 (2 11 ) vetores de etrada x. Sedo o úmero de partições em cada dimesão do vetor de etrada, cabe ressaltar que o úmero total de subdicioários é dado por N=M, equato o úmero de subdicioários efetivamete utilizado pode ser L c N. Isto ocorre porque algus subdicioários podem resultar vazios, após o processo de mapeameto de vetores do dicioário origial em cada subdicioário. Foram testadas duas situações distitas: I) Caso 1 - o estudo da distorção com a variação do úmero de partições em cada dimesão do dicioário, e II) Caso 2 - o estudo da distorção com a variação da redudâcia V. Ambos os casos são discutidos a seguir. CASO 1: TESTE DA DISTORÇÃO COM A VARIAÇÃO DO NÚMERO DE PARTIÇÕES N. Neste caso, para cada dimesão, admitiu-se que os subdicioários poderiam possuir redudâcia máxima de V max =5. Uma vez escolhido o valor da redudâcia a ser utilizado, apeas o úmero de partições foi variado, podedo o dicioário ser dividido em até =8. Desta forma, foi possível verificar, também, se a iclusão de redudâcia reduz ou ão a distorção. Os valores dos erros relativos percetuais obtidos estão apresetados a Tabela ENGEVISTA, V. 11,. 2. p , dezembro 2009

4 Tabela 1 - Erros relativos percetuais (Caso 1). MV Aalisado-se a Tabela 1, pode-se verificar que, à medida que aumetamos a redudâcia V, meor será o erro relativo percetual para todas as dimesões testadas. Além disto, é possível otar que =2 gera o meor erro percetual, para todas as dimesões testadas. Os resultados mostram aida que, à medida que a dimesão aumeta, deve-se aumetar a redudâcia para mater o erro relativo percetual ulo. Tomado-se, como exemplo, o caso de =2, mostrado a Tabela 2, pode-se otar que, para mater o erro relativo percetual ulo, para dimesão M=2 basta ter V=2, equato que para dimesão M=4, é ecessário V=4. Tabela 2 - Erro percetual para o caso de =2 (Caso 1). M V Sedo L i o úmero de vetores do subdicioário SD i, pode-se defiir eficiêcia como E = L / (L c + Σ i p i L i ), ode p i é a probabilidade de usar o subdicioário SD i para codificar x. Cabe ressaltar que p i foi aproximada pela freqüêcia relativa. Os valores da eficiêcia E estão apresetados a Tabela 3. Nota-se que E dimiui com o aumeto da redudâcia, para todas as dimesões testadas. Observa-se, também, que =3 gerou uma eficiêcia umericamete meor que o caso de =2, cosiderado ótimo do poto de vista da distorção. Tabela 3 - Eficiêcia (Caso 1). MV CASO 2: TESTE DA DISTORÇÃO COM A VARIAÇÃO DA REDUNDÂNCIA V. Para esse caso, foram matidos costates a dimesão M e o úmero de partições, equato foi variada a redudâcia V. Foram realizadas simulações com os seguites parâmetros: M=3; =2, 3, 4. M=4; =2, 3. Para M=3 e =2, a redudâcia máxima foi aturalmete limitada em V max =8. Para os demais casos, forçou-se V max =10. Como o caso aterior, em cada simulação foram usados um dicioário D com 8192 vetores e um cojuto de etradas x com 2048 vetores. As simulações foram repetidas 6 vezes para cada cofiguração. Os valores (média de 6 simulações) dos erros relativos percetuais obtidos estão apresetados a Tabela 4. ENGEVISTA, V. 11,. 2. p , dezembro

5 que: Aalisado-se a Tabela 4, pode-se verificar Aumetado-se a dimesão M, a distorção aumeta. Aumetado-se o úmero de partições, a distorção aumeta. O aumeto da redudâcia V, dimiui a distorção. Tabela 4 - Erros relativos percetuais (Caso 2). M 3 4 V CONCLUSÕES Os resultados apresetados a Seção 4 mostram que a idéia de dividir o dicioário origial em subdicioários, com o acréscimo de redudâcia, é eficiete para miimizar o tempo de busca, matedo a distorção. No caso de vetores criados com base em uma distribuição gaussiaa e assumido-se a segmetação proposta para o dicioário origial, as simulações efetuadas permitem cocluir que: Aumetado-se a dimesão M, a distorção aumeta. Aumetado-se o úmero de partições, a distorção aumeta. O aumeto da redudâcia V, dimiui a distorção. 6. TRABALHOS FUTUROS O desempeho alcaçado com a técica proposta justifica estudos posteriores, ode seja possível verificar, por exemplo: i) o uso de subdicioários circulares e hexagoais, ii) o uso de um úmero de partições diferetes em cada dimesão e iii) dicioários e vetores de teste uiformemete distribuídos, a fim de garatir o desempeho do algoritmo para distribuições e partições geéricas. 7. BIBLIOGRAFIA [1] K. L. Oehler ad R. M. Gray, Combiig image classificatio ad image compressio usig vector quatizatio, i Proceedigs of the 1993 IEEE Data Compressio Coferece (DCC), J.A. Storer ad M. Coh, Eds., Sowbird, Utah, IEEE Computer Society Press, pp , March [2] Huilia Liao, Zhe Ji ad Q.H.Wu, A Novel Geetic Particle-Pair Optimizer for Vector Quatizatio i Image Codig, IEEE Cogress o Evolutioary Computatio 2008, pp , Jue [3] M. Atallah, Y. Gei, W. Szpakowiski, Patter Matchig Image Compressio: Algorithmic ad Empirical Results, IEEE Trasactios o Patter Aalysis ad Machie Itelligece, vol. 21, pp , [4] A. Gersho, O the Structure of Vector Quatizers, IEEE Trasactios o Iformatio Theory, IT-28, pp , March [5] T. Kaugo, D. M. Mout, N. Netayahu, C. Piatko, R. Silverma, ad A. Y. Wu, A efficiet k-meas clusterig algorithm: Aalysis ad implemetatio, IEEE Trasactios o Patter Aalysis ad Machie Itelligece, vol. 24, pp , [6] Pig Yu ad A.N Veetsaopoulos,. Improved hierarchical vector quatizatio for image compressio, Proceedigs of the 36 th Midwest Symposium o Circuits ad Systems, pp , vol.1, August ENGEVISTA, V. 11,. 2. p , dezembro 2009