Estimativa da Matriz de Covariância para Classificadores Bayesianos em Problemas de Amostras Insuficientes utilizando Computação Evolucionária

Transcrição

1 Estmatva da Matrz de Covarânca para Classfcadores Bayesanos em Problemas de Amostras Insufcentes utlzando Computação Evoluconára Dogo Menezes Duarte, Raul Queroz Fetosa, Marco Aurélo C. Pacheco Pontfíca Unversdade Católca do Ro de Janero Departamento de Engenhara Elétrca r. Marquês de São Vcente 5, Ro de Janero , Brasl. {dduarte, raul, Resumo. Em mutos problemas de classfcação de padrões na área de Bometra, o número de amostras por classe para o trenamento é lmtado e usualmente nferor à dmensão do problema. Quando sso ocorre a matrz de covarânca amostral é mal estmada ou anda pode ser sngular. Dessa forma ao utlzarmos um classfcador Bayesano, paramétrco ou não, baseado nessa matrz teremos uma classfcação não-ótma. Este artgo propõe uma nova estmatva para a matrz de covarânca baseado em otmzação por algortmos genétcos. O método é aplcado em dados sntétcos e em um problema real de reconhecmento de faces e mostra resultados encoraadores. Palavras-chave. Estmatva da covarânca, classfcadores bayesanos, reconhecmento de face, algortmos genétcos, amostras lmtadas, Bometra. I. INTRODUÇÃO Reconhecmento de padrões consste em classfcar um conunto de amostras em certas classes prédetermnadas. Um exemplo dsto sera um sstema de segurança que busca dentfcar pessoas dferentes através de mpressão dgtal ou anda um algortmo aglomeratvo que busque dentfcar smlardades em um banco de dados de clentes de uma empresa. Um sstema de reconhecmento de padrões normalmente consste de um conunto de funções dscrmnantes. Estas são computadas à apresentação de uma amostra e a mesma pode ser classfcada como pertencente à classe da função dscrmnante que produzu maor valor. Métodos estatístcos vêm sendo largamente empregados com sucesso para o desenvolvmento de sstemas de reconhecmento de padrões. Um deles, a consagrada Regra de Bayes, busca classfcar uma amostra de acordo com a classe de maor probabldade a posteror. Um classfcador Bayesano [] consdera que a nformação mportante está contda nas probabldades condconas das amostras. É consderado um classfcador ótmo se conhecermos a função de densdade de probabldade que gerou os dados. Na prátca sso não ocorre tão faclmente e buscamos alternatvas para tal. A prmera abordagem é a paramétrca, onde supomos que a função de densdade de probabldade pode ser aproxmada por uma função conhecda, uma gaussana por exemplo, e buscamos estmar os parâmetros desta dstrbução. A segunda abordagem é a não-paramétrca, onde procuramos estmar a função de densdade de probabldade utlzando algum método, como Janelas de Parzen []. Em ambas as abordagens o classfcador possu bons resultados se possurmos um número sgnfcatvo de amostras. Em alguns problemas, prncpalmente nos de Bometra, sto não ocorre, acabamos por ter poucas amostras, usualmente em número menor à dmensão do problema. Devdo a sso, esforços vêm sendo fetos []- [5] para obter uma melhor classfcação em problemas com amostras lmtadas. Neste trabalho empregaremos um classfcador Bayesano paramétrco baseado na dstrbução normal multvarada. Na seção é apresentado o problema de dados nsufcentes. Na seção 3 está apresentado o classfcador gaussano de máxma verossmlhança. Uma descrção breve sobre computação evoluconára se encontra na seção 4. Nosso método é apresentado na seção 5, segudo dos expermentos e conclusão nas seções 6 e 7, respectvamente. II. O PROBLEMA DE DADOS INSUFICIENTES As funções dscrmnantes calculadas em Classfcadores Bayesanos baseados em dstrbuções gaussanas utlzam a nversa da matrz de covarânca. O classfcador sera ótmo se a matrz de covarânca empregada fosse a matrz real que gerou os dados. Como em problemas reas raramente se conhece os parâmetros da dstrbução que orgnou os dados precsamos estmar a matrz de covarânca a partr dos dados. Isso pode ser feto da segunte forma:

2 S p L p = () M p M p L O L M p Onde S corresponde a matrz de covarânca da - ésma função dscrmnante (classe) e p é a dmensão do problema. Os elementos da dagonal da matrz representam a varânca de cada atrbuto em relação a sua respectva méda e podem ser calculados como: n ( ) ( ) x l x n l = = () Os elementos não-dagonas representam a correlação entre os atrbutos e podem ser calculados como: ( n ) n l = ( x x )( x x ) k = l k k (3) Em ambos os casos x representa a méda dos atrbutos daquela classe, que pode ser calculado como: x m = n m n m l = Onde x m representa a méda de um atrbuto m. O problema é que para ser uma boa estmatva, a covarânca amostral necessta de um número bem maor de amostras em relação à dmensão do problema. Se possurmos um número de amostras pouco maor que a dmensão teremos uma estmatva rum da covarânca real. Se anda possurmos um número de amostras menor que a dmensão a matrz é sngular logo, não é nversível e não poderemos empregá-la no classfcador. III. CLASSIFICADOR BAYESIANO x ml (4) O classfcador Bayesano paramétrco empregado neste trabalho assume que as classes podem ser modeladas por uma dstrbução normal multvarada. A regra de decsão é classfcar um vetor x como classe se esta for a classe que produzr a maor saída segundo a equação: f ( x µ, S ) = exp p µ S ( π ) T ( x µ ) S ( x ) (5) Onde µ é a méda e S a matrz de covarânca da classe em questão. Uma das prmeras abordagens em problemas de amostras lmtadas fo substtur a covarânca S em (5) por uma matrz de covarânca comum para todas as classes, usando Dscrmnante Lnear de Fsher []. Essa matrz é uma méda ponderada das matrzes de covarânca amostral, chamada S pooled [3] e pode ser calculada como: S p = ( n ) S + ( n ) S + + ( n ) L N g Onde g é o número de classes e N = n + n + L + n g. Como um número maor de amostras (padrões) é usado para calcular esta matrz esta não será sngular, ou sea, nversível. Teorcamente, S p é uma boa estmatva da covarânca real se as covarâncas das classes forem semelhantes. IV. COMPUTAÇÃO EVOLUCIONÁRIA g S g (6) Computação Evoluconára [6]-[7] é uma poderosa ferramenta de otmzação que fo nsprada no prncípo da evolução de Darwn. Computação Evoluconára, ou também algortmos genétcos, é muto empregada em problemas de otmzação onde não se tem um modelo matemátco defndo e anda quando o espaço de busca da solução é grande, fcando nvável utlzar busca exaustva. Os prncípos que os algortmos genétcos (AGs) se nspram são smples. De acordo com a teora evoluconára os ndvíduos mas aptos têm maores chances de reprodução, ou sea, de perpetuarem seus códgos genétcos nas próxmas gerações. Um algortmo básco de um AG tem os seguntes passos:. Incalza a população de ndvíduos;. Avala os ndvíduos dessa população;. De geração até geração XX a. Selecone ndvíduos para reprodução; b. Altere os ndvíduos através de operadores como crossover e mutação; c. Reavale os novos ndvíduos crados; d. Ir para próxma geração. Um ndvíduo é uma possível solução para um problema. Este deve ser adequadamente representado de forma a permtr as alterações realzadas pelos operadores. A avalação de um ndvíduo é partcular para cada problema assm como a escolha de operadores. A avalação consste em mensurar se um ndvíduo é uma boa solução para um problema.

3 Outro fator mportante a ser determnado em um AG é o espaço de busca onde ele rá procurar a solução. Ao restrngrmos o espaço de busca adequadamente ao nosso problema estaremos aumentando a chance de um AG convergr, ou sea, chegar a um resultado ótmo ou sub-ótmo. Uma melhor descrção de AGs, suas técncas e aplcações pode ser encontrada em [6]-[8]. V. MÉTODO PROPOSTO A déa básca deste novo método para a estmatva da matrz de covarânca parte do prncípo que a covarânca amostral (), sendo uma estmatva rum, produz valores superestmados ou subestmados da matrz de covarânca real que orgnou os dados. Partndo dsso, fazendo austes postvos ou negatvos nos elementos da matrz de covarânca amostral chegaremos a uma melhor estmatva da real, melhorando assm nosso classfcador. Passamos a chamar então a matrz estmada pelo nosso método de Covarânca Austada. Com sso, duas questões se levantam: como fazer estes austes e como verfcar se os valores austados fornecem uma estmatva melhor do que a amostral. Para fazer os austes remos empregar Algortmos Genétcos, de forma a evolur a matrz de covarânca amostral. Para verfcar se uma matrz de covarânca austada nos fornece uma boa estmatva da real realzamos os seguntes passos:. Mensuramos a covarânca amostral segundo (), remos chamá-la de COV amostra ;. Temos a nossa covarânca austada, remos chamá-la de COV austada ;. Temos o número de amostras utlzadas para calcular (), remos chamá-lo de M; v. De até N repetções a. Geramos M amostras de uma dstrbução normal multvarada com méda 0 e matrz de covarânca gual a COV austada, remos chamar esta nova dstrbução de X; b. Mensuramos a covarânca amostral de X, remos chamá-la de COV X ; v. De posse das N COV X meddas, remos obter uma méda, vamos chamá-la de COV Xmedo. v. Mensuramos a soma das dferenças absolutas entre cada elemento de COV amostra e COV Xmedo. Esta soma é nossa medda de smlardade. Este algortmo é a função de avalação para o algortmo genétco. Ele parte do prncípo que uma dstrbução com uma covarânca próxma da real podera gerar dados semelhantes na mesma pequena quantdade, dessa forma teríamos uma covarânca amostral próxma à medda dretamente nos dados orgnas. O espaço de busca deste algortmo genétco depende dretamente do problema enfrentado. O total de possbldades será dado pelo número de valores possíves de cada gene elevado pelo total de elementos da matrz de covarânca. Exemplo: suponha um problema onde cada gene sea um ntero com lmtes entre e 0. Suponha também que a dmensão do problema é 4, como a matrz de covarânca é quadrada temos 6 elementos, porém esta é uma matrz smétrca, logo, teremos 8 elementos a estmar. Dessa forma, um problema smples como esse tera um espaço de busca de 0 8 combnações possíves de matrzes de covarânca! Para contornar sto utlzaremos apenas a dagonal da matrz de covarânca. Essa smplfcação pode afetar a qualdade da classfcação, mas mesmo assm produz bons resultados. Nosso ndvíduo (cromossomo) passa então a ser os elementos da dagonal da matrz de covarânca, cada gene corresponde a varânca de um atrbuto do problema, assm o tamanho do cromossomo equvale a dmensão do problema. No exemplo vsto anterormente nosso cromossomo tera então 4 elementos, teríamos um espaço de busca de 0 4. Da forma que a função de avalação aborda o problema, teremos mutos mínmos locas. Isso acontece porque mas de uma matrz de covarânca pode gerar os mesmos dados. Nosso ntuto é obter uma matrz de covarânca estmada que também possa ter gerados os dados, assm fornecendo uma melhor classfcação. Para que o algortmo genétco possa convergr num problema dfícl como esse precsamos restrngr os lmtes do cromossomo de manera a lmtar ao máxmo o espaço de busca, sto porque à medda que os lmtes se expandem o número de mínmos locas também aumenta. Uma forma de fazer sso é observar os valores mínmos e máxmos da covarânca amostral e colocar os lmtes do algortmo genétco dentro deles, porém permtndo certa varação, uma vez que estes podem estar subestmados ou superestmados. Os operadores escolhdos para crossover e mutação foram Crossover Artmétco, Crossover de ponto e 3 tpos de Mutação Creep, uma com valor de p grande, sendo que altera somente um elemento do ndvíduo escolhdo aleatoramente, as outras duas são com valores pequenos de p, porém se aplcam a todos os elementos de uma únca vez. Estes operadores estão descrtos em [7]. A ncalzação da prmera população fo baseada nos valores da covarânca amostral. Geramos ndvíduos com elementos cuos valores se encontram próxmos dos respectvos na covarânca amostral, permtndo certa varação, ora menor ora maor. A população é ncalzada segundo o algortmo:. Dvdmos a população em T partes guas;. De até T

4 a. Gere ndvíduos aleatóros, usando como lmtes os valores da covarânca amostral, permtndo certa varação, para mas e para menos; b. Aumente a varação p = 6 p = 0 p = 0 p = 40 Covarânca Real 90,90% 9,0% 90,3% 9,73% Covarânca Amostral 8,50% 67,50% N/A N/A Covarânca Pooled 87,53% 85,3% 78,40% 48,87% RDA* 89,60% 87,80% 85,90% 8,50% LOOC* 87,90% 86,0% 80,90% 76,50% LOOC-Exact* 89,0% 88,0% 85,90% 83,0% Covarânca Austada 87,70% 86,0% 8,7% 74,43% Expermento p = 6 p = 0 p = 0 p = 40 Covarânca Real 95,67% 93,97% 9,7% 9,0% Covarânca Amostral 88,90% 7,37% N/A N/A Covarânca Pooled 93,93% 88,33% 77,77% 50,73% RDA* 9,90% 87,80% 75,90% 6,30% LOOC* 93,50% 89,40% 83,40% 75,90% LOOC-Exact* 94,0% 9,50% 87,0% 8,90% Covarânca Austada 93,77% 90,3% 8,73% 78,30% Expermento p = 6 p = 0 p = 0 p = 40 Covarânca Real 93,0% 99,03% 99,97% 00,00% Covarânca Amostral 84,63% 83,33% N/A N/A Covarânca Pooled 39,7% 4,93% 4,63% 46,00% RDA* 83,60% 86,0% 90,60% 93,00% LOOC* 90,40% 97,50% 99,80% 00,00% LOOC-Exact* 90,40% 97,50% 99,80% 00,00% Covarânca Austada 90,57% 97,97% 99,93% 99,97% Expermento 3 Tabela. Taxas de acerto para os dados sntétcos (funções de Hoffbeck). Com sso, teremos tanto ndvíduos com valores bem próxmos aos da covarânca amostral como ndvíduos bem dstantes. Isso va de acordo com a déa de que a o resultado ótmo está próxmo da covarânca amostral. VI. EXPERIMENTOS A Covarânca Austada fo empregada em um classfcador gaussano. Dessa forma temos de calcular as funções dscrmnantes para cada uma das classes segundo (5), ou sea, precsamos de uma matrz de covarânca para cada função dscrmnante. O número de funções dscrmnantes corresponde ao número de classes e, logo, ao número de vezes que executaremos um AG em um problema. Nos expermentos a Covarânca Amostral fo calculada segundo () e a Pooled segundo (6). O método fo testado em dados sntétcos e reas. Em todos os casos fo usada uma população de 00 ndvíduos. Outras técncas em algortmos genétcos como normalzação lnear e Steady State sem duplcados foram empregadas [7]. A. Dados Sntétcos O método fo empregado nos mesmos dados sntétcos propostos por Hoffbeck em []. São 3 expermentos dferentes. Em todos eles temos 3 classes dferentes, sendo geradas 5 amostras por classe para trenamento e 00 amostras por classe para teste. Para cada expermento foram testadas 4 dmensões dferentes (valor de p). As taxas de acerto consoldadas

5 se encontram na Tabela. Os valores são resultantes de uma méda de 0 tentatvas do expermento. No expermento a matrz de covarânca real é gual a matrz dentdade para todas as classes. A méda da prmera classe se encontra na orgem, da segunda era 3 na prmera varável e a da tercera era 3 na segunda varável. PCAs = 4 PCAs = 0 PCAs = 0 PCAs = 30 Covarânca Amostral 35,30% N/A N/A N/A Covarânca Pooled 46,80% 8,60% 9,90% 94,40% Covarânca Austada 47,30% 7,80% 76,80% 74,80% Tabela. Taxas de acerto para o problema de reconhecmento de face. No expermento, a matrz de covarânca real é gual para todas as classes, sendo que os elementos da dagonal seguem a equação: [ 9 ( ) /( ) + ] = p (7) Para p. A méda da prmera classe se encontra na orgem, os elementos do vetor méda para a segunda classe seguem a equação: [( p ) /( / ) ] µ, =.5 / p p (8) E a méda da tercera classe é dada por: ( ) µ 3, = µ, (9) No expermento 3 a méda de todas as classes se encontrava na orgem. A matrz de covarânca é dferente para cada classe e os elementos da dagonal da prmera, segunda e tercera classe são dados, respectvamente, por: [ 9 ( ) /( ) + ], = p (0) [ 9 ( p ) /( ) + ] (), = p [ 9( ( p ) / ) /( )] () 3, = p Para p. Em todos os expermentos a Covarânca Austada se mostrou melhor que a covarânca amostral e pooled. O método também fo comparado com os resultados dos métodos RDA [9], LOOC e LOOC-Exact [], sendo estes extraídos de []. Comparada a estes métodos a Covarânca Austada se mostrou efcente, obtendo resultados próxmos ou melhores que LOOC-Exact. Por serem dados sntétcos e conhecermos a covarânca real que gerou os mesmos também calculamos a taxa de acerto para a mesma. Este resultado dado pela covarânca real é a taxa máxma de acerto que pode ser alcançada em um expermento. B. Reconhecmento de Face Reconhecmento de face é um problema comum em Bometra, bastante empregado em sstemas de segurança. Testamos a Covarânca Austada no banco de Faces ORL [8]. Este banco de dados contém 0 magens em tons de cnza da face de 40 pessoas sobre fundo constante, em um total de 400 magens. Prmeramente, as magens foram reduzdas para um tamanho de 64x64 pxels. Então aplcamos PCA [] para reduzr a dmensonaldade. O banco fo dvddo em 5 magens para trenamento e 5 para teste, sto para cada pessoa, os resultados se encontram na tabela. Foram empregados dferentes números de componentes PCAs (dmensão), a taxa de acerto é uma méda de 5 expermentos. Neste expermento a Covarânca Austada mostrou resultados pores que os da covarânca pooled. Por serem dados reas e não conhecermos a covarânca real que os orgnou fca mas dfícl austar os dversos parâmetros do algortmo genétco. Os lmtes nferores e superores de cada varável têm de ser bem defndos, algo dfícl em um problema real. Esses fatos dfcultam a convergênca do algortmo, não consegundo chegar a um resultado sub-ótmo. VII. CONCLUSÃO E TRABALHOS FUTUROS O presente trabalho mostrou uma nova estmatva para a matrz de covarânca em problemas de amostras lmtadas. Com os expermentos fo possível mostrar que o método funcona mas anda precsa ser refnado para apresentar resultados melhores em problemas reas. Algumas melhoras no método devem ser realzadas como um método automátco para determnar os lmtes e conseqüente espaço de busca e uma medda melhor de dvergênca entre as covarâncas para a função de

6 avalação. Uma forma automatzada para seleconar os parâmetros do AG também é nteressante. O método anda é muto lento, levando cerca de 0-00 vezes mas tempo que a covarânca amostral e pooled. Esse gargalo se encontra na função de avalação, que é lenta e o AG precsa utlzá-la em todos os ndvíduos da população a cada geração, além do fato que executamos o algortmo genétco uma vez para cada covarânca, ou sea, para cada classe do problema. Também podemos estender a estmatva para classfcadores Bayesanos não-paramétrcos, usando Janelas de Parzen com a Covarânca Austada para estmar a função densdade de probabldade. Futuramente, podemos comparar a nova estmatva com trabalhos mas recentes como o MECS [3], e anda testar em outros bancos de dados de bometra como reconhecmento de expressão facal e mpressão dgtal. [] Raul Queroz Fetosa, Notas de Aula em Vsão Computaconal, ( REFERÊNCIAS [] Duda R.O., Hart P.E., Stork D.G. Pattern Classfcaton, nd edton, John Wley, 00. [] J.P. Hoffbeck and D.A. Landgrebe, "Covarance Matrx Estmaton and Classfcaton wth Lmted Tranng Data", IEEE Trans. Pattern Analyss and Machne Intellgence, vol. 8, no. 7, July 996. [3] C.E. Thomaz, D.F. Glles, R.Q. Fetosa, A New Covarance Estmate for Bayesan Classfers n Bometrc Recognton, IEEE Trans. On Crcuts and Systems for Vdeo Technology, vol. 4, no., February 004. [4] C. E. Thomaz, D. F. Glles, and R. Q. Fetosa, Usng mxture covarance matrces to mprove face and facal expresson recogntons. In Proc. 3rd Int. Conf. Audoand Vdeo-Based Bometrc Person Authentcaton, vol. LNCS 09, Halmstad, Sweden, June 00, pp [5] C.E. Thomaz, R.Q. Fetosa, A. Vega, Separate-Group Covarance Estmaton wth Insuffcent Data for Obect Recognton. In Proc. Ffth All-Ukranan Internatonal Conference, pp. -4, Ukrane, November 000. [6] Z. Mchalewcz, Genetc Algorthms+Data Structures=Evoluton Programs, Sprnger-Verlag 994. [7] Marco Aurélo Pacheco, Notas de Aula em Computação Evoluconára, ( [8] D. Goldberg, Genetc Algorthms n Search, Optmzaton and Machne Learnng, Addson- Wesley 989. [9] AT&T, The ORL Database of Faces, ( [0] J.H. Fredman, "Regularzed Dscrmnant Analyss," J. of the Amercan Statstcal Assocaton, Vol. 84, pp , March 989.