Uma abordagem Multi-objetiva Híbrida para Seleção e Atribuição de Pesos a Características para Classificadores k-nn

Transcrição

1 Uma abordagem Mult-objetva Híbrda para Seleção e Atrbução de Pesos a Característcas para Classfcadores k-nn Salomão S. Madero, Joás E. Souza, Carmelo J. A. Bastos Flho e Adrano L. I. Olvera Departamento de Sstemas e Computação Unversdade de Pernambuco (UPE) CEP Recfe PE Brasl {ssm,jes,cjabf,adrano}@dsc.upe.br Abstract. Selecton and assgnment of weghts to the nput features drectly nfluence performance of a k-nearest Neghbor (k-nn) classfer. The manual selecton may become nfeasble for databases wth a large quantty of nput features (e.g. 100 features). In ths work, a new approach s proposed to select features usng a mult-objectve PSO algorthm combned wth guded mutaton. We used a Cross-Searchng Strategy Mult-Objectve Partcle Swarm Optmzaton (CSS-MOPSO) technque to assgn the weghts. Smulaton results show that the approach proposed n ths work s able to mprove the precson of a k-nn classfer n comparson wth other approaches proposed prevously. Resumo. Seleção e atrbução de pesos às característcas de um classfcador como o k-nearest Neghbor (k-nn) nfluencam dretamente o desempenho do classfcador. A seleção manual pode se tornar nvável para bases de dados com uma grande quantdade de característcas (e.g. 100 característcas). Neste trabalho, é proposta uma nova abordagem para seleção de característcas por meo de um processo baseado em um algortmo de ntelgênca de enxames mult-objetvo e mutação guada. Para a atrbução de pesos é usada a técnca Cross-Searchng Strategy Mult-Objectve Partcle Swarm Optmzaton (CSS-MOPSO). Os resultados obtdos nas smulações demonstram que a abordagem proposta neste trabalho é capaz de melhorar a precsão de um classfcador k-nn em relação a outras abordagens propostas anterormente. 1. Introdução Seleção e atrbução de pesos a característcas de entradas são técncas que podem ser usadas para melhorar a precsão de um classfcador k-nn [Tahr et al. 2007]. Algumas característcas não contrbuem e outras chegam até a prejudcar sgnfcatvamente a precsão na classfcação. Já a atrbução de pesos a determnadas característcas pode contrbur para a melhora da capacdade de generalzação do classfcador. Tahr et al. [Tahr et al. 2007] propõem uma solução híbrda que contempla as duas propostas (ou seja, seleção e atrbução de pesos) para melhora na capacdade de generalzação do k- NN. A déa do método proposto por eles é usar a técnca de busca Tabu Search [Glover et al. 1989] com o objetvo de encontrar o vetor de pesos a serem aplcados aos padrões de entrada e aos padrões já conhecdos (fase de trenamento) no ntuto de realçar 697

2 algumas característcas e elmnar outras, com o objetvo de melhorar a capacdade de generalzação de um classfcador k-nn. Para classfcações com uma quantdade relatvamente grande de característcas (e.g. 100 característcas), o método exaustvo para a busca do vetor de pesos ótmo sera mpratcável. Com sso, surge a necessdade de heurístcas que orentem a busca desse vetor em menor tempo e com menor esforço computaconal. A defnção dos pesos e a ndcação da elmnação ou permanênca da característca são fetas pela atrbução aleatóra de valores reas e bnáros respectvamente. Na proposta deste trabalho, a atrbução de valores reas é feta pela técnca Cross-Searchng Strategy Mult-Objectve Partcle Swarm Optmzaton (CSS-PSO) [Chu et al. 2007]. Por outro lado, a seleção de característcas é feta pelo operador genétco mutação com algumas adaptações para ldar com o problema em questão. Esse trabalho está dvddo em cnco partes: a seção 2 descreve as técncas de Intelgênca Computaconal utlzadas neste trabalho. A seção 3 propõe um classfcador hbrdo CSS-PSO / k-nn. A seção 4 apresenta os resultados obtdos nos expermentos e a seção 5 conclu o trabalho, apresentando perspectvas para trabalhos futuros. 2. Background Nesta seção, são apresentados concetos relatvos a Algortmos Genétcos, classfcador k-nn, PSO e CSS-PSO utlzados na abordagem proposta neste trabalho Algortmos Genétcos Algortmos Genétcos baseam-se nos processos naturas de seleção, cruzamento e mutação [Goldberg 1986]. O problema (ambente de sobrevvênca) pode ser descrto sob a forma de uma função matemátca, em que as estruturas (ndvíduos) mas fortes obterão valores mas adequados para uma determnada função. Assm cada ndvíduo corresponde a uma possível solução. Então, trabalhando com um grupo de ndvíduos smultaneamente, verfca-se a potencaldade de cada um em relação ao grupo, tentando seleconar os mas aptos para o cruzamento. Depos de se efetuar o cruzamento, cada gene de cada ndvíduo estará sujeto a uma eventual ação da mutação. Um ndvíduo ou estrutura corresponde a uma concatenação de varáves ou cadeas de caracteres (cromossomos), onde em cada caractere (gene), encontra-se numa dada posção (locus) e com seu valor determnado (alelo). Um snônmo de ndvíduo em genétca natural é o genótpo e a sua estrutura decodfcada é o fenótpo. Em outras palavras o fenótpo, em sstemas artfcas, sgnfca um conjunto de parâmetros, ou um ponto solução no espaço de procura. A partr do fenótpo, o potencal de sobrevvênca pode ser obtdo através da avalação da função desempenho. Termos como reprodução, cruzamento, mutação, população, estão dretamente lgados a ndvíduos k-nearest Neghbors (k-nn) O trenamento de um classfcador k-nn consste uncamente em armazenar os padrões apresentados durante essa fase. Para cada padrão a ser classfcado por um k-nn, é necessáro o cálculo da dstânca deste padrão para todos os padrões de trenamento. Então, o k-nn classfca um determnado padrão de entrada como a classe que corresponde à maora dos k padrões de trenamento mas próxmos daquele padrão de 698

3 entrada, onde k é um valor natural normalmente pequeno (e.g. menor que 10) [Duda et al. 2000]. No caso de classfcações bnáras, ou seja, onde exstem apenas duas classes, é recomendável escolher um valor ímpar para k, a fm de evtar empates. Como contrbução à precsão da classfcação, pode ser utlzado um peso multplcador das característcas, dessa forma é possível uma melhor dstnção de vznhança, recurso utlzado nesse trabalho. Normalmente, para o cálculo da dstânca entre dos padrões, é utlzada a dstanca Eucldana, mas outras métrcas de dstâncas, como a dstânca de Manhattan, também podem ser utlzadas Partcle Swarm Optmzaton (PSO) Kennedy e Eberhart [Kennedy et al. 1995], nsprados em modelos já exstentes para smulação do comportamento de um bando de pássaros, propuseram uma nova abordagem de busca baseada no comportamento emergente de um enxame de entdades, chamadas de partículas. Cada partícula no espaço de busca (.e. conjunto de todas as possíves soluções para um problema) representa uma possível solução para um problema de otmzação. Logo, um enxame é um subconjunto das possíves soluções para um problema de otmzação. O processo de busca no PSO é guado pelas equações (1) e (2). v 1 v c1r 1 pbest x c r g Best x 2 2, (1) x 1 x v 1. (2) r 1 e r 2 são valores randômcos unformemente dstrbuídos no ntervalo 0,1. pbest é um vetor que aponta para a melhor posção (.e. de acordo com a função objetvo) que a -ésma partícula já vstou. Por outro lado, g best aponta para a melhor posção já vstada por todas as partículas no enxame (gbest) ou em uma vznhança (lbest). c 1 e c2 são normalmente usados como constantes para determnar o valor da nfluênca dos termos cogntvos e socas da equação de velocdade. Por fm, é normalmente usado como uma constante para determnar a nfluênca da dreção da velocdade na teração anteror sobre a dreção da velocdade na próxma teração Cross-Searchng Strategy para PSO Mult-Objetvo Dversas abordagens foram propostas para adaptação do PSO para problemas com város objetvos [Coello et al. 2002], [Parsopoulos et al. 2002]. Chu et al. [Chu et al. 2007] propuseram estratégas para o MOPSO relatvas à escolha de dos novos guas para as partículas em seu processo de busca, em substtução ao p best e ao g best. Os novos guas locas para as partículas são desgnados como g best1 e g best2. Como exste a déa de busca cruzada dos dos líderes, esta técnca fo denomnada Cross Search Strategy Mult- Objectve Partcle Swarm Optmzaton (CSS-MOPSO). A nova equação de atualzação da velocdade das partículas é dada por: v t 1 v t c r g t x t c r g t x t. 1 1 Best1 2 2 A estratéga para escolha de g best1 para cada partícula se dá ncalmente com determnação de um ponto, ponto Datum c, como sendo a ntersecção de duas retas Best 2 699

4 perpendculares que passam pelas soluções mas extremas do conjunto solução. Em seguda, o ângulo é calculado como sendo o ângulo entre a reta Datum - defnda como a reta que lga um membro do arquvo externo e o ponto c - e a lnha que conecta a solução a um membro do arquvo. Logo, o membro do arquvo que tem o menor ângulo com a -ésma partícula será eleto como o g best1 daquela partícula. A Fgura 1(a) lustra o processo de escolha do g best1 descrto anterormente. (a) (b) Fgura 1. Estratéga de escolha do (a) gbest 1 e (b) gbest 2. Fgura adaptada de [Chu et al. 2007]. A estratéga de escolha do g best1 é baseada no valor da aptdão para um objetvo f seleconado randomcamente. Prmeramente, as partículas no conjunto solução são ordenadas de acordo com o objetvo f. Às partículas no conjunto ordenado é atrbuído um valor seral que vara entre 1 e s, onde s é a quantdade de partículas no conjunto solução, segundo a sua ordem no conjunto ordenado. Para as partículas com índce par, o membro do arquvo mas próxmo com maor valor de aptdão para o objetvo f é escolhdo como g best2 para estas partículas. Por outro lado, para as partículas com índce ímpar no conjunto ordenado, o membro mas próxmo do arquvo com menor valor de aptdão para o objetvo f é escolhdo como g best2 para estas partículas. A Fgura 1(b) lustra a estratéga de escolha do g best2 para o objetvo f 1. No ntuto de permtr a exploração de soluções em áreas nalcançáves pelo processo de busca guada, Chu et al. propuseram o uso de um operador de mutação em conjunto com CSS-PSO. Para este operador, é aplcado um ruído Gaussano em k dmensões do vetor velocdade de m partículas, sendo as dmensões e as partículas escolhdas aleatoramente. Uma vez que todos os membros do arquvo foram atualzados pelas partículas da geração atual, algumas destas soluções não-domnadas podem possur característcas smlares. Esta semelhança relatva entre as soluções presentes no arquvo pode gerar baxa dversdade no Pareto Front. Para soluconar este problema, Chu et al. propuseram o uso de um procedmento de cluster no ntuto de garantr dversdade no arquvo externo. Prmeramente, a cada partícula é atrbuído o valor de um rao k dado n 1 mn max max mn r d f, f, f, f 2s onde s é o número de soluções no arquvo, n é o por, número de objetvos, d é a dstânca Eucldana e max f e mn f são os valores máxmo e 700

5 mínmo do -ésmo objetvo. Em seguda, para cada solução escolhda, as demas soluções que estão dentro do rao daquela solução escolhda são elmnadas do arquvo. 3. PSO / k-nn Híbrdo com Operadores Genétcos Nesta seção, descrevemos a abordagem proposta neste artgo para buscar a melhor combnação de valores para o vetor de soluções para seleção e atrbução de pesos às característcas de entrada do k-nn. As soluções para o problema de seleção e atrbução de pesos são representadas como um vetor composto de três partes báscas. A prmera parte w w, 1, w n é composta de números reas conforme a quantdade de característcas dos padrões que serão apresentados. A segunda parte b b, 1, b n é composta de valores bnáros 0/1 que, multplcados às característcas, determnarão sua exstênca ou não no classfcador. Por fm, a tercera parte consta do valor k do classfcador k-nn. A Fgura 2 lustra a forma geral de uma solução para o problema. Fgura 2. Forma geral de uma solução para o problema de seleção de característcas e atrbução de pesos a essas característcas. Fgura extraída de [Tahr et al. 2007]. Tendo em vsta que os pesos a serem determnados para as característcas podem assumr valores contínuos dentro de um ntervalo de valores reas, PSO fo adotado com o objetvo de (1) melhorar a precsão de um classfcador k-nn e (2) dmnur a quantdade de característcas a serem utlzadas pelo processo de classfcação. Desta manera, em nossa abordagem, cada partícula representa um conjunto de pesos a serem aplcados às característcas presentes em um problema de classfcação. Para medr a aptdão das partículas, foram adotados os seguntes objetvos: (1) percentual de acerto obtdo pela aplcação de um classfcador k-nn com as nformações codfcadas em uma solução e (2) a quantdade de característcas a serem utlzadas no processo de classfcação (.e. quantdade total de característcas com valor b 1). O teste de um classfcador k-nn segue a metodologa proposta por Tahr et al [Tahr et al. 2007]: para bases com mas de 300 padrões, 70% dos padrões são usados para trenamento e o restante para teste; para avalar o classfcador ao longo das terações do algortmo é usada valdação cruzada com cnco blocos; a precsão do classfcador é dada pela méda dos resultados obtdos na valdação cruzada; ao fnal do cclo de busca do algortmo, o melhor classfcador k-nn encontrado é testado usando os 30% restantes do conjunto de dados. A precsão fnal de classfcação é dada pelo resultado obtdo sobre a base de dados de teste. Para bases de dados com menos de 300 padrões, fo usado leave-one-out cross valdaton para avalar o classfcador k-nn ao longo das terações do algortmo. Para cada base de dados os expermentos são repetdos cnco vezes, sendo apresentados méda e desvo padrão da precsão fnal obtdos para cada base. Para as partículas no PSO, adotamos a topologa g best, para a qual todas as partículas têm conhecmento acerca das melhores soluções encontradas por todas as outras partículas no enxame [Kennedy e Eberhart 1995]. Essa topologa garante rápda 701

6 convergênca para possíves soluções para o problema uma vez que a cada teração, para todas as partículas exste uma componente da velocdade que aponta para a melhor solução comum a todas as partículas. Logo, para a topologa g best, em geral, é necessáro um número relatvamente pequeno de terações para que o enxame de partículas se concentre em uma regão do espaço de busca. Essa topologa é mas adequada para o problema tratado em nossa abordagem, já que o número de terações a serem realzadas pelo PSO para este problema é relatvamente pequeno (e.g. 300 terações). Logo, é necessáro dar prordade à convergênca do algortmo em detrmento da necessdade de tentar encontrar a melhor solução para o problema. Essa decsão se deve prncpalmente ao fato de que o PSO em geral necessta de uma população relatvamente grande (e.g. 30 partículas) para que, da colaboração entre as partículas, possa efetvamente emergr um comportamento ntelgente de busca. Caso contráro, uma população com poucas partículas pode gerar baxa dversdade, o que em geral resulta rápda estagnação do enxame que, dferentemente da convergênca do enxame, é rum para o processo de busca. Tendo em vsta que o número de partículas de um enxame para o PSO é relatvamente grande e para o problema em questão a avalação de uma partícula é um processo bastante custoso, resta apenas dmnur o número de terações a serem executadas para o PSO. Com sso, espera-se que o processo de otmzação como um todo seja equparado em termos de custo computaconal à solução proposta por Tahr et al.. Como descrto anterormente, em uma solução para o problema em questão constam os seguntes valores: () vetor de pesos a serem aplcados às característcas presentes no problema, () vetor unáro que nforma a presença ou não de uma característca no cálculo da dstânca entre dos padrões, e () o número k de vznho a serem usados pelo k-nn em seu processo de classfcação. Devdo à natureza dscreta dos valores presentes em () e (), fo adotada uma abordagem baseada em mutação guada por dos líderes com o objetvo de encontrar a melhor combnação de valores para as partes () e () em cada solução. Incalmente, um conjunto de S 1 soluções é crado aleatoramente, estando os valores de w w, 1, w n dstrbuídos unformemente em 0,10. Os valores de b b, 1, b n podem assumr os valores unáros 0 ou 1. O valor de k é um valor ímpar escolhdo aleatoramente em 1,9. Sendo w 1,,1, b 1,,1 e k 1 a solução mas smples para o problema, esta solução é nserda na população ncal, perfazendo um total S de soluções ncalmente cradas para o problema. Um conjunto S 0 é gerado aleatoramente, como descrto anterormente, contendo 100 soluções para o classfcador. Em seguda, o conjunto S 0 é avalado segundo a metodologa anterormente descrta. Por fm, a técnca CSS-MOPSO é aplcada ao conjunto S 0, gerando um novo conjunto S 1. Para cada solução em S 1 é aplcado o mecansmo de mutação guada pelos líderes escolhdos durante a teração do CSS-MOPSO. 702

7 Após esse processo, tem-se um novo conjunto S 2 de soluções. Sobre o conjunto S' S0 S2 é aplcado o mecansmo de agrupamento de soluções em fronts quanto à domnânca, como descrto em [Deb et al. 2002]. As soluções presentes nos prmeros fronts são adconadas à nova população S 3 até que o tamanho máxmo da população seja atngdo. Caso o tamanho máxmo da população seja ultrapassado, o mecansmo de ranqueamento crowdng-dstance [Deb et al. 2002] é aplcado às soluções no prmero front não adconado à população. Serão admtdas na nova população apenas as soluções presentes naquele front com melhor crowdng-dstance. Esse processo nca novamente para S 3 e se repete até que o crtéro de parada seja satsfeto. Neste trabalho, para cada solução, é calculado o número de mutações a serem efetuadas em função da aptdão desta solução como n d f f f f, onde d é o número de característcas presentes mut 2 mn max mn 1 no problema. Logo, o número máxmo de mutações é d 2 1 que n mut para o caso em f fmax e o número mínmo de mutações é 1, para o caso em que f fmn mportante salentar que neste caso, quanto menor o valor de f, menor será o número de mutações aplcadas sobre a respectva solução. Por sso, f é defndo como o valor do erro de classfcação obtdo pelo teste de um k-nn com as nformações correspondentes àqueles presentes na -ésma solução. O número máxmo de mutações fo defndo desta forma, pos este valor mostrou-se mas aproprado para a maora dos expermentos realzados. Em relação a b, as n mutações são compartlhadas com o g best1 e g best2 para cada teração. Ou seja, n 2 valores de um ndvíduo assumrão os respectvos valores presentes no g best1 enquanto que n 2 valores restantes de b assumrão os respectvos valores presentes em g best2. O valor de k é escolhdo aleatoramente em 1,9 para todas as soluções. Desta forma, a cada teração, o valor de k para todas as soluções é alterado randomcamente. Portanto, CSS-PSO e mutação guada foram usados nesta abordagem com o ntuto de buscar o melhor conjunto de parâmetros (e.g. pesos para as característcas, característcas presentes no cálculo da dstânca, e quantdade k de vznhos) que resulta no melhor classfcador para uma dada base de dados. Ao fnal das I terações prevstas para um cclo de busca, as soluções presentes no arquvo externo são apresentadas ao usuáro como aquelas que resultam em um k-nn com maor taxa de acerto para uma base de dados específca e, ao mesmo tempo, que usa uma quantdade relatvamente pequena de característcas para efetuar a classfcação. 4. Expermentos Os expermentos realzados por Tahr et al. [Tahr et al. 2007] foram repetdos neste trabalho com o objetvo de comparar os resultados obtdos usando TS / k-nn com os resultados obtdos usando a proposta deste trabalho. As bases de dados utlzadas neste trabalho foram as mesmas utlzadas por Tahr et al. em seus expermentos.. É 703

8 Para todos os expermentos, os parâmetros usados para o PSO foram: c c 2, 05; o tamanho da população fo de 100 partículas e w 0, Para cada expermento, o cálculo do número de terações para o PSO em nossa abordagem para cada base de dados fo baseado nos valores presentes na Tabela 4 de [Tahr et al. 2007] como I M * N P * 500 S, onde S é o número de partículas do enxame. M * N P representa a quantdade total de vznhos para a abordagem de Tahr et al.. Em todos os expermentos, Tahr et al. utlzaram 500 terações. Logo, a quantdade total de k-nns avalados é dada por: M * N P * 500. Então, após I terações, a abordagem proposta neste trabalho é equvalente à abordagem proposta por Tahr et al. em relação à quantdade de k-nns avalados. Esta escolha vsa apenas tornar justa a comparação dos resultados obtdos nesse trabalho com os resultados apresentados por Tahr et al.. O prmero expermento realzado neste trabalho vsou comparar a taxa de erro do melhor k-nn obtdo ao fnal do cclo de busca da solução proposta com a taxa de erro apresentada na Tabela 2 de [Tahr et al. 2007] para todas as bases de dados. Os resultados para o prmero expermento estão lstados na Tabela 1. Para as bases de dados com menos de 300 padrões, os resultados apresentados para a abordagem CSS- PSO / k-nn correspondem ao classfcador com menor erro de classfcação dentre os classfcadores presentes no arquvo externo obtdo ao fnal do processo de busca. Para todas as bases de dados, os resultados apresentados para a abordagem CSS-PSO / k-nn correspondem à meda e desvo padrão do erro obtdo pelo classfcador com menor erro de classfcação dentre os classfcadores presentes no arquvo externo obtdo ao fnal do processo de busca. Tabela 1. Valores dos Erros Médos Obtdos para cada uma das Propostas. Aust. Bal. Dab. Glass Heart Iono. Irs Lver Son. Veh. TS / k-nn 10,20 10,90 22,30 19,60 37,40 12,20 3,33 26,20 5,80 26,30 CSS-PSO / k-nn 12,27 (0,004) 12,28 (0,007) 22,94 (0,005) 0,00 (0,00) 14,29 (0,008) 8,29 (0,005) 2,40 (0,004) 26,76 (0,003) 10,58 (0,01) 25,83 (0,007) Aust. = Australan, Bal. = Balance, Dab. = Dabetes, Iono. = Ionosphere, Son. = Sonar e Veh. = Vehcle. Como é possível observar a partr dos dados na Tabela 1, usando a abordagem proposta neste trabalho, fo possível melhorar os resultados em relação àqueles alcançados pela abordagem TS / k-nn [Tahr et al. 2007] para as bases de dados em destaque. Além dsso, em quatro bases os métodos obtveram desempenhos smlares. Em apenas uma base (Son.) o resultado para o método de Tahr et al. fo relatvamente dstante do resultado obtdo neste trabalho. A Tabela 2 lustra a quantdade total de k-nns avalados ao fnal do cclo de busca e o tempo total em mnutos para avalar tal quantdade para as abordagens TS / k- NN e CSS-PSO / k-nn. A confguração do hardware utlzado fo: Intel Core 2 Quad Q6600 (2400 MHz), 8 GB DDR2 SDRAM e sstema operaconal Ubuntu A Tabela 2 mostra que para as bases de dados Glass, Heart, e Vehcle o tempo total para a execução da proposta deste trabalho fo menor do que o valor para a 704

9 proposta em TS / k-nn e adconalmente, conforme apresentado na Tabela 1, fo possível melhorar a precsão do classfcador. Tabela 2. Comparatvo entre os Tempos de Execução para TS / k-nn e CSS-PSO / k-nn. Qt. Total k-nns Avalados Tempo Tren. e Teste (TS / k-nn) Australan 24*500 = ,0 68,22 Balance 22*500 = ,3 33,31 Dabetes 23*500 = ,3 65,32 Glass 23*500 = ,1 13,08 Heart 24*500 = ,5 25,4 Ionosphere 26*500 = ,34 39,27 Irs 22*500 = ,5 5,09 Lver 23*500 = ,24 11,94 Sonar 29*500 = ,45 68,06 Vehcle 25*500 = ,38 135,01 Tempo Tren. e Teste (CSS-PSO / k-nn) Por fm, a Tabela 3 mostra um comparatvo entre os melhores resultados obtdos pelas abordagens TS / k-nn e CSS-PSO / k-nn para cada uma das bases de dados. A Tabela 3 apresentada neste trabalho é adaptada da Tabela 3 presente no trabalho de Tahr et al.. Da Tabela 3 pode-se observar que para as bases de dados Glass, Heart, Irs e Vehcle, fo possível reduzr a quantdade de característcas e anda obter melhores resultados para o classfcador k-nn resultante em relação à abordagem TS / k-nn. Tabela 3. Comparatvo entre os Melhores Resultados para TS / k-nn e CSS-PSO / k-nn. Método Base de Dados E F K Base de Dados E F K TS / k-nn Balance 10,6 4 9 Irs 3,3 4 9 CSS-PSO / k-nn 11, ,0 1 3 TS / k-nn Lver 24,0 4 3 Dabetes 20,1 4 5 CSS-PSO / k-nn 26, , TS / k-nn Glass 19,6 6 1 Heart 37,4 8 7 CSS-PSO / k-nn 0, , TS / k-nn Australan 7,7 9 3 Vehcle 25, CSS-PSO / k-nn 11, , TS / k-nn Ionosphere 5, Sonar 5, CSS-PSO / k-nn 7, , E = taxa de erro, F = número de característcas, K = valor de K no classfcador k-nn. 5. Conclusão Neste trabalho, fo proposta uma nova abordagem mult-objetva híbrda para seleção de característcas e atrbução de pesos a estas característcas smultaneamente em um classfcador k-nn. A abordagem proposta tem como objetvos: (a) melhorar a precsão 705

10 de um classfcador k-nn e (b) dmnur o número de característcas utlzadas pelo classfcador. Em relação à proposta de Tahr et al. [Tahr et al. 2007], a abordagem apresentada neste trabalho fo capaz de melhorar a precsão de um classfcador k-nn para as bases de dados Glass, Heart, Irs e Vehcle. Adconalmente, para aquelas bases de dados, a nossa abordagem anda fo capaz de reduzr o número de característcas utlzadas na classfcação. Em apenas uma das dez bases de dados a proposta de Tahr et al. obteve precsão consderavelmente superor ao método proposto neste artgo. Entretanto, é necessáro um estudo mas detalhado com o objetvo de avalar a vabldade da aplcação da proposta em termos de melhora da precsão e esforço computaconal necessáro para tal melhora. Como trabalhos futuros, pretende-se: () nvestgar o uso de outras abordagens para a seleção de característcas; () nvestgar o uso de outras métrcas a serem usadas como possíves objetvos para este problema mult-objetvo em substtução à quantdade de característcas, e () avalar o desempenho da abordagem para bases realmente grandes. Referêncas Chu, S.-Y., Sun, T.-Y., Hseh, S.-T. e Ln, C.-W. (2007) Cross-Searchng Strategy for Mult-objectve Partcle Swarm Optmzaton, IEEE Congress on Evolutonary Computaton (CEC 2007), pp Coello Coello, C. A., e Lechuga, M. S. (2002) MOPSO: A proposal for multple objectve partcle swarm optmzaton, n Proc. of IEEE World Congress on Computatonal Intellgence (CEC 02), pp Deb, K., Pratap, A., Agarwal, S. e Meyarvan, T. (2002) A fast and eltst multobjectve genetc algorthm: NSGA-II, IEEE Transactons on Evolutonary Computaton, vol. 6, pp Duda, R. O., Hart, P. E., Stork, D. G. (2000) Pattern Recognton, Second edton, Wley-Interscence. Glover, F., Laguna, M., Tabu search I. ORSA J. Comput. 1 (3), Goldberg, D. E. (1989) Genetc Algorthms n Search, Optmzaton and Machne Learnng. Readng MA: Addson Wesley. Kennedy, J. e Eberhart, R. C. (1995) Partcle Swarm Optmzaton, In Proc. of IEEE ICNN, Perth, Australa, pp Parsopoulos, K. E. e Vrahats, M. N. (2002) Partcle swarm optmzaton method n multobjectve, n Proc. of the ACM Symposum on Appled Computng (SAC 2002), pp Tahr, M. A., Bourdane, A. e Kurugollu, F. (2007) Smultaneous feature selecton and feature weghtng usng Hybrd Tabu Search/K-nearest neghbor classfer, Pattern Recognton Letters, Vol. 28, Issue 4, pp