A Rule Learning Multiobjective Particle Swarm Optimization

Transcrição

1 478 IEEE LATIN AMERICA TRANSACTIONS, VOL. 7, NO. 4, AUG. 009 A Rule Leanng Multobjectve Patcle Swam Optmzaton A. B. de Cavalho e A. T. R. Pozo Abstact Multobjectve Metaheustcs (MOMH) pemt to conceve a complete novel appoach to nduce classfes. In the Rule Leanng poblem, the use of MOMH pemt that the popetes of the ules can be expessed n dffeent objectves, and then the algothm fnds these ules n an unque un by explong Paeto domnance concepts. Ths wok descbes a Multobjectve Patcle Swam Optmzaton (MOPSO) algothm that handles wth numecal and dscete attbutes. The algothm s evaluated by usng the aea unde ROC cuve and the appoxmaton sets poduced by the algothm ae also analyzed followng Multobjectve methodology. Keywods Rule leanng, Multobjectve Optmzaton, Patcle Swam Optmzaton. D I. INTRODUÇÃO EVIDO à cação de dvesas feamentas de sucesso a áea da Mneação de Dados (MD) tem ecebdo uma atenção especal nos últmos anos. Neste contexto, as egas possuem especal destaque, pos elas são smples, ntutvas, modulaes e podem se obtdas detamente da base de dados []. Assm, a ndução de egas se estabeleceu como um componente fundamental de mutos sstemas de MD []. No pocesso de ndução de egas o algotmo ecebe como entada um conjunto de dados, em modo supevsonado. Este conjunto de dados deve conte exemplos compostos de atbutos desctoes e um atbuto classe. Em geal, os atbutos desctoes podem te valoes nomnas (ou dscetos) ou eas, po exemplo, sexo (masculno ou femnno) ou dade (pode vaa num ntevalo gande de valoes). O algotmo de ndução de egas pecoe os exemplos buscando dentfca padões. Estes padões, que são o conhecmento extaído, seão epesentados atavés de egas. Uma ega é um pa odenado (antecedente, conseqüente) ou SE antecedente ENTÃO conseqüente. O antecedente epesenta as estções paa os valoes dos atbutos desctoes e o conseqüente é o valo do atbuto classe. Além de epesenta o conhecmento extaído, após o fnal do pocesso de apendzado, as egas podem se usadas como um classfcado. Este tabalho desceve um algotmo, chamado de MOPSO-N (do nglês, Multobjectve Patcle Swam Optmzaton) que exploa as vantagens da Otmzação po Nuvem de Patículas Os autoes agadecem ao CNPQ, pojeto: 479/ A. B. de Cavalho é estudante de mestado no Depatamento de Infomátca da Unvesdade Fedeal do Paaná, Cutba, Paaná, Basl, andebc@nf.ufp.b. A. Pozo é pofesso assocado I da Unvesdade Fedeal do Paaná, Cutba, Paaná, Basl, auoa@nf.ufp.b. e da Otmzação Multobjetvo. Estas vantagens são aplcadas no contexto da MD paa obte um classfcado pecso fomado po egas SE-ENTÃO, que epesentem bem o domíno. MOPSO-N é baseado em técncas Metaheuístcas Multobjetvo (MHMO), estas técncas pemtem a concepção de uma nova abodagem paa a ndução de classfcadoes. Nesta abodagem, as popedades das egas podem se expessas em dfeentes objetvos e, exploando os concetos de domnânca de Paeto, estas egas são encontadas em uma únca execução [3]. Além dsso, outa popedade nteessante desta abodagem é que as egas podem se usadas como um classfcado não odenado, facltando a ntepetação. O algotmo fo ncalmente apesentado em [5] e este atgo apesenta uma extensão do tabalho ncal. Neste tabalho, dos desafos pouco exploados são consdeados. O pmeo desafo está elaconado ao tpo dos atbutos. A maoa dos algotmos de ndução de egas somente tabalha com dados dscetos e paa seem utlzados em um domíno com atbutos eas, uma etapa péva de dscetzação dos dados é necessáa. A dscetzação é um pocesso não tval que mutas vezes leva a peda de nfomação. Uma caacteístca mpotante do MOPSO-N é a habldade de tabalha tanto com atbutos eas quanto atbutos dscetos. Paa cada atbuto eal da base de dados, o MOPSO-N apende um ntevalo de valoes apopado paa um detemnado padão. O segundo desafo consdeado neste tabalho é a podução de um classfcado com um bom desempenho em temos da áea abaxo da cuva ROC (Receve Opeatng Chaactestcs) []. A áea da cuva ROC, chamada de AUC, é consdeada um ctéo elevante quando se tabalha com dados não balanceados, custos em eos na classfcação ou dados com uído. Uma cuva ROC é um gáfco que elacona a taxa de falsos postvos (FP) (exo-x) e a taxa de vedadeos postvos (TP) (exo-y) de um classfcado []. Uma cuva ROC pode se obtda de uma únca ega, um classfcado pacal ou um classfcado completo. Enfocando este desafo, dos objetvos paa a execução do algotmo foam escolhdos: senstvdade () e especfcdade () [4]. Estes objetvos estão detamente elaconados com a cuva ROC. Senstvdade é quanto um classfcado pedz coetamente os exemplos da classe postva (os vedadeos postvos sobe o total de postvos). Especfcdade é a mesma medda, mas em elação aos exemplos negatvos (os vedadeos negatvos sobe o total de nstâncas negatvas). A senstvdade é equvalente ao exo Y do gáfco ROC e a especfcdade é o complemento do exo X. Além da apesentação do algotmo MOPSO-N, este tabalho dscute alguns aspectos da utlzação de um conjunto

2 BRITTO DE CARVALHO AND POZO : WCI 03 A RULE LEARNING MULTIOBJECTIVE 479 de egas como um classfcado não-odenado. Além dsso, é dscutda a metodologa paa a compaação de métodos que utlzam a abodagem multobjetvo. Paa a valdação do algotmo poposto, um conjunto de expementos é apesentado. Incalmente são compaados os esultados obtdos pelo classfcado não-odenado de egas com outas técncas conhecdas da lteatua. Todas as técncas são aplcadas a dfeentes bases de dados e os esultados são compaados utlzando a AUC como medda de desempenho de cada classfcado. Além dsso, a apoxmação da fontea de Paeto obtda pelo MOPSO-N é confontada com a fontea de Paeto eal paa dfeentes bases de dados. A fontea de Paeto eal é obtda de uma base de dados geando-se todas as possíves egas e após utlzando-se a senstvdade e a especfcdade como objetvos. Poém, paa a geação de todas as possíves egas, todos os atbutos devem te valoes dscetos, logo, dfeentes dscetzações são usadas nesta etapa. Este tabalho é oganzado da segunte foma. A Seção II apesenta alguns concetos de um classfcado de egas nãoodenado. Na Seção III são apesentados os pncpas aspectos da Otmzação po Nuvem de Patículas Multobjetvo. A Seção IV desceve o algotmo poposto. A Seção V explca a metodologa e os esultados paa os expementos ealzados paa a valdação do algotmo. Po fm, a Seção VI conclu este tabalho e dscute alguns tabalhos futuos. II. CLASSIFICADOR DE REGRAS NÃO-ORDENADAS O algotmo descto neste tabalho é aplcado ao poblema do apendzado de egas. Como dto anteomente, uma ega é um pa odenado (antecedente, conseqüente) no fomato: SE antecedente ENTÃO conseqüente, onde o antecedente epesenta as estções paa os atbutos e o conseqüente é a classe da ega. Esta seção evsa alguns concetos sobe apendzado de egas. A segu é apesentada uma defnção sobe o poblema da ndução de egas. Seja Q um conjunto fnto de atbutos, os quas na pátca coespondem a campos em uma base de dados. Cada atbuto q Q tem um domíno assocado, Dom(q). Um teste de atbuto consste de um atbuto at(b) Q e um conjunto de valoes Val(b) Dom(at(b)) e pode se escto como at(b) Val(b). Um egsto satsfaz este teste se o seu valo paa o atbuto at(b) petence ao conjunto de valoes Val(b). Um algotmo de apendzado de egas pemte somente alguns tpos de estções nos valoes dos atbutos. Alguns tpos de estções aos atbutos categócos ou nomnas são desctos a segu:. Valo: Val(b)={v(b)}, onde v(b) Dom(at(b)). Pode se escto como at(b)=v(b).. Desgualdade: Val(b)={x Dom(at(b)):x v(b)}, onde v(b) Dom(at(b)). Pode se escto como at(b) v(b). 3. Subconjunto: Val(b) é estto, ou seja, Val(b) é um subconjunto de Dom(at(b)). Tpos de testes paa atbutos numécos são desctos à segu: Patção Bnáa: Val(b)={ x Dom(at(b) ): x v(b)} ou Val(b)={x Dom(at(b)) : x v(b)}, onde v(b) Dom(at(b)). Neste caso, o teste pode se escto como at v(b)} ou at(b) v(b). Intevalos: Val(b)={ x Dom(at(b) ): l(b) x u(b)}, onde l(b) Dom(at(b) ) e u(b) Dom(at(b) ). Pode se escto como l(b) at(b) u(b). Uma ega k cobe um exemplo e se o exemplo satsfaz o antecedente de k, de acodo com os testes paa cada atbuto. Se k cobe e e a classe da ega, c k é gual a classe do exemplo, então a ega cobe coetamente o exemplo, caso contáo, a ega cobe ncoetamente e. O númeo de exemplos coetamente e ncoetamente classfcados é usado paa calcula meddas paa a avalação das egas. Estas meddas são esumdas na Matz de Contngênca da ega. A Tabela I mosta a matz de contngênca, onde B denota o conjunto de nstâncas que são cobetas pela ega. B denota o complemento, ou seja, os exemplos não cobetos pela ega. H denota o conjunto de exemplos os quas possuem o mesmo valo da classe que a ega e H denota o complemento deste conjunto. HB é o conjunto das egas coetamente classfcadas pela ega e smlamente paa H B, HB e H B. TABELA I MATRIZ DE CONTINGÊNCIA DE UMA REGRA B B H HB B H H n ( H ) H B H B n ( H ) n ( B) ( B ) N n exemplos Onde, n(h) coesponde a cadnaldade do conjunto H e assm po dante. N exemplos é o númeo total de exemplos da base de dados. Paa uma matz de contngênca é possível o cálculo de dvesas meddas tas como: n( HB) senstvd ade = () H ( HB ) ( H ) n especfca de = () n Além de epesenta o conhecmento extaído, o conjunto de egas pode se agegado paa a constução de um classfcado. O classfcado pode se utlzado paa classfca novos exemplos anda não conhecdos pelo modelo.

3 480 IEEE LATIN AMERICA TRANSACTIONS, VOL. 7, NO. 4, AUG. 009 Regas podem se utlzadas como um classfcado atavés de duas abodagens. Na pmea, as egas epesentam uma lsta odenada onde a ntepetação de cada ega depende das egas pecedentes [5]. Na segunda abodagem, as egas são obtdas sem a cação de uma lsta e podem se utlzadas como um classfcado não-odenado. A técnca em estudo neste tabalho poduz um classfcado não-odenado. A taefa de classfcação de novas nstâncas po um conjunto de não-odenado de egas é efetuada atavés de um pocesso de votação. Este pocesso é apesentado na Fg.. apesentado um estudo com dvesas fomas de odenação e seleção do númeo de egas. Ao fnal do pocesso, a classe que obtve a mao soma de votos é escolhda como a classe do exemplo e. O calculo da AUC é ealzado baseado nesta votação. Depos que todas as egas votam, cada exemplo possu um valo assocado que é a soma dos pesos das egas postvas menos o somatóo dos pesos das egas negatvas que o cobe. Então, paa cada nstânca de base de dados exste um ankng numéco com valoes assocados. Este ankng pode se utlzado como um lma (theshold) paa poduz um classfcado bnáo. Se o ankng de uma detemnada nstânca estve acma do lma, então o classfcado poduz um sm, caso contáo, poduz um não. Cada valo de lma gea um ponto dfeente no plano ROC. Então, a vaação do lma de - paa + poduz uma cuva no plano ROC, sendo possível calcula a áea abaxo da cuva (AUC) []. Este valo dá uma boa vsualzação do desempenho do classfcado. Numa classfcação pefeta, os exemplos postvos têm os maoes valoes agupados no topo do ankng e o classfcado possu o mao valo de AUC (gual a um). Paa mas detalhes sobe a cuva ROC e AUC aconselhase a letua de []. III. OTIMIZAÇÃO POR NUVEM DE PARTÍCULAS MULTIOBJETIVO Fgua. Pocesso de votação de um classfcado não-odenado de egas. Paa a classfcação de uma nova nstânca de entada e, ncalmente é vefcado quas egas que petencem ao classfcado cobem o exemplo. Caso nenhuma ega cuba esse exemplo é tomada uma decsão padão, po exemplo, vota o exemplo como sendo petencente à classe majotáa da base de dados. Após a dentfcação das egas que cobem e, cada ega é sepaada em subconjuntos de acodo com a sua classe. Após a sepaação dos subconjuntos de egas, cada subconjunto é odenado de acodo com algum ctéo. Nomalmente é utlzada como ctéo paa odenação alguma medda devada da Matz de Contngênca da ega [4]. Após a odenação das egas é feta uma seleção das k melhoes egas de cada subconjunto de acodo com o ctéo da seleção. Assm, neste pocesso de seleção somente as melhoes egas de cada subconjunto votam. O númeo de egas seleconado pode se desde o númeo de classes do domíno até o total de egas no conjunto. Po fm, após a seleção das egas que ão vota cada ega executa uma votação pondeada. Novamente é utlzada como peso na votação alguma medda obtda atavés da Matz de Contngênca. É utlzado um peso na votação paa poduz uma classfcação mas pecsa. Assm egas que possuam um valo um no peso seleconado possuem uma meno nfluênca na votação. De acodo com o ctéo de odenação, o númeo k de egas que votam e com a escolha do peso é possível obte um melho esultado na classfcação. Em [6] é Poblemas de otmzação que possuem mas de um objetvo são chamados de poblemas Multobjetvo. Nestes poblemas, os objetvos a seem otmzados nomalmente estão em conflto ente s, e desta foma, gealmente não há somente uma únca solução paa o poblema. Ao nvés dsto, a déa é enconta um bom balanceamento dos objetvos nas possíves soluções. Um poblema de maxmzação multobjetvo genéco pode se defndo atavés da equação: f ( x ) = ( f ( x ) f ( x )), K, f ( x ), Seja x Φ, onde: x é um veto de vaáves de decsão e Φ é um conjunto fnto de soluções possíves. Sejam x Φ e y Φ duas soluções neste conjunto. Paa um poblema de maxmzação, x domna y se: f f, = KQ, f, ( x) f ( y), e f f f ( x) > f ( y) Quando não há nenhuma solução que domne x, ela é dta uma solução não-domnada. O objetvo da otmzação multobjetvo é descob soluções que não são domnadas po nenhuma outa no espaço de objetvos. O conjunto das soluções não-domnadas paa um detemnado poblema é chamado de Fontea de Paeto. Em gande pate das aplcações, a busca pela fontea de Paeto é NP-Dfícl [7], então o poblema de otmzação foca em enconta um conjunto o mas póxmo desta fontea, chamado de conjunto de apoxmação da fontea. Q (3) (4)

4 BRITTO DE CARVALHO AND POZO : WCI 03 A RULE LEARNING MULTIOBJECTIVE 48 A Otmzação po Nuvem de Patículas (do nglês, Patcle Swam Optmzaton (PSO)), desenvolvda po Kennedy e Ebehat [8], é uma metaheuístca baseada em população nspada no compotamento socal de pássaos à pocua de almento. Na PSO o sstema é ncado com um conjunto de soluções, possvelmente aleatóas, e busca po um ótmo atavés da atualzação das geações. O conjunto das possíves soluções é um conjunto de patículas, chamado de enxame ou swam, que se movmenta pelo espaço de busca, numa busca coopeatva. Estes movmentos são executados po um opeado guado po um componente local e um componente global [8]. Este opeado é chamado de velocdade da patícula e movmenta a patícula po um espaço n- dmensonal baseado na melho posção de seus vznhos (componente socal) e na melho posção obtda pela patícula (componente local). A vznhança da patícula pode se defnda ente dfeentes topologas, tas como anel, ávoe, estela, gafo completo ou somente uma únca solução [9]. As melhoes patículas são encontadas de acodo com a função de aptdão, que é a função objetvo do poblema. Na Otmzação po Nuvem de Patícula Multobjetvo (MOPSO) exstem váas funções de aptdão. Neste sentdo, é possível enconta soluções que exploem os concetos da domnânca de Paeto. Baseado neste conceto cada patícula do enxame pode te dfeentes lídees (componente global), mas paa aplcação do opeado de velocdade somente um deve se escolhdo. Este conjunto de lídees é guadado num epostóo, que contém as soluções não-domnadas encontadas. Os componentes do MOPSO são defndos a segu. Cada patícula p, num tempo t, possu uma posção n x () t R, que epesenta uma possível solução. A posção da patícula, num tempo t+, é obtda adconando-se a n velocdade, v () t R a x () t : x ( t + ) = x ( t ) + v ( t + ) (5) A velocdade da patícula p é baseada na melho posção alcançada pela patícula até então, p best (t) e a melho posção encontada pelos vznhos de p, R h (t) que é o líde escolhdo do epostóo. A função de atualzação da velocdade no tempo t+ e defnda: v + ( t + ) = ω * v () t + ( c * φ) * ( pbest () t x() t ( c * φ ) * ( R () t x()) t h Onde c, c, φ e φ são os coefcentes que detemnam a nfluênca do melho local e do melho global. O coefcente ω é a néca da patícula e contola o quanto a velocdade anteo á afeta a velocdade coente. Após a atualzação da velocdade e da posção de todas as patículas o pocesso é epetdo na póxma geação (teação) até o fnal da execução do algotmo. No fnal da execução do algotmo, as soluções pesentes no epostóo são a solução fnal. R h é a posção da patícula do epostóo, escolhda como gua global de p. Exstem váas maneas de se executa esta ) (6) escolha, como demonstado em [9]. Uma manea possível de ealza a escolha do líde é chamada de método sgma [0]. Este método, de acodo com os esultados apesentados em [9] é um dos mas adequados paa a técnca MOPSO. Neste método paa cada patícula do enxame, epesentada como um ponto no espaço de objetvos, é atbuído um valo σ. O líde paa uma patícula, R h, é a patícula do epostóo que possu a meno dstânca Eucldana ente o seu veto sgma e o veto sgma da patícula do enxame. IV. ALGORITMO DE APRENDIZADO DE REGRA MOPSO-N Está sessão apesenta o algotmo de apendzado de ega poposto, MOPSO-N. Como dto anteomente o algotmo tem como objetvos a maxmzação do desempenho da classfcação, utlzando como objetvos a senstvdade e especfcdade, e poduz egas a pat de bases de dados com atbutos tanto numécos quanto dscetos. Nesta seção, os pncpas aspectos do algotmo MOPSO-N, tas como a epesentação e geação das patículas são desctos em detalhes e um exemplo de suas funconaldades é apesentado. Incalmente seá feta uma descção geal do funconamento do algotmo, após cada seção dscutá algum aspecto da busca. O algotmo usa a abodagem de Mchgan, onde cada patícula epesenta uma únca solução, ou seja, uma ega. Neste contexto, a patícula é um veto n-dmensonal de númeos eas e contém as estções paa cada atbuto. O algotmo de apendzado de egas funcona da segunte manea (Ve Algotmo ). Pmeo, um pocedmento de ncalzação é executado onde a posção de cada patícula é ncada e todas as patículas são espalhadas aleatoamente pelo espaço de busca. Neste pocedmento todos os demas componentes da patícula, tas como velocdade e melho local, também são ncados. O póxmo passo é a avalação das patículas de acodo com os objetvos da busca. Como dto anteomente, neste tabalho foam utlzados como objetvos a Senstvdade () e a Especfcdade (). Após a avalação das patículas o epostóo com as melhoes soluções é ncado com as soluções não-domnadas. A pat dsso, o espaço dos objetvos é dvddo de acodo com o método Sgma [0] e feta a escolha dos melhoes globas paa cada patícula. O póxmo passo na execução do algotmo é o laço evolutvo, onde todas as opeações dscutdas na seção anteo são executadas, todas as patículas são avaladas e o epostóo com as soluções nãodomnadas é atualzado com as melhoes soluções obtdas após a movmentação das patículas. Po fm, após a execução do laço evolutvo, as patículas pesentes no epostóo são as soluções obtdas pelo algotmo.

5 48 IEEE LATIN AMERICA TRANSACTIONS, VOL. 7, NO. 4, AUG. 009 A. Repesentação da Posção das Patículas Como dto anteomente, a posção de cada patícula é epesentada atavés de um veto n-dmensonal de númeos eas. Este veto contém as estções dos atbutos paa a ega apendda. Neste veto, um númeo eal epesenta o valo paa cada atbuto nomnal e dos valoes epesentam um ntevalo de valoes paa os atbutos numécos. O ntevalo é defndo po um lmte nfeo e um lmte supeo. Cada atbuto pode aceta o valo vazo?, que sgnfca que o atbuto não apesenta estções paa a ega. Po exemplo, consdee uma base de dados com atbutos: Tempo (dsceto), Tempeatua (numéco), Umdade (numéco), Vento (dsceto), PatcaEspotes (classe: sm ou não). Uma possível ega e sua epesentação em patícula: Rega: Se (Tempo=sol) E (67<Tempeatua<85) E (Vento=sm) ENTÃO (PatcaEspotes = sm) Patícula: <sol, 67, 85,?,?, sm> Paa epesenta a patícula como uma possível solução do poblema, os valoes dos atbutos devem se codfcados em númeos eas. A codfcação dos atbutos nomnas é obtda atavés de um númeo eal elaconado paa cada valo do atbuto na base de dados. Nomalmente é atbuída uma codfcação ncemental. Paa a patícula apesentada acma, uma possível codfcação pode se: sol = (atbuto Tempo) e sm = (atbuto Vento). O valo vazo pode se epesentado com o valo 0. Os atbutos numécos não necesstam de codfcação, pos já possuem valoes eas. O valo vazo paa um atbuto numéco ecebe como o valo o lmte mínmo do atbuto pesente da base de dados. Assm, se este atbuto fo novamente utlzado pela ega os novos lmtes começam a pat do valo mas baxo da base de dados paa o atbuto em questão. Na abodagem poposta o valo da classe não faz pate da patícula, sendo defndo atavés de um paâmeto no nco da execução. Assm, o exemplo apesentado acma pode se codfcado como: <,67,85,64,64,>, onde o lmte nfeo paa o atbuto Umdade é 64. B. Pocedmento de Incalzação O pocedmento de ncalzação espalha aleatoamente as patículas pelo espaço de busca e ncalza todos os componentes da patícula. Este pocedmento deve dstbu as patículas de foma dvesfcada pelo espaço de busca. Neste pocesso, os atbutos nomnas são defndos atavés de um pocedmento de oleta, onde os valoes mas feqüentes da base de dados possuem mao pobabldade. A pobabldade de o valo vazo se escolhdo é defnda em função do númeo de possíves valoes paa o atbuto. Assm, quanto mao o númeo de valoes, meno é a pobabldade de um valo vazo se escolhdo pela oleta. Paa os atbutos numécos, ncalmente, é executado um soteo paa defn se o atbuto seá vazo ou não. Paa este soteo é defndo uma pobabldade, obtda atavés de um paâmeto, chamado de pob_vazo. Se um atbuto é defndo como não vazo, os lmtes, nfeo e supeo, são espalhados aleatoamente pelo ntevalo defndo pelo valo mínmo e máxmo do atbuto, obtdos atavés da base de dados. Na abodagem poposta, o valo de pob_vazo fo defndo com um valo baxo paa favoece a cação de egas com dfeentes ntevalos ncas e assm exploa um mao conjunto de ntevalos do espaço de estados. Após a ncalzação da posção, a velocdade é ncada aleatoamente e o líde local, p best é defndo como a posção ncal. Na atualzação do líde local ele é defndo atavés dos concetos de domnânca de Paeto, mas, se não há domnânca ente duas soluções ele é defndo aleatoamente ente as duas. Como exemplo da ncalzação do algotmo, suponha uma nova patícula com a posção: Patícula: <, 64, 64, 67,86, 88,6, 0> No níco do algotmo, o melho local é defndo como a posção ncal e a velocdade é defnda de foma aleatóa: Melho Local: <, 64, 64, 67,86, 88,6, 0> Velocdade: <3, 74,4, 75,45, 79,05, 93,46, 0> Após a ncalzação todas as patículas são avaladas de acodo com os objetvos. Suponha que paa a patícula descta acma os objetvos sejam: Senstvdade = 0,55 Especfcdade = 0, O póxmo passo é a seleção das patículas não-domnadas. As melhoes patículas de acodo com os concetos de domnânca de Paeto são guadadas no epostóo e o melho local de cada patícula pode se escolhdo atavés das patículas do epostóo. Paa este exemplo, o líde escolhdo é: Líde: <0, 64, 64, 66,55, 88,9, > Ao fnal deste pocedmento, o laço evolutvo está ponto paa se executado. C. Laço Evolutvo Uma vez ealzada a confguação ncal, o laço evolutvo é executado até um ctéo de paada seja alcançado. Neste tabalho o ctéo de paada utlzado é um númeo máxmo de geações. Em cada teação as opeações dscutdas na sessão anteo são mplementadas. A velocdade de cada patícula é atualzada e então, as novas posções são calculadas, (5) e (6), espectvamente. No pocesso de atualzação da posção da patícula, um opeado de mod é aplcado. Este opeado é usado paa lmta a patícula dento do espaço de busca. O opeado de mod fo escolhdo paa pomove gual pobabldade de seleção paa cada valo dos atbutos. Paa atbutos dscetos, os valoes são lmtados no total de valoes paa cada atbuto. Paa os atbutos numécos, um opeado de mod é poposto. Ele é executado usando os valoes máxmos e

6 BRITTO DE CARVALHO AND POZO : WCI 03 A RULE LEARNING MULTIOBJECTIVE 483 mínmos paa cada atbuto, obtdo atavés da base de dados. Se um novo valo de lmte excede o valo máxmo, o excesso é adconado ao valo mínmo e este é um novo lmte. O mesmo pocedmento é executado paa o lmte nfeo, mas no sentdo nveso. Após este pocesso, o meno valo é defndo como lmte nfeo e o mao como o lmte supeo do atbuto. Se ambos os valoes excedeem os lmtes, o atbuto é defndo como vazo. Após o cálculo da nova posção a patícula é avalada de acodo com os objetvos da busca. Após a avalação dos objetvos é feta a atualzação do melho local da patícula. Ao fnal da teação, após a atualzação da posção de todas as patículas, as soluções não domnadas atualzam o epostóo. Po fm, os novos lídees globas são obtdos e uma nova teação é executada. Como exemplo deste pocedmento, consdee a patícula ncada na seção anteo. A nova velocdade de acodo com (6) e consdeando os coefcentes das patículas como: ω = 0,7, φ =,55, φ =0,66, c = c =, é: v = <0,80, 9,99, 0,7,,4, 5,, 0> + <0, 0, 0, 0, 0, 0> + <-0,66, 0, 0, 0,87, -0,,,33> v = <0,4, 9,99, 0,7, 0,36, 4,89,,33> Esta velocdade é tuncada somente paa os valoes dscetos, paa epesentaem da codfcação. Então, a nova velocdade é: v = <0, 9,99, 0,7, 0,36, 4,89, > O póxmo passo é a adção da nova velocdade à posção atual da patícula: x = <, 64, 64, 67,86, 88,6, 0> + <0,9,99, 0,7, 0,36, 4,89,> x = <, 83,99, 84,7, 88,, 3,5, > O opeado de mod é então aplcado paa estng a patícula dento do espaço da busca. O valo 3,5 excede o valo máxmo do atbuto, que neste exemplo é de 96. Assm o opeado adcona o excesso, 3,5-96 = 7,5, ao valo mínmo do atbuto, que é 65. O novo valo é 8,5. Este valo é meno que o valo mínmo defndo anteomente. Neste caso os lmtes são tocados de posção é o valo fnal da posção da patícula nessa teação é: x = <, 83,99, 84,7, 8,5, 88,,,> Este pocedmento é epetdo até o ctéo de paada se alcançado. Ao fnal, as egas apenddas pelo MOPSO-N são as soluções não domnadas pesentes no epostóo, ao fnal do laço evolutvo. V. RESULTADOS E DISCUSSÕES Paa a valdação do algotmo poposto dos conjuntos de expementos são executados. O pmeo vsa a compaação dos esultados da classfcação do MOPSO-N. Estes esultados são compaados com alguns algotmos conhecdos da lteatua, atavés da AUC. O segundo estudo fo a análse da cobetua da Fontea de Paeto. Neste estudo é vefcada a qualdade das egas geadas pelo MOPSO-N. Os conjuntos de apoxmação geados pelo MOPSO-N são compaados com a fontea de Paeto eal obtda po um algotmo exaustvo. A. Compaação da AUC Nesta compaação são utlzadas 8 bases de dados obtdas do epostóo de apendzado de máquna UCI []. Estas bases de dados foam utlzadas po conte um bom númeo de atbutos numécos. As bases de dados são especfcadas na Tabela I. Todas as bases de dados possuem dos valoes de classe: postvo e negatvo. As bases de dados que contnham mas de duas classes foam eduzdas, sendo a classe de meno feqüênca consdeada a classe postva e o esto a classe negatva. TABELA II DESCRIÇÃO DAS BASES DE DADOS UTILIZADAS NOS EXPERIMENTOS # Base de dados # Atbutos # Exemplos Beast Ecol Flag Glass Habeman Ionosphee New-thyod Pma Os algotmos utlzados foam aplcados utlzando-se a feamenta Weka [] e tabalham com os dados numécos, sem a necessdade de uma etapa de dscetzação. Um conjunto de 8 classfcadoes conhecdos da lteatua fo utlzado na compaação com o MOPSO-N. Os algotmos utlzados e a confguação dos paâmetos são dscutdos a segu: [] C4.5 e C4.5 Sem Poda: Algotmo de ávoes de decsão. Em ambos os algotmos o númeo mínmo de nstâncas po folha fo defndo como o fato de confança da poda fo de 5%. [] NNge: Algotmo vznhos mas póxmos de apendzado de egas que usa cópas genealzadas não-annhadas. O númeo de tentatvas paa a genealzação fo defndo como 5. [3] RIPPER: Algotmo de apendzado de egas poposconas. [4] BayesNet (BN): Algotmo de apendzado de Redes Bayesanas usando o algotmo Smple Estmato. O algotmo K fo utlzado paa efetua as buscas na ede.

7 484 IEEE LATIN AMERICA TRANSACTIONS, VOL. 7, NO. 4, AUG. 009 [5] Nave Bayes (NB): Não houve confguação de paâmetos. [6] Redes Neuas (RN): Algotmo Mult-Laye Pecepton usando backpopagaton. O númeo de neuônos da camada escondda é uma méda ente o númeo de atbutos e o númeo de classes de cada base de dados. A taxa de apendzado fo defnda com o valo 0.3 e o momento com o valo 0.. O algotmo fo executado po 500 épocas. [7] Máqunas de Vetoes Supote (SVM): Algotmo seqüencal mínmo de John Platt paa tenamento de um classfcado de veto supote. O paâmeto de egulazação C fo defndo como. A função de kenel utlzada fo a RBF e o paâmeto γ do kenel fo defndo com o valo 0.5 MOPSO-N fo executado com 00 e com 500 patículas. Os paâmetos ω, φ e φ são defndos de foma aleatóa, paa pemt uma mao dvesfcação do algotmo. ω vaa num ntevalo [0,0.8], e ambos φ e φ vaam ente [0,4]. Nesta compaação não fo analsada a nfluênca dos paâmetos c e c, logo eles não têm nfluênca sobe a busca e foam defndos como. Como dto anteomente, o valo de pob_vazo, fo defndo com o valo 0.. Os expementos foam executados utlzando a valdação cuzada com 0 patções e todos os algotmos, nclundo o MOPSO-N, foam almentados com os mesmos conjuntos de tenamento e teste. Os valoes de AUC paa o MOPSO-N foam calculados utlzando-se um método de classfcação baseado na votação pondeada, tendo como peso o valo da confança da ega. Paa os demas métodos, fo utlzado o cálculo da AUC dsponível na feamenta Weka. Os valoes da AUC são apesentados na Tabela II. Os númeos ente paênteses epesentam o desvo padão. Paa a mensuação das dfeenças ente os algotmos fo utlzado o teste estatístco não paamétco de Wlcoxon com nível de confança de 5%. Neste teste os valoes das 30 execuções paa as 0 patções do MOPSO-N são compaados. O MLP também é não detemnístco e fo executado 30 vezes. Nas Tabelas III e IV, os valoes macados em negto, ndcam quas algotmos obtveam o melho esultado, paa cada base. A Tabela III apesenta os esultados dos algotmos smbólcos, enquanto que a Tabela IV apesenta os esultados dos algotmos não smbólcos. Atavés dos esultados apesentados nas Tabelas III e IV pecebe-se que o MOPSO-N é bastante compettvo com os algotmos em análse. O algotmo poposto consegue obte o melho esultado nas bases de dados 3, 5 e 8, e nas demas bases de dados, consegue obte um esultado muto póxmo aos demas algotmos. O Multlaye Pecepton e o Bayes obtveam os melhoes esultados, sendo melho em quato bases de dados. O Nave Bayes atngu o melho esultado em duas bases de dados e os demas algotmos não conseguam obte o melho esultado em nenhuma base dados. Além dsso, quando compaando o valo médo da AUC nas 8 bases de dados, MOPSO-N obteve um valo ente os maoes. Estes esultados mostam que a abodagem aqu poposta consegue bons esultados de classfcação quando compaadas a algotmos já valdados no contexto do Apendzado de Máquna. Vale nota que ente os algotmos smbólcos MOPSO-N apesenta os melhoes esultados, os algotmos não smbólcos apesentam um esultado smla, poém é mpotante essalta que o classfcado nduzdo não é faclmente ntepetado pelos usuáos. TABELA III VALOR DA AUC PARA AS BASES DE DADOS ANALIZADAS PARA OS ALGORITMOS: MOPSO-N, C4.5, C4.5 SEM PODA, RIPPER E NNGE. # MOPSO-N C4.5 C45 SP RIPPER NNGE Méda TABELA IV VALOR DA AUC PARA AS BASES DE DADOS ANALIZADAS PARA OS ALGORITMOS: MULTI-LAYER PERCEPTRON, BAYES NET, NAIVE BAYES E MÁQUINA DE VETORES SUPORTE. # MLP BN NB SVM Méda B. Análse da Fontea de Paeto O segundo conjunto de expementos é elaconado com a qualdade dos conjuntos de apoxmação poduzdos pelo MOPSO-N. O deal neste caso é compaa a apoxmação obtda pelo algotmo com a Fontea de Paeto. Poém, a fontea de

8 BRITTO DE CARVALHO AND POZO : WCI 03 A RULE LEARNING MULTIOBJECTIVE 485 paeto é desconhecda paa as bases de dados que possuem atbutos numécos. Po esta azão, dfeentes dscetzações seão consdeadas, após a dscetzação, todas as egas possíves seão geadas, e seleconadas paa a constução da fontea de paeto. Esta análse fo lmtada a um númeo pequeno de bases de dados (, 5 e 7) devdo ao custo da geação de todas às egas paa uma base de dados. A dscetzação fo ealzada utlzando-se um flto da feamenta Weka []. O flto é smples e dvde cada atbuto numéco em ntevalos guas. O númeo de patção é defndo como paâmeto e neste tabalho foam utlzadas tês dfeentes patções: tês, cnco e sete patções. As egas geadas pelo MOPSO-N e pelo algotmo exaustvo foam obtdas utlzando todos os exemplos de cada base de dados. O MOPSO-N fo executado um total de 30 execuções. A compaação fo executada paa as classes postva e negatva, sepaadamente. A Fg. mosta a fontea de Paeto eal, geada pelo algotmo exaustvo ("todas as egas"), paa a base de dados Glass, com tês patções e o conjunto de apoxmação geado pelo MOPSO-N, paa a mesma base, mas somente com valoes numécos. Ambos os conjuntos de egas foam obtdos paa o fold 0 e a apoxmação obtda pelo MOPSO-N é o conjunto das melhoes egas das 30 execuções. Atavés do gáfco pode-se pecebe a melho pefomance do MOPSO-N. Fgua. Fontea de Paeto paa a base de dados Glass e conjunto de apoxmação geado pelo MOPSO-N.. Paa a compaação das fonteas fo utlzada uma metodologa de medção do desempenho apesentada em [7]. Este tabalho ecomenda o uso de tês abodagens complementaes. Como pmeo passo na compaação, qualque dfeença sgnfcante ente os algotmos deve se testada usando-se a abodagem de ankng de domnânca. Esta abodagem possblta uma afmação mas fote das dfeenças. Após esta compaação, ndcadoes de qualdade podem se aplcados paa quantfca possíves dfeenças na qualdade dos algotmos e paa detecta dfeenças que não são eveladas pelo ankng de domnânca. Po fm, a compaação estatístca das funções dos ndcadoes utlzados. O ankng de domnânca é um método de medção geal e ndependente que é baseado na compaação paeada de conjuntos de apoxmação. O ankng de domnânca pode se computado usando-se o ndcado bnáo epslon adtvo [3] e o teste estátco de Mann-Whtney [4]. Dados dos algotmos A e B, e sendo dos conjuntos de execuções algotmos A={A,A,..., A k } e B={B, B,..., B k }, o teste de ankng de domnânca vefcam quantas soluções obtdas pelo algotmo A domna as soluções do algotmo B. Após o obtenção dos ankngs é executado o teste estatístco paa a vefcação se há uma dfeença sgnfcante ente os ankngs. Indcadoes de qualdade epesentam um meo de expessa e mensua algumas dfeenças ente conjuntos de apoxmação. Neste tabalho, ndcadoes unáos são utlzados. Indcadoes unáos são funções, I(x), que mapeam um conjunto de apoxmação, x, em valoes eas. Sejam A e B paes de conjuntos de apoxmação. A dfeença ente os seus valoes dos ndcadoes I(A) e I (B) evela a dfeença da qualdade ente estes dos conjuntos. Assm, paa a compaação de dos algotmos, paa cada apoxmação geada são aplcados os ndcadoes. Após sto, a dfeença de qualdade dos algotmos é medda atavés de um teste estatístco que compaa todos os valoes dos ndcadoes paa cada apoxmação. Na compaação ente as fonteas do MOPSO-N e o algotmo exaustvo ncalmente o teste de ankng de domnânca não mostou nenhuma dfeença sgnfcante ente ambos os algotmos, paa todas as dfeentes dscetzações. Assm, como não houve nenhuma elação de domnânca defnda pelo ankng de domnânca, alguns ndcadoes de qualdade foam utlzados paa med a dfeença ente ambos os algotmos. Os ndcadoes utlzados foam o Epslon adtvo, o Hpevolume e o R [3]. Nesta análse, paa as tês bases de dados,, 5 e 7, o MOPSO-N apesentou melhoes esultados. Em todos os ndcadoes, na compaação do MOPSO-N com todas as tês dfeentes dscetzações, os conjuntos de apoxmação geados pelo MOPSO-N supeaam os esultados obtdos atavés das bases de dados dscetas. Estes esultados mostam, que paa esse conjunto de bases de dados, com a utlzação de atbutos numécos ao nvés da execução de um pocesso de dscetzação é possível a obtenção de egas com melhoes valoes paa os objetvos escolhdos. VI. CONCLUSÕES Este tabalho apesentou um algotmo de apendzado de egas baseado na técnca da Nuvem de Patículas Multobjetvo que tabalha tanto com dados numécos quanto dscetos, MOPSO-N. O algotmo poposto tem como objetvo a obtenção de bons esultados de classfcação utlzando como objetvos a senstvdade e a especfcdade, e a geação de boas egas a pat de atbutos numécos. Paa a valdação do algotmo e a mensuação se os objetvos ncas foam atngdos duas análses foam executadas. Incalmente os esultados da classfcação do MOPSO-N foam compaados com outos algotmos conhecdos da lteatua, de acodo com a áea abaxo da cuva ROC (AUC). Nesta análse, foam utlzados dfeentes algotmos amplamente utlzados como o C4.5, as edes Bayesanas e as máqunas de vetoes de supote. Os esultados mostaam que o algotmo poposto é

9 486 IEEE LATIN AMERICA TRANSACTIONS, VOL. 7, NO. 4, AUG. 009 muto compettvo em elação aos outos algotmos. O segundo estudo compaou o conjunto de egas geadas pelo MOPSO-N, a pat de bases de dados com atbutos numécos, com as fonteas eas obtdas de bases de dados com dfeentes dscetzações. Os esultados desta compaação mostaam que o MOPSO-N obtém melhoes conjuntos de egas que as obtdas atavés das bases de dados com os atbutos dscetzados. Como tabalhos futuos há a ealzação de um mao númeo de expementos paa complementação dos estudos ncas, nclundo uma medção da nfluênca dos paâmetos nos esultados do MOPSO-N. Outo estudo futuo é a podução de egas mas dvesfcadas pelo algotmo poposto sem o aumento do conjunto de egas fnal. REFERÊNCIAS [] T. Fawcett, Usng Rule Sets to Maxmze ROC Pefomance. n Poc. IEEE Intenatonal Confeence on Data Mnng, pp. 3-38, 00. [] P. Clak and T. Nblett, Rule Inducton wth CN: Some Recent Impovements. n Poc. ECML: Euopean Confeence on Machne Leanng, pp. 5-63, 99. [3] C. Ishda et al., Explong Mult-objectve PSO and GRASP-PR fo Rule Inducton. n Poc. EvoCOP 008, pp , 008. [4] N. Lavac, P. Flach and B. Zupan Rule Evaluaton Measues: A Unfyng Vew. n Poc. Nnth Intenatonal Wokshop on Inductve Logc Pogammng (ILP'99), pp 74-85, 999. [5] R. C. Pat and P. A. Flach ROCCER: An Algothm fo Rule Leanng Based on ROC Analyss. n Poc. Intenatonal Jont Confeences on Atfcal Intellgence, pp 83-88, 005. [6] Y. J. Wang, Q. Xn and F. Coenen A Novel Rule Odeng Appoach n Classfcaton Assocaton Rule Mnng. n Poc. Seventh IEEE Intenatonal Confeence on Data Mnng Wokshops, , 007. [7] J. Knowles, T. Thele, T. and E. Ztzle A Tutoal on the Pefomance Assessment of Stochastc Multobjectve Optmzes, Compute Engneeng and Netwoks Laboatoy (TIK), ETH Zuch, Swtzeland, 006. [8] J. Kennedy and R. C. Ebehat, Swam ntellgence. Mogan Kaufmann Publshes Inc. 00. [9] M. Reyes-Sea and C. A. C. Coello. Mult-Objectve Patcle Swam Optmzes: A Suvey of`the State-of-the-At. Intenatonal Jounal of Computatonal Intellgence Reseach, vol., no. 3, pp87 308, 006. [0] S. Mostaghm and J. Tech Stateges fo fndng good local gudes n mult-objectve patcle swam optmzaton. n Poc. SIS '03 Swam Intellgence Symposum, pp. 6-33, 003. [] A. Asuncon and D. J. Newman. UCI Machne Leanng Repostoy Unvesty of Calfona, Ivne, School of Infomaton and Compute Scences, 007. [] I. H. Wtten and E. Fank. Data Mnng: Pactcal machne leanng tools and technques, nd Edton, Mogan Kaufmann, San Fancsco, 005. [3] E. Ztzle and L. Thele Multobjectve Evolutonay Algothms: A Compaatve Case Study and the Stength Paeto Appoach IEEE Tansactons on Evolutonay Computaton, vol. 3, no. 4, pp [4] W. J. Conove, Pactcal nonpaametc statstcs. Wley. 97. [5] A. B. de Cavalho and A. Pozo Um Algotmo Multobjetvo de Apendzado de Regas Baseado na Otmzação po Nuvem de Patículas n Poc. II Wokshop on Computatonal Intellgence, 008. Andé Btto de Cavalho é estudante de mestado no Depatamento de Cênca da Computação na Unvesdade Fedeal do Paaná. Possu gaduação em Cênca da Computação pela Unvesdade Fedeal de Segpe (006). Duante a sua gaduação tabalhou em pojetos que focam a aplcação de metaheuístcas em poblema da Bonfomátca. Tem nteesse no Apendzado de Regas no contexto da Mneação de Dados, metaheuístcas e na otmzação multobjetvo. Auoa Pozo possu em Engenhaa Elétca - Unvesdad de Concepcon (985), mestado em Engenhaa Elétca pela Unvesdade Fedeal de Santa Catana (99) e doutoado em Engenhaa Elétca pela Unvesdade Fedeal de Santa Catana (996). Atualmente é assocado I da Unvesdade Fedeal do Paaná (desde 997). Tem expeênca na áea de Cênca da Computação, com ênfase em Intelgênca Computaconal, atuando pncpalmente nos seguntes temas: Vda Atfcal (Computação Evolutva, Nuvem de Patcula, etc..) e aplcações em Engenhaa de Softwae e Mneação de Dados.