3 Seleção de Variáveis Baseada em Informação Mútua sob Distribuição de Informação Uniforme (MIFS-U)

Transcrição

1 3 Seleção de Varáve Baeada em nformação Mútua ob trbução de nformação Unforme MFS-U 3.1 Seleção de Varáve de Entrada para Problema de Clafcação A eleção de varáve de entrada deempenha um mportante papel em tema de clafcação ta como rede neura artfca RNA. Ta varáve podem er clafcada como pertnente, rrelevante ou redundante, e, do ponto de vta do gerencamento de um conjunto de dado, que pode er gganteco, reduzr o número de varáve, eleconando omente aquela pertnente, é extremamente deejável. Po, dee modo, melhor deempenho com menor eforço computaconal é eperado Kwak & Cho, omer & Lemehow 1989 detacam a mportânca da eleção de varáve, po, com um menor número de varáve, o modelo tende a er ma generalzável e robuto. Problema de eleção de varáve foram pequado por váro autore como Battt 1994, Jolffe 1986 e Agrawal et al Um do método ma populare para ldar com ete problema é o de anále de componente prncpa prncpal component analy PCA Jolffe, Entretanto, quando e objetva preervar o dado orgna, ete método não é adequado. O algortmo abordado neta dertação, a aber, o MFS-U Seletor de Varáve ob nformação Mútua com trbução Unforme de nformação apreentado por Kwak & Cho 2002, objetvou uperar a lmtação do eletor de varáve propoto por Battt 1994, gerando melhor deempenho no proceo de eleção de varáve. Tal algortmo, por ua mplcdade, pode er uado em qualquer tema de clafcação, eja qual for o algortmo de aprendzagem. No entanto, eu deempenho pode er prejudcado como reultado de erro na etmação da nformação mútua.

2 Seleção de Varáve Baeada em nformação Mútua ob trbução 33 de nformação Unforme MFS-U 3.2 Problema FRn k e o Algortmo de Seleção deal No proceo de eleconar varáve de entrada, é deejável reduzr o número de varáve, exclundo aquela que ão rrelevante ou redundante. Ete conceto é formalzado pela eleção da k varáve ma relevante de um conjunto de n varáve, chamado de problema de redução de varável feature reduton FR Battt, Tal proceo é decrto a egur: [FRn k]: ado um conjunto ncal de n varáve, encontre o ubconjunto com k < n varáve que repreenta a máxma nformação acerca do defecho varável explcada, de reultado ou de aída. Como vto anterormente, a nformação mútua entre dua varáve aleatóra dz repeto à quantdade de nformação comum entre ea varáve. O problema de eleconar varáve de entrada pode er reolvdo calculando a nformação mútua M entre varáve de entrada e o defecho. Se a nformação mútua entre varáve de entrada e defecho pudee er obtda com exatdão, o problema FRn k podera er reformulado como egue: [FRn k]: ado um conjunto ncal F com n varáve e o defecho, encontre o ubconjunto S F com k varáve que mnmza S, to é, que maxmza a nformação mútua S. O método de eleção adotado aqu é conhecdo como eleção guloa 2. Nete método, a partr do conjunto vazo de varáve eleconada, adcona-e a melhor varável de entrada vável ao conjunto anteror, uma a uma, até que o tamanho do conjunto atnja k. Ee algortmo de eleção deal que ua nformação mútua é realzado como egue: 1 ncalzação conjunto F conjunto ncal com n varáve, S conjunto vazo. 2 Cálculo da M com o defecho, F, compute. 2 O termo guloa em nglê, greedy vem do fato de que a eleção é feta pao a pao, não voltando atrá.

3 Seleção de Varáve Baeada em nformação Mútua ob trbução 34 de nformação Unforme MFS-U 3 Seleção da prmera varável ache a varável que maxmza, faça F F \{ }, S { }. 4 Seleção guloa repta até que eja alcançado o número deejado de varáve eleconada: a Cálculo da M conjunta entre varáve, F, compute,s. b Seleção da próxma varável ecolha a varável F que maxmza, S e faça F F \ { }, S { }. 5 Fnalze o conjunto S contendo a varáve eleconada. Na prátca, a realzação dete algortmo torna-e nvável, face à alta dmenão do vetor de varáve no cálculo de,s, vto que, tendo como objetvo a eleção de k k<n varáve, o vetor S compoto pela varáve já eleconada, atnge dmenão gual a k 1. Para uperar ee óbce, Batt 1994 propô um método alternatvo, apreentado a egur. 3.3 Seleção de Varáve Baeada em nformação Mútua MFS O algortmo MFS é gual ao algortmo anteror, com exceção do pao 4. Em vez de calcular,s, Batt 1994 uou omente e. Ou eja, para er eleconada, uma varável não pode er prevível a partr daquela já eleconada em S, e deve er nformatva em relação ao defecho. No MFS, o pao 4 no algortmo de eleção anteror fo ubttuído como egue: 4 Seleção guloa repta até que eja alcançado o número deejado de varáve eleconada: a Cálculo da M entre varáve, para todo o pare de varáve, com F e S, compute, e anda não fo avalada. b Seleção da próxma varável ecolha a varável F que maxmza S β e faça F F \ { }, S { }.

4 Seleção de Varáve Baeada em nformação Mútua ob trbução 35 de nformação Unforme MFS-U Onde β é o parâmetro de redundânca em relação à varáve de entrada. Se β 0, o algortmo elecona varáve na ordem da nformação mútua entre varáve de entrada e o defecho, e a redundânca entre varáve de entrada, portanto, nunca é refletda. Quando β > 0, a redundânca e reduz. A relação entre varáve de entrada e defecho pode er repreentada na Fgura 3.1. O prmero algortmo de eleção ua a nformação mútua para ecolher a varável que maxmza a nformação mútua conjunta, que correponde à área,, e V. Como área e V é comum a toda a varáve não eleconada no cálculo da nformação mútua conjunta,, o algortmo elecona a varável que maxmza a área. Por outro lado, o algortmo MFS elecona a varável que maxmza β. Para β 1, o correponde a área ubtraída da área. S V Fgura 3.1 Relação entre varáve de entrada e defecho

5 Seleção de Varáve Baeada em nformação Mútua ob trbução 36 de nformação Unforme MFS-U Portanto, e uma varável a er eleconada é fortemente relaconada à alguma varável já eleconada, a área é grande, podendo, po, degradar o deempenho do algortmo. Por ea razão, o MFS não lda muto bem com problema não-lneare. 3.4 O Seletor de Varáve MFS-U Ete algortmo de eleção é ma próxmo do algortmo deal veja eção 3.2 do que o MFS. O algortmo deal tenta maxmzar, área, e V na Fgura 3.1, e to pode er reecrto como, Onde repreenta a nformação mútua retante entre o defecho e a varável para uma dada varável, o que correponde à área na Fgura 3.1, enquanto que a área ma a área V repreentam. Vto que é comum a toda a varáve canddata a erem eleconada no algortmo deal, não há nenhuma necedade nee cálculo. Am, o algortmo deal tenta achar a varável que maxmza área. No entanto, calcular requer tanto eforço quanto calcular. Am, é calculada de forma aproxmada atravé de e, que ão relatvamente fáce de calcular. A nformação mútua condconal pode er repreentada como { } 3.2 Onde correponde à área e V, e, à área. e modo que o termo correponde à área V. O termo gnfca a nformação mútua entre a varável já eleconada e a

6 Seleção de Varáve Baeada em nformação Mútua ob trbução 37 de nformação Unforme MFS-U varável canddata para um dado defecho. Se o condconamento pelo defecho não altera a razão entre a entropa de e a nformação mútua entre e, ou eja, e vale a egunte relação condção do algortmo: 3.3 pode er repreentada por S 3.4 Uando a equação acma e a Eq. 3.2, obtém-e o egunte: Conderando que cada regão na Fgura 3.1 correponda a ua repectva nformação, a condção apreentada na Eq. 3.3 é ma dfícl de er atfeta quando a nformação etá concentrada em uma da egunte regõe:,, ou. É ma provável que a condção 3.3 eja válda quando a nformação etá dtrbuída unformemente ao longo da regão de na Fgura 3.1. Razão pela qual, o algortmo é referdo, mplemente, por MFS-U. Com bae no ora expoto, o pao 4 revado do algortmo de eleção deal toma, am, a egunte forma:

7 Seleção de Varáve Baeada em nformação Mútua ob trbução 38 de nformação Unforme MFS-U 4 Seleção guloa repta até que eja alcançado o número deejado de varáve eleconada: a Cálculo da entropa S, compute avalada., e anda não fo b Cálculo da M entre varáve, para todo o pare de varáve, com F e S, compute, e anda não fo avalada. c Seleção da próxma varável ecolha a varável F que maxmza β / e faça F F \ { }, S S { }. O parâmetro β oferece flexbldade ao algortmo tal como no MFS. Cao e adote β gual a zero, a nformação mútua entre a varáve de entrada não é levada em conderação e o algortmo elecona ta varáve na ordem da nformação mútua de cada uma dela com o defecho. A redundânca entre a varáve de entrada não é, portanto, refletda. Quando β aumenta, a varáve redundante ão excluída ma efcentemente. Em geral, pode-e tomar β 1 Breman et al.,1984. Cao ete em que há um equlíbro, em termo de peo, entre a redundânca da varável canddata e a nformação mútua deta com o defecho. Am, para toda a experênca deta dertação, fxou-e β 1. Kwak & Cho 2002 alentam que o algortmo MFS-U pode er aplcado a problema complexo em excevo eforço computaconal. A egur, apreenta-e um equema do algortmo MFS-U, lutrando a ua dnâmca.

8 Seleção de Varáve Baeada em nformação Mútua ob trbução 39 de nformação Unforme MFS-U níco Faça {,..., } F, 1 2 n S {} Algortmo MFS-U, F máx FM Sm Faça F F \ S { } { } S tem o número de varáve deejado k? não, S,, F, S máx F { } β / S Fgura 3.2 Equema do algortmo MFS-U