Comparação de métodos de estimação de parâmetros em modelos de regressão logística politômica

Transcrição

1 Comaração de método de etmação de arâmetro em modelo de regreão logítca oltômca Iáco Adru-Gumarãe Uverdade ecológca Federal do Paraá Deartameto Acadêmco de Matemátca Rua ete de etembro Curtba PR E-mal: Aelmo Chave Neto Uverdade Federal do Paraá Deartameto de Etatítca Caa otal 98 Cetro Poltécco Curtba PR E-mal: Itrodução O modelo de regreão logítca é recohecdo como uma efcaz ferrameta ara modelar a relação etre uma varável reota categórca e um couto de varáve deedete dcreta ou cotíua Em que ee a ua recohecda efcáca é abdo que a etmação do arâmetro decohecdo do modelo é eível a certa cofguraçõe do couto de dado abordado em eecal o que e refere à obreoção do gruo etudado O coceto erete à cofguração do gruo de dado foram formalzado or Albert e Adero 984 [] que ugerem a clafcação do couto em trê categora: obreoto arcalmete earado e comletamete earado O referdo autore também motram que o arâmetro do modelo odem er determado elo método teratvo aea quado há obreoção de gruo Ete trabalho areeta calmete uma breve revão obre o Modelo de Regreão Logítca Cláco eguda de uma ráda revão de lteratura a qual ão abordado o Modelo de Regreão Logítca Oculto e o Modelo de Regreão Logítca de Comoete Prca Na eqüêca é roota uma geeralzação do modelo abordado com o obetvo de verfcar o deemeho do memo quado alcado a roblema com varável reota oltômca e que cotêm couto de dado com gruo comletamete earado Em eguda areeta o reultado de mulaçõe efetuada obre couto de dado etraído da lteratura correte O rcal reultado é a obteção de uma metodologa mue a quaquer cofguraçõe do couto de dado e que ão requer uma formulação comlea Revão da Lteratura Seam o gruo G G G cotedo obervaçõe a forma X ode e a dema varáve ou covaráve odem er dcreta ou cotíua Sea Y a varável reota a forma Y y y dcadora do gruo ao qual ertece cada obervação O Modelo de Regreão Logítca aume que a robabldade a oteror têm a forma: P G X ode e e µ µ µ + B X µ e B A fução veromlhaça codcoal ara gruo ode er erea a forma: B [ P G X ] Y l ode Y é a varável reota dcadora do gruo ao qual ertece a -éma obervação to é: e y Y e y Do oto de vta matemátco é ma coveete trabalhar com a fução logveromlhaça dada or: L B Y µ l + e µ O Etmadore de Máma Veromlhaça EMV do arâmetro ão ecotrado medate a reolução do tema de equaçõe formado ela dervada arca de LB em

2 relação ao + arâmetro decohecdo gualada a zero e cua forma geral é: L B m [ Y P G X ] m e m O rocedmeto ma utlzado a obteção do EMV é o método de Newto-Raho que reulta a ereão dada or: m+ m m B B + [ I B ] [ S B ] m ode SB m é o vetor com + arâmetro dado ela dervada arca de LB e IB m é uma matrz quadrada de ordem + cuo elemeto ão o egatvo do valore eerado ara a dervada arca de eguda ordem a forma que e egue: L B m ' m [ P ][ P ] m m' L B m ' m' ode P P X G m ' m [ P ][ P ] ' e m m A matrz de formação IB m ode er ecrta a forma: I B X VX ode V ara varável reota bára é a matrz dagoal de varâca to é V P G X [ P G X ] Para varável reota oltômca a matrz de formação ode er ecrta a forma: B B B B B B I B B B B ode X [ dag [ P P ] X B X [ dag [ P P ] etocátco a verdadera reota de um Modelo de Regreão Logítca é ão obervável e que ete uma varável obervável fortemete relacoada à verdadera reota A etmação do arâmetro do modelo reultate é realzada atravé de método de etmação robuta tedo como referêca coceto formulado or Coa 988 [4] que de acordo com [7] utlzou o modelo ob outra deomação e uma abordagem dtta Icalmete codera-e uma tuação a qual ão oíve aea do reultado ara a varável reota uceo e uceo f Aume-e também que o verdadero etado é ão obervável ao cotráro da varável Y relacoada a coforme a Fgura O etudo egue o racocío: e o verdadero etado é oberva-e Y com robabldade PY δ Dete modo a robabldade de má clafcação é dada or PY δ Aalogamete e f oberva-e Y com robabldade PY f δ e robabldade de má clafcação dada or PY f δ O autore aumem que a robabldade de obervar o verdadero etado é ueror a 5% < δ < 5 < δ < Covém lembrar que o Modelo de Regreão Logítca Cláco δ e δ Y δ - δ δ - δ f Fgura Varável ão obervável e reota Y obervável Modelo de Regreão Logítca Oculto Com o obetvo de cotorar o roblema da ão etêca de etmadore de máma veromlhaça em fução da earação de gruo Roueeuw e Chrtma 3 [7] areetaram o Modelo de Regreão Logítca Oculto MRLO Na ua coceção aume-e que devdo a um mecamo O algortmo lutrado é chamado Modelo de Regreão Logítca Oculto o o verdadero tatu etá oculto ela etrutura etocátca a arte ueror da rereetação Coforme [7] ete modelo ode er terretado como um to de rede eural com uma camada oculta correodete à varável latete Para obter o etmadore do

3 arâmetro do modelo de regreão logítca aume-e que tato Y como têm dtrbução de Beroull Etão o etmador de máma veromlhaça de dado Y y é dado or: ˆ Y f e ˆ Y A robabldade codcoal de Y dado é dada or: P Y ˆ δ e y P Y ˆ δ e y ode y é o valor obervado de Y Deotado a ereão acma or Y tem-e: Y Y δ + Y δ que ara obervaçõe y y y fca: y y δ + yδ Covém otar que o modelo cláco aume-e y y to é δ e δ Outra abordage odem er ecotrada em em [6] Para autar um modelo de regreão logítca à eudo-obervaçõe y utlza-e o Método da Máma Veromlhaça a fm de mamzar a fução de veromlhaça que ete cao é dada or: l y θ y y [ Λ θ ] [ Λ θ ] A ereão acma é chamada de Veromlhaça Etmada o ão e cohece a verdadera veromlhaça que deede do valore ão obervado t t O valore que a mamzam ão deomado Etmadore de Máma Veromlhaça Etmada e de acordo com [7] emre etem e ão fto ao cotráro do etmadore de máma veromlhaça A dervada arca da fução logveromlhaça em relação a θ reultam a fução ecore dada or: y y y Λ θ S θ Aó gualar a zero a ereõe reultate da dervada arca obtém-e o tema de equaçõe cua reolução forece o etmadore rocurado Uma roredade do Etmador de Máma Veromlhaça Etmada garate a ua etêca emre que < δ o < δ < e a matrz de dado tem oto + A rova ara eta roredade aa elo fato de que o Heao da fução logveromlhaça dado or: θ y S θ Λ θ Λ θ é uma matrz egatva defda o a matrz de dado tem oto + Além dto a fução em quetão é etrtamete côcava Aále de Comoete Prca A etêca de multcoleardade etre a varáve deedete to é a etêca de forte deedêca etre a mema ode ter efeto obre a recão do etmadore Outro elemeto a er coderado é a etêca de grade úmero de varáve deedete o que ode egr maor eforço comutacoal Uma abordagem areetada or Agulera Ecaba e Valderrama 6 [] cote em utlzar a Aále de Comoete Prca ACP ara reduzr o tamaho do couto de dado e a fluêca da multcoleardade em roblema com varável reota bára tratado da dua rmera quetõe O ao egute é o aute de um modelo logítco à comoete rca que ubttuem a varáve orga Nete etdo o Modelo de Regreão Logítca de Comoete Prca MRLCP ode er terretado como um método de ubttução de varáve o qual a comoete rca ubttuem a varáve orga O autore ctado areetaram o MRLCP como uma eteão do Modelo de Regreão de Comoete Prca ara o cao lear Para atgr eu obetvo utlzam como covaráve um couto de comoete rca da varáve deedete ode < de modo a reduzr o tamaho do couto de dado orga Para cotrur o modelo de regreão logítca com varável reota dcotômca ão coderado a referêca [] do gruo de obervaçõe G e G aocado à matrz de dado X cua matrz de covarâca é S ambém ode-e coderar em erda de geeraldade que a obervaçõe etão cetrada to é areetam méda gua a zero Nete cao a matrz S ode er ecrta: S X X Sea P a matrz quadrada de ordem cua colua ão o autovetore da matrz de covarâca aocado ao autovalore λ λ λ que ão a varâca da

4 comoete rca Y Covém lembrar que a matrz S métrca e otva defda ode er decomota a forma S PΛP ode Λ dagλ λ cotém o autovalore de S e a matrz ortogoal P cotém o reectvo autovetore Sea Z a matrz cua colua ão a comoete rca acma defda etão Z XP A defção do MRLCP começa ela formulação do modelo logítco em termo da comoete rca aocada à matrz de dado X coderado que toda a varáve ão cotíua e ormalzada O modelo de regreão logítca ara varável reota dcotômca ode er ecrto a forma: e + π P Y + e + Coderado que X ZP e ubttudo z v e o modelo acma o MRLCP ara varável reota bára é dado or: e + zγ π + e + zγ ode z ; ão elemeto da matrz de comoete rca Z XP e γ ν O MRLCP em termo da comoete rca é obtdo ela remoção a equação ateror da últma r comoete rca ou ea: e γ + zγ π + e γ + zγ Modelo Prooto Para e alcar o MRLO a roblema com varável reota oltômca fo rovdecada uma geeralzação dreta do modelo rooto or [7] ara varável reota dcotômca Ito é codera-e que há varáve ão oberváve aumdo o valore f ou reectvamete Dete modo e o verdadero etado é oberva-e Y com robabldade dada or: P Y δ Aalogamete e f P Y f δ f Adcoalmete tem-e que: P Y δ P Y f δ f e Aume-e também < δf < 5 < δ < ara Etão há varáve ão oberváve reultate de vetore θ θ ta que: θ θ θ θ θ [ ] O etmador de máma veromlhaça de dado Y y é dado or: ˆ Y f e ˆ Y A robabldade codcoal é dada etão or: P Y ˆ δ e y P Y ˆ δ f e y Deta forma ode-e defr a varável: y y δ f + y δ e Y ode y e Y Agora o obetvo é autar à eudoobervaçõe y um Modelo de Regreão Logítca a forma dada or: e θ P G X e θ θ θ + θ + + θ θ X e θ Nete cao a fução de veromlhaça etmada é dada or: Y l θ Y P X [ ] A Fução Log-Veromlhaça Etmada é dada or: L θ Y y θ l + eθ O etmadore de θ ão o valore que L θ Y a artr da equaçõe: mamzam

5 L θ θ m m [ y P G ] ode e m A eteão da Aále de Comoete Prca ACP a roblema com varável reota oltômca também roota ete trabalho ão requer uma formulação comlea De fato ode er terretada como um método de ubttução da varáve orga or comoete rca cuo efeto ma evdete é a redução do volume de dado ara colua o que acaba or egr meor eforço comutacoal ara a mlemetação do modelo Seam gruo G G de obervaçõe a forma da matrz de dado X O rmero ao é o cálculo da matrz S de covarâca e o correodete autovalore e autovetore Segudo o memo racocío utlzado ara o modelo com varável reota dcotômca ode-e fazer em eguda efetuar a ubttução o modelo Com to tem-e que: e + zv P G Zv g e + zv ode e Fazedo γ tem-e o Modelo v q q de Regreão Logítca de Comoete Prca MRLCP ara varável reota oltômca que ode er ecrto a forma: e + z γ P G Z V e + z γ γ ν e q q q O arâmetro decohecdo odem er etmado atravé do Método da Máma Veromlhaça a mema forma utlzada ara o Modelo de Regreão Logítca Cláco MRLC Nete trabalho otou-e q z v e ela cotrução do modelo a artr da matrz de dado com valore ormalzado A Aále de Comoete Prca fo abordada com o obetvo de verfcar a ua efcêca a etmação de arâmetro do Modelo de Regreão Logítca eecalmete em cao o qua o método cohecdo ão areetam covergêca Por ete motvo ão fo dedcada maor ateção à ecolha da comoete rca que tegrarão o modelo edo coderada a rmera comoete rca ta que: λ 95 λ Smulaçõe Para comarar a efcêca do método abordado ete trabalho o dferete modelo foram alcado a couto de dado etraído da lteratura doível A oção or ta couto va facltar a comaração do reultado obtdo com aquele que evetualmete teham do alcaçado or outro equadore Para a mlemetação comutacoal fo ecrto um rograma em lguagem Vual Bac 6 eecutado em um comutador Hewlett- Pacard modelo Pavllo b4br roceador Itel Petum 4 93 GHz O rmero couto de dado etraído de [5] cotém 5 obervaçõe referete à dmeõe da éala e da étala de trê eéce de ír r etoa G r vercolor G e r vrgca G 3 Para cada eéce foram efetuada 5 obervaçõe referete à dmeõe mm do comrmeto da éala X e da étala X 3 e da largura da éala X e da étala X 4 O gruo é comletamete earado do gruo e 3 Nete cao o MRLC ão areetou covergêca O etmadore obtdo ara o MRLO ão areetado a abela utamete com o erro adrõe A ACP fo efetuada obre o couto de dado ormalzado e foram obtdo o autovalore varâca e autovetore areetado a abela e 3 reectvamete O MRLCP covergu ara aea uma comoete rcal obtedo o etmadore motrado a abela 4 A tabela 5 motra a matrze de clafcaçõe efetuada elo do modelo em quetão

6 abela Couto Ír Varáve etmadore e erro adrõe EP Varável Fução Fução Etmador EP Etmador EP X X X X Iterceto abela Couto Ír Varâca Autovalore Autovalore λ abela 3 Autovetore do couto IRIS Varável v Autovetore v v 3 v 4 X X X 3 X abela 4 Couto Ír Prmera comoete rcal etmadore e erro adrõe EP Comoete Fução Fução Prcal Etmador EP Etmador EP Prmera Iterceto Modelo MRLO MRLCP abela 5 Couto Ír Matrze de clafcaçõe Alocado Obervado O egudo couto de dado fo etraído de [3] e cotém obervaçõe referete a cco clae de óleo vegeta: Colza G Graol G Amêdoa G 3 Mlho G 4 e Abóbora G 5 O obetvo da autora é determar a orgem de amotra de óleo vegeta a artr do teore de ácdo grao reete em cada um da clae A varáve obervada correodem ao teore % de ácdo almítco eteárco oléco loléco lolêco ecoaóco e ecoeóco O etmadore ara o MRLO ão motrado a abela 6 A abela 8 motra a matrze de clafcaçõe efetuada elo MRLO e o MRLCP ara o qual foram calculado o etmadore correodete à e rmera comoete rca motrada a abela 9 utamete com o reectvo erro adrõe abela 6 Etmadore ara o MRLO Couto Ácdo Grao Fução Varáve MRLO Erro Padrão Iterceto Palmítco Eteárco Oléco Loleco Lolêco Ecoaóco Ecoeóco Iterceto Palmtco Eteárco 6 49 Oléco Loléco Lolêco Ecoaóco Ecoeóco Iterceto Palmítco Eteárco Oléco Loleco Lolêco Ecoaóco Ecoeóco Iterceto Palmítco Eteárco Oléco Loleco Lolêco Ecoaóco Ecoeóco abela 8 Matrze de clafcaçõe Couto Ácdo Grao Modelo Obervado Alocado MRLO MRLCP O deemeho obervado ara o MRLCP dá uma boa déa do eu otecal a cotrução de regra dcrmate baeada o Modelo de Regreão Logítca atravé da comoete rca O modelo obtdo a artr da comoete rca também motra que ode cotorar o roblema da earação comleta de gruo embora oa areetar um deemeho feror ao MRLO

7 abela 9 Etmadore ara o MRLCP Couto Ácdo Grao Fução Comoete Prca Etmadore SE Iterceto Iterceto Iterceto Iterceto Cocluão No últmo cco ao é oível erceber a lteratura doível o urgmeto de vára abordage ara roblema de recohecmeto e clafcação de adrõe com varável reota oltômca baeada em Algortmo Geétco Rede Neura Artfca e Máqua de Bae Vetoral etre outro Em comaração com eta técca oberva-e que o Modelo de Regreão Logítca é abordado com meor freqüêca eecalmete ara a olução de roblema com varável reota oltômca O obetvo dete trabalho é vetgar o deemeho de do modelo rooto orgalmete ara a olução de roblema com varável reota dcotômca eteddo a roblema com varável reota oltômca quado há comleta earação de gruo O deemeho obervado ermtem coclur que o modelo abordado ão váve ara a mecoada tuação além de areetarem baa comledade ara a mlemetação comutacoal Falmete ode-e coclur que o obetvo dete trabalho foram alcaçado tedo em vta calmete a comaração etre dferete método de etmação de arâmetro eguda elo deevolvmeto e mlemetação comutacoal do memo tedo como reultado uma abordagem orgal o tratameto do roblema de recohecmeto e clafcação de adrõe com varável reota oltômca atravé do Modelo de Regreão Logítca Oculto e do Modelo de Regreão Logítca de Comoete Prca Referêca [] Agulera A M Ecaba M Vaderrama M J Ug rcal comoet for etmatg logtc regreo wth hgh-dmeoal multcollear data Comutatoal Stattc ad Data Aaly [] Albert A Adero J A O the etece of mamum lelhood etmate logtc regreo method Bometra [3] Broda Voča D Kodba Z C Novč M Multvarate data aaly clafcato of vegetable ol characterzed by the cotet of fatty acd Chemometrc ad Itellget Laboratory Sytem [4] Coa J B Bary regreo model for cotamated data Wth dcuo Joural of Royal Stattc Socety B [5] Fher R A he ue of multle meauremet taoomc roblem Aal of Eugec [6] Gerv D Robut adatve etmator for bary regreo model Joural of Stattcal Plag ad Iferece [7] Roueeuw P J Chrtma A Robute agat earato ad outler logtc regreo Comutatoal Stattc ad Data Aaly