Classificação de Dados de Elevada Dimensão Ignorar ou Incorporar Correlações?

Transcrição

1 Classfcação de Dados de Elevada Dmensão Inorar ou Incorporar Correlações? A. PEDRO DUARE SILVA Faculdade de Economa e Gestão/CEGE Unversdade Católca Portuuesa Centro Reonal do Porto (* Supported by: FEDER / POCI 2010

2 Correlações e classfcação em randes dmensões Indce 1. Classfcação com p >> n 2. Métodos de An Análse Dscrmnante Daonal 3. Métodos modernos de selecção de varáves ves 3.1. False Dscovery e Non-Dscovery Rates 3.2. Donoho e Jn s Hher Crtcsm 4. Como Incorporar Correlações? 4.1. homaz e Glles s Novas FDL 4.2. Estmadores encolhdos encolhdos e reularzados 4.3. Estmadores baseadas em modelos factoras 5. Resultados emprcos 6. Conclusões e perspectvas

3 Correlações e classfcação em randes dmensões Classfcação en randes dmensões: O problema Y ; X = 1,2,, n Y {1,,k} X R p p >> n Pretende-se determnar uma rera capaz de prever Y dado X Pressuposto habtual: X Y ~ Np(µ (Y, Σ Rera de Bayes: Y = ar mn ( ar mn ( ar mn ( 0.5( X X ( µ Σ Σ 1 1 ( ( X Σ 1 lnπ X ( X Σ 1 µ = µ ( ( lnπ lnπ : =

4 Correlações e classfcação em randes dmensões Análse Dscrmnante Daonal Nave Bayes ˆ ( = X µ ˆ ( = X X ( Σ ˆ = D ˆ = da(s Nearest Shruken Centrods S = k ( X X( ( X X( = 1 Y = n k bshran, Haste, Narasmhan e Chu ( µ ˆ *( = µ ˆ + Dˆ n n 0.5 d * d* (j = sn(d (j (d (j - α + d µ ˆ µ ˆ k ( -0.5 = Dˆ µ ˆ = nkµ ˆ ( 1 1 n = 1 θ n n 1 α, θ 1,..., θ k obtdos por valdação cruzada

5 Correlações e classfcação em randes dmensões Métodos modernos de seleção de varáves ves axas (locas de falsas descoberta e não descoberta Dada uma sucessão de p testes e estatístcas ordenadas, z 1,..., z p com P 0 = P(H 0 ; P 1 = P(H 1 f 0 (z ; f 1 (z ; f(z = P 0 f 0 (z + P 1 f 1 (z axa local de falsas descobertas: fdr(z = P 0 f 0 (z / f (z axa local de falsas não-descobertas: fndr(z = 1 - fdr(z Hher Crtcsm Dada uma sucessão de p testes e valores de prova, π 1,..., π p ordenados HC máxma dferença estandartzada entre π j e o seu valor esperado se a dstrbução de todos os π fosse unforme

6 Correlações e classfcação em randes dmensões Como ncorporar correlações? homaz e Glles s Novas FDL S = p m= 1 λ m v m v m Σ ˆ = p m= 1 max(λ,λ m v m v m Estmadores encolhdos e reularzados Σˆ = ρ + ρ S 1 IP 2 Guo, Haste e bshran (2007 Xu, Brock e Parrsh (2009 ou: = D 0.5 R D 0.5 Rˆ * = (1 ρ1r ˆ D ˆ * (j, j = ρ2 me j( D(j, ˆ j + (1 ρ2d(j, ˆ j 1 n πˆ * = ρ3 + (1 ρ3 k n Ahdesmak e Strmmer (2009

7 Correlações e classfcação em randes dmensões Como ncorporar correlações? Covarâncas estmadas por modelos factoras Duarte Slva (2009 X = µ (Y + B f + ε f R q ε R P q << p f ~ N q (0,I q ε ~ N p (0,D ε Σ = B B + D ε Σ -1 = D ε -1 - D ε -1 B [I q + B D ε -1 B] -1 B D ε -1 Σˆ = ˆ ˆ ˆ ˆ ˆ ˆ 2 Fctq BB + Dε ; B,Dε = ar mn Σ B,D ˆ ˆ Fctq S ε

8 Correlações e classfcação em randes dmensões Snh s Prostate Cancer Data p=6033; n=50+52 Rule Selecton Crteron* Error Estmate ± 2 std errors C_HC ± C_FNDR ± ± I_FNDR ± ± I_FNDR ± homgl NFDL ± NSC (Pam ± Naïve Bayes ± Support Vector Machnes ± Fsher s FDL ± * C Correlaton Adjusted -scores ; I Independence based -scores HC Hher Crtcsm ; FNDR False Non-Dscovery Rates

9 Correlações e classfcação em randes dmensões Smulaton Experment -- Guo, Haste and bshran (2007 setup p=10 000; n= ; 100 Independent Blocks ; ρ = 0.90 Rule Selecton Crteron Error Estmate ± 2 std errors C_HC ± C_NFDR ± ± ± ± ± homgl NFDL ± NSC (Pam ± Naïve Bayes ± Support Vector Machnes ± Fsher s FDL ±

10 Correlações e classfcação em randes dmensões Smulaton Experment -- Guo, Haste and bshran (2007 setup p=10 000; n= ; 100 Independent Blocks ; ρ = 0.99 Rule Selecton Crteron Error Estmate ± 2 std errors C_HC ± C_NFDR ± ± ± ± ± homgl NFDL ± NSC (Pam ± Naïve Bayes ± Support Vector Machnes ± Fsher s FDL ±

11 Correlações e classfcação em randes dmensões Smulaton Experment -- Guo, Haste and bshran (2007 setup p=10 000; n= ; 10 Independent Blocks ; ρ = 0.90 Rule Selecton Crteron Error Estmate ± 2 std errors C_HC ± C_NFDR ± ± ± ± ± homgl NFDL ± NSC (Pam ± Naïve Bayes ± Support Vector Machnes ± Fsher s FDL ±

12 Correlações e classfcação em randes dmensões Smulaton Experment -- Guo, Haste and bshran (2007 setup p=10 000; n= ; 10 Independent Blocks ; ρ = 0.99 Rule Selecton Crteron Error Estmate ± 2 std errors C_HC ± C_NFDR ± ± ± ± ± homgl NFDL ± NSC (Pam ± Naïve Bayes ± Support Vector Machnes ± Fsher s FDL ±

13 Conclusões Correlações e classfcação em randes dmensões A escolha do numero adequado de predctores é crtca Donoho e Jn s Hher Crtcsm parece produzr os melhores resultados Podem (e devem-se ncorporar correlações, mesmo com p >> n Estmadores de Covarâncas/Correlações baseados em alvos de referênca são fortemente dependentes da razoabldade dos alvos adoptados Desenfatzar a mportânca dos ultmos vectores própros da matrz de covarâncas é uma forma efcaz de reularzação para uma rande varedade de condções

14 Correlações e classfcação em randes dmensões Perspectvas e questões em aberto Em que condções é que se pode confar em alvos de referênca? Devem-se ncorporar correlações na selecção de varáves? Quando e Como? Qual a mportânca de reularzar tambem os estmadores de médas e de probabldades à pror? Quas as propredades assntótcas de métodos reularzados? Qual a relevânca dessas propredades?

15 Referêncas Correlações e classfcação em randes dmensões Ahdesmak, P. and Strmmer, K. (2009. Feature selecton n "omcs"predcton problems usn cat scores and non-dscovery rate control. rxv,stat.ap: v1. Donoho, D. and Jn, J. (2008. Hher crtcsm thresholdn: Optmal feature selecton when useful features are rare and weak. Proc. Natl. Acad. Sc, USA 105, Duarte Slva, A.P. (2009. Lnear Dscrmnant Analyss wth more Varables than Observatons. A not so Naïve Approach. o appear In: Classfcaton as a ool for Research. Proceedns of the 11th IFCS Bennal Conference and 33rd Annual Conference of the Gesellschaft für Klassfkaton. Dresden, Germany. Guo, Y., Haste,. and bshran,. (2007. Reularzed dscrmnant analyss and ts applcaton n mcroarrays. Bostatstcs 8, Strmmer, K. (2008. A unfed approach to false dscovery rate estmaton. BMC Bonformatcs, 9, 303. bshran, R., Haste, B., Narsmhan, B. and Chu, G. (2003. Class predcton by nearest shrunken centrods wth applcatons to DNA mcroarrays. Statstcal Scence, 18, homaz, C.E. and Glles, D.F. (2005. A maxmum uncertanty lda-based approach for lmted sample sze problems wth applcaton to face reconton. In: 18th Brazlan Symposum on computer Graphcs and Imae Processm. SIBGRAPI 2005, Xu, P., Brock, G.N., and Parrsh, R. (2009. Modfed lnear dscrmnant analyss approaches for classfcaton of hh-dmensonal mcroarray data. Computatonal Statstcs and Data Analyss, 53,