Téccas Não Paramétrcas de Estmação de Desdade Reata Cardoso e Fracsco Carvalho
Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze
Em mutos problemas prátcos As abordages de estmação Não Paramétrcas Itrodução A forma da desdade é descohecda As desdades são mult-modas (possuem mas de um mámo local) Estem dos tpo de métodos Estmar a desdade f(/c j ) a partr da amostra E: kerel Estmar a probabldade a posteror P(c j /) E:k-vzhos
Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze
Hstograma Método mas atgo e mas smples para estmação de desdade A estmação depede da orgem e da largura (h) usada para os tervalos 60 50 Frequeca 40 30 20 0 h 0 Orgem -25 25 375 das 625 875
Hstograma Estmação da Desdade 20 f()= Freq (I) / I h Frequeca 0 0 h largura de I tamaho da amostra 0 00 200 300 400 das 500 600 700 800 Eemplo = 80 [75,25] f 20 ( ) = = 50 86 0.045
Hstograma Problema: A fução ão é cotíua 20 Frequeca 0 0 0 00 200 300 400 das 500 600 700 800 Regão de descotudade
Hstograma Problema: Raramete usado em espaços multdmesoas Em uma dmesão: N tervalos Em duas dmesões: N 2 tervalos Em p dmesões: N p tervalos Coseqüêca: requer mutos eemplos
Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze
Estmação da Desdade R() Regão Probabldade de R P = p( ') d'
Estmação da Desdade Se f() é cotíua R é pequea R Regão Pˆ = p( ') d' = p( ) V R V é o volume de R
Estmação da Desdade eemplos costrudos depedetemete e dd seguo p() R Regão Probabldade de que k elemetos estejam em R = P ( P) k k k 3 6 2 4 7 8 k P P- probabldade de estar em R
Estmação da Desdade A partr de uma amostra d E[k] = P Para grade 3 6 2 4 7 8 Pˆ = k
Estmação da Desdade Igualado as duas epressões P ˆ = p( ) V Pˆ = k p ˆ ( ) V = k Estmação da desdade p() pˆ ( ) = V k
Estmação da Desdade Procedmeto: Formar uma sequeca de regões R, R 2, cotedo, a prmera com eemplo, a seguda com 2, etc Estmatva de p() p ( ) = k V ( ) V é o volume de R é o tamaho da amostra k () uma varável aleatóra depedete da vzhaça de.
Estmação da Desdade Eemplo: =30 3 pˆ ( ) = 30 V 30 3/V 6 3 4 5 p () coverge para p() se lm V = 0 k lmk = lm = 0
Estmação da Desdade Duas formas para obter f () f () Kerel K-vzhos
Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze
Jaelas de Parze Fuções de Kerel (Estatístca) R é um hper-retâgulo de dmesão d K é uma fução cotíua também chamada de estmador Kerel Para cada, p () pode ser terpretado como uma varável aleatóra pos depede de uma amostra d,..., K modela as rregulardades em uma vzhaça de com relação a cada eemplo da amostra A estmatva depede da amostra, do kerel e do tamaho da vzhaça em toro de
Jaelas de Parze Estmador kerel uforme Caso udmesoal h Uma regão de largura h é cetrada em cada poto da amostra a b p ( ) = K( = ) K(- ) = /(b-a) se [ (b-a)/2, + (b-a)/2] 0 caso cotráro
Jaelas de Parze Eemplo R(X) p ( ) = K( = ) 6 3 4 5 k(- 3 ) K(- 3 ) = K(- 4 ) = K(- 5 ) = K(- 6 ) = 0 /v 3 4 5 k(- 4 ) k(- 5 ) p ( ) = 3 V 6
Jaelas de Parze Fução Jaela K() =, se / 0, seão 2 K h =, se - h 0, seão / 2 Número de eemplos o hpercubo k = = K h
Jaelas de Parze A desdade de Parze pode ser reescrta como p ( ) = K h v =parametro de suavzação = h h A estmatva depede três fatores : valor de h v amostra fução K
Jaelas de Parze h Quado h é grade a estmatva tem baa resolução Quado h é pequeo a estmatva é sesível a ruídos Quado é lmtado, h aproma-se de zero quado cresce (V = / raz()) Codções que K deve satsfazer p () fução desdade K fução desdade K( z) 0 K(z) dz = ode z = h
Jaelas de Parze Eemplo: K(.) é uma uforme o tervalo [ -h /2; +h /2] Amostra: 2.0, 4.0, 5.0, 7.0, 20.0 Se K(.) é uforme K h v = 0 Se [ h/2, + h/2] Caso cotráro h = largura do tervalo
Jaelas de Parze /h 2.0 4.0 5.0 7.0 20.0 3.0 Se h =.5 p5 ( = 3) = (+ ) = 0.27 5.5 5 2.5 Se h =2.5 p5 ( = 3) = ( + + ) = 0. 24
Jaelas de Parze p () depede da amostra aleatóra,..., e tem estatístcas méda pˆ ( ) 2 varâcaσ () A estmatva p () coverge para p() Se lm p ( ) = 2 lm σ () = p( ) 0
Jaelas de Parze - Covergêca da méda () f é a méda de f () Cosdere que = = = v h K h E p E p )] ( [ ) ( 2 - Covergêca da varâca v h p h K ) ( sup ) ( 2 σ
2 2 ) 2( ) ( 2 h e h K = π Jaelas de Parze Estmador kerel Guassao (Normal) Caso udmesoal = = h K h p ) ( A estmatva de f() é dada por 2 2 2 ) ( u e u K = π Fução Jaela h h / = h : parâmetro
2 ) ( 2 2 e h k = π Jaelas de Parze Estmador kerel Normal Padrão Caso udmesoal h h = A estmatva é soma de ormas cetradas as amostras
Estmatvas de Desdade Parze Normal Padrão Quado cresce a estmatva coverge Dferetes tamahos de h: caso udmesoal
Jaelas de Parze Eemplo: Amostra: 2.0, 4.0, 5.0, 7.0, 20.0 Se K(.) é ormal padrão 2.0 4.0 5.0 7.0 20.0 3.0
Jaelas de Parze Cálculo da p 5 (=3) =2 k( 2) = e 2 = 0. 24 2π ( 2) 2 2 =4 3 =5 4 =7 5 =20 k(-4)=0.24 k(-5)=0.05 k(-7)=0.00 k(-20)=0.00 p 5 (=3) =0.06
Jaelas de Parze Eemplos de Kerels com t = h Epaechkov Bweght 3 4 2 5, para 5 0, seão t < 5 2 ( t ) para t < 5 2 6 Guassaa 2π 2 e t 2 Retagular para t 2 0, seão < Tragular - t para t < 0, seão
Estmatvas de Desdade Parze Mstura de Tragular e Uforme
Eemplos de Desdade Caso: retagular (uforme) Caso: Normal
Como escolher h v Iformação a pror Plotar dversas estmatvas e escolher a estmatva que está mas de acordo com formação a pror dada por um especalsta. Valdação cruzada Usar uma amostra pequea para avalar o erro de Classfcação. Selecoar aquela de meor taa de erro. Mmzação do erro médo quadrátco MSE 2 2 { Ep ( ) f ( ) } + σ MSE( p ( )) =
Jaelas de Parze Regões de Decsão Regra Calcula-se p (/c j ) j=,,m e assoca a classe ode p é máma
= = p h K h p ) ( h =parametro de suavzação Jaelas de Parze para Dados Multvarados Estmatva p = dmesão do espaço = p M vetor de observações
Jaelas de Parze para Dados Multvarados Kerel Gaussao p T = 2 K ( ) (2π ) ep 2 Kerel Bartlett Epaechkov K ( ) = T ( )( p 2c p 0, seão + 2), se <
Jaelas de Parze para Dados Multvarados Uma forma de estmar a fução de desdade pˆ( ) = h Kh p p = j= K j j h j j Não mplca em depedêca das varaves = (, K, p )
Jaelas de Parze Eemplo: Kerel Normal b-dmesoal
Referêcas Bblográfcas Fukuaga, K. 990. Itroducto to Statstcal Patter Recogto. Academc Press. 2 Meyer, P. 983. Probabldade: Aplcações à Estatístca.Lvros Téccos e Cetífcos Edtora 3 Duda, R. O. ad Peter E. H. 2000. Patter Classfcato (2d Edto). Wley- Iterscece. 4 Slevrma, B. W. 986 Desty Estmato for Statstcs ad Data Aalyss. Chapma & Hall.
Método de K-vzhos mas prómos
Coteúdo Característcas Estmatva da desdade Estmatva da desdade a posteror Regra de Vzhaça mas próma Etesão da regra de k-vzhos k mas prómos Regra geral de k-vzhos k mas prómos Regra geral de k-vzhos k mas prómos com dstâca poderada
Característcas A estmação é baseada a probabldade a posteror A estmação p() ) em um poto depede de k tamaho da vzhaça (amostra) que clu os vzhos mas prómos de V mede o volume da regão que cresce com o tamaho da vzhaça
Característcas Se a desdade ao redor de é alta, etão V é pequeo e a estmatva tem boa resolução Se a desdade ao redor de é baa, etão V é grade. V é uma varável aleatóra que depede da amostra
Estmatva da Desdade p ( ) k = V K um valor fo que é fução do úmero de eemplos V uma varável aleatóra que por eemplo mede a dstâca etre e k-ésmok vzho mas dstate KNN pode ser terpretado como uma jaela de Parze uforme ode a largura da jaela é ajustada automatcamete
Regra dos k Vzhos mas prómo {c,...,c m } m classes e um eemplo Em k eemplos supoha que: Estem k eemplos a classe C m = k = k O úmero total de eemplos a classe C é Estmatva da desdade codcoal de C pˆ ( C ) = k V
Regra dos k Vzhos mas prómo Estmatva da probabldade a pror de C C p = ) ˆ( Regra de decsão: atrbur a C se: j k k j V k V k j C p C p j j j j j,, ), ˆ( ) ( ˆ
Estmatva da Probabldade a posteror Estmatva da desdade p (,c )= 2 5 d 28 p (,c 2 )= 3 5 d 28 Regão R d é a dstâca etre e o vzho mas dstate Estmatva da probabldade =28 p (c /)= 2 5 p (c 2 /)= 3 5
Regra de Vzhaça mas próma Dagrama de Voroo Defe um poledro coveo para cada eemplo Os eemplos detro do poledro são completamete classfcados pelo eemplo assocado a cada poledro Eemplo: caso bdmesoal
Regra de k-vzhos mas prómos (Vzhaça selecoada aleatoramete) A regra dos k vzhos mas prómos atrbu a classe C se a maora dos k vzhos tem rótulo C A probabldade dsso ocorrer: k = ( k+ ) / 2 k P( c ) ( P( c ))
Etesão da Regra de k-vzhos mas prómos (Vzhaça selecoada aleatoramete) Estmatva da probabldade Não este a Regão R 5 3 P (c /) = (0.6) (0.4) 3 P (c 2 /)= - P (c /) 2 5 + (0.6) 4 4 5 (0.4) + (0.6) 5 5
Regra geral de K-vzhos K mas prómos Eemplo - - + - q + - - + - + vzho mas prómo classfca q postvo, 5 vzhos mas prómos classfca q egatvo
Regra geral de K-vzhos K mas prómos Como observar a vzhaça? d k= Métrcas D(a, b) = a k b k Cty-Block (L ) D(a,b) = d 2 (a k b k ) Eucldaa (L 2 ) k =
Regra geral de K-vzhos K mas prómos A fução de classfcação Caso seja dscreta, seu resultado é aquele que aparecer mas vezes etre os k vzhos mas prómos f : R V Caso seja cotíua, seu resultado é a méda dos resultados dos k vzhos mas prómos f : R R fˆ
Regra geral de K-vzhos K mas prómos Fução de classfcação Caso dscreto Cosdere duas classes V ={ +, -} e a vzhaça de um eemplos q com 5 elemetos = (+, +, -, -, -) fˆ ( k q ) arg ma δ(v, f ( ) v V = ode δ (a,b)= se a = b δ (a,b)=0 se a b e f( ) é a classe de fˆ( q ) arg ma v { +, } ((2(v = + ), 3(v = )) A estmatva de f( q ) é classe -
Regra geral de K-vzhos K mas prómos Fução de classfcação Caso Cotíuo Cosdere K=5, V ={ +(2), -()} e a vzhaça de q {2, 2,,, } fˆ( q ) k = f( k )
Regra geral de K-vzhos K mas prómos Algortmo de Classfcação - O() Dado um eemplo q a ser classfcado seja,, k, os k eemplos do cojuto de treameto mas smlares a q retore f apro (q) o argumeto mámo de v V etre os k eemplos da lsta treameto mas smlares a q
Regra geral de K-vzhos K mas prómos Aspecto mportate: Escolha de k a) O resultado da aplcação do método é afetada pelo valor de k b) Não este um crtéro determado para a escolha de k (e: Valdação cruzada) c) Se k é muto grade resulta obtem-se estmatva mas suave de f() d) Um valor pequeo para k pode gerar uma estmatva rregular de f() e) k
Regra geral de K-vzhos K mas prómos Valdação Cruzada Serve para evtar overfttg e para averguar robustez dos resultados Algortmo ) Dvde o cojuto de eemplos em dos sub- cojutos: cojutos de treameto (TR) e de teste (TE) 2) Gera a estrutura de um modelo sobre TR 3) Mede percetagem de erro de H aplcada à TE 4) Repete passos -3 3 com dferetes tamahos de TE e TR, e tedo elemeto escolhdos aleatoramete
Regra geral de K-vzhos K mas prómos com dstâca Poderada Caso dscreto fˆ ( k q ) arg ma ωδ(v, f ( ) v V = ode ω = d(, q ) δ (a,b)= se a = b δ (a,b)=0 caso cotráro
Regra geral de K-vzhos K mas prómos com dstâca Poderada Eemplo Seja uma vzhaça de q =0.55 com 5 elemetos { () 0.88; (2).6; () 0.26; (3) 4.74; (2).02 } d(, q ) v= /0.33 + /0.29 = 6.47 0.88 0.33.6.06 0.26 0.29 4.74 4.9,02 0.47 v=2 /.06 + /0.47 = 3.07 v=3 /4.9 = 0.2
Regra geral de K-vzhos K mas prómos com dstâca Poderada Caso cotíuo: Método Local fˆ( q ) k = ω k = f( ω ) ω = d(, q ) q eemplo a classfcar
Regra geral de K-vzhos K mas prómos com dstâca Poderada Eemplo Seja uma vzhaça de q =0.55 com 5 elemetos { () 0.88; (2).6; () 0.26; (3) 4.74; (2).02 } d(, q ) v= (/0.33 + /0.29)/6.34 =.02 0.88 0.33.6.06 0.26 0.29 4.74 4.9,02 0.47 v=2 (2/.06 + 2/0.47)/ 6.34 = 0.97 v=3 (3/4.9) / 6.34 = 0. 5 = d(, q ) = 6.34
Regra geral de K-vzhos K mas prómos com dstâca Poderada Caso cotíuo:método Global fˆ( q ) = ω = f( ) ω ω = d(, q ) Nota: Neste caso todos os eemplos de treameto são cosderados Desvatagem : Tempo de resposta mas leto
Regra geral de K-vzhos K mas prómos com dstâca Poderada Problema da dmesoaldade Para calcular a dstâca etre os potos, o método utlza todos os atrbutos do eemplo. Problema: quado algus destes atrbutos ão são mportates para a classfcação Soluções Atrbur pesos ω j aos atrbutos de maera que mmze a taa de erro de classfcação Usar a técca de valdação cruzada para automatcamete escolher os pesos Elmar atrbutos do espaço de stâcas
kerel Estmadores de Desdade Classfca estmado a desdade a partr da amostra de eemplos K(.) é uma varável aleatóra A estmatva depede de h e de h é o parâmetro de suavzação K-vzhos Classfca estmado a probabldade a posteror K(.) é uma costate k é o parâmetro de suavzação A estmatva depede de k e de Rubusto para dados rudosos
Estmadores da Desdade kerel K-vzhos
Referêcas Bblográfcas Duda, R. O. ad Peter E. H. 2000. Patter Classfcato (2d Edto). Wley- Iterscece. 2 Mtchell, T. M. 997. Mache Laarg. McGraw-Hll.