Técnicas Não Paramétricas

Transcrição

1 Téccas Não Paramétrcas de Estmação de Desdade Reata Cardoso e Fracsco Carvalho

2 Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze

3 Em mutos problemas prátcos As abordages de estmação Não Paramétrcas Itrodução A forma da desdade é descohecda As desdades são mult-modas (possuem mas de um mámo local) Estem dos tpo de métodos Estmar a desdade f(/c j ) a partr da amostra E: kerel Estmar a probabldade a posteror P(c j /) E:k-vzhos

4 Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze

5 Hstograma Método mas atgo e mas smples para estmação de desdade A estmação depede da orgem e da largura (h) usada para os tervalos Frequeca h 0 Orgem das

6 Hstograma Estmação da Desdade 20 f()= Freq (I) / I h Frequeca 0 0 h largura de I tamaho da amostra das Eemplo = 80 [75,25] f 20 ( ) = =

7 Hstograma Problema: A fução ão é cotíua 20 Frequeca das Regão de descotudade

8 Hstograma Problema: Raramete usado em espaços multdmesoas Em uma dmesão: N tervalos Em duas dmesões: N 2 tervalos Em p dmesões: N p tervalos Coseqüêca: requer mutos eemplos

9 Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze

10 Estmação da Desdade R() Regão Probabldade de R P = p( ') d'

11 Estmação da Desdade Se f() é cotíua R é pequea R Regão Pˆ = p( ') d' = p( ) V R V é o volume de R

12 Estmação da Desdade eemplos costrudos depedetemete e dd seguo p() R Regão Probabldade de que k elemetos estejam em R = P ( P) k k k k P P- probabldade de estar em R

13 Estmação da Desdade A partr de uma amostra d E[k] = P Para grade Pˆ = k

14 Estmação da Desdade Igualado as duas epressões P ˆ = p( ) V Pˆ = k p ˆ ( ) V = k Estmação da desdade p() pˆ ( ) = V k

15 Estmação da Desdade Procedmeto: Formar uma sequeca de regões R, R 2, cotedo, a prmera com eemplo, a seguda com 2, etc Estmatva de p() p ( ) = k V ( ) V é o volume de R é o tamaho da amostra k () uma varável aleatóra depedete da vzhaça de.

16 Estmação da Desdade Eemplo: =30 3 pˆ ( ) = 30 V 30 3/V p () coverge para p() se lm V = 0 k lmk = lm = 0

17 Estmação da Desdade Duas formas para obter f () f () Kerel K-vzhos

18 Coteúdo Itrodução 2 Hstograma 3 Estmação da desdade 4 Jaelas de Parze

19 Jaelas de Parze Fuções de Kerel (Estatístca) R é um hper-retâgulo de dmesão d K é uma fução cotíua também chamada de estmador Kerel Para cada, p () pode ser terpretado como uma varável aleatóra pos depede de uma amostra d,..., K modela as rregulardades em uma vzhaça de com relação a cada eemplo da amostra A estmatva depede da amostra, do kerel e do tamaho da vzhaça em toro de

20 Jaelas de Parze Estmador kerel uforme Caso udmesoal h Uma regão de largura h é cetrada em cada poto da amostra a b p ( ) = K( = ) K(- ) = /(b-a) se [ (b-a)/2, + (b-a)/2] 0 caso cotráro

21 Jaelas de Parze Eemplo R(X) p ( ) = K( = ) k(- 3 ) K(- 3 ) = K(- 4 ) = K(- 5 ) = K(- 6 ) = 0 /v k(- 4 ) k(- 5 ) p ( ) = 3 V 6

22 Jaelas de Parze Fução Jaela K() =, se / 0, seão 2 K h =, se - h 0, seão / 2 Número de eemplos o hpercubo k = = K h

23 Jaelas de Parze A desdade de Parze pode ser reescrta como p ( ) = K h v =parametro de suavzação = h h A estmatva depede três fatores : valor de h v amostra fução K

24 Jaelas de Parze h Quado h é grade a estmatva tem baa resolução Quado h é pequeo a estmatva é sesível a ruídos Quado é lmtado, h aproma-se de zero quado cresce (V = / raz()) Codções que K deve satsfazer p () fução desdade K fução desdade K( z) 0 K(z) dz = ode z = h

25 Jaelas de Parze Eemplo: K(.) é uma uforme o tervalo [ -h /2; +h /2] Amostra: 2.0, 4.0, 5.0, 7.0, 20.0 Se K(.) é uforme K h v = 0 Se [ h/2, + h/2] Caso cotráro h = largura do tervalo

26 Jaelas de Parze /h Se h =.5 p5 ( = 3) = (+ ) = Se h =2.5 p5 ( = 3) = ( + + ) = 0. 24

27 Jaelas de Parze p () depede da amostra aleatóra,..., e tem estatístcas méda pˆ ( ) 2 varâcaσ () A estmatva p () coverge para p() Se lm p ( ) = 2 lm σ () = p( ) 0

28 Jaelas de Parze - Covergêca da méda () f é a méda de f () Cosdere que = = = v h K h E p E p )] ( [ ) ( 2 - Covergêca da varâca v h p h K ) ( sup ) ( 2 σ

29 2 2 ) 2( ) ( 2 h e h K = π Jaelas de Parze Estmador kerel Guassao (Normal) Caso udmesoal = = h K h p ) ( A estmatva de f() é dada por ) ( u e u K = π Fução Jaela h h / = h : parâmetro

30 2 ) ( 2 2 e h k = π Jaelas de Parze Estmador kerel Normal Padrão Caso udmesoal h h = A estmatva é soma de ormas cetradas as amostras

31 Estmatvas de Desdade Parze Normal Padrão Quado cresce a estmatva coverge Dferetes tamahos de h: caso udmesoal

32 Jaelas de Parze Eemplo: Amostra: 2.0, 4.0, 5.0, 7.0, 20.0 Se K(.) é ormal padrão

33 Jaelas de Parze Cálculo da p 5 (=3) =2 k( 2) = e 2 = π ( 2) 2 2 =4 3 =5 4 =7 5 =20 k(-4)=0.24 k(-5)=0.05 k(-7)=0.00 k(-20)=0.00 p 5 (=3) =0.06

34 Jaelas de Parze Eemplos de Kerels com t = h Epaechkov Bweght , para 5 0, seão t < 5 2 ( t ) para t < Guassaa 2π 2 e t 2 Retagular para t 2 0, seão < Tragular - t para t < 0, seão

35 Estmatvas de Desdade Parze Mstura de Tragular e Uforme

36 Eemplos de Desdade Caso: retagular (uforme) Caso: Normal

37 Como escolher h v Iformação a pror Plotar dversas estmatvas e escolher a estmatva que está mas de acordo com formação a pror dada por um especalsta. Valdação cruzada Usar uma amostra pequea para avalar o erro de Classfcação. Selecoar aquela de meor taa de erro. Mmzação do erro médo quadrátco MSE 2 2 { Ep ( ) f ( ) } + σ MSE( p ( )) =

38 Jaelas de Parze Regões de Decsão Regra Calcula-se p (/c j ) j=,,m e assoca a classe ode p é máma

39 = = p h K h p ) ( h =parametro de suavzação Jaelas de Parze para Dados Multvarados Estmatva p = dmesão do espaço = p M vetor de observações

40 Jaelas de Parze para Dados Multvarados Kerel Gaussao p T = 2 K ( ) (2π ) ep 2 Kerel Bartlett Epaechkov K ( ) = T ( )( p 2c p 0, seão + 2), se <

41 Jaelas de Parze para Dados Multvarados Uma forma de estmar a fução de desdade pˆ( ) = h Kh p p = j= K j j h j j Não mplca em depedêca das varaves = (, K, p )

42 Jaelas de Parze Eemplo: Kerel Normal b-dmesoal

43 Referêcas Bblográfcas Fukuaga, K Itroducto to Statstcal Patter Recogto. Academc Press. 2 Meyer, P Probabldade: Aplcações à Estatístca.Lvros Téccos e Cetífcos Edtora 3 Duda, R. O. ad Peter E. H Patter Classfcato (2d Edto). Wley- Iterscece. 4 Slevrma, B. W. 986 Desty Estmato for Statstcs ad Data Aalyss. Chapma & Hall.

44 Método de K-vzhos mas prómos

45 Coteúdo Característcas Estmatva da desdade Estmatva da desdade a posteror Regra de Vzhaça mas próma Etesão da regra de k-vzhos k mas prómos Regra geral de k-vzhos k mas prómos Regra geral de k-vzhos k mas prómos com dstâca poderada

46 Característcas A estmação é baseada a probabldade a posteror A estmação p() ) em um poto depede de k tamaho da vzhaça (amostra) que clu os vzhos mas prómos de V mede o volume da regão que cresce com o tamaho da vzhaça

47 Característcas Se a desdade ao redor de é alta, etão V é pequeo e a estmatva tem boa resolução Se a desdade ao redor de é baa, etão V é grade. V é uma varável aleatóra que depede da amostra

48 Estmatva da Desdade p ( ) k = V K um valor fo que é fução do úmero de eemplos V uma varável aleatóra que por eemplo mede a dstâca etre e k-ésmok vzho mas dstate KNN pode ser terpretado como uma jaela de Parze uforme ode a largura da jaela é ajustada automatcamete

49 Regra dos k Vzhos mas prómo {c,...,c m } m classes e um eemplo Em k eemplos supoha que: Estem k eemplos a classe C m = k = k O úmero total de eemplos a classe C é Estmatva da desdade codcoal de C pˆ ( C ) = k V

50 Regra dos k Vzhos mas prómo Estmatva da probabldade a pror de C C p = ) ˆ( Regra de decsão: atrbur a C se: j k k j V k V k j C p C p j j j j j,, ), ˆ( ) ( ˆ

51 Estmatva da Probabldade a posteror Estmatva da desdade p (,c )= 2 5 d 28 p (,c 2 )= 3 5 d 28 Regão R d é a dstâca etre e o vzho mas dstate Estmatva da probabldade =28 p (c /)= 2 5 p (c 2 /)= 3 5

52 Regra de Vzhaça mas próma Dagrama de Voroo Defe um poledro coveo para cada eemplo Os eemplos detro do poledro são completamete classfcados pelo eemplo assocado a cada poledro Eemplo: caso bdmesoal

53 Regra de k-vzhos mas prómos (Vzhaça selecoada aleatoramete) A regra dos k vzhos mas prómos atrbu a classe C se a maora dos k vzhos tem rótulo C A probabldade dsso ocorrer: k = ( k+ ) / 2 k P( c ) ( P( c ))

54 Etesão da Regra de k-vzhos mas prómos (Vzhaça selecoada aleatoramete) Estmatva da probabldade Não este a Regão R 5 3 P (c /) = (0.6) (0.4) 3 P (c 2 /)= - P (c /) (0.6) (0.4) + (0.6) 5 5

55 Regra geral de K-vzhos K mas prómos Eemplo q vzho mas prómo classfca q postvo, 5 vzhos mas prómos classfca q egatvo

56 Regra geral de K-vzhos K mas prómos Como observar a vzhaça? d k= Métrcas D(a, b) = a k b k Cty-Block (L ) D(a,b) = d 2 (a k b k ) Eucldaa (L 2 ) k =

57 Regra geral de K-vzhos K mas prómos A fução de classfcação Caso seja dscreta, seu resultado é aquele que aparecer mas vezes etre os k vzhos mas prómos f : R V Caso seja cotíua, seu resultado é a méda dos resultados dos k vzhos mas prómos f : R R fˆ

58 Regra geral de K-vzhos K mas prómos Fução de classfcação Caso dscreto Cosdere duas classes V ={ +, -} e a vzhaça de um eemplos q com 5 elemetos = (+, +, -, -, -) fˆ ( k q ) arg ma δ(v, f ( ) v V = ode δ (a,b)= se a = b δ (a,b)=0 se a b e f( ) é a classe de fˆ( q ) arg ma v { +, } ((2(v = + ), 3(v = )) A estmatva de f( q ) é classe -

59 Regra geral de K-vzhos K mas prómos Fução de classfcação Caso Cotíuo Cosdere K=5, V ={ +(2), -()} e a vzhaça de q {2, 2,,, } fˆ( q ) k = f( k )

60 Regra geral de K-vzhos K mas prómos Algortmo de Classfcação - O() Dado um eemplo q a ser classfcado seja,, k, os k eemplos do cojuto de treameto mas smlares a q retore f apro (q) o argumeto mámo de v V etre os k eemplos da lsta treameto mas smlares a q

61 Regra geral de K-vzhos K mas prómos Aspecto mportate: Escolha de k a) O resultado da aplcação do método é afetada pelo valor de k b) Não este um crtéro determado para a escolha de k (e: Valdação cruzada) c) Se k é muto grade resulta obtem-se estmatva mas suave de f() d) Um valor pequeo para k pode gerar uma estmatva rregular de f() e) k

62 Regra geral de K-vzhos K mas prómos Valdação Cruzada Serve para evtar overfttg e para averguar robustez dos resultados Algortmo ) Dvde o cojuto de eemplos em dos sub- cojutos: cojutos de treameto (TR) e de teste (TE) 2) Gera a estrutura de um modelo sobre TR 3) Mede percetagem de erro de H aplcada à TE 4) Repete passos -3 3 com dferetes tamahos de TE e TR, e tedo elemeto escolhdos aleatoramete

63 Regra geral de K-vzhos K mas prómos com dstâca Poderada Caso dscreto fˆ ( k q ) arg ma ωδ(v, f ( ) v V = ode ω = d(, q ) δ (a,b)= se a = b δ (a,b)=0 caso cotráro

64 Regra geral de K-vzhos K mas prómos com dstâca Poderada Eemplo Seja uma vzhaça de q =0.55 com 5 elemetos { () 0.88; (2).6; () 0.26; (3) 4.74; (2).02 } d(, q ) v= / /0.29 = , v=2 /.06 + /0.47 = 3.07 v=3 /4.9 = 0.2

65 Regra geral de K-vzhos K mas prómos com dstâca Poderada Caso cotíuo: Método Local fˆ( q ) k = ω k = f( ω ) ω = d(, q ) q eemplo a classfcar

66 Regra geral de K-vzhos K mas prómos com dstâca Poderada Eemplo Seja uma vzhaça de q =0.55 com 5 elemetos { () 0.88; (2).6; () 0.26; (3) 4.74; (2).02 } d(, q ) v= (/ /0.29)/6.34 = , v=2 (2/ /0.47)/ 6.34 = 0.97 v=3 (3/4.9) / 6.34 = 0. 5 = d(, q ) = 6.34

67 Regra geral de K-vzhos K mas prómos com dstâca Poderada Caso cotíuo:método Global fˆ( q ) = ω = f( ) ω ω = d(, q ) Nota: Neste caso todos os eemplos de treameto são cosderados Desvatagem : Tempo de resposta mas leto

68 Regra geral de K-vzhos K mas prómos com dstâca Poderada Problema da dmesoaldade Para calcular a dstâca etre os potos, o método utlza todos os atrbutos do eemplo. Problema: quado algus destes atrbutos ão são mportates para a classfcação Soluções Atrbur pesos ω j aos atrbutos de maera que mmze a taa de erro de classfcação Usar a técca de valdação cruzada para automatcamete escolher os pesos Elmar atrbutos do espaço de stâcas

69 kerel Estmadores de Desdade Classfca estmado a desdade a partr da amostra de eemplos K(.) é uma varável aleatóra A estmatva depede de h e de h é o parâmetro de suavzação K-vzhos Classfca estmado a probabldade a posteror K(.) é uma costate k é o parâmetro de suavzação A estmatva depede de k e de Rubusto para dados rudosos

70 Estmadores da Desdade kerel K-vzhos

71 Referêcas Bblográfcas Duda, R. O. ad Peter E. H Patter Classfcato (2d Edto). Wley- Iterscece. 2 Mtchell, T. M Mache Laarg. McGraw-Hll.