( ) ( ) Es'mador de Máxima-Verossimilhança. ,θ i. L( Θ; X) = f ( X;Θ) = f (x i

Transcrição

1 5.. Esmador de Máxma-Verossmlhaça O prcípo básco do esmador de Máxma-Verossmlhaça cosste a obteção de esmavas de parâmetros populacoas de uma desdade de uma varável aleatóra a parr de um cojuto de formações (amostra) de modo que se cosga o mas elevado valor para a desdade cojuta. Fução de Verossmlhaça e Esmador de Máxma-Verossmlhaça Seja um desdade cojuta f ;Θ para um cojuto de varáves aleatóras {,..., }, ode Θ é um cojuto assocado de parâmetros. A fução de Verossmlhaça é defda como:. L( Θ; ) f ( ;Θ) f (x,θ ) Ou seja, L Θ; forece, dadas as formações em, dferetes valores de acordo o cojuto de parâmetros Θ.

2 5.. Esmador de Máxma-Verossmlhaça Note-se que L Θ; forece mesmos valores que a desdade f ;Θ, cotudo, seus valores são obdos para dado fxo, e ão Θ, como em f ( ;Θ). Por sua vez, uma esmava de Máxma-Verossmlhaça de Θ, obda como solução do segute problema: L ou seja, ( Θˆ ; ) máx L( Θ; ), Θ Θ Θˆ ˆ ML arg max L( Θ; ). ˆΘ ML, é

3 5.. Esmador de Máxma-Verossmlhaça Iterpretação e Operacoalzação ˆΘ ML Perceba-se que defca uma desdade parcular da famíla que apreseta mas chaces de ter gerado o cojuto de formações observados (). De outra forma, f ( ; Θˆ ) atrbu mas alta probabldade (v.a. dscreta) ML ou valor da desdade (v.a. covua) para dada formação. ˆΘ ML Além dsto, a obteção de exge a especfcação de f ;Θ e, assm, L Θ;. Ou seja, as esmavas a serem obdas exgem a cosderação de uma forma fucoal explícta para a desdade.

4 5.. Esmador de Máxma-Verossmlhaça Iterpretação e Operacoalzação Com a famíla de desdades f ( ;Θ) especfcada, a obteção de ˆΘ ML para o caso de L( Θ; ) dferecável com máxmo teror é feta a parr das codções ordáras do Cálculo: C. de ª ordem: L ( Θ; ) Θ ( Θ; ) L Θ. L. ; Θ k ( Θ ).. kx C. de ª ordem: L ( Θ; ) Θ Θ é matrz ( kxk) egatva defda

5 5.. Esmador de Máxma-Verossmlhaça Observe-se que, dada a forma ão-lear de algumas desdades, a obteção de ˆΘ ML pode ser facltada com maxmzação de l L( Θ; ), ao vés de L( Θ; ), uma vez que a fução logartmo é estrtamete mootocamete crescete: ˆΘ ML que maxmza L( Θ; ) também maxmza l L Θ;. Nos casos em que as codções de ª ordem ão permtem obter solução explícta para, métodos umércos devem ser ulzados para obter ˆΘ ML ˆΘ ML a parr destas codções. Quado ão exste máxmo teror ou quado L Θ; ão é dferecável, ˆΘ ada será o valor de Θˆ que maxmza L( Θ; ) ML, ão mporta como seja obdo.

6 5.. Esmador de Máxma-Verossmlhaça Ex.5.9: Desdade Normal Seja,..., uma amostra aleatóra obda de uma população com desdade Normal. Assm, ( µ, ), ou, ~ N seja ( x µ ) ~ e, e x, π Neste caso, Θ µ. Dada a amostragem aleatóra, a Fução de Verossmlhaça é obda como: L ( µ, ; ) f ( ; µ, ) ( µ ) ( µ ) e... π ( µ ) e π e π π e ( ) µ

7 5.. Esmador de Máxma-Verossmlhaça Tomado o logartmo: l L( µ, ; ) Problema: l ( π ) / e ( ) µ l π l ( µ, ) máx l L ; µ, ( µ ) Cod. de ª ordem: l L µ ( µ ) () l L + ( ) ( µ ) ()

8 5.. Esmador de Máxma-Verossmlhaça µ l L ( µ ) ( µ ) ˆ µ ML / µ l L + ( ) ˆ µ ML µ / ( µ )

9 5.. Esmador de Máxma-Verossmlhaça Esmador de Máxma-Verossmlhaça para Modelo lear Assumdo que e, esmavas para os parâmetros e podem ser obdas por Máxma-Verossmlhaça. Neste caso, a Fução de Máxma-Verossmlhaça pode ser expressa como: + ε I, ~ N I, N ;, L π π π e e... e π π / / e e

10 5.. Esmador de Máxma-Verossmlhaça Tomado o logartmo: O que permte obter as segutes codções de ª ordem para o máxmo de ;, L π / e ;, l L π l l : ;, l L [ ] kx l L + [ ] kx

11 5.. Esmador de Máxma-Verossmlhaça ou As duas codções permtem, etão, obter: ;, l L π l l l L + l L [ ] ˆ ou ML kx ou + / ˆ ˆ ˆ ML

12 5..3 Métodos dos Mometos Método dos Mometos Tal método procura obter esmavas para parâmetros de uma desdade a parr da especfcação de codções sobre os mometos da varável aleatóra (assocada à desdade), da relação que tas mometos guardam com os parâmetros e da formação dos mometos amostras (ulzados as especfcações estabelecdas para os mometos populacoas) Ou seja, são ulzadas tato formações a respeto das caracteríscas da desdade como da amostra para, a parr de relações dos mometos com os parâmetros, obter estratéga de obteção de esmavas sobre os parâmetros populacoas.

13 5..3 Métodos dos Mometos a) Esmador do Método dos Mometos (MM) No caso mas smples, a amostra é assumda como aleatóra, obda dretamete da população: (,..., ), são d. s Neste caso, a obteção de esmadores MM para parâmetros de uma desdade f ( ;Θ) é operacoalzada: ) Explctado-se a relação dos mometos com os parâmetros:, r E( ) µ ( Θ) h r ode a fução h r ( Θ) Ex.: para a desdade Normal µ E ( Θ) pode ser verda. E h ( Θ) h + µ

14 5..3 Métodos dos Mometos ) Especfcado as codções para a obteção da versão sobre tas mometos:, t,...,. ) Adaptado-se as codções sobre os mometos com o uso dos mometos amostras e solucoado-se as equações para os valores dos parâmetros de teresse. Defdo os mometos amostras como: [ ],Θ r E g t [ ] kx k k t t t h h h E Θ Θ Θ. r r r r r m m, m m,

15 5..3 Métodos dos Mometos Assm, de r [ (,Θ)] E g t ( Θ) ( Θ) t h t h E. k t hk ( Θ) [ ] kx, t,...,, tem-se: r (,Θ) [ g t ] t, m h m h. m r h r ( Θ) ( Θ) ( Θ) [ ] kx

16 5..3 Métodos dos Mometos Ex. 5.3 (M.c.8): Esmador MM para parâmetros da desdade Normal Com uma amostra aleatóra de uma população com desdade Normal, obter esmavas MM da méda e da varâca. Parâmetros: Codções sobre os mometos e assocação com parâmetros: Ulzação dos mometos amostras:,..., µ µ E t + + µ µ µ µ µ t t t t E g E E,, [ ], µ Θ + µ µ µ,, m m g t

17 5..3 Métodos dos Mometos Ou seja, + µ µ µ,, m m g t ˆ ˆ m m m m m + µ µ µ MM MM µ ˆ ˆ

18 5..3 Métodos dos Mometos b. Método Geeralzado dos Mometos (GMM) O Método dos Mometos pode ser esteddo para os casos em que a amostra ão é ecessaramete d (ex.: ão obda dretamete da população) e ou para casos em que as codções sobre os mometos podem assumr formas varadas a depeder, por exemplo, das hpóteses assumdas para estrutura de probabldade da desdade populacoal e suas mplcações para as relações etre mometos e parâmetros. Os prcípos do método, todava, permaecem aplcados: defção de codções sobre os mometos assocadas aos parâmetros e substução ou uso de mometos amostras estas codções.

19 5..3 Métodos dos Mometos Uma forma de perceber tal geeralzação a aplcação do método é cosderado o tradcoal modelo lear, caso do exemplo a segur. Ex.5.3: Esmavas GMM para modelo lear + ε ε d, E[ ε ] e Var( ε ),. ão aleatóro, com rak k Deotado t a lha t de, t,...,, o esmador GMM para pode ser obdo especfcado as segutes codções sobre os mometos de : [ (, )] g t t t(t - t ), t. t t tk k. tk kx t,..., ou [... ], t,...,.

20 5..3 Métodos dos Mometos Tomado o Valor Esperado: E [ (, )] g t t E[ t(t - t )] E[ t.εt] [] ou E t tk (... ) t.. (... ) t t t tk tk k k [ ], t,...,. kx Substudo os mometos amostras: E[ t(t - t )] t (t - t ) t t ( ) g t t, t t (t - t ) [] [ ] [ ] kx GMM ( ) ˆ OLS ˆ

21 5..3 Métodos dos Mometos Ex.5.4: Esmavas GMM para modelo lear Modelo lear: + ε, [ ] ε d, E ε e Var ε,. Caso clua varáves que são smultaeamete determadas com, haverá a possbldade de dupla causaldade (ex.: educação e reda) e, este caso: E E [( ) ε ] ( ˆ OLS ) + E[ ( ) ε ] e ˆ OLS + p lm[ ( ) ε ] p lm ˆ OLS Ou seja, é esmador vesado de e ão cosstete de.

22 5..3 Métodos dos Mometos Supoha que exsta uma matrz xl de varáves Z (dtas strumetas ) tal que: E[gt(t, )] E[Z t.(t - t )] E[Z t.(εt)] []lx, t,...,. Ode Z Z A, uma matrz posva defda, etão esmavas GMM para podem ser obdas em dferetes stuações. ) L K (úmero de varáves strumetas úmero de regressores) Com Z ão sgular, o esmador GMM para pode ser obdo a parr das segutes codções t g t (t, ) Z t (t - t ) t [ Z Z ] [ ] kx Z Z ( ) Z ˆ GMM

23 5..3 Métodos dos Mometos ˆ GMM Z, como será vsto mas adate as dscplas de Ecoometra, também correspode ao tradcoal esmador de Varáves Istrumetas (IV) para o Modelo Lear. ) L > K (úmero de varáves strumetas > úmero de regressores) Neste caso, depos de substur os mometos amostras, o cojuto de equações (codções) [ Z Z ] [ ] lx é composto por L > K equações e o sstema em geral ão tem solução úca. Uma estratéga pata obter uma esmava GMM para os parâmetros correspode à escolha de valores tas que mmze o segute produto: [ Z Z ] xl [ Z Z ] lx

24 5..3 Métodos dos Mometos Uma extesão deste procedmeto permte um melhor esmador GMM (o que dz respeto à efcêca ou meor varâca). É possível, este sedo, ulzar um crtéro de poderação para mmzação da soma de quadrados ateror que atrbua maor peso aos mometos de meor varâca, o que é operacoalzado através de uma matrz W (lxl), matrz quadrada posva defda (preserva forma quadráca), passado o problema a ser colocado como: m b [ Z Z b ] W [ Z Z b] xl lx W, por exemplo, podera ser uma matrz dagoal com elemetos desta versamete assocados à varâca dos erros. [ Z Z b] A codção acma permte obter as codções de ª ordem para a escolha dos parâmetros.

25 5..3 Métodos dos Mometos m b O que equvale a: m b mm b [ Z Z b ] W [ Z Z b] O que permte obter: xl lx [ ZWZ ZWZ bz b ZWZ + b Z WZ b] [ ZWZ b ZWZ + b ZWZ b] b [ ZWZ b ZWZ + b ZWZ b] [ ] ZWZ + ZWZ b ( ZWZ ) ZWZ ˆ GMM [ ] ou

26 6. Testes de Hpóteses M.cap.9 e

27 6. Noção e Cocetos Objevo do Teste de Hpótese Verfcar ou refutar uma asserva ou cojectura a respeto de uma ou mas caracteríscas populacoas. Idéa: A parr do valor de uma estavsca ( EstaVsca do Teste ), obdo ulzado-se uma amostra aleatóra, gerar formação que permta, com algum grau especfcado de cofaça, avalar se amostra fo gerada ou ão por suposta população (hpótese). Hpótese estavsca (H) Dada uma amostra aleatóra, (,..., ), uma hpótese estavsca correspode a um cojuto de potecas dstrbuções de probabldade para a população da amostra.

28 6. Noção e Cocetos Ex. 6. (M.c.9) Cojectura a respeto de peças defetuosas uma caxa a parr de amostra aleatóra de tamaho. Fscal pode verfcar afrmava de fabrcate de que ão mas que % das peças são defetuosas: H f x x ( ) { } [ ] p : p p I, p,. ;, já que as varáves são d. Ex.6. (M.c.9) Modelo para a produvdade agrícola: Ode, r chuva/acre e f fer<lzate/acre. Iteresse verfcar se,5 + f + r + ε, ε ~ N,

29 6. Noção e Cocetos Com ~ N + f + r,, (,..., ), é dada por:, a desdade cojuta para amostra aleatóra ~ ( + f r, ) N + ; Assm, a hpótese estavsca deve ser formulada como: Observações: H {f(;, } {f(;, ) N( ; + f + r, ),, 5 } ) Em testes paramétrcos, já é assumda ou formada a famíla da desdade. Assm, as hpóteses estavscas podem ser apresetadas para os exemplos 6. e 6., respecvamete, as formas: H: H: p, 5,

30 6. Noção e Cocetos ) Usualmete, a apresetação das hpóteses estavscas são acompahadas de stuações alteravas ou hpóteses alteravas àquela cojecturada, que é cohecda como hpótese ula. Para os exemplos 6. e 6., pode-se ter, respecvamete: H : p, e H : p, 5. H a : p >, H a : p, 5 Teste EstaVsco Uma teste estavsco é uma regra de decsão a respeto da hpótese estavsca baseada a amostra aleatóra obda da população. Para operacoalzação do teste estavsco faz-se ecessáro a especfcação de dos cojutos dsjutos para os potecas resultados da amostragem (ou da estavsca do teste a ela assocada) que defem regões de rejeção e ão rejeção da hpótese.

31 6. Noção e Cocetos Especfcamete, com os potecas resultados de defdos como Cr C a, ode C C r a e regão regão Cr C a de de rejeção ou ão rejeção φ, observa-se que: crítca Para Para C C r a rejeta se ão se H rejeta H A regra de decsão é dretamete repassada para uma estavsca de usada para efevação do teste.

32 6. Noção e Cocetos EstaVsca de Teste Se C r defe uma regão de rejeção de H e T t() é uma estavsca escalar tal que T C, de tal forma que pode ser defda a r { : t C } C t r T parr dos resultados de C t, etão T t() é dta estavsca de teste de H versus H. H a Ex.6.3: Seja uma amostra aleatóra de uma população com desdade Normal com méda µ e varâca (cohecda), ~ N ( µ, ). Como se sabe que H H a : µ µ : µ µ ( µ, ) ~ N / com desdade cohecda sera: ( µ ) T ( ) ~ N (, ), uma estavsca de teste para

33 6. Noção e Cocetos Sob H ( µ ) µ T t ( ), ter-se-a: Z ( µ ) ~ N (, ) O que permte defr: { Z : P( t( ) Z Z )} C T C r > C ode delmta regões de rejeção e ão-rejeção de t : Z

34 6. Noção e Cocetos Erro Tpo I e Erro Tpo II Caso fosse possível defr a pror os potecas resultados de ou t() de forma que os resultados a regão de ão-rejeção sempre ocorressem quado H fosse válda e os resultados a regão de rejeção sempre ocorressem quado H fosse falsa: teríamos um teste deal : a hpótese estavsca corretamete sempre sera ão-rejetada ou rejetada. Como raramete sto é possível, em geral, a amostra pode gerar resultados tato cosstetes com o cojuto de desdades assocado a H como cosstetes com a hpótese alterava. Ou seja, há regularmete erros potecas presetes. Erro Tpo I: rejetar H quado H é verdadera Erro Tpo II: ão rejetar H quado esta é falsa

35 6. Noção e Cocetos Como, em geral, ão é possível rejetar o testes deal, alguma probabldade de ocorrêca de erro tem que ser aceta. Neste sedo, dealmete, sera teressate torar as probabldades dos erros Tpo I e de erros do Tpo II tão pequeas quato possíves. Mas, como pode ser percebdo a parr da defção da regão críca (rejeção de H), sto evolve um dlema: T Escolha de C r ou C de forma a torar a probabldade de erro do r Tpo I meor possível mplca aumeto da probabldade de erro do Tpo II. Ex. 6.4: Do exemplo 6.3, escolha de C T { Z : P( t( ) Z ) > Z } com Z > Z r mplca dmução de probabldade de erro do Tpo I, mas elevação de probabldade de erro do Tpo II.

36 6. Noção e Cocetos Mas especfcamete: O expedete é, etão, assumr dada regão de rejeção sob H e, assm, certa probabldade de erro do Tpo I, e tetar mmzar a probabldade de erro do Tpo II.

37 6. Noção e Cocetos Potêca e Nível de Sgfcâca do Teste Potêca do Teste Seja Θ um cojuto de parâmetros assocado a uma determada famíla de desdades f (; Θ) e que está sujeto à determada hpótese H. A potêca de um teste em valor específco de Θ correspode à probabldade de se rejetar H quado tal valor específco de Θ é o verdadero valor dos parâmetros. Note-se que, da defção, segue que: π ( Θ ) potêca do teste em Θ P( Erro do TpoI ) se Θ H P( Erro do TpoII ) se Θ H ( prob. de se rejetar H quado esta é falsa) Quado a hpótese H é falsa ( Θ H ), deve-se escolher testes de mas alta potêca: meor probabldade de Erro do Tpo II.

38 6. Noção e Cocetos Nível de Sgfcâca do Teste Um teste com ível de sgfcâca α é um teste em que a probabldade de se cometer Erro do Tpo I é meor ou gual a P Θ Erro do TpoI α,, para qualquer. Θ H α Ou seja, o Nível de Sgfcâca do teste estabelece um lmte para a probabldade de ocorrêca de Erro do Tpo I, sob a hpótese H. Ex. 6.5 Do exemplo 6.3, sedo uma amostra aleatóra com população com desdade Normal, ~ N( µ, / ), com cohecda. Já vmos que para o teste da hpótese: H H a : µ µ : µ µ Uma estavsca de teste pode ser ( µ ) T ( ) ~ N(, )

39 6. Noção e Cocetos Assumdo um Nível de Sgfcâca de 5%: Sob, H ( µ ) ~ N (, ) P Θ ( Erro do TpoI ), 5 Com α,5, a regão de rejeção pode ser defda como: C T r ( µ ) :, 96 P µ C C > Z, 5 Z, 96 uma vez que.,

40 6. Noção e Cocetos Assm, para Z ( ) ( µ ) µ, 96 ou Z, 96 µ C r :, 96 rejeta-se H : µ µ, em teste com Nível de Sgfcâca de 5%. Neste caso, a potêca do teste pode ser obda para dferetes valores de µ µ, ou seja, quado µ H a, fazedo: P Z ( µ ), 96

41 6. Noção e Cocetos P- value (Valor de Probabldade) Quado há desacordo a respeto do ível de sgfcâca, é comum a reportagem do Valor de Probabldade ou P Value. Tal valor forma a respeto da força da evdêca cotra a hpótese postulada (H hpótese ula). P-Value: O P-Value correspode ao meor ível de sgfcâca do teste que levara à rejeção da hpóteses ula. Formalmete: P Value arg m α H ( ( α )) C r Assm, para uma escolha do ível de sgfcâca α, que defe uma regão críca para teste empírco: Se P-Value α evdêca favorável a [ Cr ( α )] ou à rejeçãode H Se P-Value [ C ( )] ou à ão rejeçãode H > α evdêca favorável a r α

42 6. Noção e Cocetos A obteção do P-value é feta a parr da obteção do valor da estavsca do teste sob a hpótese ula, de acordo com sua dstrbução e o Nível de Sgfcâca para o qual a referda hpótese sera rejetada. Ex. 6.6: Amostra aleatóra de uma população com desdade Normal com segutes especfcações:, 5, e, ~ N µ ;,. Hpótese: H H a : µ 5 : µ > 5 EstaHs<ca do teste: como ~ N( µ;, ) T( ) Nível de Sgfcâca para teste e Regão Crí<ca : α,5 ( µ ) ~ N (, )

43 6. Noção e Cocetos Com tal Nível de Sgfcâca e da Dstrbução Normal Padrão, é possível obter: { Z C }, 5 Z, 645 P Z > C e para a Regão Críca: C r ( µ ) :, 645, Ou seja, C r ( 5) :, 645,

44 6. Noção e Cocetos Decsão: Para o caso em questão 5,, ( 5, 5) x 5 Z, (, 5), calculado Logo, Z, 645 Z Cr α,5,, calculado C C r ( 5) :, 645, o que mplca a rejeção de H : µ 5 com Nível de Sgfcâca de 5%. Para obter o P-Value, ote-se que as possíves regões crícas podem ser represetadas geeralzadamete por C r ( 5) : K α, ode K(α) valor de Z crí<co assocado à escolha de α.

45 6. Noção e Cocetos Perceba-se, etão, que para os valores de α que mplquem sempre rejeção de H : µ 5, já que ter-se-a: Z C ( 5), K ( α ) K( α), haverá Como o P-value correspode ao α mímo que mplca rejeção de H : µ 5 : P-value α ( ( ) K( α ) ( P( C ( α ), µ 5), tal que K( α ) ) arg m T m α m N α k( α ) r ( Z ;, ) dz, tal que K α ( Z ;, ) dz, 3 N

46 6. Noção e Cocetos Ou seja, grafcamete: P-value ( Z ;, ) dz, 3 N Logo, rejeta-se H para α,5, mas ão para α,. : µ 5