CE085 - Estatística Inferencial. derivadas. Prof. Wagner Hugo Bonat. 5 de setembro de Curso de Bacharelado em Estatatística

Transcrição

1 CE085 - Estatística Inferencial Função de Verossimilhança e suas derivadas Prof. Wagner Hugo Bonat Laboratório de Estatística e Geoinformação - LEG Curso de Bacharelado em Estatatística Universidade Federal do Paraná - UFPR 5 de setembro de 2018

2 Conteúdo Wagner Hugo Bonat CE085 - Estatística Inferencial 2/22

3 Conteúdo Notação e definições. Verossimilhança e log-verossimilhança. Escore e informação de Fisher. Informação observada. Desigualdade de Cramér-Rao. Wagner Hugo Bonat CE085 - Estatística Inferencial 3/22

4 Notação e Definições Wagner Hugo Bonat CE085 - Estatística Inferencial 4/22

5 Notação O vetor (n 1) de variáveis aleatórias (va) é denotado por Y = (Y 1,..., Y n ). O vetor (n 1) de realizações de uma va é denotado por y = (y 1,..., y n ). Denote f(y; θ) a função de probabilidade (fp) caso discreto ou função de densidade probabilidade (fdp) do vetor aleatório Y. Wagner Hugo Bonat CE085 - Estatística Inferencial 5/22

6 Definições Definição 1 (Parâmetro ou vetor de parâmetros) Vetor de características numéricas de uma população. Denotaremos o vetor (p 1) de parâmetros por θ. Em particular com p = 1(caso uniparamétrico) denotaremos θ. Definição 2 (Espaço paramétrico) Espaço paramétrico é o conjunto de todas as possíveis combinações entre todos os valores para todos os diferentes parâmetros envolvidos em uma fp ou fdp. Notação Ω. Definição 3 (Suporte) Suporte é conjunto de valores realizáveis de uma va. Exemplos: Binomial, Poisson e normal. Wagner Hugo Bonat CE085 - Estatística Inferencial 6/22

7 Verossimilhança - Caso uniparamétrico Definição 4 (Verossimilhança) Sejam dados y uma realização de um vetor aleatório Y com fp ou fdp f(y, θ). A função de verossimilhança L(θ) : Ω [0, ] para θ é a função aleatória L(θ) f(y, θ) onde f(y 1,..., y n θ) é a função de distribuição conjunta de Y. 1. Caso discreto não há ambiguidade então L(θ) P θ [Y = y]. 2. Caso contínuo em geral as observações são medidas com algum grau de precisão em um intervalo (y ii y i y is ). Neste caso a verossimilhança é dada por L(θ) = P θ [y 1I y 1 y 1S, y 2I y 2 y 2S,..., y ni y n y ns ]. (1) Wagner Hugo Bonat CE085 - Estatística Inferencial 7/22

8 Verossimilhança - Caso uniparamétrico Suponha que as observações são independentes e medidas com o mesmo grau de precisão. Assim, cada dado é medido em um intervalo (y i δ/2 Y i y i + δ/2). Com estas suposições a verossimilhança pode ser escrita como L(θ) = = n P θ [y i δ/2 Y i y i + δ/2] i=1 yi +δ/2 n i=1 y i δ/2 f(y i, θ)d(y i ). Wagner Hugo Bonat CE085 - Estatística Inferencial 8/22

9 Verossimilhança - Caso uniparamétrico Se o grau de precisão é alto (δ é pequeno) em relação a variabilidade dos dados, a expressão se reduz a ( n ) L(θ) f(y i, θ) δ n. i=1 Finalmente, se δ não depende de θ, temos L(θ) n f(y i, θ), (2) i=1 Para enfatizar que a verossimilhança é avaliada nas observações usamos a notação L(θ y). Wagner Hugo Bonat CE085 - Estatística Inferencial 9/22

10 Verossimilhança - Condições de regularidade 1. O parâmetro θ é identificável. Isso significa que se f(θ 1 y) = f(θ 2 y) para quase todos y R, então θ 1 = θ O suporte de f(θ y) é o mesmo para todo θ R. 3. O verdadeiro valor do parâmetro θ 0 pertence ao interior de Ω. 4. f(θ y) é duas vezes continuamente diferenciável com relação θ para quase todo y R. 5. θ e (caso contínuo), ou θ e (caso discreto) podem ser intercambiada. ** Para quase todo significa que a condição não é verdadeira para um conjunto de y com probabilidade zero de ocorrência. Wagner Hugo Bonat CE085 - Estatística Inferencial 10/22

11 Log-Verossimilhança A função de log-verossimilhança é a função estocástica l(θ) : Ω R definida por No caso iid, tem-se l(θ y) = log (L(θ y)). l(θ y) = n log (L(θ y i )). i=1 l(θ y) = quando L(θ) = 0, mas isso ocorre quando f(y 1,..., y n θ) = 0 que tem probabilidade de ocorrência igual a zero. Wagner Hugo Bonat CE085 - Estatística Inferencial 11/22

12 Exemplo Sejam Y 1,..., Y n iid ensaios Bernoulli com probabilidade de sucesso µ. Escreva a função de verossimilhança, log-verossimilhança e verifique se as condições de regularidade estão satisfeitas. Wagner Hugo Bonat CE085 - Estatística Inferencial 12/22

13 Transformação de parâmetros Suponha que o interesse seja trabalhar com ψ definido por θ = g(ψ) ao invés de θ. Assuma que g é 1 1. Então, a log-verossimilhança para ψ é dada por l(ψ) = n log f(y i, g(ψ)), i=1 apenas inserimos g(ψ) em l( ) para obter a nova log-verossimilhança. Wagner Hugo Bonat CE085 - Estatística Inferencial 13/22

14 Exemplo: Transformação de parâmetros Suponha que desejamos escrever a log-verossimilhança para ψ = log µ expψ 1 µ. Note que µ =. 1+exp ψ Wagner Hugo Bonat CE085 - Estatística Inferencial 14/22

15 Exemplo: Transformação de parâmetros Suponha que desejamos escrever a log-verossimilhança para ψ = log µ expψ 1 µ. Note que µ =. 1+exp ψ l(ψ) = n y i ψ n log(1 + exp ψ ). i=1 Wagner Hugo Bonat CE085 - Estatística Inferencial 14/22

16 Transformação nos dados Considere uma transformação 1 1 Y i = h(x i ) que será usada na log-verossimilhança ao invés de X i. Considere o caso contínuo e que h é diferenciável. Então Y i tem densidade dada por f(h 1 (y), θ) dx dy (y), assim a nova verossimilhança será l(θ) = l(θ Y1,..., Y n ) n ( = log f(h 1 (y i ), θ) dx ) i Y dy i i = i=1 n i=1 ( ) ( ) log f(h 1 dxi (y i ), θ) + log Y dy i i = l(θ X 1..., X n ) + const. Em geral estamos interessados nas derivadas de l( ) que não dependem da constante. Para fins de estimação a constante pode ser desconsiderada. Qual seria a melhor transformação para os dados? Wagner Hugo Bonat CE085 - Estatística Inferencial 15/22

17 Desigualdade de Jensen e Máxima Verossimilhança Seja g uma função estritamente convexa e Y uma v.a com E( Y ) < tal que a distribuição de Y é não degenerada. Então g(e(y)) < E(g(Y)). Por outro lado, se g é estritamente concava, então g(e(y)) > E(g(Y)). Demonstração: Exercício. Teorema 1: Seja θ 0 o verdadeiro valor do parâmetro. Então, Demonstração. P θ0 (L(θ 0 y) > L(θ y)) 1, quando n. Interpretação: L(θ 0 ) > L(θ) com alta probabilidade para n grande. Assim, L(θ) vai tender a ter o seu máximo próximo a θ 0, o verdadeiro valor de θ. Motiva a ideia de estimação por máxima verossimilhança. Wagner Hugo Bonat CE085 - Estatística Inferencial 16/22

18 Definições Uma estatística é uma variável aleatória T = t(y), onde a função t( ) não depende de θ. Uma estatística T é um estimador para θ se o valor realizado t = t(y) é usado como uma estimativa para o valor de θ. A distribuição de probabilidade de T é chamada de distribuição amostral do estimador t(y). O viés de um estimador T é a quantidade B(T) = E(T θ). O estimador T é dito não viciado para θ se B(T) = 0, tal que E(T) = θ. O estimador T é assintóticamente não viciado para θ se E(T) θ quando n. Wagner Hugo Bonat CE085 - Estatística Inferencial 17/22

19 Definições A eficiência relativa entre dois estimadores T 1 e T 2 é a razão er = V(T 1) V(T 2 ) em que V( ) denota a variância. O erro quadrático médio de um estimador T é a quantidade EQM(T) = E((T θ) 2 ) = V(T) + B(T) 2. Um estimador T é médio quadrático consistente para θ se o EQM(T) 0 quando n. O estimador T é consistente em probabilidade se ɛ > 0, P( T θ > ɛ) 0, quando n. Wagner Hugo Bonat CE085 - Estatística Inferencial 18/22

20 Função escore e Informação de Fisher Função escore para θ (efficient score) U(θ Y) = U(θ Y 1,..., Y n ) = n θ l(θ, Y i). = i=1 n i=1 θ log f(θ, Y i). Informação de Fisher ou Informação esperada I E (θ) = Var(U(θ Y)). Informação de Fisher também é chamada de intrinsic accuracy. Wagner Hugo Bonat CE085 - Estatística Inferencial 19/22

21 Igualdades de Bartlett Sob condições de regularidade (slide 10), tem-se 1. Primeira igualdade E(U(θ Y)) = Segunda igualdade I E (θ) = E(l (θ Y)) = E(U (θ Y)). Implicação: Var(U(θ Y)) = E(U(θ Y) 2 ). Exemplo: Bernoulli e Poisson. Demonstração. Wagner Hugo Bonat CE085 - Estatística Inferencial 20/22

22 Informação observada Informação observada para θ I O (θ) = l (θ Y). Note que I E (θ) = E(I O (θ)). Além disso, pela lei dos grandes números I O (θ) P I E (θ) quando n. Wagner Hugo Bonat CE085 - Estatística Inferencial 21/22

23 Desigualdade de Cramér-Rao Teorema: If θ(y 1,..., Y n ) é um estimador não viciado para θ, então Var( θ) I E (θ) 1. A quantidade I E (θ) 1 é chamado de limite inferior de Cramér-Rao. Um estimador não viciado é chamado eficiente se V( θ) = I E (θ) 1. Exemplos: Geométrica e Poisson. Demonstração. Exemplo patológico: Distribuição uniforme. Wagner Hugo Bonat CE085 - Estatística Inferencial 22/22