Inferência Estatistica

Transcrição

1 Inferência Estatistica Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo

2 Modelos e Inferência Um modelo é uma simplificação da realidade (e alguns são úteis) Quantidades observáveis (podem ser medidas) Quantidades não observáveis (parâmetros e variáveis latentes) Abordagens: Clássica e Bayesiana Intuição sem base teórica e reflexão em geral resulta em erro. Dados: os valores observados das quantidades observáveis. 1

3 Inferência estatística Processo de tirar conclusões sobre um conjunto maior (população) usando informação de um conjunto menor (amostra). População: todos os casos ou situações sobre as quais o pesquisador quer fazer inferências. estimar a concentração mediana de poluentes num determinado lençol freático, predizer a quantidade minima de petróleo num poço a ser perfurado, estimar o tempo médio de vida útil de um componente eletrônico. Amostra: um subconjunto qualquer da população. Variáveis: características de uma população que diferem de um indivíduo para outro e as quais queremos estudar. Observações: medidas de uma ou mais variáveis de um indivíduo na amostra. 2

4 Princípios de estimação Estamos interessados em um parâmetro populacional θ Θ sendo Θ o espaço paramétrico. Se X Poisson(θ), então Θ = {θ : θ > 0}. Se X N(µ, 1), então Θ = {µ : < µ < }. Se X N(µ, σ 2 ), então Θ = {(µ, σ 2 ) : < µ <, σ 2 > 0}. Qual o valor mais plausível de θ com base nos dados amostrais? estimativa pontual de θ Exemplos: média amostral, desvio padrão amostral, etc. 3

5 Definição Uma estatística é uma função qualquer dos elementos da amostra e que não depende do parâmetro desconhecido. Notação geral, Estatísticas: letras latinas, e.g. X (média amostral), S (desvio padrão amostral), etc. Parâmetros: letras gregas, e.g. µ (média populacional), σ (desvio padrão populacional). Conforme a amostra aumenta, mais informação teremos sobre a população e mais precisas serão as estimativas. 4

6 Definição Qualquer estatística que assume valores em Θ é denominada um estimador para θ. Qualquer estimador é uma estatística mas nem toda estatística define um estimador. 5

7 Exemplo. Seja um experimento com 10 repetições de um ensaio de Bernoulli, { 1, se ocorre sucesso X i = 0, se ocorre fracasso Parâmetro desconhecido: probabilidade de sucesso p. n Y = X i é uma estatística porém não é um estimador de p. i=1 Um possível estimador para p seria ˆp = n i=1 n X i = Y n. Se foram obtidos 3 sucessos então ˆp = 0, 3 é uma estimativa de p. Y /n é uma variável aleatória com possíveis valores 0, 1/10,..., 1. 6

8 Vamos assumir que dispomos de uma amostra segundo a definição a seguir. Definição: Se X representa uma característica de interesse da população, uma amostra aleatória de tamanho n é o conjunto de n variáveis aleatórias independentes X 1,..., X n cada uma com a mesma distribuição de X. 7

9 Teorema Central do Limite A soma de um grande número de variáveis aleatórias independentes e identicamente distribuidas de uma distribuição com variância finita terá distribuição assintoticamente normal. Teorema: Sejam X 1, X 2,... variáveis aleatórias independentes e identicamente distribuidas tais que E(X i ) = µ e Var(X i ) = σ 2. Então a sequência de variáveis aleatórias, Z n = S n nµ σ n, S n = X X n converge em distribuição para a variável aleatória Z N(0, 1). 8

10 Uma forma equivalente do teorema diz que Z n = S n/n µ σ/ n, converge em distribuição para Z N(0, 1). Na prática n é finito então uma aplicação do teorema diz que, para n grande, X µ σ/, tem distribuição aproximadamente n normal padrão, sendo X = 1 n X i. n i=1 9

11 Exemplo. Nos gráficos a seguir temos os histogramas de 2000 médias amostrais com n {1, 2, 5, 15} sendo X U(0, 10) e Y Exp(1/2) x x x x y y y y 10

12 Na prática as suposições que validam o teorema podem não ser satisfeitas. A distribuição das variáveis tem variância infinita. As variáveis tem distribuições não idêntidas. As variáveis não são independentes. Qualquer combinação destes itens. 11

13 Propriedades dos Estimadores Uma vez que mais de um estimador pode ser proposto para estimar um parâmetro de interesse é importante verificar certas propriedades que serão definidas a seguir. Definição Um estimador ˆθ é dito ser não viesado ou não viciado para um parâmetro θ se E(ˆθ) = θ. Se E(ˆθ) θ então o estimador ˆθ é dito ser viesado ou viciado. Se lim n E(ˆθ) = θ então ˆθ é dito ser um estimador assintoticamente não viesado para θ. 12

14 Definição A medida que aumenta o tamanho da amostra o estimador converge em valor esperado para o verdadeiro parâmetro. Um estimador ˆθ é dito ser consistente se, lim n E(ˆθ) = θ e, lim Var(ˆθ) = 0 n 13

15 Definição Comparando 2 estimadores não viesados. Se dois estimadores ˆθ 1 e ˆθ 2 são não viesados para um parâmetro θ então ˆθ 1 é mais eficiente do que ˆθ 2 se Var(ˆθ 1 ) < Var(ˆθ 2 ). 14

16 Exemplo. Sejam as variáveis aleatórias X 1,..., X n independentes e identicamente distribuidas com E(X i ) = µ e Var(X i ) = σ 2. Então, (i) E(X ) = 1 n n E(X i ) = 1 n i=1 (i) Var(X ) = 1 n 2 n µ = µ i=1 n Var(X i ) = 1 n 2 i=1 n i=1 σ 2 = σ2 n. Portanto a média amostral X é um estimador não viesado da média populacional µ e sua variância dada por σ 2 /n diminui com o tamanho da amostra. 15

17 Exemplo. No exemplo anterior, Suponha agora que o seguinte estimador é proposto para σ 2, Verifique que, ˆσ 2 = (1/n) n (X i X ) 2. i=1 ( ) n 1 E(ˆσ 2 ) = σ 2 n e conclui-se que ˆσ 2 é um estimador viesado para σ 2. Porém, ( ) n 1 σ 2 = σ 2 lim n e portanto ˆσ 2 é assintoticamente não viesado para σ 2. n 16

18 Nos exemplos anteriores nenhuma distribuição de probabilidades foi atribuida aos X i s. As propriedades obtidas são válidas qualquer que seja a distribuição dos dados. Para obter um estimador não viesado note que, [( ) ] ( ) n n E ˆσ 2 = E(ˆσ 2 ) = σ 2. n 1 n 1 Portanto, o estimador S 2 = 1 n 1 n (X i X ) 2 i=1 é não viesado para a variância populacional σ 2. 17

19 Exemplo. Seja o estimador ˆµ = X 1 para a média populacional µ. Como E(ˆµ) = E(X 1 ) = µ segue que ˆµ = X 1 é também um estimador não viesado µ. Portanto Var(X ) = σ2 n < Var(ˆµ) = σ2, para n > 1 e µ e assim o estimador X é mais eficiente. O simples fato de um estimador ser não viesado não significa que ele seja bom, mas se a sua variância for pequena então necessariamente sua distribuição estará concentrada em torno da média e com alta probabilidade ˆθ estará próximo de θ. 18

20 Exemplo. Seja X 1,..., X n uma amostra aleatória da distribuição de Poisson com parâmetro λ. Como E(X i ) = Var(X i ) = λ segue dos resultados anteriores que X e S 2 são estimadores não viesados para λ. Além disso, ˆθ = αx + (1 α)s 2 também é não viesado para λ já que, E(ˆθ) = αe(x ) + (1 α)e(s 2 ) = αλ + (1 α)λ = λ. 19

21 Exemplo. Sejam as variáveis aleatórias X 1,..., X n independentes e identicamente distribuidas tais que { µ1, i = 1,..., k E(X i ) = µ 2, i = k + 1,..., n e Var(X i ) = σ 2, i = 1,..., n. Verifique se os estimadores, X 1 = 1 k X 2 = ˆσ 2 = 1 k k i=1 1 n k k i=1 X i n j=k+1 X j (X i X 1 ) n k são não viesados para µ 1, µ 2 e σ 2. n j=k+1 (X j X 2 ) 2 20

22 Exemplo. Sejam as variáveis aleatórias X 1,..., X n independentes e identicamente distribuidas tais que E(X i ) = µ e Var(X i ) = σ 2 sendo σ 2 conhecido. Sejam os estimadores lineares, ˆµ = n c i X i, i=1 sendo c i 0 constantes conhecidas. 1. Sob que condições estes estimadores lineares são não viesados para µ? 2. Qual o estimador linear não viesado de variância mínima? 21

23 Distribuições Amostrais Estimadores são funções de variáveis aleatórias, portanto também são variáveis aleatórias. Qual a distribuição de probabilidades de um determinado estimador? A solução pode ser exata ou aproximada. 22

24 Amostrando da Distribuição Normal Sejam X 1,..., X n independentes tais que X i N(µ, σ 2 ), i = 1,..., n. Então, ( n n ) n a i X i N a i µ, ai 2 σ 2, i=1 i=1 i=1 portanto, X = 1 n n X i N i=1 ) (µ, σ2 n A probabilidade de que a média amostral esteja em uma vizinhança da média teórica aumenta com o valor de n. 23

25 Exemplo. Um lote de 1000 peças é aceito por uma indústria se 10 peças são sorteadas ao acaso e o comprimento médio está entre 5 cm e 10 cm. Assume-se que o comprimento das peças tem distribuição normal com média 7.5 cm e variância 20 cm 2. Calcular a probabilidade de aceitação do lote. Sejam, X i o comprimento da i-ésima peça retirada, i = 1,..., n. Então, X i N(7.5, 20) e X N(7.5, 20/10) e deve calcular, P(5 < X < 10). 24

26 Exemplo. Suponha que X 1, X 2,..., X n sejam variáveis aleatórias independentes com distribuição Bernoulli, X i Bernoulli(p). Então, pelo teorema central do limite segue que a distribuição aproximada (para n grande) de Y = n i=1 X i é, n X i N (np, np(1 p)) i=1 ou equivalentemente, X N ( p, ) p(1 p) n 25

27 Exemplo. No exemplo anterior note que Y = n i=1 X i tem distribuição exata Binomial(n, p). Se n = 100 e p = 0.90 e queremos calcular P(Y 50) pode ser mais conveniente usar a aproximação normal. Proabilidade exata, P(Y 50) = 100 k=50 Probabilidade aproximada usando, Y N(90, 9). ( ) n p k (1 p) n k. k 26

28 Exemplo. Suponha que X 1, X 2,..., X n sejam variáveis aleatórias independentes com distribuição exponencial todas com o mesmo parâmetro λ. Então, pelo teorema central do limite segue que a distribuição aproximada (para n grande) da média amostral é. ( ) 1 X N λ, 1 nλ 2. 27

29 Exemplo. Uma variável aleatória X pode assumir os valores 1, 3 ou 6 com probabilidades 0.45, 0.25 e 0.3. Em uma amostra de 30 observações desta variável calcule a probabilidade da média amostral ser maior do que 3.5. Se X 1,..., X n é uma amostra de tamanho n então a distribuição aproximada da média amostral é, sendo µ = E(X ) e σ 2 = Var(X ). X N(µ, σ 2 /n) Verifique que, E(X ) = 3 e Var(X ) = 4.5 portando a distribuição aproximada é, X N(3, 4.5/30). 28

30 Exemplo. Em uma região, a concentração de um certo mineral, medida em porcentagem do mineral por unidade de volume, é modelada por uma variável aleatória X com média 4 e variância 3/2. Para uma amostra de tamanho 20, qual a distribuição de X? Que tamanho deve ter a amostra para que P(3.5 < X < 4.5) = 0.95? 29

31 Estimação por intervalos Quando estimamos um parâmetro através de um único valor numérico toda a informação presente nos dados é resumida através deste número. É importante encontrar também um intervalo de valores plausíveis para o parâmetro. A idéia é construir um intervalo em torno da estimativa pontual de modo que ele tenha uma probabilidade conhecida de conter o verdadeiro valor do parâmetro. Tipicamente as distribuições amostrais de estimadores dos parâmetros desconhecidos serão utilizadas. 30

32 Exemplo. Seja X 1,..., X n uma amostra aleatória da distribuição N(θ, σ 2 ), com σ 2 conhecido. Para fazer inferências sobre θ nos baseamos na média amostral X e sabemos que n (X θ) U = N(0, 1). σ Note que a estatística U é uma função da amostra e também de θ, o parâmetro de interesse, mas sua distribuição de probabilidades não depende de θ. Usando uma tabela da distribuição normal padronizada podemos obter o valor do percentil z α/2 tal que P( z α/2 U z α/2 ) = 1 α e assim, após isolar θ, obtemos que ) σ σ P (X z α/2 n θ X + z α/2 n = 1 α. 31

33 Esta igualdade pode dar margem a interpretações errôneas, o que aliás acontece com bastante frequência. Na inferência clássica, o parâmetro θ é desconhecido mas fixo e portanto não é passível de descrição probabiĺıstica, ou seja não se trata de um intervalo de probabilidade para θ. Os limites do intervalo é que são variáveis aleatórias. 32

34 Após a amostra ser observada teremos um valor numérico para a média amostral, i.e. X = x e dizemos que x z α/2 σ n θ x + z α/2 σ n com confiança 100(1 α)%. Não se pode fazer afirmações do tipo o verdadeiro valor de θ tem 95% de chances de estar no intervalo x ± 1, 96 σ/ n. 33

35 Para um dado valor de 1 α, é possível construir muitos intervalos de confiança diferentes para θ. Na verdade, quaisquer constantes c 1 e c 2 tais que P(c 1 U c 2 ) = 1 α podem ser usadas para construir um intervalo com limites x c 2 σ n e x c 1 σ n. No entanto, pode-se mostrar que dentre todos os intervalos de confiança com esta característica, aquele definido acima que é simétrico em torno do média amostral x é o de menor comprimento. 34

36 Exemplo. No exemplo anterior suponha que foram observados os dados abaixo, Queremos construir um intervalo de 95% para a média θ com σ = 10. A média amostral é x =

37 Valores de c 1 e c 2 obtidos para diferentes probabilidades nas caudas da distribuição normal padrão. Na última coluna estão os comprimentos σ(c 2 c 1 )/ n dos intervalos. P(Z < c 1 ) P(Z > c 2 ) c 1 c 2 comp

38 Exemplo. Sejam X 1..., X n N(0, 100). Foram geradas 100 amostras de tamanho n = 30 e construidos os intervalos de 95% de confiança para média. x j < µ < x j , j = 1,..., 100. Espera-se que em média 5 em cada 100 intervalos não contenham o verdadeiro valor de µ = E(X ). 37

39 Intervalos de 95% de confiança para média desconhecida. Medias Amostras Nivel de Confianca Real = 96 % 38

40 Intervalos Aproximados Exemplo. Sejam X 1,..., X n independentes tais que E(X i ) = µ é um parâmetro desconhecido e Var(X i ) = σ 2 é conhecida. Então, pelo Teorema Centrals do Limite segue a distribuição aproximada, U = n (X µ) σ N(0, 1). Após a amostra ser observada podemos então construir um intervalo de confiança aproximada para µ, x z α/2 σ n µ x + z α/2 σ n com confiança 100(1 α)%. 39

41 Exemplo. Uma amostra de larvas de mosquito coletadas de um lago com água limpa parada contem 80 larvas das quais 60 são de uma certa espécie. A proporção daquela espécie na amostra é 60/80 = Esta proporção é uma estimativa da proporção total populacional. Seja n o tamanho da amostra e seja x o número observado do evento de interesse. Então estimamos a proporção populacional p com a proporção observada ˆp = x/n. Verifique que ˆp é um estimador não viesado de p. 40

42 Exemplo. No exemplo anterior. pelo Teorema Central do Limite, para n grande e p não muito próximo de 0 ou 1, a distribuição de ˆp será aproximadamente normal com média p e um desvio padrão dado por p(1 p). n Este é o erro padrão da proporção amostral e podemos usar isto na construção de um intervalo de confiança para a verdadeira proporção p. No entanto este erro padrão depende do valor desconhecido de p e aqui duas abordagens são possíveis. 41

43 Um enfoque consiste em substituir p pela sua estimativa pontual, ˆp. Neste caso, um intervalo de confiança de aproximadamente 95% para p é dado por ( ) ˆp(1 ˆp) ˆp(1 ˆp) ˆp 1, 96, ˆp + 1, 96. n n Aqui usaremos como regra geral que este intervalo de confiança é válido se tivermos ambos nˆp e n(1 ˆp) maiores ou iguais a 5. 42

44 Alternativamente, podemos usar o fato de que o valor máximo de p(1 p) é atingido para p = 1/2, logo p(1 p) 1/4, ou equivalentemente p(1 p)/n 1/ 4n. Neste caso, um intervalo de confiança conservativo é dado por ( ) 1 1 ˆp z α/2 4n, ˆp + z α/2. 4n No entanto, se o verdadeiro valor de p estiver afastado do seu valor máximo e estiver próximo de 0 ou de 1 então este intervalo tem amplitude desnecessariamente grande porque substituimos p(1 p) pelo seu valor máximo. 43

45 Exemplo. No caso das larvas de mosquito descrito acima temos que n = 80 e ˆp = Portanto um intervalo de confiança de 95% para proporção de larvas é, ( ) 0.75(0.25) 0.75(0.25) , e então podemos afirmar, com 95% de confiança, que a verdadeira proporção está entre e