Estatística Computacional e Simulação Capítulo MEIO MSc ESTATÍSTICA e INVESTIGAÇÃO OPERACIONAL MGI MSc GESTÃO DE INFORMAÇÃO MAEG MSc MATEMÁTICA APLICADA À ECONOMIA E GESTÃO DEIO - FCUL 1 0 Ano - 2 0 Semestre - 2012/2013 Créditos: 6 ECTS; Carga Horária: 2T + 2P Maria Isabel Fraga Alves mailto:mialves@fc.ul.pt http://docentes.deio.fc.ul.pt/fragaalves/ Gabinete 6.4.8
192 / 215 Introdução Neste capítulo apresentaremos dois métodos que podem ser usados em alternativa aos métodos de Monte Carlo referidos anteriormente quando não está disponível nenhum modelo estatístico. Abordaremos as Técnicas de Reamostragem Bootstrap Jackknife que a partir de uma só amostra geram novas amostras à imagem da original. Os métodos de reamostragem tratam uma amostra observada como uma população nita; então são geradas amostras partir da original para estimar características populacionais e fazer inferência sobre a população.
O Método de Bootstrap foi introduzido em 1979 por Efron. Os métodos de Bootstrap são uma classe de métodos de Monte Carlo não-paramétricos que estimam a distribuição da população por reamostragem. O termo "bootstrap"pode ser dirigido a bootstrap não-paramétrico ou bootstrap paramétrico. Será o primeiro o objectivo de estudo desta secção.
O Método de Bootstrap foi introduzido em 1979 por Efron. Os métodos de Bootstrap são uma classe de métodos de Monte Carlo não-paramétricos que estimam a distribuição da população por reamostragem. O termo "bootstrap"pode ser dirigido a bootstrap não-paramétrico ou bootstrap paramétrico. Será o primeiro o objectivo de estudo desta secção. A distribuição da população nita representada pela amostra pode ser encarada como uma pseudo-população, com características análogas às da verdadeira população.
O Método de Bootstrap foi introduzido em 1979 por Efron. Os métodos de Bootstrap são uma classe de métodos de Monte Carlo não-paramétricos que estimam a distribuição da população por reamostragem. O termo "bootstrap"pode ser dirigido a bootstrap não-paramétrico ou bootstrap paramétrico. Será o primeiro o objectivo de estudo desta secção. A distribuição da população nita representada pela amostra pode ser encarada como uma pseudo-população, com características análogas às da verdadeira população. Através da geração repetida de amostras aleatórias desta pseudo-população (reamostragem), a distribuição de amostragem de uma estatística pode ser estimada.
193 / 215 O Método de Bootstrap foi introduzido em 1979 por Efron. Os métodos de Bootstrap são uma classe de métodos de Monte Carlo não-paramétricos que estimam a distribuição da população por reamostragem. O termo "bootstrap"pode ser dirigido a bootstrap não-paramétrico ou bootstrap paramétrico. Será o primeiro o objectivo de estudo desta secção. A distribuição da população nita representada pela amostra pode ser encarada como uma pseudo-população, com características análogas às da verdadeira população. Através da geração repetida de amostras aleatórias desta pseudo-população (reamostragem), a distribuição de amostragem de uma estatística pode ser estimada. o bootstrap gera amostras aleatoriamente a partir da distribuição empírica da amostra.
193 / 215 O Método de Bootstrap foi introduzido em 1979 por Efron. Os métodos de Bootstrap são uma classe de métodos de Monte Carlo não-paramétricos que estimam a distribuição da população por reamostragem. O termo "bootstrap"pode ser dirigido a bootstrap não-paramétrico ou bootstrap paramétrico. Será o primeiro o objectivo de estudo desta secção. A distribuição da população nita representada pela amostra pode ser encarada como uma pseudo-população, com características análogas às da verdadeira população. Através da geração repetida de amostras aleatórias desta pseudo-população (reamostragem), a distribuição de amostragem de uma estatística pode ser estimada. o bootstrap gera amostras aleatoriamente a partir da distribuição empírica da amostra. Propriedades de um estimador tal como o viés ou o desvio padrão podem ser estimadas por reamostragem.
Denição (1.1 função distribuição empírica (fde)) Seja x = (x 1,, x n )(eventualmente com repetições) uma amostra aleatória observada da fd F X (.). A função distribuição associada a X que atribui uniformemente P[X = x i ] = 1 n é a chamada função distribuição empírica (fde), e denota-se por F n (.). F n (x) é um estimador de F X (x) para todo o x. Em bootstrap existem duas aproximações: a fde da amostra inicial, F n, aproxima a fd F X da População X. a fde da amostra reamostrada por bootstrap, F n, aproxima F n. F X F n F n X F n
Reamostragem por bootstrap Para estimar θ através do estimador ˆθ, gerando amostras bootstrap por reamostragem a partir de x = (x 1,, x n ), fazer: Algoritmo BOOT Para cada réplica bootstrap, indexada em b = 1, 2,, B: (a) Gerar amostra bootstrap x (b) = x 1,, x n através da amostragem com reposição da amostra observada x 1,, x n (b) Calcular a b-ésima réplica ˆθ (b) na amostra bootstrap x (b) A estimativa bootstrap de Fˆθ(.) é a função distribuição empírica das réplicas ˆθ (1),, ˆθ (B) dada por B F n (x) = 1 B b=1 1 {ˆθ (b) x} Obs: De forma mais genérica, a dimensão da amostra bootstrap pode ser de dimensão diferente da dimensão da amostra inicial.
repita a reamostragem, as amostras bootstrap nunca incluirão o 0. 196 / 215 Exemplo (fde F n e amostra bootstrap) Seja x = (x 1,, x 10 ) = (2, 2, 1, 1, 5, 4, 4, 3, 1, 2). Como proceder para obter a amostra bootstrap de x? Para reamostrar de x seleccionamos aleatoriamente 1, 2, 3, 4, ou 5 com probabilidades 0.3, 0.3, 0.1, 0.2 e 0.1, respectivamente. Assim a fd F X (x) da amostra bootstrap é exactamente a fde F n(x): 0, x < 1 0.3, 1 x < 2 0.6, 2 x < 3 F X (x) = F n(x) = 0.7, 3 x < 4 0.9, 4 x < 5 1, x 5. IMPORTANTE: Se F n não é sucientemente próxima de F X então a distribuição das réplicas não é próxima de F X. O caso acima refere-se a X Poisson(2). Reamostrar a partir de x um grande número B de vezes produz uma boa estimativa de F n, mas não uma boa estimativa de F X, porque não obstante o elevado número de vezes que se
197 / 215 Estimação bootstrap do viés O viés de um estimador ˆθ de θ é denido como viés(ˆθ) = E[ˆθ] θ. A estimação bootstrap do viés usa as réplicas bootstrap de ˆθ para estimar a distribuição de amostragem de ˆθ. Denição (1.2 estimativa bootstrap do viés) viés (ˆθ) = ˆθ ˆθ, com e ˆθ = 1 B B b=1 ˆθ (b) ˆθ = ˆθ(x) = ˆθ(x 1,, x n )
Exemplo (1.2 estimativa bootstrap do viés em R) A base de dados law de Direito na biblioteca bootstrap é de Efron e Tibshirani. A data.frame contem dados referentes a LSAT (Law School Average Test) e GPA (Grade-Point Average) para 15 Faculdades de Direito. LSAT 576 635 558 578 666 580 555 661 651 605 653 575 545 572 594 GPA 339 330 281 303 344 307 300 343 336 313 312 274 276 288 296 Esta base de dados é na realidade uma amostra aleatória do universo de 82 faculdades de Direito em law82. Calcular a estimativa bootstrap do viés do coeciente de correlação amostral.
library(bootstrap) data(law) # Estimativa Bootstrap do viés do # coef Correlação R # estimativa para a amostra law de dimensão n=15 theta.hat <- cor(law$lsat, law$gpa) # estimativa bootstrap do viés B <- 2000 # número de réplicas bootstrap n <- nrow(law) theta.b <- numeric(b) for (b in 1:B) { i <- sample(1:n, size = n, replace = TRUE) LSAT <- law$lsat[i] GPA <- law$gpa[i] theta.b[b] <- cor(lsat, GPA) } bias <- mean(theta.b) - theta.hat bias # i é o vector dos índices > bias [1] 0.007822616
200 / 215 Estimação bootstrap do desvio padrão A estimação bootstrap do desvio padrão de um estimador ˆθ é o desvio padrão empírico da réplicas bootstrap ˆθ (1),, ˆθ (B). Denição (1.3 estimativa bootstrap do desvio padrão) com. ŝe (ˆθ) = 1 B (ˆθ B (b) ˆθ ) 2, 1 ˆθ = 1 B b=1 B b=1 ˆθ (b)
201 / 215 Exemplo (1.3 estimativa bootstrap do desvio padrão em R) Retomando o Exemplo 1.2, calcular a estimativa bootstrap do desvio padrão do coeciente de correlação amostral. É de notar que neste exemplo temos acesso a toda a população no data.frame law82, pelo que é possível comparar as estimativa baseada na amostra law com o valor populacional do coeciente de correlação. > print(cor(law$lsat, law$gpa)) # coef correlação empírico [1] 0.7763745 > print(cor(law82$lsat, law82$gpa)) # coef correlação populacional [1] 0.7599979
202 / 215 # Estimativa Bootstrap do desvio padrão do # coef Correlação R B <- 200 n <- nrow(law) R <- numeric(b) #número de réplicas #dimensão da amostra #armazena as réplicas de R #Estimativa Bootstrap do desvio padrão de R for (b in 1:B) { # selecção dos índices aleatoriamente i <- sample(1:n, size = n, replace = TRUE) LSAT <- law$lsat[i] # i é o vector dos índices GPA <- law$gpa[i] R[b] <- cor(lsat, GPA) } #output > print(se.r <- sd(r)) [1] 0.1297349 > hist(r, prob = TRUE)
203 / 215 Então a estimativa bootstrap do desvio padrão do coeciente de Correlação amostral R, se(r) = se(ˆρ) = se(ˆθ), é dada por ŝe(ˆθ ) = 0.1297349; neste caso temos acesso ao valor exacto de ρ = 0.7599979 pelo que o valor teórico para o desvio padrão de R (sob normalidade), para n = 15, é de (1 ρ se(ˆθ) = se(r) = 2 ) 2 n = 1 0.75999792 15 0.113.
Outra forma de reamostragem é a metodologia Jackknife, proposta por Quenouille (1949, 1956) para estimar o viés e por Tukey (1958) para estimar o desvio padrão, (algumas décadas antes do bootstrap). De forma genérica, podemos dizer que se trata duma metodologia de reamostragem de um estimador ˆθ n = ˆθ n (X 1,, X n ) que vai deixando de fora uma observação em cada reamostra de tamanho n 1 X (j) := (X 1,, X j 1, X j+1,, X n ), j = 1,, n designadas por amostras Jackknife. Com base nas amostras Jackknife calculam-se ˆθ (j) := ˆθ n 1 (X (j) ), j = 1,, n
205 / 215 Sejam X 1,, X n i.i.d. e ˆθ n um estimador assintoticamente centrado para θ, tendo-se para todo n N e com a 0 E(ˆθ n ) = θ + a n + b n 2 + O ( 1 n 3 ). Denição (2.1 estimador Jackknife puro para θ) ˆθ jack n := n ˆθ n (n 1)ˆθ (.) com ˆθ (.) := 1 n n j=1 ˆθ (j) A forma deste estimador permite-nos eliminar o viés de 1a. ordem, i.e., o termo de ordem 1 n.
Lema (2.1) E ] ( ) [ˆθ n jack 1 = θ + O n 2 NOTA: Se b = 0 e não existir o termo de ordem 1 n 3, produzimos um estimador centrado. Demonstração. E [ˆθjack ] n = E [n ˆθ ] n (n 1)ˆθ (.) = n E[ˆθ n] (n 1)E = n {θ + an + bn ( )} 1n + O 2 3 = θ (n 1) { θ + b n(n 1) + O a n 1 + ( ) 1. n 3 [ˆθ(.)] ( )} b 1 (n 1) + O 2 n 3
207 / 215 Denição (2.2 estimador Jackknife para o viés de ˆθ n ) viés jack (ˆθ n ) := ˆθ jack n ˆθ (ˆθ(.) n = (n 1) ˆθ ) n com ˆθ (.) := 1 n n j=1 ˆθ (j) A forma deste estimador é motivada pelo seguinte resultado: Lema (2.2) Sejam X 1,, X n i.i.d. e suponhamos que para todo n N se tem viés(ˆθ n) = a n + b n 2 + O ( 1 n 3 ) onde a 0. Então ( ) 1 E[ viésjack (ˆθ n)] = viés(ˆθ n) + O. n 2
208 / 215 Demonstração. Seja θ o parâmetro a ser estimado. Podemos escrever E[ viés jack ( ˆθ [ n)] = (n 1)E ˆθ(.) ˆθ ] [ [ n = (n 1)E ˆθ(.) θ] (n 1)E ˆθ n θ]. Para a primeira parcela tem-se [ E ˆθ(.) θ] = E 1 n ˆθ (j) θ = E 1 n ˆθ n 1 (X (j) ) θ n j=1 n j=1 = 1 n [ E ˆθn 1 (X (j) ) θ] = viés( ˆθ n 1 (X (1) )). n j=1 Para o segundo termo tem-se E[ ˆθ n θ] = viés( ˆθ n) e então ( ) E[ viés jack ( ˆθ n)] = (n 1) viés( ˆθ n 1 (X (1) )) viés( ˆθ n) = ( a (n 1) n + b 1 (n 1) 2 a n b ( ) ) 1 n 2 + O n 3 = ( ) a (2n 1)b 1 + n (n 1)n 2 + O n 2 ( ) 1 = viés( ˆθ n) + O. n 2
Exemplo (2.1 est. Jackknife para o viés do est. da variância) Seja θ := σ 2 X = σ 2. Sabemos que o estimador é ˆσ 2 = 1 n 1 n (X i X ) 2 centrado para θ enquanto que σ 2 = ˆθ n = 1 n n i=1 (X i X ) 2 tem viés dado por i=1 viés(ˆθ n) = viés( σ 2 ) = E[ σ 2 σ 2 ] = n 1 n E[ˆσ2 ] σ 2 = ( n 1 1)σ 2 = σ2 n n. Assim,tem-se que [ˆθ(.) E[ viésjack (ˆθ n)] = (n 1)E ˆθ ] n { } = (n 1) E [ˆθn 1(X (1) ) θ] E[ˆθ n θ] ) )} = (n 1) {( σ2 ( σ2 n 1 n = σ2 n = viés(ˆθ n). Realmente, σ 2 satisfaz o Lema 2.2, com a = σ 2 e b = 0. 209 / 215
Em R, para deixar de fora uma das componentes de um vector faz-se simplesmente x <- 1:5 for (i in 1:5) { print(x[-i]) } [1] 2 3 4 5 [1] 1 3 4 5 [1] 1 2 4 5 [1] 1 2 3 5 [1] 1 2 3 4
211 / 215 Exemplo (2.2 Estimador Jackknife do viés do Ratio) Os dados patch (bootstrap) de Efron e Tibshirani contêm medidas de uma certa hormona na corrente sanguínea de oito sujeitos depois de usarem um medicamento. O parâmetro de interesse é θ = E[novo] E[antigo] E[antigo] E[placebo]. Se θ 0.20 isso indica bioequivalência dos antigo e novo medicamentos. A estatística de interesse é o Ratio ˆθ n := Ȳ / Z com Y := novo antigo e Z := antigo placebo. Calcular a estimativa Jackknife do viés da estatística do Ratio de Bioequivalência, ˆθ n.
212 / 215 # Estimador Jackknife do viés do estimador Ratio data(patch, package = "bootstrap") > patch subject placebo oldpatch newpatch z y 1 1 9243 17649 16449 8406-1200 2 2 9671 12013 14614 2342 2601 3 3 11792 19979 17274 8187-2705 4 4 13357 21816 23798 8459 1982 5 5 9055 13850 12560 4795-1290 6 6 6290 9806 10157 3516 351 7 7 12412 17208 16570 4796-638 8 8 18806 29044 26325 10238-2719 n <- nrow(patch) y <- patch$y z <- patch$z theta.hat <- mean(y) / mean(z) > print (theta.hat) [1] -0.0713061 # Calcular as réplicas Jackknife, # deixando uma observação de fora theta.jack <- numeric(n) for (i in 1:n){ theta.jack[i] <- mean(y[-i]) / mean(z[-i]) } bias <- (n - 1) * (mean(theta.jack) - theta.hat) > print(bias) # estimativa jackknife do viés [1] 0.008002488
213 / 215 Denição (2.3 estimativa Jackknife para o desvio padrão de ˆθ n ) ŝe jack (ˆθ n ) = n 1 n (ˆθ(j) n ˆθ ) 2 (.) com ˆθ (.) := 1 n j=1 n ˆθ (j). j=1 Exercício (2.1 Motivação para a Denição 2.3) Para uma amostra X 1,, X n iid a X, considere o estimador ˆθ n = X para o valor médio de X. Então sabemos que se(ˆθ n) = Var(X )/n. Mostre que: a) ˆθ (j) = n X X j n 1. b) ˆθ (.) = X. c) ŝe jack (ˆθ n) = S 2 n /n, com S 2 n = 1 n 1 n j=1 (X j X ) 2.
Exemplo 2.3 Calcular a estimativa do desvio padrão do estimador Ratio para os dados do Exemplo 2.2. ## Estimativa Jackknife do desvio padrão ## do estimador Ratio se <- sqrt((n-1) * > print(se) [1] 0.1055278 mean((theta.jack - mean(theta.jack))^2)) Somos assim levados a concluir que existe bioequivalência dos antigo e novo medicamentos.
215 / 215 Bibliotecas bootstrap e boot e Referências Em R estão disponíveis os packages: Biblioteca bootstrap é uma colecção de functions a dados para o livro de Efron e Tibshirani Bradley Efron and R.J. Tibshirani. An Introduction to the Bootstrap (Chapman & Hall/CRC Monographs on Statistics & Applied Probability), 1993. Biblioteca boot é uma colecção de functions a dados para o livro de Davison e Hinkley A. C. Davison and D. V. Hinkley. Bootstrap Methods and their Application (Cambridge Series in Statistical and Probabilistic Mathematics), 1997. Quenouille, M. (1949). Approximate tests of correlation in time series. Journal of the Royal Statistical Society, Series B, 11, 68-84. Quenouille, M. (1956). Notes on bias in estimation. Biometrika, 43, 353-360. Tukey, J. W. (1958). Bias and condence in not quite large samples (abstract). The Annals of Mathematical Statistics, 29, 614.