BOOTSTRAP. - APLICAÇÃO DO MB: podem ser aplicados quando existe, ou não, um modelo probabilístico bem definido para os dados.

Transcrição

1 OOTSTRAP INTRODUÇÃO - IDEIA ÁSICA: reamostrar de um conjunto de dados, diretamente ou via um modelo ajustado, a fim de criar replicas dos dados, a partir das quais podemos avaliar a variabilidade de quantidades de interesse, sem usar cálculos analíticos. - APLICAÇÃO DO M: podem ser aplicados quando eiste, ou não, um modelo probabilístico bem definido para os dados. - METODO: COMPUTER-INTENSIVE - CONCEITOS ASICOS DADOS: y, y,..., y n ~Y com fdp f e fda θ: característica populacional T: estatística; t: valor de T na amostra - INTERESSE: obter a distribuição de probabilidade de T; viés de T, dp(t; quatis, intervalo de confiança para θ, testes. - SITUAÇÕES: PARAMETRICA E NÃO-PARAMETRICA - UNÇÃO DE DISTRIUIÇÃO EMPIRICA(DE ˆ : estimativa de, a partir da distribuição empírica, que coloca probabilidade /n em cada y j. #{ y j y} ˆ ( y n

2 - UNÇÃO ESTATÍSTICA Estatística de interesse: tf(y(,..., y(n t t(ˆ : função estatística θ t( ˆ T t( ˆ θ t( em probabilidade(consistência - PRECISÃO DA MEDIA AMOSTRAL Amostra:,..., n : i n s ( Erro padrão de i, s n n - ERRO PADRÃO DE T: estimador de θ ep ( T var( T Em geral, var(t depende de θ, portanto e pˆ ( T varˆ( T Para a maioria dos estimadores, não há formulas para calcular o ep. OOTSTRAP (, L, n : dados independentes s (: estatística de interesse Amostra bootstrap: (, L, n, amostramos, com reposição, n vezes de - ALGORITMO OOTSTRAP: gera um grande número de amostras bootstrap independentes:,, L,

3 Cada uma de tamanho n OJETIVO: estimar ep dos estimadores - RÉPLICA OOTSTRAP: Amostra bootstrap s( : réplica bootstrap - ESTIMADOR OOTSTRAP DO ERRO PADRÃO: desvio padrão das réplicas bootstrap e pˆ boot b Com b [ s( s( ] /( b s b s ( ( - ESTIMADOR OOTSTRAP DE e pˆ ( ˆ θ : usa ˆ no lugar de, isto é, o estimador bootstrap é ep ˆ ( ˆ θ : estimador bootstrap ideal do ep de θˆ Não há formula que permite calcular o estimador bootstrap ideal eatamente. - ALGORITMO OOTSTRAP: forma computacional de obter uma boa aproimação do valor numérico de ep ( ˆ θ Para implementar num computador: ( um mecanismo aleatório seleciona inteiros i, i,..., i n, entre e n, com probabilidade /n; ( a amostra bootstrap consiste nos números L, i ALGORITMO OOTSTRAP PARA ESTIMAR ERROS PADRÕES, i n ˆ

4 [] sele cione amostras independentes,, L,, cada uma consistindo de n valores selecionados com reposição de. Tome [] calcule a réplica bootstrap para cada amostra bootstrap: ˆ b θ ( b s(, b, L. [3] estime o erro padrão ep (θˆ pelo desvio padrão amostral das réplicas: epˆ ( b paramétrico, onde lim ˆ ˆ θ ( b θ (, estimador bootstrap não ˆ ( ˆ θ θ ( b b ˆ e pˆ ep ep ( θ : desvio padrão empírico se ˆ ˆ aproima do desvio padrão populacional quando. Neste caso, a populacional é a população dos valores ˆ θ s(, onde ˆ (,, n L OOTSTRAP PARAMÉTRICA Útil em problemas para os quais dispomos de alguns conhecimentos sobre a forma da população e para comparar com análises não paramétricas. X, : DA (,,..., n ~ Considere um modelo paramétrico para os dados. ˆ : estimador de obtido deste modelo. par

5 θˆ: estimador do parâmetro θ. A estimativa bootstrap paramétrica do ep (θˆ é definida por ep par ( ˆ* ˆ θ Eemplo: escola de direito Suponha ~ N ( µ, ν, n 5 onde µ y µ, σ y σ yz ν simétrica µ z σ zy σ z y Estimamos µ por µˆ e V por z ˆ ( yi y ( yi y( zi z V 4 ( zi z ˆ norm N ( ˆ, µ Vˆ : estimador paramétrico de ˆ ep ( θ : estimador bootstrap paramétrico de ˆ ep (θˆ, onde norm ˆ θ corrˆ( y, Z. Retiramos amostras de tamanho n com reposição da população ˆ par ˆ (, L, norm Procede-se, depois, como em ( e (3 do A. amostra de tamanho 5 de ˆ e calculamos o norm coeficiente de correlação para cada amostra. epˆ 0,4 (0,3: estimador não paramétrico

6 ESTIMADOR OOTSTRAP DO VIÉS ~ (,,..., n ~ ; θt(. θ s( CONSIDERE O ESTIMADOR ˆ θ t( ˆ. ~ O viés de θ s( é definido por viés E ( s( t( Ou seja, esperança do estimador θ Estimadores não viciados são importantes na teoria e na pratica estatística. Podemos usar bootstrap para avaliar o viés de um estimador. O estimador bootstrap do viés é definido por viés ˆ E ˆ Eemplo: { s( } t( ˆ a t( µ, s (, 0 : estimador ideal do viés. viés b ( i s( ; viés[ s( ] σ ; neste caso, viés ( i ˆ ˆ n n n Para a maioria dos estimadores utilizados na prática, o estimador bootstrap do viés deve ser aproimado por simulação: [] geramos amostras bootstrap (, L, e calculamos as replicas bootstrap

7 ~ θ ( b s( b, b, L,. E ˆ [] aproimamos as esperanças bootstrap { s ( } pela média ~ ~ ( b s b ( b θ ( θ [3] o estimador bootstrap do viés é b viesˆ ~ θ ( t( ˆ Eemplo: dados hormônio (bio-equivalência As concentrações: placebo oldpatch newpatch Oldplacebo New-old subject z y Mean ,3 E( novo E( antigo DA: 0, 0 E( antigo E( placebo critério Parâmetro: θ E( novo E( antigo E( antigo E( placebo Objetivo: calcular o viés e o erro padrão de θˆ Considere:

8 z i medidas com o antigo medidas com o placebo y i medidas com o novo medidas com o antigo i ( z i, y i, i,,..., 8 X(, i,, 8, ~ : desconhecida θ t( E E ( y ( z ˆ θ t( ˆ y Z 8 i 8 i yi / 8 0,073 z / 8 Nota: Z e Y são dependentes. i ˆ θ << 0,0, portanto aparentemente a condição do DA está satisfeita e os dois hormônios são bioequivalêntes. i i i 400 amostras bootstrap:, L, ( réplicas bootstrap y θˆ z As 400 réplicas tem um desvio padrão amostral, e pˆ 400 0, 05 Média amostral: ˆ θ ( 0,0670. Estimador bootstrap do viés: vie sˆ400 0,0670 ( 0,073 0,0043 viesˆ ep ˆ ,0043 0,04, portanto viés sob controle. 0,05 Regra: viesˆ < 0,5 epˆ podemos ignorar o viés

9 RMSE E ( ˆ θ θ ep ( ˆ θ + vies ( ˆ, θ θ ep ( ˆ θ vies + ep ep vies ( ˆ θ + ep CORREÇÃO DE VIÉS Vˆ : estimador do o viés. vies ( ˆ, θ θ θ ˆ θ Vˆ : estimador corrigido para Tomando ˆ vies V ˆ ( ˆ, ˆ ˆ θ θ obtemosθ θ θ ( Eemplo(hormônio: V ˆ400 0,0043 e ˆ θ 0,073 θ 0,073 0,0043 0,0756 Observações: a correção do viés pode ser perigosa na prática. Mesmo que θ seja menos viesado do que θˆ, ele pode ter erro padrão substancialmente maior. O viés é mais difícil de estimar do que o ep, maior para estimar o viés. 3 Se V ˆ << ep, melhor usar θˆ do que θ. INTERVALO DE CONIANÇA Dado o estimador θˆ de θ, seu ep estimado, e pˆ ( ˆ θ, o intervalo de confiança(ic usual, com coeficiente de confiança(c.c. 90%, para θ é ˆp ( θˆ ˆ θ ±.645epˆ( ˆ θ (,, ~ ˆ ( ˆ L n e θ t e : algum estimador do ep (θˆ, baseado por e, em réplicas jackknife ou bootstrap.

10 Então, sob determinadas condições, ˆ D θ N( θ, epˆ( ˆ, θ n Ou ˆ θ θ N(0, (8 epˆ( ˆ θ Assim, [ ˆ ( α Z epˆ, ˆ ( α θ θ + Z epˆ ] a -α. é o IC padrão com C.C. igual APROXIMAÇÃO PARA AMOSTRAS INITAS: Para θˆ, temos seguinte resultado: Z ˆ θ θ epˆ ~ tn (9 E o IC fica [ ˆ ( α tn epˆ, ˆ ( α θ θ + tn epˆ ] Se θˆ e ~normal, a aproimação é eata e o IC é mais largo, refletindo o fato que o ep não é conhecido. ( α ( α Se n 00, t n Z. INTERVALO OOTSTRAP-t Com o uso de bootstrap podemos obter IC acurado aem utilizar a epressão (8. A distribuição de Z em (9 será estimada diretamente dos dados, ou seja, obtemos uma tabela apropriada para o particular conjunto de dados.

11 PROCEDIMENTO: [] geramos amostras bootstrap, L, [] para cada amostra construímos ˆ ˆ θ ( b θ Z ( b epˆ ( b Com ˆ b θ ( b s( valor de θˆ para a amostra b epˆ ( b : erro padrão estimado de ˆ θ ( b para a amostra b [3] o α -percentil de Z ( (b é estimado pelo t ˆ α tal que α Z b tˆ ( #{ ( }/ α [4] O IC bootstrap-t é dado por [ ˆ tˆ ( α epˆ, ˆ tˆ ( α θ θ + epˆ ] (5% E: se 000, a estimativa do 5%-percentil ( ˆt é 0 50º. maior valor dos Z (b. Intervalo percentil : dados bootstrap ˆ θ s( : réplicas bootstrap Ĝ : DA de θˆ O intervalo percentil, com C.C. -α, é definido pelos percentis α e -α de Ĝ : [ ˆ ˆ ] [ ˆ, (, ˆ θ θ G α G ( α ] inf sup

12 OSERVAÇÕES: α não inteiro, α 0,05. Considere k[(+ α ]. Os quantis α e -α são dados pela k-ésima maior. E (+-k maior observação, respectivamente. E.: 50, α 0,05, α,5, k[5*0,05][,55], portanto α -percentil é a ª. Observação e o (-α - percentil é a 49ª. Observação. em amostras grandes, a cobertura do IC bootstrap-t tende a ser mais próima do CC desejado do que o IC padrão e t. E. Ratos: 6 ratos(7: tratamento; 9: controle Dados: tempo de sobrevivência (em dias após o tratamento Questão: tratamento prolonga sobrevida após a cirurgia? Tabela : dados Group Data Sample Size Treatment 94, 97, 6, 38, 99, 4 3 Control 5, 04, 46, 0, 5, 30, 40, 7, 46 mean Estimated standar error 7 86,86 5,4 9 56, 4,4 difference 30,63 8,93

13 Tabela : bootstrap estimates of standard error for the mean and median: treatment group. The median is less accurate (has larger standard error than the mean for this data set mean 9,7 3,63,3 3,76 3,0 3,36 median 3, 36,35 34,46 36,7 36,48 37,83 y 30,63 y 30,63 e,05 ( no dp( y 8,93 m med( 94, m med( y 46 m m epˆ( m,54, ˆ( 36,36 ˆ ep m epboot (36,35 + (,54 38,4 48 Estatística para teste:, 6 38,4 IC: Media dos ratos tratados: θ 86,86 e epˆ 5, 4 IC padrão(γ0,90: [86,86-,65*5,4; 86,86+,65*5,4] [45; 8,4] 000 réplicas: θˆ? Tabela 3: percentiles of θˆ based on 000 bootstrap replications, where θˆ equais the mean of the treated mice.,5% 5% 0% 6% 50% 84% 90% 95% 97,5% 45,9 49,7 56,4 6,7 86,9,3 8,7 6,7 35,4

14 Percentile 5% 49,7 Percentile 95% 6,7 Intervalo percentil com C.C. 90% [49,7; 6,7] Utilizar os percentis do histograma para definir limites de confiança. PROCEDIMENTO: [] geramos amostras bootstrap, L, ˆ b θ ( b s( ( [] ˆ θ α : α-percentil dos valores ˆ b θ ( b s( [3] IC percentil aproimado com -α: [ ˆ ˆ ( ( ] [ ˆ α ; ; ˆ α θ θ θ θ ] %,inf %,sup Eemplo:,,..., 0 ~ N(0, µ θ e, µ média populacional θ e ˆ θ e,5 (eemplo artificial 0 IC padrão:,5 ±,96 e pˆ 000,5 ±,96 0,34 [0,59;,9] 000 réplica e θˆ Percentis empíricos de θˆ IC percentil 95% [0,75;,07] apro. Normal não é muito boa nesse caso.

15 Tabela 4: percentiles of size 0. θˆ e for a normal sample of,5% 5% 0% 6% 50% 84% 90% 95% 97,5% 0,75 0,8 0,90 0,98,5,6,75,93,07