TEOREMAS LIMITE EM PROBABILIDADE RENATO ASSUNÇÃO DCC - UFMG

Transcrição

1 TEOREMAS LIMITE EM PROBABILIDADE RENATO ASSUNÇÃO DCC - UFMG

2 Referência para um estudo aprofundado das questões (e demonstrações das afirmações feitas aqui)

3 LIMITE DE NÚMEROS REAIS Sequência de números reais x n Quando dizemos que x n converge para um limite L? Olhamos para a diferença x n L Queremos que isto vá para zero quando n cresce. Difícil formalizar de modo genérico, para toda e qualquer sequência.

4 EXEMPLO Seja x n = n Vemos que x n 1 0 qdo n Considere agora a seguinte sequência: x n = n se n 10k 2, se n = 10 k Agora, x n 1 0 qdo n e n 10, 100, 1000, 10000, ,... Se n =10, 100, 1000, 10000, ,... teremos x n = 2 Cada vez mais raramente x n se afasta de 1 mas NUNCA teremos x n 1 pequeno para TODO n

5 ESTA CONFUSÃO DEFINIÇÃO RIGOROSA Definição: {x n : n = 1, 2, } converge para L quando n significa que > 0, n 0 ( ), tal que x n L < para todo n > n 0 ( ),

6 CONVERGÊNCIA COM PROBABILIDADE Sequência de variáveis aleatórias S 1, S 2, S 3,... Quando podemos dizer que S n converge? Qual o sentido, o significado, que queremos dar a esta convergência?

7

8

9

10

11

12

13

14 EXEMPLO: SEMPRE AS MOEDAS... Considere jogar uma moeda honesta para cima repetidamente Seja X n = 1 se lançamento n é cara, e X n = 0, se coroa Seja Y n = (X X n )/n Y n é a proporção de caras nos primeiros n lançamentos. O que esperamos ver quando n crescer? Y n ½, certo? Mas a sequência 1,1,1,1,1,1,1,1 é tão provável quanto outra sequência de tamanho 8

15 VAMOS SIMULAR NO COMPUTADOR

16 TRÊS REPETIÇÕES (SEQUÊNCIAS) INDEPENDENTES A curva em preto vai convergir? Provavelmente? Com certeza?

17 UMA V.A. É FORMADA POR DUAS COISAS... Seja X n = 1 se lançamento n é cara, e X n = 0, se coroa Seja Y n = (X X n )/n Y n é a proporção de caras nos primeiros n lançamentos. O que é Y n? É uma V.A. lista de valores possíveis e lista de probabilidades associadas Valores possíveis: 0, 1/n, 2/n,..., (n-1)/n, n/n depende de n Probabilidades associadas: P(Y n = k/n) = P(X X n = k) = Binomial

18 LIMITE DE V.A. Seja Y n = (X X n )/n {Y n : n = 1, 2, } é uma sequência de v.a. s Y n não é independente de Y n+1 Se você me disser que Y 50 = 1/2 então eu sei que Y 51 terá de ser apenas um dos dois valores possíveis: 25/51 ou 26/51 Com que probabilidade isto vai ocorrer? Posso dizer que Y n converge para alguma coisa? Existe o limite ALEATÓRIO lim n Y n Ele vai ser um valor fixo, constante? Aleatório? Existe sempre?

19 CONVERGÊNCIA QUASE CERTA Almost sure convergence Vamos ver em que sentido diremos que {Y n : n = 1, 2, } converge quase certamente para a constante μ quando n Y n μ q.c. se P { lim n Y n μ } = 1 Para entender isto melhor, vamos voltar às moedas em sequência.

20 CONVERGÊNCIA QUASE CERTA Pense na sequência de potencialmente infinitos lançamentos da moeda honesta. Temos várias sequências onde a proporção de caras não converge para ½ quando n cresce. Por exemplo: 1,1,1,1,1,1,1,1,1,1,1,1,1,... 0,0,0,0,0,0,0,0,0,0,0,0,0,... 0,0,0,1,1,1,1,1,1,1,1,1,1,... 0,0,1,0,0,1,0,0,1,0,0,1,0,0,1,... 0,1,0,0,1,0,0,0,1,0,0,0,0,1,...

21 EPPUR SI MUOVE Temos infinitas sequências para as quais a proporção de caras não converge para ½ Todas as sequências são igualmente prováveis. Seja A = o conjunto de todas as sequências de 1 s e 0 s em que a proporção de caras não converge para ½ Podemos mostrar rigorosamente que P( A ) = 0!! A c = { sequências que convergem para ½ }. Então P( A c ) = 1 Temos Y n ½ q.c. pois P { lim n Y n 1/2 } = 1

22 WAIT JUST A LITTLE BIT LONGER

23 CONVERGÊNCIA QUASE CERTA Almost sure convergence, em inglês Deveria ser convergência certa (e não, quase certa) Afinal, P { lim n Y n 1/2 } = 1 Isto é, com probabilidade 1 (com certeza) teremos Y n 1/2 Mas e as infinitas sequências em Y n não converge para ½? Elas tem medida de probabilidade ZERO. São poucas demais, um infinitinho perto de todas as sequências possíveis.

24 CONVERGÊNCIA EM PROBABILIDADE Às vezes, não conseguimos provar que uma sequência aleatória converge quase certamente. Podemos provar um resultado mais fraco. Fixe um ϵ > 0 e bem pequeno. Seja A n = { sequências em que Y n - µ < ϵ } DEFINIÇÃO: Y n ½ em probabilidade se lim n P { A n } = 1 A diferença é que o limite passou para fora da probabilidade.

25 CONVERGÊNCIA Q.C. E EM PROBABILIDADE Convergência q.c.: Y n ½ q.c. se P { lim n Y n 1/2 } = 1 Convergência em probabilidade: Y n ½ em prob. se lim n P { Y n - ½ < ϵ} = 1 Se as v.a. s são i.i.d. então a v.a. X = (X 1 + X X n )/n converge quase certamente para µ = E(X i ) Isto é, com probabilidade 1, teremos X µ Esta é a Lei Forte dos Grandes Números, difícil de demonstrar

26 LEI FRACA DOS GRANDES NÚMEROS Se as v.a. s são i.i.d. então a v.a. X = (X 1 + X X n )/n converge EM PROBABILIDADE para µ = E(X i ) PROVA: Basta aplicar a desigualdade de Tchebyshev Seja σ = SD(X i ). Temos E( X) = E(X i ) = µ e Var( X) = Var(X i )/n = σ 2 /n Então, por Tchebyshev, P X μ > ε Var X = σ2 ε 2 nε2 0 quando n cresce Portanto, X converge EM PROBABILIDADE para µ = E(X i )

27 EXEMPLO DAS DUAS CONVERGÊNCIAS Se uma sequência converge q.c. então ela converge em probabilidade. O inverso pode não ocorrer Consider a sequence {X n } of independent random variables such that P(X n = 1)= 1/n and P(X n = 0)=1 P(X n = 0)=1 1/n. For ε<1, we have P( X n ε)= P(X n =1) = 1/n which converges to 0. Hence, X n 0 in probability. Since n P(X n = 1) = + and the events {X n = 1} are independent, the Borel- Cantelli theorem says that there will be infinite n s such that X n = 1. Hence the sequence {X n } doesn't converge to 0 almost surely.

28 TEOREMA CENTRAL DO LIMITE No caso de v.a. s i.i.d., com probabilidade 1, teremos X µ Para um n finito, X µ, usualmente. Qual o tamanho típico dessa diferença? Qual a distribuição de probabilidade dessa diferença? Como X-µ vai para zero, precisamos dar um zoom nesta diferença. De volta às moedas: X - 0.5

29 TCL Zoom é ampliar ( X-0.5) por um fator que envolve n O que acontece com g(n) * ( X-µ) Mostra-se que, se multiplicarmos ( X-µ) por menos que 2 n, teremos g(n) * ( X-µ) 0. Por exemplo: log(n)/ 2 n 0 Neste sentido, log(n) é menor que 2 n Temos log(n) * ( X - 0.5) 0

30 MENOS QUE 2 n LEVA A ZERO Multiplicando por log(n)^1.2 log(n)^2 também funciona (como nas moedas) mas demora Muito para convergir A zero.

31 TCL Se multiplicarmos ( X-µ) por mais que 2 n teremos que g(n) * ( X-µ) não vai convergir para nada Por exemplo: n/ 2 n Neste sentido, n é maior que 2 n Temos n * ( X - 0.5) não converge

32 MAIS 4 SIMULAÇÕES DE n * ( X - 0.5)

33 SIMULANDO 35 MIL MOEDAS Note a escala, de -200 a 200

34 BOXPLOTS DE 5000 SIMULAÇÕES, A CADA 1000*K

35 TCL 2 n ( X-0.5) converge para N(0, σ 2 = ¼ ) Convergência para uma v.a., não para um valor constante. Não podemos prever EXATAMENTE para onde vai 2 n ( X- ½ ) Mas podemos prever que: não será muito maior que 2σ = 1 não será muito menor que -2σ = -1 terá um formato gaussiano em torno de zero

36 2 n ( X-0.5) N(0, σ 2 = ¼ )

37 2 n ( X-0.5) N(0, σ 2 = ¼ ) Note como a sequência 2 n ( X-0.5) não converge para nenhum valor constante. Cada uma das linhas oscila em torno de zero mas não parece convergir para um valor fixo. Após 35 mil simulações não sabemos onde cada linha vai parar. O que acontece se dobrarmos o número de simulações?

38 COM 70 MIL LANÇAMENTOS DA MOEDA

39 COM 140 MIL LANÇAMENTOS DA MOEDA

40 SIMULANDO MAIS VEZES, ATÉ n=1000 APENAS

41 BOXPLOTS DE 5000 SIMULAÇÕES, A CADA 100*K

42 TCL O TCL é bem geral. Não precisamos lidar apenas com moedas. Sejam X 1, X 2,..., X n,... uma sequência de v.a.s i.i.d. com valor esperado E(X i ) = µ e variância Var(X i ) = σ 2 Então 2 n* ( X-µ) N(0, σ 2 ) em distribuição A distribuição de X i é arbitrária: discreta, contínua, assimétrica ou não. A convergência não é para uma constante. Pode nem existir convergência da sequência 2 n* ( X-µ) O que sabemos é que o número aleatório 2 n* ( X-µ) tem uma distribuição (cada vez mais) parecida com uma N(0, σ 2 )

43 TCL: CASO EM QUE X i ~ N(µ, σ 2 ) Seja X i ~ N(10, 4 2 ) Então 2 n* ( X-10) N(0, 4 2 )

44 VÁRIAS SIMULAÇÕES

45 O QUE SIGNIFICA 2 n* ( X-10) N(0, 4 2 )? Tome um tempo n qualquer Na figura, n= 4000 Olhe as várias simulações dos caminhos No tempo n=4000, qual a distribuição dos * ( X-10) no eixo vertical? Eles seguem uma N(0, 4 2 ).

46 HISTOGRAMA, 1000 VALORES DE *( X-10) Linha azul: Densidade da N(0,4 2 )

47 PROVA DO TCL Função geradora de momentos de v.a. X: M(t) = E(e tx ) Caso discreto: x e tx P(X = x) Caso contínuo: e tx f x dx Exemplos: Binomial: (1-p+pe t ) n Normal: exp(tµ+σ 2 t 2 /2)

48 EM RESUMO... X 1,..., X n são v.a. s i.i.d. com E(X i ) = µ e Var(X i ) = σ 2 X n = (X X n )/n DOIS resultados (teoremas limite) X n µ (v.a. X n converge para a constante µ) Lei dos Grandes Números 2 n ( X- µ) converge para N(0, σ 2 ) v.a. 2 n ( X- µ) converge para a v.a. N(0, σ 2 ) Teorema Central do Limite

49 MANIPULAÇÃO SIMPLES 2 n ( X- µ) converge para N(0, σ 2 ) 2 n ( X- µ) / σ converge para N(0, 1) ( X- µ) / (σ/ 2 n) converge para N(0, 1) Standard Error = SD/sqrt(n)

50 RELEMBRAR N(0,1) Densidade curva de sino Centrada em 0 Área concentrada entre -2 e 2 ( 95% da área entre -2 e 2)

51 TERMINOLOGIA O que é central, o limite ou o teorema? O teorema é central, está no centro dos principais resultados de probab. O limite não centra nada. Var(X n ) = σ 2 /n Standard Error = σ/ 2 n Distribuição da v.a. X n = sampling distribution

52 SLIDES DE PATRICK BREHENY USOS DO TCL

53

54 P( X > 230) =?? A distribuição do colesterol INDIVIDUAL não precisa ser gaussiana. Imagine que seja levemente assimétrica. X i = colesterol do indivíduo i Temos E(X i ) = µ = 211 Var(X i ) = σ 2 = 46 2 SD = 46 X 1,..., X n são v.a. s i.i.d. com E(X i ) = 211 e Var(X i ) = σ 2 = 46 2 Queremos P( X > 230) =??

55 P( X > 230) =?? Usar TCL. Sabemos que 2 n ( X- µ) converge para N(0, σ 2 ) OU AINDA ( X- µ) / (σ/ 2 n) N(0, 1) Truque: manipular X em P( X > 230) até que ( X- µ) / (σ/ 2 n) apareça Manipular SEM ALTERAR O EVENTO X > 230

56 P( X > 230) =?? n=25, µ = 211 e σ 2 = 46 2 P( X > 230) = P( X -211 > ) P( ( X -211)/(46/ 2 25) > ( )/(46/ 2 25) ) Isto é, P( X > 230) = P( ( X -211)/(46/ 2 25) > ) N(0,1)

57 P( X > 230) =?? P( X > 230) = P( ( X -211)/(46/ 2 25) > ) = P(Z > 2.065) Com Z ~ N(0,1), usamos o comando pnorm no R: pnorm(2.065) = = P(Z <= 2.065) Portanto, P(Z > 2.065) = 1 pnorm(2.065) = Leia os demais slides de Patrick Breheny (no site da disciplina)