Somas de variáveis independentes I: Lei dos. Grandes Números

Transcrição

1 Capítulo 4 Somas de variáveis idepedetes I: Lei dos Grades Números Nesse capítulo itroduziremos várias técicas e resultados que serão úteis em geral, mas que aparecem aturalmete o estudo da somas de variáveis aleatórias idepedetes, que por sua vez é um assuto de extrema importâcia em teoria e aplicações de probabilidade. 4. Covergêcia de variáveis aleatórias Ates de euciar qualquer teorema sobre covergêcia de variáveis aleatórias, temos que defiir o que isso sigifica. E facil de se dar cota que o cojuto H de variáveis aleatórias em um dado espaço de probabilidade e um R (o C) espaço vectorial pelas operações usuais de soma e multiplicação por um escalar. Mas como jà reparamos que a maioria das propriedades que podemos provar so valem quase certamete, e mais razoável de trabalhar com o espaço quociete L 0 = H/H 0, ode H 0 e o cojuto das variáveis que valem 0 quase certamete. Com um certo abuso de liguagem, agora quado falamos de variável aleatória cosideramos um elemeto do espaço L Espaços L p (P) Dado p arbitrário, cosideramos L p (P) o espaço quociete associado as variáveis tais que X p e itegrável. Neste espaço reparamos que 49

2 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS X p := (E [ X p ]) /p. defie uma orma (a desigualdade triagular e simplesmete a desigualdade de Mikovski, e a positividade segue da ossa operação quociete). Defiição 4... Seja (X ) uma sequecia de variáveis aleatórias. Falaremos que uma sequêcia de variáveis X coverge para X em L p se X L p para todos e que a sequecia coverge pela topologia associada a orma p, o de jeito equivalete se lim E[ X X p ] = 0. (4.) Observação 4... Do mesmo jeito podemos defiir covergêcia em L o espaço de variável associado a orma mas acaba sedo muito meos útil. X := mi{t : P[X > t] = 0} Exercício Se X e uma variável positiva, mostra que X L p equivale a x k F X (x)dx <, ode X e a fução acumulada de distribuição. Mostre uma fórmula aáloga à da Proposição Exercício Seja X uma variável aleatória e q > p verificar que se X L q etão X L p e X p X q. Cocluir que covergêcia em L p implica covergêcia em L q. Exercício Seja (X ) e uma sequêcia que coverge em L p para p. Mostrar que lim E[ X p ] = E[ X p ], e que lim E[X ] = E[X]. Essas covergêcias são uteis em pratica as computações mas ão são as mais aturais a cosiderar do poto de vista probabilístico Covergêcia em probabilidade Defiição Seja (X ) uma sequecia de variáveis aleatórias. Falaremos que uma sequêcia de variáveis X coverge para X em probabilidade se para qualquer ε > 0 lim P[ X X > ε] = 0. (4.2) Proposição A covergêcia em probabilidade é a covergêcia iduzida pela métrica defiida em L 0 for Demostração. Exercicio. d(x, Y) = E[max( X Y, )] (4.3) Observação Nota que essa oção de covergêcia em L p para qualquer p > implica covergêcia em probabilidade. Pela desigualdade de Markov temos lim P[ X X > ε] ε p P[ X X p ] (4.4) 50

3 4.. CONVERGÊNCIA DE VARIÁVEIS ALEATÓRIAS 4..3 Covergêcia quase certamete Falamos que X coverge quase certamete par X se existe Ω Ω de probabilidade tal que para todos ω Ω lim X (ω) = X(ω). (4.5) O limite e úico em L 0. Nota que covergêcia quase certamete de uma sequêcia implica covergêcia em probabilidade (com o mesmo limite). Essa oção de covergêcia parece a mais atural mas vale a pea de reparar que ao cotrario das outras, ão correspode a uma topologia. Isso e evideciado pelo fato seguite. Proposição Se uma sequêcia X coverge em probabilidade por X, etão existe uma subsequecia que coverge quase certamete. Demostração. Extraímos uma subsequêcia tal que P( X (k) X k ) k 2. Pelo Lemma de Borel-Catelli aplicado ao eveto A k = [ X (k) X k ] podemos cocluir que A k ão acotece ifiitas vezes, e etão que com probabilidade lim k X (k)(ω) = X(ω). Observação Observamos que uma cosequêcia deste fato é que para usar teorema de covergêcia domiada, só precisaremos de ter uma sequêcia covergido em probabilidade. Exercício Seja (X ) variaveis de Berouilli idepedes de parametro /. Mostra que X coverge em probabilidade para 0 mas que ão coverge quase certamete. Mostra que X 2 coverge para 0 quase certamete. Exercício Seja (X ) e uma sequêcia de variáveis em L p (p ) que coverge em probabilidade para X L p. Mostrar que lim E[ X p ] E[ X p ] Itegrabilidade uiforme Vimos que covergêcia em L implica covergêcia em probabilidade. O cotrario e claramete falso, como se pode ver com a sequêcia de variáveis X := {ω [0, ]}, 5

4 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS ode Ω = [0, ] e P = U([0, ]) que coverge quase certamete para 0 mas ão coverge em L (Por exemplo E[ X ] = ) A razão da ausêcia de covergêcia aqui e uma cocetração da esperaça de X (poderia ser também só uma parte dela) em um eveto cada vez meor do espaço de probabilidade ([0, ]), que ão aparece o limite. Em cosequêcia temos uma parte da orma L que se perde o limite (cf. Exercício 4..4) e temos lim E[X ]). Uma sequêcia de variáveis em L que ão tem este tipo de comportameto se chama uiformemete itegrável. Defiição Uma coleção de variáveis aleatórias (X i ) i I e chamada uiformemete itegrável se para qualquer ε > 0, existe M > 0 tal que para todo i I E[ X i [ Xi >M]] < ε. (4.6) Exemplo (a) A coleção {X} que cotem só um elemeto X L, é uiformemete itegrável (e uma cosequêcia trivial do teorema de covergêcia domiada). (b) Qualquer coleção fiita de variáveis em L é uiformemete itegrável. (c) A bola uidade (o qualquer cojuto limitado) em L p, p > e uiformemete itegrável. (temos E[ X [ X >M] ] M p E[ X p [ X >M] ] E[ X ]) Vamos agora ver uma caracterização alterativa da uiforme itegrabilidade que justifica o ome é a seguite. Proposição Uma coleção de variáveis aleatórias (X i ) i I e uiformemete itegrável se e só se sup i I E[ X i ] < e para qualquer ε existe δ tal que para todos evetos A com P(A) < δ e todo i I E[ X i A ] < ε. (4.7) Demostração. Se a sequêcia for uiformemete itegrável, dado ε > 0 podemos achar M > 0 tal que para todo i Em particular Agora escolhemos δ = ε/(2m). Se P(A) < δ temos E[ X i [ Xi >M]] < ε/2. (4.8) sup E[ X i ] M + ε/2. (4.9) i I E[ X i A ] = E[ X i A [ Xi M]] + E[ X i A [ Xi >M]] MP(A [ X i M]) + E[ X i [ Xi >M]] Mδ + ε/2 ε. (4.0) Reciprocamete se sup E[ X i ] = C <, i I 52

5 4.. CONVERGÊNCIA DE VARIÁVEIS ALEATÓRIAS por desigualdade de Markov temos P[ X i > M] C M. Etão dado ε > 0, e δ tal que (4.7) vale, podemos cocluir escolhedo M = Cδ que E[ X i [ Xi >M]] ε. Essa oção permite de deduzir covergêcia em L de covergêcia em probabilidade. Teorema Seja X uma sequêcia de variáveis aleatórias que coverge em probabilidade para X. As seguites propriedades são equivaletes (i) X coverge em L para X. (ii) (X ) e uiformemete itegrável. Demostração. Mostramos primeiro que (i) implica (ii). Primeiro a covergêcia implica que dado ε > 0 podemos achar N tal que N implica E[ X X N ] ε/2. Agora, o cojuto {X,..., X N } sedo uiformemete itegrável, existe δ tal que que se P(A) < δ {,..., N}, E[ X A ] ε/2. Para N e P(A) < δ, temos E[ X A ] E[ X N A ] + E[ X X N A ] ε. Agora provamos que (ii) implica (i). Notamos se (X ) e uiformemete itegrável etão X L. Usado Fatou temos Agora reparamos que E[ X ] lim if E[ X ] < (4.) E[ X X ] = E[ X X X X ε] + E[ X X [ X X >ε]] E[ X [ X X >ε]] + E[ X [ X X >ε]]. O primeiro termo e obviamete meor que ε. Agora por cosequêcia da covergêcia em probabilidade, a probabilidade de [ X X > ε] vai para zero. Por covergêcia domiada, isso implica que E[ X [ X X >ε]] ε para grade suficiete. Agora usado itegrabilidade uiforme, temos que se P(A) < δ para δ pequeo suficiete, E[ X A ] < ε, para qualquer. Como P[ X X > ε] < δ para grade suficiete E[ X [ X X >ε]] < ε o que permite cocluir. 53

6 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Podemos em particular deduzir uma versão reforçada do Teorema de Covergêcia domiada Corolário Se X é uma sequêcia uiformemete itegrável que coverge para X em probabilidade etão lim E[X ] = E[X]. Demostração. Exercício. 54

7 TÓPICO: ESPAÇOS L Q SÃO COMPLETOS PARA P {0} [, ) Tópico: Espaços L q são completos para p {0} [, ). Completude de L 0 Teorema Dado (Ω, F, P) um espaço de probabilidade. O espaço L 0 (P) equipado com a métrica da covergêcia em probabilidade (4.3) e completo. Demostração. Seja (X ) 0 uma sequêcia de Cauchy em L 0. Podemos extrair ma subsequêcia Y k = X (k) tal que sup d(y k, Y k+ ) 4 k. (4.2) m>k Em particular temos usado a desigualdade de Markov, temos P( Y k Y k+ 2 k ) 2 k. (4.3) Pelo Lemma de Borel-Catelli, obtemos que a sequêcia Y k = Y + k =2 (Y k Y k ), coverge q.c. Chamamos X a variável obtida o limite (vista com elemeto de L 0 ). Claramete Y k coverge em probabilidade por X, mas usado a desigualdade triagular obtemos que d(x, X) d(y, X ) + d(y, X). A sequêcia (X ) sedo de Cauchy o primeiro coverge para zero e cocluímos que X coverge para X em probabilidade. Completude de L p, p Teorema Dado (Ω, F, P) um espaço de probabilidade. O espaço ormado L p (P) (4.3) e completo para p. Demostração. Seja (X ) 0 uma sequêcia de Cauchy em L q. Como o caso aterior só precisamos de achar uma subsequêcia que coverge para poder cocluir. Como (X ) 0 e de Cauchy em L p, podemos extrair uma sequêcia (Y k ) k que coverge quase certamete por uma variável X. Extraido de ove se for ecessário, podemos assumir que (com a coveçao Y 0 = 0). Y k Y k p <. k 55

8 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Por covergêcia moótoa e desigualdade triagular podemos cocluir que Z = k Y k Y k é um elemeto de L p. Agora podemos reparar que Z p domia a sequêcia (Y p k ) k. Pois por covergêcia domiada podemos cocluir que X = k Y k Y k pertecia a L p e que E[ X Y k p ] coverge para 0. Cocluimos observado que por desigualdade triagular temos lim X X p lim X Y k p + lim lim k X Y p = 0 ode o segudo limite vale zero por que X é de Cauchy. Observação Não faláramos ada a respeito do caso L mas a demostração e muito mais fácil este caso. Pode se verificar em particular que covergêcia em L implica covergêcia quase certamete. Observações sob compacidade em espaços L p Proposição 4... Seja p < q A L q (P), etão se A e pre-compacto (o fecho topológico e compacto) em L 0 (P) e limitado em L q (P), etão e pre-compacto em L p (P). Uma cosequêcia importate deste resultado e a seguite Corolário Se (X ) coverge em L 0 (P) e é limitada em L q (P), q > etão ela coverge (pelo mesmo limite) em L p (P) para p [, q). Demostração. Por A ser pre-compacto em L 0, toda sequêcia (X ) em A admite uma subsequêcia (Y k ) k covergete em L 0. Para cocluir temos que verificar que a covergêcia ocorre também em L p. Por isso, e suficiete de mostrar que a sequêcia é de Cauchy. Cosideramos ε > 0 arbitrário. Temos para qualquer K > 0 [ ] [ ] E [ Y k Y l p ] = E Y k Y l p { Yk Y l p K} + E Y k Y l p { Yk Y l p K}. (4.4) Pelo segudo termo observamos que E [ ] Y k Y l p { Yk Y l p K} K p q E [ Y k Y l q ] 2 q K p q max E[ X q ] (4.5) Se K for grade suficiete, este termo e meos que ε/2. Por covergêcia domiada, se k e l forem grade suficiete (de um jeito que depede de K), temos E [ ] Y k Y l p { Yk Y l p K} ε/2. (4.6) 56

9 4.2. VARIÂNCIA 4.2 Variâcia Usado desigualdade de Markov podemos reparar que para qualquer X L p P[ X x] = P[ X p x p ] E( X p ) x p, para quaisquer k. (4.7) Um caso particularmete útil para aplicar esse tipo de desigualdade e o caso L 2. Isso por que L 2 e equipado de uma estrutura atural de espaço de Hilbert, pois por que este espaço, idepedêcia e relacioado a ortogoalidade Defiição Digamos que estamos iteressados em aproximar uma variável aleatória por uma costate de forma a miimizar o erro da aproximação. Uma possível formulação desse problema é ecotrar a de forma a miimizar ( E (X a) 2) = E(X 2 ) 2aE(X) + a 2. (4.8) Essa equação obviamete possui um úico míimo em a = E(X). Ao erro da aproximação acima damos o ome de variâcia. Correspode a distacia quadrada ao subespaço das costates o espaço L 2. Defiição Dada uma variável aleatória X L 2, defiimos sua variâcia como ( (X ) ) 2 Var(X) = E E(X) = E(X 2 ) E(X) 2. (4.9) Podemos alterativamete eteder a variâcia da seguite maeira. Sejam X e Y variáveis aleatórias idepedetes em L 2 de mesma distribuição. Etão, 2 E( (X Y) 2) = [ ] E(X 2 ) 2E(XY) + E(X 2 ) = E(X 2 ) E(X) 2 = Var(X). 2 (4.20) Proposição (Propriedades básica da variaça). Observe pelas defiições alterativas dadas acima que a) Var(X) 0. b) Se a, b R Var(aX + b) = a 2 Var(X). c) Mostre que se X L 2, etão Var(X) = 0 se e somete se X = a quase certamete. Demostração. Exercício. Exercício Calcule Var(X) quado X tem distribuições Ber(p), U[0, ] ou Exp(λ). 57

10 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS A seguite aplicação da propridade de Markov usa a variâcia para estimar o quato uma variável aleatória se desvia de sua média. Proposição (Desigualdade de Chebychev). Se X L 2 e a > 0, etão P[ X E(X) > a] Var(X) a 2. (4.2) Demostração. A desigualdade segue trivialmete da cota de Markov, ao observarmos que a) X E(X) 0. b) X E(X) > a se e somete se X E(X) 2 > a 2. c) E ( X E(X) 2) = E ( (X E(X)) 2) = Var(X). Isso demostra a proposição Variaça, Soma e Idepedêcia Para variáveis aleatórias de média zero, a variâcia ada mais é que E(X 2 ), ou em outras palavras X 2 2, o quadrado de sua orma em L2. Isso os motiva a olhar mais de perto para o produto itero em L 2, que se traduz a E(XY). Mas para ão os restrigirmos a variáveis de média zero, itroduzimos a seguite oção. Defiição Se X, Y são variáveis em L 2, defiimos Cov(X, Y) = E( (X E(X) )( Y E(Y) ) ) = E(XY) E(X)E(Y). (4.22) O requerimeto X, Y em L 2 implica que a covariaça e bem defiida. De jeito mais preciso temos (como cosequêcia da desigualdade de Cauchy Schwartz) Cov(X, Y) 2 Var(X) Var(Y). (4.23) Uma observação importate e a seguite. Proposição Se X e Y em L 2 são idepedetes, etão Cov(X, Y) = 0. Demostração. É uma cosequêcia da Proposição Exercício Sejam X e X 2 as coordeadas caôicas em R 2. Já vimos que elas ão são idepedetes sob a distribuição U S. Mostre que mesmo assim temos Cov(X, X 2 ) = 0. Cosiderado a covariaça como um produto itero, podemos deduzir a seguite formula para variaça da soma. 58

11 4.2. VARIÂNCIA Proposição Se X,..., X são variáveis em L 2, etão Var(X + + X ) = i= Var(X i ) + 2 Cov(X i, X j ). (4.24) i<j Em particular, se as variáveis X i forem idepedetes duas a duas, etão Var(X + + X ) = Demostração. Basta fazer o tedioso desevolvimeto ( ) (( ( )) 2 ) Var X i = E X i E X i i= i= i= Var(X i ). (4.25) i= (( ) 2 ) = E X i E(X i ) i= (4.26) = E ( X i E(X i ) ) E ( X j E(X j ) ), i,j= o que termia a prova ao separarmos i = j de i = j. Exercício Calcule Var(X) quado X d Bi(, p). Exercício Calcule E(X) quado X d Geo(p). Um dito popular muito comum o Brasil é que ão devemos deixar todos os ovos o mesmo cesto, o que os remete à possibilidade de perdermos todos eles caso o cesto caia. Uma outra maeira de pesar as vatages de se dividir ossos riscos etre várias fotes idepedetes de icerteza, vem da equação (4.25), melhor explicada o exercício abaixo. Exercício Imagie que X,..., X são variáveis i.i.d., tomado valores em [0, ] e que temos um certo valor s R + que temos que guardar em caixas (dividido como quisermos em s,..., s ). Ao fim da semaa, obteremos S = i= s ix i. Calcule E(S) e Var(S) os dois casos seguite: a) s = s e s i = 0 para todo i 2. b) s i = s/ para todo i. Compare os resultados. Exercício Calcule lim p 0 F p (x) ode F p é a fução de distribuição acumulada de px p com X p d Geo(p). Você recohece esse limite? 59

12 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS 4.3 Lei fraca dos grades úmeros Nessa seção iremos mostrar um dos resultados mais importates da Teoria da Probabilidade. O que ossa ituição tem a os dizer sobre a probabilidade de obtermos um resultado em um dado é /6? Uma possível explicação seria por simetria, mas e o que podemos dizer o caso de um dado viciado? Se dizemos a alguém que a probabilidade de obter 6 em um certo dado é /0, aturalmete a pessoa pode se pergutar como descobrimos isso. Um bom jeito de obter tal medida seria jogar o dado várias vezes idepedetemete e calcular em qual proporção dos esaios ele retorou um seis. O objetivo desta seção é cofirmar a validade desse experimeto de maeira quatitativa. Teorema Cosiderado X, X 2,... são i.i.d.s em L 2 (P), defiimos Para todo ε > 0 Ou seja, S S = X i. (4.27) i= [ lim P S ] E(X ) > ε = 0. (4.28) E(X ) em probabilidade. Demostração. Sabemos que [ S ] P E(X ) > ε Var( S ) ε 2, (4.29) pois E(S /) = (/)E(X + + X ) = E(X ). Mas como Var(S /) = (/ 2 ) Var(X + + X ) = (/ 2 ) Var(X ), temos o resultado. Observação Observe que ós apeas utilizamos que as variáveis X i eram idepedetes duas a duas. Isso e suficiete para mostrar que S / coverge em L 2 e em cosequêcia coverge em probabilidade. Além disso, obtivemos o seguite resultado quatitativo que vale mesmo para valores fiitos de : Escólio Se X, X 2,... são i.i.d.s em L 2 e defiimos S = i= X i como acima, etão, para todo ε > 0 e, temos [ S ] P E(X ) > ε Var(X ) ε 2. (4.30) Corolário Se A, A 2,... são evetos idepedetes dois a dois com P(A i ) = p [0, ] para todo i, etão [ lim P #{i ; ω A i } 60 ] p > ε = 0, (4.3)

13 4.3. LEI FRACA DOS GRANDES NÚMEROS ou em outras palavras a proporção de esaios ode o eveto A i ocorre coverge em probabilidade para p. Demostração. Basta tomar X i = Ai o Teorema Exercício Sejam (X i ) i variáveis i.i.d. com distribuição Ber(p), p [0, ]. Mostre que N lim N N X i X i+ = p 2, em probabilidade. (4.32) i= Exercício Sejam X,..., X e Y,..., Y variáveis idepedetes com distribuição Ber(p). Defia agora Z i,j = X i Y j, para i, j {,..., }. a) Calcule a esperaça de S = 2 i= j= Z i,j. b) Estime P[ S E(S ) > a] usado o método do segudo mometo. Como esse resultado se compara com o caso em que os Z i,j são i.i.d.? Exercício Cosidere uma rua ifiita com casas i Z. Para todo i Z, existia uma rua etre as casas i e i +, mas após uma grade tempestade essas ruas foram daificadas. Mais precisamete, para cada i Z, temos variáveis aleatórias X i que são i.i.d. com distribuição Ber(p), ode X i = idica que o trecho da rua etre as casas i e i + foi daificado e ão pode ser utilizado. Defia, para i Z, R i como sedo o úmero de casas que cotiuaram acessíveis à casa i após a tempestade. Por exemplo, se X 2 e X 0 = e X = 0, temos que a casa 0 somete pode acessar a casa, logo R 0 =. Nesse cotexto, a) Calcule a distribuição e a esperaça de R 0, b) Use o método do segudo mometo para estimar a probabilidade [ P i= ] R i E(R 0 ) > a. (4.33) 6

14 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Tópico: Cotado triâgulos Vimos como a Lei Fraca dos Grades Números seguiu de uma estimativa de segudo mometo (mais precisamete usado a variâcia). Nessa seção iremos mostrar como esse método é mais geral, se aplicado mesmo em situações ode as variáveis ão são ecessariamete idepedetes duas a duas. Seja V = {,..., } com 3 e E = { {x, y} V ; x = y }. Chamamos o par (V, E ) de grafo completo em vértices. Defiimos em um certo espaço de probabilidade P, as variáveis aleatórias (X e ) e E de maeira i.i.d. com distribuição Ber(p), ode p [0, ]. Essas variáveis iduzem um subgrafo aleatório (V, E ), ode Dizemos que os elos e, tais que X e = são abertos. Defiimos esse espaço a variável aleatória E = { e E : X e = }. (4.34) T = # { triâgulos em (V, E ) }. (4.35) Essa variável claramete pode ser escrita como T = A{x,y,z}, (4.36) x,y,z V distitos ode A {x,y,z} = [ {x,y,z} formam um triâgulo em (V, E ) ]. Gostaríamos de eteder algo sobre a distribuição de T e começamos calculado E (T ) = {x,y,z} distitos ( ) = p 3 = 3 P (A {x,y,z} ) ( )( 2) p 3. 6 Logo, P[T > a] ( )( 2)p 3 /6a. Mais aida, (4.37) E (T 2 ) = {x,y,z} distitos {x,y,z } distitos P (A {x,y,z} A {x,y,z }) ( )( ) ( )( )( ) ( )( )( ) ( = p 6 + p 6 + p }{{}}{{}}{{} todos distitos -comum 2 em comum ) p 3 }{{} iguais (4.38) Dode Var (T ) = 36 6 p p 6 + c 5 p c( 5 p p 3 ), (4.39) para todos p [0, ] e se escolhemos bem a costate c > 0. 62

15 TÓPICO: CONTANDO TRIÂNGULOS Isso os permite por exemplo estimar o que acotece em algus regimes, como por exemplo, se p = /2, etão E (T ) = ( )( 2), (4.40) 48 que cresce como 3, e Var (T ) c 5, logo P [ T E (T ) > ε 3] Var (T ) ε 2 6 c ε 2. (4.4) 63

16 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS 4.4 Lei forte dos grades úmeros Teorema 4.4. (Lei Forte dos Grades Números). Sejam X, X 2,... i.i.d. em L, com m = E(X ). Etão, lim X = m, P-quase certamete. (4.42) i= Começamos com uma prova do teorema o caso simples ode as variáveis estão em L 4, que providecia um exemplo de uso do metodo dos mometos. Demostração o caso L 4. Podemos supor que E(X i ) = 0 (se ão for o caso, cosidera Y i = X i E(X i )). Podemos calcular o mometo de ordem 4 da soma expadido ela Temos ( E i= ) 4 X = 4 E[X i X i2 X i3 X i4 ]. i,i 2,i 3,i 4 = Pois usado idepedêcia, e E(X i ) = 0 vemos que so os termos ode os X k apparecem pelo meos duas vezes ão são ulos e etão que a soma acima vale Etão temos ( ) 4 E(X 4) 3( )E(X2 ) C 2. = Usado Fubii e equivalete a E ( E = ( E em particular que quase certamete i= i= ) 4 X <. (4.43) ) 4 X <. (4.44) ( ) 4 X <. (4.45) = i= Observação Se as variáveis são positivas quase-certamete, etão, usado o resultado para mi(x, M) e o limite M podemos cocluir que i= X i vai para ifiito quase certamete. Se as variáveis ão são itegráveis, etão podemos cocluir que i= X i ão coverge quase certamete. E uma cosequêcia do resultado seguite 64

17 4.4. LEI FORTE DOS GRANDES NÚMEROS Proposição Se (X ) e uma sequêcia de variáveis IID com X / L etão quase-certamete X lim sup =. (4.46) Demostração. Temos para qualquer M > 0 E[ X ] = 0 P[X x]dx =0 0 (+)M M Em particular se X / L a soma a direita e ifiita. P[X x]dx ( ) M + P[X M]. Agora defiimos o eveto A := [X M]. Os A são idepedete e Como temos P(A ) = P[X M] =. { X lim sup } { M k k } A, podemos cocluir usado o Lema de Borel-Catelli. [ ] [ ] X P lim sup M P A =. Como M e arbitrário podemos cocluir. k k 4.4. Demostração da Lei Fortes dos Grades Números Vamos provar que para todo a > E[X ] temos quase certamete ode S := i= X i, S 0 = 0. A desigualdade (4.47) implica que M := sup S a < (4.47) 0 lim sup 0 S a, S e como a pode ser arbitrariamete perto de E[X ], lim sup 0 E[X ]. A S cota iferior lim if 0 E[X ], pode ser obtida de jeito aalogo usado a desigualdade (4.47) para S (que também e uma soma de variáveis IID). 65

18 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Agora cosideramos a fixo. Uma primeira coisa que podemos verificar e que coicide para qualquer k N temos {M < } = {sup k S a < } = {sup S S k a} k Em particular {M < } σ(x k+, X k+2,... ) para k arbitrário, e por etato pertecia a σ álgebra caudal. Em cosequêcia da lei do {0, }, temos P[M < ] {0, } e fica suficiete de provar P[M < ] > 0 o de jeito equivalete P[M = ] <. Vamos prosseguir por cotradição. Defiimos M k := max k (S a) M k := max k (S + S a) Essas duas sequêcias tem a mesma distribuição: Existe uma fução F tal que M k = F(X,..., X k ) e M k = F(X 2,..., X k+ ) e os vetores (X,..., X k ) e (X 2,..., X k+ ) tem a mesma distribuição. As sequêcias covergem de jeito crescete para M e M respetivamete que são também ideticamete distribuída (observe que P(M x) = lim k P(M k x)). Usado as defiições temos M k+ = max(0, M k + X a) = M k mi(m k, a X ). Usado o fato que M k e M k tem mesma distribuição obtemos E[mi(M k, a X )] = E[M k ] E[M k+] = E[M k M k+ ] 0. Usado o teorema de covergêcia domiada, (0 mi(m k, a X ) X a ) obtemos que E[mi(M, a X )] 0. Agora para cocluir, se tivermos P(M = ) = P(M = ) =, implicaria E[a X ] 0, o que e impossível com a ossa escolha de a. Exercício (Depede de Tópico: Percolação). Cosidere o grafo G = (Z 2, E), ode E = { {x, y}; x y = }. Dotamos agora o espaço {0, } E com a σ-álgebra A gerada pelas projeções caôicas Y e (ω) = ω(e), ode ω {0, } E e e E. Defiimos o cojuto A {0, } E por A = [ Existe uma sequêcia (xi ) i 0 de elemetos distitos de Z 2, tais que e i = {x i, x i+ } E e Y ei = para cada i 0 ]. (4.48) a) Mostre que A é mesurável com respeito a A. 66

19 4.4. LEI FORTE DOS GRANDES NÚMEROS b) Mostre que A é um eveto caudal, ou seja A σ ( Y e ; e K ). (4.49) c) Coclua que P(A) {0, }. {K E, K fiito} Exercício Seja Ω = E Z um espaço produto ifiito, dotado da σ-álgebra A gerada pelas projeções caôicas (X i ) i Z. Cosideramos agora em (Ω, A) a medida produto P = P Z, ode P é uma probabilidade fixada o espaço poloês (E, B(E)). a) Mostre que para qualquer eveto A A e qualquer ε > 0, existe um k Z + e um eveto A k σ(x i, i k) tais que P[(A \ A k ) (A k \ A)] < ε. b) Cosidere o shift θ : Ω Ω dado por θ(ω)(i) = ω(i ) e mostre que se A = θ(a), etão P(A) {0, } Lei dos grades úmeros em L Acabamos de provar covergêcia das somas de variáveis idepedetes o setido quase certo. Vamos ver agora que a covergêcia ocorre também em L. Teorema Se (X ) 0 é uma sequêcia de variáveis idepedetes e de mesma distribuição com X L etão em L. lim X k = E[X] k= Demostração. Já sabemos que a covergêcia ocorre quase certamete e por cosequêcia em probabilidade. Para cocluir, só precisamos mostrar que a sequêcia e uiformemete itegrável usado Teorema Usamos a otação S = k= X k. Temos E[ S [ S M]] E[X i [ S M]] E[X [ S M]]. (4.50) i= Usado a desigualdade de Markov temos que P[ S M] E[ S ] M E[ X ]/M. Em particular o termo a direita em (4.50) vai para zero quado M o que permite cocluir. Exercício Mostrar que se X L q, q > etão a covergêcia a lei dos grades úmeros vale também em L p para todos p [, q). Observação Na verdade a lei dos grades úmeros vale em L p desde que X L p mas a demostração deste ultimo poto e mais delicada. 67

20 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Tópico: Covergêcia de series aleatórias, Teoremas de Uma, Duas e Três séries de Kolmogorov Um criterio geral básico Sejà X,..., X uma sequecia de variáveis aleatórias. Queremos ter uma codição suficiete para a covergêcia de S := X i. (4.5) i= Uma cosequêcia do Teorema de Covergêcia Domiada e que Lema Se (X ) N e uma sequecia de variáveis aleatórias itegráveis tal que = E[ X ] <, etão = X i e itegrável. Em particular a suma coverge quase certamete. O objetivo desse tópico e de presetar us critérios mais eficaz o caso de soma de variáveis idepedete. Caso de variáveis idepedetes: Os resultados Vamos começar com um exemplo para ilustrar o caso: Cosideramos (ε ) uma sequecia de siais aleatórios: são variáveis idepedete cuja distribuição e dada por P[ε = ±] = /2. Queremos saber para quais valor de p a soma = ε p coverge. E bastate fácil reparar (podemos por exemple usar o critério precedete) que temos covergêcia para p >. O objetivo dos resultados que presetamos agora e de poder achar uma codição ecessária e suficiete sobre o valor de p para ter covergêcia. E difícil ter uma ituição do resultado: sabemos que = p diverge para todo p (0, ) mas também que = ( ) p coverge (a seria satisfaz o teste da série alterada). Uma cosequêcia dos resultados presetado abaixo e que o caso de siais aleatórios, a covergêcia ocorre se p > /2 (veremos mais tarde que esse resultado e o melhor possível). Teorema (Uma serie). Sejà (X i ) i N uma sequecia de variáveis idepedete tal que E[X i ] = 0 para todo i, e que satisfaz também Var X i <. i= 68

21 TÓPICO:SÉRIES DE KOLMOGOROV Temos etão P [ X i coverge i= ] =. (4.52) Teorema (Duas Series). Sejà (X i ) i N uma sequecia de variáveis idepedete satisfaz Var X i <. Temos etão P[ i= X i coverge ] = i= { se i= E[X i] coverge, 0 se i= E[X i] ão coverge. (4.53) As vezes a variâcia pode ão ser um bom criterio para avaliar covergêcia: Var(X i ) pode ser grade por causa de um eveto que acotece com pouca probabilidade. O teorema seguite permite de tratar us desses casos: dado um real positivo c > 0, defiimos X c i = X i { Xi c} = { X i se X i c, 0 o caso cotrário. Chamamos essas variáveis aleatórias as variâveis trocadas. (4.54) Teorema (Tres Series). Sejam c > 0 um real positivo e (X i ) i N uma sequecia de variáveis idepedete que satisfaz (i) i= P[ X i > c] <, (ii) i= E[Xc i ] <, (iii) i= Var Xc i <. Etão P[ i= X i coverge ] = Exercício Mostrar que para uma sequecia de variáveis idepedete X = (X i ) i N, com as otaçoes do teorema acíma, c > 0, Xverifica (i) (ii) (iii) c > 0, Xverifica (i) (ii) (iii). Os segudo a terceiro resultado são cosequecia relativamete simples do primeiro. Vamos dar uma prova deles logo 69

22 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Prova to Teorema de Duas Series. Defiimos Z i = X i E[X i ] e usado o Teorema de Uma Serie, cocluimos que i= Z i coverge com probabilidade. Pois usado propriedades basicas de limites, vemos que X i = i= i= Z i + i= E[X i ] coverge se e sò se a seguda sequêcia coverge. Prova to Teorema de Tres Series. Essa vez defiimos Y i := X i { Xi >c} Temos X i = i= X c i + Y i (4.55) i= i= Usado o Teorema de Duas Series para Xi c, jà podemos dizer que o primeiro termo coverge com probabilidade. Pelo segudo termo, temos e etão pelo Lemma de Borel Catelli, o que permite de cocluir. P[Y i = 0] = P[X i > c] <, (4.56) i= i= P[Y i = 0 ifiitas vezes] = 0. Exercício Sejam α, β, γ tres umeros reais positívos e (X ) N variáveis idepedetes com distribuição P[X = ] = ( 2 + α β), 4 P[X = ] = 4 (2 α β) (4.57) P[X = ] = 2 β. Discute da covergêcia da serie seguite em fução do valor de α, β e γ A desigualdade de Kolmogorov γ X. (4.58) = Para provar o Teorema, vamos precisar de uma ferameta util tambem em outro cotexto. E uma versão mais forte de desigualdade de Chebychev. 70

23 TÓPICO:SÉRIES DE KOLMOGOROV Teorema (Desigualdade de Kolmogorov). Supohamos que X i são variáveis idepedete tal que Var X i < para todos i. Etão temos P[ max k S k E[S k ] > ε] Var S ε 2. (4.59) Demostração. Susbstituido X i por X i E[X i ] se for ecessário, podemos supor que a esperaça das variáveis vale zero. Vamos decompor o eveto { } max S k > ε k com respeito ao primeiro valor de k por qual S k > ε. E := { S ε}, E k := { S < ε;... ; S k < ε ; S k ε}, 2 k. (4.60) Obviamete temos { } max S k > ε = k A uião sedo disjuta temos ( ) P max S k > ε k E i. i= P(E i ) i= Vamos poder cocluir a prova se mostramos para todo k Isso implica que [ ] S 2 E i ε i= 2 E i. (4.6) E[S 2 k E k ] E[S 2 Ek ]. (4.62) [ ] [ ] S 2 E i ε i= 2 S E i 2 E ε 2 Ei = Var(S ) ε i= 2. (4.63) Para mostrar (4.62), defiimos Δ k, = S S k. Temos E[S 2 Ek ] = E[(S k + Δ k, ) 2 Ek ] = E[S 2 k E k ] + 2E[Δ k, S k Ek ] + E[Δ 2 k, E k ]. (4.64) O terceiro termo e obviamete positivo, etão podemos cocluir se mostramos que E[Δ k, S k Ek ] = 0. Lembramos que S k Ek e uma fuções das k primeiras variáveis e Δ k, so depede das outras k S k Ek = f (X,..., X k ) e Δ k, = g(x k+,..., X ), (4.65) Como os X i são idepedete, cocluímos que S k Ek e Δ k, o são, e etão E[Δ k, S k Ek ] = E[Δ,k S k Ek ] = E[Δ,k ]E[S k Ek ] = 0. (4.66) 7

24 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Prova to Teorema de Uma Serie Uma cosequêcia imediata da desigualdade de Kolmogorov e que se i= Var X i < e E[X i ] = 0 P [ N, S A] i= Var X i A 2. E obtida simplesmete pegado o limite quado vai para ifiito da desigualdade. Vamos applicar essa formula pelo resto da soma. Defiimos k do jeito seguite { k := if i= Aplicado a desigualdade de Kolmogorov temos [ ] P r r k, X i 2 k i= k Etão pelo Lema de Borel-Catelli, [ P k 0 k k 0, r k, Agora ota que o eveto implica Var X i } < 2 3k. (4.67) r X i i= k r 2 k. { k 0 k k 0, r k, X i 2 k } i= k k k 0, m, p k, S m S p 2 k+. ] 2 k =. (4.68) Etão a sequecia e de Cauchy com probabilidade o que permite de cocluir a prova. Demostração da LGN usado o Teorema das Três Séries Ates de começar a prova, buscado ispiração o Teorema das Três Séries, mostraremos que basta cosiderar versões trucadas das variáveis X i. Isso é feito o próximo Lema Sejam Y i = X i [ Xi i]. Etão, para demostrar o Teorema 4.4., basta provar que lim i= Y i = m, P-quase certamete. (4.69) 72

25 TÓPICO:SÉRIES DE KOLMOGOROV Prova do Lema Cosideramos os evetos A i = [X i = Y i ]. Obviamete, P(A i ) = P[ X i i] P[ X t] dt = E ( X ) <. (4.70) i= i= 0 Logo, pelo Lema de Borel-Catelli, temos que P-quase certamete A i acotece apeas fiitas vezes. Digamos que A i ão acotece para i > N(ω). Dessa forma, para qualquer, i= (X i Y i ) X i Y i X i, (4.7) i= i N(ω) que coverge para zero P-quase certamete, mostrado o resultado. O próximo passo para a prova da Lei Forte dos Grades Números é cuidar da esperaça das ovas variáveis Y i. Lema Sejam Z i = Y i E(Y i ), para i como acima. Etão, para demostrar o Teorema 4.4., basta mostrar que lim Z i = 0, P-quase certamete. (4.72) i= Demostração. Supodo a covergêcia em (4.72), sabemos que lim i= Y i E(Y i ) = 0, P-quase certamete. (4.73) Mas E(Y i ) = E(X i [ Xi i]) que coverge a E(X i ) = m, pelo Teorema da Covergêcia Domiada, dode cocluímos que lim E(Y i ) = m. (4.74) i= Dessa forma, obtemos que i= Y i coverge quase certamete a m, dode cocluímos a prova do Teorema 4.4. por meio do Lema Gostaríamos de utilizar os teoremas das séries para mostrar a covergêcia de Z, mas obviamete, o fator que precede a soma os impede de fazê-lo. O próximo resultado é um simples exercício de aálise real, que os permite reduzir a prova de (4.72) para uma simples covergêcia de uma série sem pré-fatores. Lema 4.4. (Lema de Kroecker). Supoha que x R e b > 0 sejam tais que b e i= covirja a s R. Etão x i b i lim b x i = 0. (4.75) i= 73

26 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Demostração. Defiido s 0 = 0 e s = x b + + x b, temos, por itegração por partes, x i = i= x b i i = b i= i i= b i s i i= b i s i = b s + i= (b i b i+ )s i. (4.76) Escolhemos agora, para qualquer ε > 0, um 0 tal que s s < ε para todo 0. Dessa forma, b i= x i = s (b b i+ b i )s i i= = s 0 (b b i+ b i ) i= = s }{{} Δ 0 b s }{{} 0 } {{ } Δ 0 b s i b i= 0 (b i+ b i )s i i= 0 (b i+ b i )s }{{} = (b b 0 )s b s b (b i+ b i )(s i s), i= 0 }{{} ε (b b 0 ) b ε ode os limites idicados acima represetam o que acotece quado. A prova segue do fato de ε ter sido escolhido arbitrariamete. Estamos agora em posição de fializar a Prova do Teorema De acordo com o Lema de Kroecker e o Lema 4.4.0, é suficiete mostrar que i= Z i, coverge quase certamete. (4.77) i Por outro lado, como os Z i s tem média zero, o Teorema de Uma Série diz que é suficiete mostrar que Var i= ( Zi ) = i i i= 2 Var(Z i) <. (4.78) 74

27 TÓPICO:SÉRIES DE KOLMOGOROV Isso segue da seguite estimativa i i= 2 Var(Z i) = = = i i= 2 Var(Y i) i= 2 2 k= i 2 k= k= i i= 2 E( Xi 2 ) [ X i i] i E ( X 2 ) [k < X k] k= E ( X 2 [k < X k]) i=k k E( X 2 [k < X k] ) i 2 E ( X [k < X k]) 2E(X ) <. (4.79) Isso os permite cocluir a prova de (4.72) via o Lema de Kroecker. Cosequetemete, obtemos o Teorema 4.4. via o Lema Exercício Sejam Y k variáveis aleatórias idepedetes e com a seguite distribuição: { 2 se i = or i =, P[Y k = i] = k 2 2 (4.80) se i = 3. k 2 Mostre que [ ] P Y k coverge a zero =. (4.8) k= Exercício (Depede de Tópico: Ura de Pólya). Mostre que segudo a lei P costruida o Exercício 6.4.9, vale que P [ i X i coverge] =. (4.82) Além disso calcule a distribuição do limite acima. 75

28 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS 4.5 Mometos expoeciais e grades desvíos Nessa seção desevolveremos uma outra técica para estimar a probabilidade de uma variável aleatória se desviar de sua esperaça. Já vimos o método do primeiro, segudo e quarto mometo para cotrolar uma soma de variáveis idepedetes. Um exemplo disso foi visto a estimativa [ ] P (X i E(X i )) a i Var(X i ) a i= 2. (4.83) Em geral, quato maior o mometo, melhor a estimativa do decaimeto para a probabilidade de que uma variável se desvie de sua esperaça. Nessa seção iremos para mometos expoeciais, que em um certo setido produzem estimativas ótimas para o comportameto assitótico da probabilidade de desvio. Note que se quisermos uma pequea probabilidade de erro (como por exemplo 0.0), o método do segudo mometo é muito bom, como veremos posteriormete. Mas se quisermos uma probabilidade de erro miúscula (em situações cocretas, algo como 0 2 por exemplo), certamete teremos que aumetar bastate o valor de, mas quato? As cotas de segudo mometo são muito ruis para esse tipo de estimativa, os levado a escolher um maior que o ecessário. Abaixo, desevolveremos um método mais eficiete para respoder a essa perguta, obviamete sob certas hipóteses a distribuição das variáveis aleatórias. Ates disso vale a pea explorar um caso particular que permite fazer cotas explicitas e dar uma ituição do feômeo A arte de cotar Cosideramos uma sequêcia (X ) 0 de variáveis de Beroulli IID de media zero o seja P[X = ] = P[X = ] = 2. Queremos estimar probabilidade de P[S 2 = 2k] (com S := 2 i= X i) para grade e k {,..., } é arbitrário (somar de um umero par de variáveis simplifica as otações mas claro poderiamos fazer a mesma perguta para S ). Observado que S 2 = 2k se + k etre as 2 variaveis valem, temos que ( ) + k P[S 2 = 2k] = 2 2 = 2 Agora usado a formula de Stirlig m! = ( m ) m 2πm ( + o()) e 76 (2)! 2 2 ( + k)!( k)!. (4.84)

29 4.5. MOMENTOS EXPONENCIAIS E GRANDES DESVÍOS Usado a otação f (, k) g(, k) para dizer que existe C tal que para todo e k C g(, k) f (, k) Cg(, k) temos 2 (2/e) P[S 2 = 2k] 2 ( k + )( + k + ) 2 2 (( + k)/e) +k (( k)/e) k, ( ) +k ( ) k 2 + k k k ( ( = 2 + k 2 + exp ( + k) log + k ) ( ( k) log k )). (4.85) Defiido h(x) := ( + x) log( + x) + ( x) log( x) obtemos Lema Existe uma costate C tal que para todo 0 e k {,..., } C 2 + k 2 + e h(k/) P[S 2 = 2k] C 2 + k 2 + e h(k/). (4.86) Podemos ate ter um resultado mais preciso excluido os casos extremos e refiado o cálculo, o setido que se k ão fica perto de o temos P[S 2 = 2k] π( 2 k 2 ) e h(k/) (4.87) o de jeito mais preciso lim sup ( ε) k ( ε) π( 2 k 2 ) P[S 2 = 2k]e h(k/) = 0. (4.88) Pode verificar se que h(x) satisfaz as propriedade seguite: (A) h é stritamete covexo h (x) = 2/( x 2 ). (B) Attige o seu úico míimo em zero, em particular h(x) x 0 x 2. Usado essas iformações podemos deduzir duas coisas: Primeiro applicado (4.87) para k = α, α R P[S 2 = 2 α ] π e α2. (4.89) o seja S 2 tem fluctuações típicas de ordem. Secodo applicado (4.86) para todo k α, α (0, ) obtemos que P[S 2 2α] e h(α). (4.90) (os detalhes does calculos para obter (4.89) e (4.90) ficam de exercício). Vamos agora tetar mostrar que resultados deste típo podem ser obtídos em casos mais gerais. 77

30 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Trasformada de Laplace Defiição Dada uma variável aleatória X, defiimos sua trasformada de Laplace como φ X (s) = E(e sx ) (0, ], (4.9) para todos s R. Essa trasformada também é chamada fução geradora de mometos de X. Exercício Calcule a fução geradora de mometos das distribuições Ber(p), Exp(λ) e U [0,]. Proposição Se E(e δ X ) <, etão a) X L p para todo p <, b) φ X (s) < para todo s ( δ, δ), c) φ X (s) é C em ( δ, δ) e d) φ () X (s) = E(X e sx ). e) s ψ X (s) := log φ X (s) e covexa o iterval ode esta defiida. A última coclusão da proposição acima justifica a omeclatura fução geradora de mometos pois φ () X (0) = E(X ). Demostração. Obviamete, para todo p existe c > 0 tal que e δ x c x p, dode X L p. Além disso, para todo s ( δ, δ), temos φ X (s) = E(e sx ) E(e δ X ) <, dode 2. segue imediatamete. Fixado s R, vamos agora calcular φ X (s + h) φ X (s) h = E( e (s+h)x e sx) h ( = E e sx ehx h ). (4.92) Lembrado que y (ey ) e y, para todo y R, temos que para todos os h < (δ s )/2, o itegrado acima é domiado por X e ( s +h) X X e δ+ s 2 X que pertece a L. Logo podemos usar o Teorema da Covergêcia Domiada para trocar o limite h 0 com a esperaça, obtedo φ X (s) = E(XesX ). (4.93) Note que para todo ε > 0 e k, x k c(k)e ε x, isso os permite repetir o argumeto acima idutivamete para obter c) e d). O ultimo poto e simplesmete uma cosequecia da desigualdade de Hölder. Para λ (0, ) temos φ X (λa + ( λ)b) = E[e λax e ( λ)bx ] E[e ax ] λ E[e bx ] ( λ) = (φ X (a)) λ (φ X (b)) λ. (4.94) 78

31 4.5. MOMENTOS EXPONENCIAIS E GRANDES DESVÍOS Lembramos que ao usar o método do segudo mometo, os foi bastate útil o fato que a variâcia se comporta bem com relação a somas idepedetes. Mais precisamete, Var(X + + X k ) = Var(X ) + + Var(X k ). Uma outra propriedade importate da fução geradora de mometos é que ela também se comporta bem com respeito à somas idepedetes. Proposição Se X,..., X k são variáveis idepedetes com φ Xi (s) < para todo i k e s < δ, etão ψ X + +X k (s) = ψ X (s) + + ψ Xk (s), para todos s < δ. (4.95) No caso particular de uma sequêcia de variáveis IID, se S := i= X i temos Demostração. Basta observar que ψ S (s) = ψ X (s). (4.96) E[exp{s(X + + X k )}) = E[(e sx e sx k)] = E [ e sx ) E(e sx k ] = φ X (s) φ Xk (s), (4.97) usado Fubii. Podemos agora cosiderar uma sequêcia X, X 2,... de variáveis i.i.d. com φ X (s) < para s < δ, e tetar estimar a probabilidade de um desvio macroscôpico da lei dos grades uméros. Para a > 0 e s < δ, [ ] P S (a + E(X )) = P [e ] ss e s(a+e(x )) e ψ S (s) s(a+e(x )) = exp { ( ψ X (s) s(a + E(X )) ) }. (4.98) Agora sabemos que ψ X (s) é difereciável em zero e que ψ X (0) = Φ X (0) = E(X ). Logo, existe s a > 0 tal que φ X (s a ) < (E(X ) + a 2 )s a, dode [ ] P S (a + E(X )) e sa/2. Isso os garate um decaimeto expoecial da probabilidade da média dos X i se desviar da esperaça Pricípio de Grades Desvios A primeira tarefa ossa será otimizar a estimativa grosseira feita a seção aterior. Essas estimativas são chamadas de estimativas de grades desvios, pois se referem a probabilidades que a média empírica de X i se desvie de sua esperaça por um valor costate a. Futuramete o curso estudaremos as probabilidades de que esse desvio seja de ordem a 0 que são chamados de desvios moderados ou flutuações, depededo se a probabilidade de desvio coverge a zero ou ão. 79

32 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Teorema (Pricípio de Grades Desvios - cota superior). Cosideramos variáveis aleatórias i.i.d. X, X 2,... IID tais que φ X (s) <, para todo s ( δ, δ),. Etão, para a > m = E[X ], ode é chamada fução taxa. De jeito simetrico a < E[X ], P [ S a ] e I(a), (4.99) { I(x) = sup xs ψx (s) )} (4.00) s R P [ S a ] e I(a). (4.0) Podemos reparar que I(x) = { sup s 0 { xs ΨX (s) }, se x m sup s 0 { xs ΨX (s) }, se x m, (4.02) E fica positivo (possivelmete = + ) se x = m. Isso e uma cosequecia simples to fato que a fução s xs log ( φ X (s) ) e cocava e que a derivada em 0 vale x s ( log E[e s X] ) = x m. Etão depededo do sial de (x m) o supremo e atigido a direito o a esqueirda de zero. Demostração. Podemos se cotetar da prova do caso a > m pois o caso a < m segue applicado o resultado pelas variáveis X i = X i. Já sabemos de (4.98) que, para todo s > 0, P [ S a ] exp { ( as ψ X (s)) ) } (4.03) O que termia a prova do teorema se tomamos o ífimo em s 0. Exercício Calcule ψ X (a) quado X é distribuída como Ber(p), U [0,] e Exp(λ). Exercício Na Nova Caledôia, temos k habitates. Seja f : {,..., k} {0, } uma fução que idica a iteção de voto de cada cidadão. Mais precisamete, para cada habitate i {,..., k}, se f (i) = 0, etão i vota o cadidato 0, equato se f (i) =, o cidadão i vota o cadidato. Para estimar o úmero k = # f ({}) de pessoas que votam em, ós escolhemos variáveis aleatórias Y i i.i.d. com distribuição uiforme em {,..., k} e queremos estimar [ Err (ɛ) = P Sabedo que k é par e k = k/2, etão i= 80 f (Y i ) k k ] > ɛ. (4.04)

33 4.5. MOMENTOS EXPONENCIAIS E GRANDES DESVÍOS a) use o método do segudo mometo para obter um tal que Err (0.0) < 0.02 e um tal que Err (0.0) < 0 2, b) use o método do mometo expoecial para obter resolver o ítem acima. Compare os quatro resultados obtidos acima. Vamos agora tomar um exemplo cocreto para aálise. Sejam X, X 2,... variáveis aleatórias i.i.d. com distribuição Ber(/2), dode φ X (s) = 2 ( + es ) e ψ X (x) = sup{xs log( + e s ) + log(2)}. (4.05) s 0 Um cálculo simples os mostra que, se x <, o míimo acima é atigido o úico poto s max = log( x x ). Portato, podemos cocluir do Teorema que P[X X > /2 + a] e ψ X (s max ) { ( )} (4.06) = exp b log(b) + ( b) log( b) + log(2) Note que P[X + + X = ] = 2 = e log(2) = e ψ X ( ). Isso os dá um forte idício de que talvez ossas cotas superiores ão estejam tão loge de ser precisas. Para cofirmar essa hipótese, precisamos obter cotas iferiores parecidas. ψ X (b) ψ X (b) log(4) log(2) log(4/3) 0 b 0 b Figura 4.: Fuções taxa ψ X (b) de uma variável X com distribuição Ber(/2), e ψ X (b) de uma variável com distribuição Ber(3/4), para b (0, ). Ates de buscar cotas iferiores para as probabilidades de desvio, vamos estabelecer algumas propriedades da fução ψ X (b). Primeiramete, quado podemos dizer que o supremo a defiição de ψ X é atigido em algum s max? Certamete, esse em sempre é o caso, por exemplo se X = m quase certamete, etão φ X (s) = e sm e o supremo defiido ψ X (b) ão é atigido se b = m. 8

34 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS Lema Seja X uma variável aleatória tal que φ X (s) < para todo s ( δ, δ). Supodo a 0 é tal que P[X > m + a] > 0, etão existe s max 0 tal que ψ X (m + a) = (m + a)s max log ( φ X (s max ) ). (4.07) Demostração. Para mostrar que o miimo e atigido e em poto e suficiete mostrar que lim s (m + a)s log ( φ X (s) ) =, pois a fução e cotiua. Por hipótese, existe x > m + a tal que p = P[X x] > 0, dode φ X (s) pe sx e portato podemos cocluir por que (m + a)s log ( φ X (s) ) (x m + a)s log p. Lema Seja X uma variável aleatória tal que φ X (s) < para todo s ( δ, δ). Etão o cojuto ode a fução ψ X (s) é fiita é um itervalo, a qual ψ X é covexa e portato cotíua. Demostração. Primeiramete, supomos que a < b são tais que ψ X (a) e ψ X (b) são fiitas. Logo, para todo c (a, b), temos que a fução liear cs é meor ou igual a as bs, daí ψ X (c) = sup{cs log(φ X (s))} sup{(as bs) log(φ X (s))} s 0 s 0 sup{as log(φ X (s))} sup{bs log(φ X (s))} <. s 0 s 0 (4.08) Para mostrar que ψ X é covexa, observe que ψ X (x) é dada pelo supremo (para s 0) das fuções afis x xs ψ X (s). Como o supremo de fuções covexas é também covexo, obtemos o euciado do lemma. Exercício Supoha que se φ X (s) é fiita para todo s ( δ, δ) e mostre que as seguites afirmações valem. a) A fução ψ X (s) é ão egativa, semi-cotíua iferior e covexa em seu domíio. b) ψ X (a) se aula somete em a = m. Buscaremos agora cotas iferiores para a probabilidade de obter um grade desvio. Gostaríamos que essas estimativas fossem o mais próximas possíveis das estimativas superiores obtidas acima. Certamete ão podemos obter algo como P [ X + + X ( m + a ) ] exp{ ψ X (a)}, (4.09) pois seão isso os daria uma igualdade o que é impossível, pois perdemos um pouco de precisão ao utilizar a desigualdade de Markov a cota superior. Cotudo, gostaríamos de eteder se ao meos o expoete ψ X (a) a cota superior também possui algum papel a cota iferior. Isso é cofirmado o seguite resultado. 82

35 4.5. MOMENTOS EXPONENCIAIS E GRANDES DESVÍOS Teorema (Pricípio de Grades Desvios - cota iferior). Sejam X, X 2,... variáveis aleatórias i.i.d. com φ X (s) <, para todo s R. Etão, para todo a > 0, lim if log P[ X + + X ( m + a ) ] ψ X (m + a), (4.0) ode ovamete m = E(X ) e ψ X (x) é defiida como o Teorema De jeito aalogo lim if log P[ X + + X ( m a ) ] ψ X (m a), (4.) Note que o resultado do teorema acima é mais fraco que o que vemos a equação (4.09), mas mostra que ψ X (a) é realmete o expoete correto o decaimeto da probabilidade de grades desvios. Um corolário dos Teoremas e é o seguite Corolário Se X, X 2,... variáveis aleatórias i.i.d. com φ X (s) <, para todo s R, etão lim log P[ X + + X ( m + a ) ] = ψ X (m + a). (4.2) A idéia da prova é trasformar a distribuição de X i, usado uma expoecial como derivada de Rado-Nikodim. Essa ova distribuição possuirá esperaça maior que m + a, de forma que se tomamos a média de variáveis i.i.d. X,..., X distribuídas dessa forma, obteremos algo que se cocetra acima de m + a. Fialmete, o preço pago para que as variáveis X i se comportem como as X i será aproximadamete exp{ ψ X (m + a)}, como desejado para ossa cota iferior. Demostração. Primeiramete, cosideraremos o caso P[X m + a] =, que se assemelha ao caso que aalizamos acima (Ber(/2) ). Nesse caso, temos P [ X + + X ( m + a ) ] = P[X i = m + a, para todo i ] = P[X = m + a]. Dode o limite acima é igual a log(p[x = m + a]). Mas por outro lado, { ( ψ X (m + a) = if log E(e s(x ) ) ) (m + a)s } { ( = if log E(e s(x m a) ) )} s 0 s 0 lim if s log ( E(e s(x m a) ) ) = log ( P[X = m + a] ), pelo Teorema da Covergêcia Domiada, demostrado o teorema esse caso especial. Supohamos agora que P[X > m + a] > 0, o que implica que para b > m + a suficietemete próximo de m + a, temos P[X > b] > 0. Observe que 83

36 CAPÍTULO 4. SOMAS DE VARIÁVEIS INDEPENDENTES I: LEI DOS GRANDES NÚMEROS basta mostrar que para todo b > a satisfazedo P[X > b] > 0 e para todo δ > 0, temos ( [ lim if log X + + X ]) P (b δ, b + δ) ψ X (b), (4.3) pois a fução ψ X (x) é covexa, portato cotíua. Vamos defiir uma ova distribuição ν com derivada de Rado-Nikodim dν dp X = Z σ e σx. (4.4) Observamos primeiramete que o valor de σ aida ão foi escolhido. Além disso após escolhido σ, teremos que calcular a costate de ormalização Z σ de forma que ν seja uma probabilidade. Escolheremos σ 0 como o Lema 4.5.6, isto é, tal que ψ X (b) = bσ log ( φ X (σ) ). Isso os dá imediatamete que Z σ = E[e σx ] = φ X (σ) por defiição. Por difereciabilidade de φ X, o máximo deve ser assumido em um poto de derivada zero para a fução ψ X, ou seja b = φ X (σ) Prop E(Xe = σx ) φ X (σ) E(e σx = E(XeσX ) = ) Z σ xν(dx). (4.5) Isso implica que se uma variável aleatória tem distribuição ν, sua esperaça é b. É possível verificar que uma tal variável aleatória X satisfaz obrigatoriamete φ X (s) < para todo s 0, dode X L p para todo p >. Como prometido, cosideramos variáveis X, X 2,... i.i.d. com distribuição ν. Pela lei fraca dos grades úmeros, para qualquer δ > 0, lim [ X P + + X ] (b δ, b + δ) =. (4.6) Fialmete vamos relacioar essa probabilidade à probabilidade defiida em termos de X i, a qual estamos iteressados. [ X + + X P = Z σ ] (b δ, b + δ) = x i ; x i ; i x i b <δ e σ i= x i i x i b <δ ν(dx i ) i= [ X Zσ exp{ (b + δ)σ}p + + X (X P)(dx i ) i= ] (b δ, b + δ). Tomado o logarítmo, dividido por e tomado o limif quado vai a ifiito, recuperamos ( [ lim log X + + X ]) P (b δ, b + δ) log(z σ ) (b + δ)σ (4.7) = log(φ X (σ)) (b + δ)σ = ψ X (σ) δσ. 84