Somas de variáveis independentes II: Teorema Central do limite

Transcrição

1 Capítulo 5 Somas de variáveis idepedetes II: Teorema Cetral do limite A perguta atural depois de ter provado a Lei dos grades úmeros é a do limite das flutuações da soma k=1 X k: qual e a boa escala ϕ() (com lim φ() = ) para observar um limite ão determiístico k=1 X k E[X i ] ϕ()???. Mas ates de se pergutar a escala o tetar idetificar o limite vale a pea de se pergutar em qual setido pode valer essa covergêcia. Não podemos obter um limite quase certamete (o em probabilidade). A razão e a seguite. Como para k fixo (X 1 + +X k )/ϕ() coverge para 0 e que etão o limite seria idepedete X 1,..., X k para qualquer k. Pela lei do {0, 1} isso implica que se tiver covergêcia quase certamete o limite e costate. Mas a verdade o que queremos saber, ão e do limite de k=1 X k E[X i ] mas ϕ() o limite da distribuição da váriavel. Vamos etão itroduzir uma oção de covergêcia adaptada a esse problema. 5.1 Covergêcia fraca Em muitos casos é importate termos bem defiida uma oção de covergêcia de medidas de probabilidade. Supodo por exemplo o espaço mesurável (E,A), tehamos uma sequêcia de probabilidades µ e gostaríamos de saber se ela coverge a uma determiada µ. 87

2 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Um cadidato atural para dara setido a essa covergêcia poderia se a distâcia de variação total etre duas medidas d VT (µ, ν) = sup µ(a) ν(a). (5.1) A A Não é difícil mostrar que a defiição acima iduz uma métrica, mas ela possui algus problemas que descreveremos a seguir. Exercício Mostre que d VT defie uma métrica. Exercício Sejam µ e ν absolutamete cotíuas com respeito a uma medida fixa η, tedo desidades ρ e π respectivamete. Ecotre uma fórmula para d VT (µ, ν) em termos das desidades. Essa fórmula os remete a qual distâcia etre fuções? Digamos que o espaço amostral E já seja provido de uma métrica d e A seja a σ-álgebra dos boreliaos em E. Qualquer que seja a oção de covergêcia que iremos cosiderar, gostaríamos de dizer que δ x coverge a δ x sempre que x x em E. Esse porém ão é o caso para d VT, pois se x = x para todo e {x} A, teríamos d VT (δ x, δ x ) δ x ({x}) δ x ({x}) = 0 1 = 1. (5.2) Aqueles que já viram o coceito de covergêcia fraca acharão atural que a covergêcia de µ para µ seja defiida em termos da covergêcia das itegrais f dµ para f dµ. Porém, como mecioamos o exemplo das medidas δ x acima, gostaríamos também de a covergêcia respeitasse a topologia origial do espaço E, o que tora atural o seguite coceito. Defiição Dizemos que uma sequêcia de medidas de probabilidade µ coverge fracamete (ou coverge em distribuição) para uma probabilidade µ se lim f dµ = f dµ, para toda f : E cotíua e limitada. (5.3) Essa covergêcia muitas vezes é deotada por µ µ. Essa defiição fica aida mais atural para aqueles que cohecem o Teorema da epresetação de iesz. Com isso em mete, podemos relacioar a covergêcia em distribuição com a covergêcia fraca- o espaço de medidas fiitas. Exercício Mostre que em (,B()), temos que 1 i=1 δ i/ U [0,1]. Exercício Cosidere a fução φ do espaço de medidas em ([0, 1],B([0, 1])) ele mesmo, dada por: φ(µ)(a) = 1 2( µ(3a)+µ(3a 2) ). (5.4) Idetifique o limite em distribuição de φ () (δ 0 ). Mostre que a) a fução de distribuição acumulada associada ao limite é cotíua, 88

3 5.1. CONVEGÊNCIA FACA b) o limite ão é absolutamete cotíuo com respeito à medida de Lebesgue. Exercício Sejam X 1, X 2,... i.i.d. distribuidas como Exp(1) e defia M = max i=1,..., X i. (5.5) Mostre que M log() coverge fracamete e idetifique o limite. Observe que ão precisamos dividir M log() por ada para obter a covergêcia. Nós algumas vezes deotamos X X quado X e X são elemetos aleatórios de (Ω,F, P) para descrever a covergêcia fraca de suas respectivas distribuições. Falamos esse caso que (X ) coverge para X em distribuição Um criterio em d Para os provarmos resultados com covergêcia fraca, e util o resultado seguite que fala que ão precisa verificar covergêcia para todo ϕ cotiua limitada. Usamos a otação C b ( d ) e C c ( d ) pelos espaços de foções cotiuas limitadas e cotiuas com suporte compacto respectivamete Proposição As tres seguite proposições são equivaletes (i) ϕ C b ( d ), lim d ϕ(x)µ (dx) = d ϕ(x)µ(dx). (ii) ϕ C c ( d ), lim d ϕ(x)µ (dx) = d ϕ(x)µ(dx). (iii) ϕ H, lim d ϕ(x)µ (dx) = d ϕ(x)µ(dx), ode H e um subcojuto deso de C c ( d ) (pela orma de covergêcia uiforme). Demostração. As implicações(i) (ii) (iii) sedo obvia, sò vamos precisar mostrar (iii) (ii) e (ii) (i). Pela primeira implicação, sedo ε, e ϕ C c ( d ) podemos achar ϕ ε H tal que ϕ ϕ ε ε. Pois temos lim sup lim sup ϕdµ ϕdµ (ϕ ϕ ε )dµ + ϕ ε dµ ϕ ε dµ + (ϕ ϕ ε )dµ 2ε. (5.6) O que permite a coclusão como ε e arbitrario. Para (ii) (i), seja ( f k ) k 0 ua sequecia de fuçoes em C c ( d ) tal que f k [0.1], f k 1 quado k. Dado ϕ C b ( d ) defiimos ϕ k = f k ϕ C c ( d ). e etão por hypotese lim ϕ k dµ = ϕ k dµ 89

4 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Temos ( (ϕ ϕ k )dµ ϕ 1 (ϕ ϕ k )dµ (1 ϕ ) f k dµ, ) (5.7) f k dµ Etão temos lim sup ϕ ( lim sup ϕdµ ( 1 ϕdµ ( f k dµ )+ 1 )) ( f k dµ = 2 ϕ 1 ) f k dµ, mas o ultimo termo pode ser arbitrariamete pequeo se madamos k Um criterio em (5.8) Proposição Seja(µ ) 0 uma sequêcia de probabilidade em e F as fuções acumuladas de distribuição associadas. Etão µ coverge fracamete para µ com fução acumulada de distribuição F se e só se lim F (x) := F(x). (5.9) para todo x ode F é cotiua (para todo x tal que µ({x}) = 0. Demostração. Vamos começar mostrado que (5.9) implica covergêcia fraca. Usado Proposição 5.1.2, e suficiete mostrar f(x)µ (dx) coverge para f difereciável com suporte compacto. Lembramos (Proposição 2.2.8) que temos f(x)µ (dx) = f (x)(1 F (x))dx. Como f e limitada e dado que F(x) e descotiua só em cojuto de medida 0, podemos cocluir por covergêcia domiada que lim f (x)(1 F (x))dx = f (x)(1 F (x))dx = f(x)µ(dx). eciprocamete, se µ coverge fracamete para µ, cosideramos x um poto de cotiuidade de F, ε > 0 e δ tal que F(x) (ε/2) F(x δ) F(x+δ) F(x)+(ε/2). Cosideramos as fuções 1 if u x, g + (u) := 1 δ 1 (u x) if u [x, x+δ], 0 if u x+δ]. 90 (5.10)

5 5.1. CONVEGÊNCIA FACA e g (u) = g + (u+δ). Como1 {u x} g + (u) 1 {u x+δ}, temos F (x) g + (u)µ (dx) g + (u)µ(dx)+(ε/2) F(x+δ)+ε/2 F(x)+ε, ode a seguda desigualdade pode se deduzir da covergêcia fraca e vale para grade suficiete. Usado g podemos provar do mesmo jeito que F (u) F(x) ε, o que acaba a demostração ε sedo arbitrário. 91

6 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Tópico : Covergêcia das medidas empíricas em d Dados X 1 (ω),..., X (ω) uma realização de variáveis ideticamete distribuidas com probabilidade µ, queremos idetificar µ. Para isso costruímos a medida empírica associada a X defiida como µ,ω (A) := 1 i=1 1 {Xi A}. (5.11) De jeito imediato se µ for absolutamete cotiua com respeito a Lebesgue µ,ω e sigular com respeito a µ. Mas os resultado seguite idica que quado, µ e bem aproximado por µ,ω o setido da covergêcia fraca. Teorema Seja(X ) 1 uma sequecia de variáveis IID de distribuição µ. Etão quase certamete temos µ,ω = µ. Demostração. Seja H um cojuto deso eumerável de C c ( d ). Temos que verificar que para todo ϕ H O primeiro termo acima vale lim ϕdµ,ω = ϕdµ. (5.12) 1 φ(x i ) i=1 que coverge com probabilidade 1 para E[ϕ(X 1 )] = ϕdµ. Como H e eumerável, a covergêcia e simultâea para todos φ H com probabilidade 1, o que coclui a prova do resultado. 92

7

8 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Lema Sejam X e Y variáveis aleatórias em L 2, i.i.d. com distribuição µ. Nesse caso, se X+ Y também tem distribuição µ, etão µ = δ 0. Demostração. Sabemos que E(X+ Y) = E(X)+E(Y) = 2E(X) e Var(X+ Y) = Var(X)+Var(Y) = 2 Var(X). (5.13) Mas como X + Y tem a mesma distribuição de X, etão E(X) = 2E(X) e Var(X) = 2 Var(X), dode ambas são zero. Usado o método dos segudo mometo, para todo a > 0, P[ X a] Var(X) a 2 = 0, (5.14) termiado a prova de que X = 0 quase certamete. A ituição dessa prova é que quado somamos duas variáveis ão determiísticas, a icerteza da soma (medida atravéz da variâcia) tede a aumetar. Dessa forma ão podemos obter a mesma distribuição após a soma. Mas existe uma maeira simples de torar esse problema iteressate ovamete. Digamos que X e Y pertecem a L 2 e são i.i.d. Etão Etão podemos os pergutar se ( X+ Y ) ( X 2 ) Var = 2 Var = Var(X). (5.15) 2 Questão Existe alguma distribuição ão trivial µ em L 2 tal que, se X e Y são idepedetes e distribuídas de acordo com µ, temos X+ Y 2 d µ? (5.16) Pelo meos sabemos agora que a variâcia ão se altera atravéz dessa operação. Ou em outras palavras, queremos saber se existe algum poto fixo para o operador Γ que toma uma distribuição µ em e retora Γ(µ) = ( X1 + X 2 µ µ. (5.17) 2 ) Para tetar respoder a essa questão, vamos estudar mais a fudo qual é a distribuição da soma de duas variáveis aleatórias idepedetes. Para isso, cosidere a distribuição P (X,Y) do par, que coicide com µ µ, os dado [ X+ Y ] P z = µ µ ({ (x, y) : 2 x+y 2 z }). (5.18) Note também que a trasformação liear (x, y) 1 2 ( x+y, x y ) é uma rotação rígida em 2, o que os motiva a propor a perguta mais simples. 94

9 TÓPICO : CONVEGÊNCIA DAS MEDIDAS EMPÍICAS EM D Questão Existe alguma distribuição ão trivial µ em L 2 tal que, se X e Y são idepedetes e distribuídas de acordo com µ, a distribuição do par (X, Y) é ivariate por rotações? Aida estamos uma busca ão rigorosa de tal distribuição, etão vamos supor algumas outras propriedades, como por exemplo que µ seja absolutamete cotíua com respeito a Lebesgue, isto é dµ = f(x) dx. Nesse caso, já vimos que(x, Y) d f(x) f(y) dx dy e o fudo estamos procurado uma fução f tal que f(x) f(y) = h(x 2 + y 2 ), para todo x, y e alguma h : + +. (5.19) Para trasformar o produto f(x) f(y) em uma soma, defiimos g = log f e k = log h e o que gostaríamos que acotecesse é g(x)+ g(y) = k(x 2 + y 2 ). Como aida ão estamos preocupados com uicidade de µ e apeas com a existêcia, já podemos ecotrar ossa resposta para ossa perguta, escolhedo uma fução quadrática, tal como g(x) = αx 2 β. Mas temos aida que cuidar para que f(x) = exp { αx 2 β } seja uma desidade, ou seja f dx = 1. Para isso, precisamos que α seja egativo e, fixado α, o valor de β já estará determiado por ormalização. Tudo isso motiva fialmete a seguite defiição. Defiição Dizemos que X tem distribuição ormal caôica, se X d 1 2π exp { x 2 /2 } dx. (5.20) Além disso, para m e σ 0, dizemos que Y d N(m, σ 2 ) se Y tem a mesma distribuição de σx+m, ode X tem distribuição ormal caôica N(0, 1). Note que N(m, 0) = δ m. Muitas vezes chamamos essa distribuição de gaussiaa, obviamete em homeagem a Gauss. Vamos rapidamete observar que a defiição acima realmete descreve uma distribuição de probabilidade, ou seja que a itegral dessa desidade é um. Para tato, vamos usar um truque cohecido, que cosiste em retorar ao plao. Obviamete, ( exp { x 2 /2 } ) 2 dx = = 2π Dode a costate em (5.20) está de fato correta. 0 exp { (x 2 + y 2 )/2 } dx dy 0 exp{ r 2 /2}r dr dθ Exercício Mostre que a distribuição N(m, σ 2 ), tem desidade 2s = r2 = 2π. (5.21) 1 σ 2π exp{ (x m) 2 /(2σ 2 ) }. (5.22) 95

10 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Exercício Mostre que Y d N(m, σ 2 ) tem esperaça m e variâcia σ 2. Para cofirmar que de fato as distribuições ormais se comportam bem com respeito a somas idepedetes, apresetamos o seguite resultado. Proposição Se X d N(m, σ 2 ) e Y d N(m, σ 2 ) são idepedetes, etão X + Y tem distribuição N(m+m, σ 2 + σ 2 ). Em particular, µ é um poto fixo do operador Γ defiido em (5.17). Demostração. O caso em que σ ou σ se aulam é trivial, portato vamos cosiderar que ambas são positivas. Não é difícil ver que podemos também supor que m = m = 0. Ai podemos usar o resultado do exercíco para deduzir que a soma X+ Y tem desidade dada portato ρ(x) := 1 e y2 2σ 2πσσ 2 e (x y)2 2σ 2 dy. (5.23) Tedado jutar todos termos que cotem y em um uico quadrado obtemos y 2 ( 2σ 2 + (x y)2 1 2σ 2 = 2σ )( ) 2σ 2 y σ2 x x σ σ 2 2(σ 2 + σ 2 ). (5.24) Podemos cocluir usado que ( 1 2σ )( ) 2σ 2 y σ2 x σ 2 dy + σ 2 = e z2 (σ 2 +σ 2 ) σ 2 σ 2 dz = σσ 2π σ 2 + σ. (5.25) 2 Demostração. O caso em que σ ou σ se aulam é trivial, portato vamos cosiderar que ambas são positivas. Não é difícil ver que podemos também supor que m = m = 0. Podemos etão calcular P[X+ Y a] = P[σW + σz a], (5.26) ode W e Z são idepedetes com distribuição N(0, 1). Assim, a probabilidade acima pode ser escrita como N(0, 1) N(0, 1)( {(w, z) 2 ; σw+σz a }). (5.27) Agora aplicaremos a rotação rígida A : 2 2 dada por A(w, z) = 1 σ 2 + σ 2 ( σw+σz, σw σz ). (5.28) 96

11 TÓPICO : CONVEGÊNCIA DAS MEDIDAS EMPÍICAS EM D Como sabemos que a desidade f de (W, Z) é ivariate por A, ou seja f A = f, etão podemos escrever (5.27) como N(0, 1) N(0, 1) (A ({ (w, z) 2 ; σw+σz a })) ({ 1 }) = N(0, 1) N(0, 1) (w, z); σ 2 + σ w a 2 = N(0, 1) ( (, a σ 2 + σ 2]) = N(0, σ 2 + σ 2 ) ( (, a ]), termiado a prova da proposição. Podemos obter um corolário iteressate sobre a soma de ormais i.i.d. Corolário Sejam X 1, X 2,... variáveis i.i.d. com distribuiçãon(m, σ 2 ), etão Como cosequêcia X 1 + +X d N(m, σ 2 ). (5.29) i=1 X i E(X 1 ) σ d N(0, 1). (5.30) Lembrado da Lei dos Grades Números, se dividimos a soma dos X i E(X i ) por, essa fração vai a zero quase certamete. O que cocluímos acima é que ao dividir por obtemos um limite ão trivial (em zero, em ifiito) e aleatório (ão determiístico). Mais uma observação curiosa: ossa motivação para a defiição da distribuição ormal passou por ivariâcia por rotações e podemos exteder essa ivariâcia para ormais idepedetes. Note que somar as coordeadas caôicas é equivalete a tomar o produdo escalar com o vetor(1, 1,..., 1), que tem orma euclideaa. Uma outra maeira de eteder o corolário acima é que a ormal é um poto fixo da operação seguite a) tome uma distribuição µ L 2, b) cosidere X 1,..., X i.i.d. com distribuição µ e c) retore a distribuição de X 1 + +X E(X 1 ). (5.31) Na Questão 5.1.6, os pergutamos quais seriam os outros possíveis potos fixos de Γ e isso será cosiderado depois. Mas uma outra questão bastate importate é se o poto fixo N(0, 1) é atrator, ou seja se começado com outras distribuições poderíamos os aproximar de N(0, 1) à medida que iteramos Γ. Isso é estudado o Teorema Cetral do Limite (TCL) que provaremos posteriormete. Mas ates, precisamos desevolver uma boa defiição de covergêcia para distribuições, ou em outras palavras defiir uma topologia. Esse será o osso próximo tópico. 97

12 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE 5.2 Fuções características Esta seção trata da fução característica de uma variável aleatória, que pode ser vista como um aálogo complexo da trasformada de Laplace, ou também como a trasformada de Fourier de uma distribuição em. Vamos estudar suas pricipais propriedades e demostrar que a fução características determiam uicamete a distribuição da variável aleatória. Defiição Dada uma variável aleatória X, a fução característica de X, φ X : C, é defiida por ode. deote o produto scalar usual. φ X (ξ) := E[e iξ.x ], ξ. (5.32) Essa fução caracteristica pode tambem ser iterpretada com a trasformade de Fourier da distribuição de P X (que escrevemos P X ), defiida por µ(ξ) := d eiξ.x µ(dx) O teorema de covergêcia domiada garate que φ X e cotiua. Lema Seja X uma variável gaussiaa de distribuição N(0, σ), etão temos Demostração. Temos φ X (ξ) := e σ2 ξ 2 2. (5.33) φ X (ξ) := 1 σ e x2 2σ 2 e iξx dx. (5.34) 2π E suficiete tratar o caso σ = 1, pois os outros casos podem ser obtidos por substitução x = σy. Por simetría, a parte imagiária da itegral vale zero. Pois so temos que calcular f(ξ) := 1 e x2 2 cos(ξx)dx. (5.35) 2π Derivado a fução a itegral (o que podemos fazer por que xe x2 2 e itegravel) temos f (ξ) := 1 e x2 2 x si(ξx)dx. (5.36) 2π Pois itegrado por parte obtemos f (ξ) := 1 e x2 2 ξ cos(ξx)dx = ξ f(ξ). (5.37) 2π Etão f e solução da equação diferetial f (ξ)+ξf(ξ) = 0, o que, juto com a codição f(0) = 1 da o resultado f(ξ) = exp( ξ 2 /2). 98

13 5.2. FUNÇÕES CAACTEÍSTICAS Teorema A fução característica φ X determia a distribuição de X, o de jeito equivalete, a trasformação µ µ e ijectiva (o espaço das probabilidade em d ). Demostração. Cosideramos o caso d = 1 primeiro. Chamamos g σ a desidade da lei gaussiaa g σ (x) := 1 σ x2 e 2σ 2, x. 2π Defiimos µ σ a covolução de µ com g σ do jeito seguite f σ (x) := µ σ (x) := f σ (x)dx. g σ (x y)µ(dy) = g σ µ, (5.38) Vamos mostrar primeiramete que para todo σ > 0, µ σ e determiada por µ, e pois mostraremos que para toda fução ϕ cotiua limitada lim ϕ(x)µ σ (dx) := ϕ(x)µ(dx). (5.39) σ 0 Pelo primeiro poto vamos usar o lema precedete que os diz que g σ (x) = (σ 2π) 1 e iξx g 1/σ (ξ)dξ. (5.40) Em cosequecia temos como cosequecia do teorema de Fubii (verificado itegrabilidade) f σ (x) = g σ (x y)µ(dy) = (σ 2π) 1 = (σ 2π) 1 = (σ 2π) 1 ( ) e iξ(y x) g 1/σ (ξ)dξ µ(dy) ( ) g 1/σ (ξ)e iξx e iξy µ(dy) dξ g 1/σ (ξ)e iξx µ(ξ)dξ. (5.41) Agora mostramos (5.39). Temos, usado Fubii que para ϕ cotiua limitada ϕ(x)µ σ (dx) = ( ( ϕ(x) ϕ(x)g σ (y x)dx ) g σ (y x)µ(dy) ) dx µ(dy) = ϕ g σ (y)µ(dy). (5.42) Pois, usado g σ (x)dx = 1 ad ε > 0 lim g σ(x)dx = 0, (5.43) σ 0 { x >ε} 99

14 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE e facil mostrar que para todo y lim ϕ g σ(y) = ϕ(y). (5.44) σ 0 Pois cocluimos por covergêcia domiada (lembra que φ e limitada e ϕ g σ (x) sup φ ) que (5.39) vale. O caso geral d 1 e similar, trocado g σ pela seguite versão multidimesioal. g (d) σ (x) := d i=1 g σ (x i ). Acabamos essa itrodução a fuçoes característica com a observação seguite Proposição Sejà X = (X 1,..., X d ) um vetor aleatório em L 2 ( d ) (todas coordeadas possuem segudo mometo). Etão φ X (ξ) e C 2 e temos a vizihaça de zero φ X (ξ) = 1+i d j=1 ξ j E[X j ] 1 2 d d j=1 k=1 ξ j ξ k E[X j X j ]+o( ξ 2 ). (5.45) Demostração. Como todos as coordeadas ficam eml 2 podemos usar teoremas usuais de derivação de itegrais para obter que φ X ξ i (ξ) = ie[x i e ξ.x ] ad 2 φ X ξ j ξ k (ξ) φ X (ξ) = E[X j X k e ξ.x ]. (5.46) que são fuçoes cotiuas por covergêcia domiada. O segudo resultado segue da formula de Taylor applicada em zero. Observamos que o resultado acima pode ser extedido o caso L p mas o caso L 2 e de maior importacia para osso objetivo. 5.3 O Teorema de Levy O Teorema de Levy os leva uma coexão etre a oção de fução característica e a covergêcia fraca. Teorema Uma sequecia de distribuição µ coverge fracamete para µ se e sò se ξ d, lim µ (ξ) = µ(ξ). (5.47) 100

15 5.3. O TEOEMA DE LEVY Demostração. Uma implicação do teorema segue imediatamete da defiição da covergêcia fraca pois x e x.ξ e cotiua e limitada etão lim eξ.x µ (dx) = eξ.x µ(dx). (5.48) d d Mostramos agora a recíproca o caso d = 1 (o caso geral d 1 segue de jeito aalogo). Sedo f C c () e g σ defiido por g σ (x) = (σ ) 2π) 1 exp ( x2 2σ 2 reparamos que f g σ coverge uiformemete por f quado σ 0, pois f sedo absolutamete cotiua temos f(x y)g σ (y)dx f(x) = ( f(x σy) f(x))g 1 (y)dx ω f (σ y )g 1 (y)dx (5.49) ode ω f (t) := max x y t f(x) f(y), e podemos cocluir por covergêcia domiada. Etão pela Proposição vai ser sufficiete de verificar a covergêcia para H := {ϕ = f g σ : σ > 0, f C c ()} que fica deso em C c ( d ). A computação para provar a ijectividade da trasformada de Fourier, temos para qualquer probabilidade ν f g σ dν = f(x)g σ ν(x)dx = f(x) (( 2πσ) 1 ) e iξx g 1/σ (ξ) ν(ξ)dξ dx. (5.50) Como µ (ξ) µ(ξ), por covergêcia domiada temos para todo x e iξx g 1/σ (ξ) µ (ξ)dξ e iξx g 1/σ (ξ) µ(ξ)dξ. Usado de ovo covergêcia domiada (as itegrais são acima são meor que 1 em valor absoluta) pela itegral em x, cocluimos que lim O que coclui a demostração. f g σ dν = 101 f g σ dν. (5.51)

16 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE 5.4 O teorema cetral do limite para sequêcias IID O teorema cetral do limite em Agora estamos proto para mostrar Teorema Seja (X ) 1 uma sequecia uma sequecia de variáveis aleatórias em L 2, de variaca σ 2. Etão temos a seguite covergêcia em distribuição 1 (X 1 + +X E[X 1 ]) N(0, σ 2 ) (5.52) De jeito equivalete temos para todos reais a < b lim P[ X 1 + +X [E[X 1 ]+ a, E[X 1 ]+ b] ] = 1 b σ e x2 2σ 2 dx. 2π a (5.53) Demostração. Pelo teorema de Levy, e sufficiete de mostrar covergêcia potual das fuçoes caracteristica. Nota que podemos se satisfazer da prova quado E[X 1 ] = 0 substituido X por X E[X] se for ecessario. Defiimos Z := 1 (X 1 + +X ). Temos [ ( )] iξ φ Z (ξ) = E exp (X 1 + +X ) Sabemos da Proposição que quado ξ 0 etão temos par ξ fixo e podemos cocluir que [ ( )] iξx1 = E exp = φ X1 ( 1/2 ξ). (5.54) φ X1 (ξ) = 1 ξ2 σ 2 + o(ξ 2 ), (5.55) 2 φ X1 ( 1/2 ξ) = 1 ξ2 σ o( 1 ), (5.56) lim φ X1 ( 1/2 ξ) = e σ2 ξ 2 2. (5.57) Como sabemos que essa ultima quatidade e a fução caracteristica den(0, σ 2 ) isso acaba a demostração. A formulação equivalete pode ser obtida aproximado1 [a,b] com fuções cotiua (isso fucioa por que a distribuição Gaussiaa ão possui cojutos uidade tedo probabilidade positiva). 102

17 5.4. O TEOEMA CENTAL DO LIMITE PAA SEQUÊNCIAS IID O Teorema Cetral do Limite em d Para formular o teorema cetral do limite em dimeção superior precisamos itroduzir umas oções. Se X = (X (1),..., X (d) ) e um veitor aleatório em L 1. Defiimos a esperaça de X como seguite E[X] = (E[X (1) ],..., E[X (d) ]). Defiição Uma veitor aleatório (X (1),... X (d) ) e chamado de veito gaussiao, se para qualquer (λ 1,..., λ d ) a distribuição de λ 1 X (1) + +λ d X (d). Exercício Mostrar que se X = (X (1),... X (d) ) e um veitor gaussiao etão X (1),..., X (d) são variáveis gaussiaa, mas que a reciproca e falsa quado d 2. Fica claro que se para uma sequêcia de veitores (X ) 1 IID em L 2 temos 1 ((X 1 + +X ) E[X 1 ]) = X, o veitor X precisa ser Gaussiao. Para ver isso e sufficiete aplicar o teorema cetral limite para λ 1 X (1) + +λ d X d. Uma seguda observação é que a distribuiçã de um veitor gaussiao e totalmete defiida por sua media E[X] a sua matrice de covariaça Σ X := (σ X (i, j)) d i,j=1, ode σ X(i, j) := Cov(X (i) X (j) ). (5.58) Para ver isso cosideramos o caso E[X] = 0 (o outro caso sedo similar) e sedo X um veitor gaussiao cuja matrice de covariaça Σ calculamos a fução caracteristica. Por defiição, ξ.x sedo uma combiação liear das coordeadas, tem uma distribuição Gaussiaa. Pois temos Etão Var(ξ.X) = d σ(i, j)ξ i ξ j = (ξ.σξ). (5.59) i,j=1 ( φ X (ξ) = E[e iξ.x ] = exp (ξ.σξ) 2 ). (5.60) No caso ode Σ é a matrice idetidade, e facil de ver que o veitor gaussiao correspodete pode ser obtido cosiderado X (1),..., X (d) sedo variáveis gaussiaas idepedete de variaça 1. Dai podemos costruir um vector gaussiao para Σ arbitrario. Proposição Para toda matrix Σ simetrica positiva, existe um veitor gaussiao de matrice de covariaça Σ. Em geral escrevemos N(m, Σ) pela distribuição do veito gaussiao de matrice de covariaça Σ e de media (esperaça) m d. 103

18 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Demostração. Seja M a matrice simetrica positiva tal que M 2 = Σ (M = Σ), e Z um veitor gaussiao de distribuição N(m, Σ). Defiimos X = MZ e verificamos que d E[X (i) X (j) ] = E[( (k))( d )] m i,k Z m j,k Z (k) d = m i,k m j,k = σ(i, j). k=1 k=1 k=1 (5.61) Teorema Seja (X ) 1 uma sequecia de veitores aleatóries em L 2, de matriz de covariaca Σ. Etão temos a seguite covergêcia em distribuição 1 (X 1 + +X E[X 1 ]) N(0, Σ). (5.62) Deixamos a demostração como exercicio jà que e idetica ao caso d =

19 UMA POVA ALTENATÍVA DO TEOEMA CENTAL DO LIMITE Uma prova alteratíva do Teorema Cetral do Limite Vamos ver agora um modo alterativo de provar a covergêcia que também forece uma estimação da velocidade de covergêcia Teorema (Teorema Cetral do Limite). Cosidere em (Ω,F, P), uma sequêcia X 1, X 2,... de variáveis aleatórias i.i.d. eml 3. Nesse caso, se defiimos m = E(X 1 ) e σ 2 = Var(X 1 ), temos i=1 (X i m) σ N(0, 1). (5.63) Demostração. Primeiramete, observe que podemos supor que m = 0, pois de qualquer forma iremos subtrair a média da distribuição a qual os iteressamos. Uma outra observação importate é que podemos supor σ = 1, pois o caso geral de qualquer forma estamos somado X i /σ o euciado. Como vimos a Proposição 5.1.2, basta mostrar a covergêcia das itegrais de fuções g C 3, que possuam todas as três primeiras derivadas limitadas (este cojuto sedo deso em C b ()). Cosiderado a fução ( φ x1 + +x (x 1,..., x ) := g ), (5.64) os basta provar a covergêcia das sequêcias de úmeros reais lim Eφ (X 1,..., X ) dp = 1 2π g(s)e t2 2 dt. (5.65) Vale lembrar que o Corolário já estabelecemos algo mais forte para variáveis ormais. Mais precisamete, supoha que extedemos osso espaço de probabilidade para (Ω,F, P ), ode exista uma sequêcia Y 1, Y 2,... de variáveis aleatórias i.i.d. com distribuição N(0, 1) idepedete de X 1, X 2,... Etão, para todo 1, φ (Y 1,..., Y ) dp = g(s)n(0, 1)(ds), (5.66) o que toraria o limite em (5.65) trivial para tais variáveis. A ossa estratégia será aproximar φ (X 1,..., X ) por φ(y 1,..., Y ), e faremos isso trocado uma variável de cada vez. Para eteder o que acotece quado trocamos uma das variáveis X i por Y i, temos que expadir g em série de potêcias, isto é, escrever g(s) = g(s 0 )+(s s 0 )g (s 0 )+ (s s 0) 2 g (s o )+(s s 0 ) 3 (s, s 0 ), (5.67) 2 ode (s, s 0 ) é limitada por g /6 Usado a otação Z (i) = (Y 1,..., Y i 1, Y i, X i+1,..., X ), 105

20 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Z (i,0) = (Y 1,..., Y i 1, 0, X i+1,..., X ) e S (i,0) := i 1 k=1 X k + k=i+1 Y k φ (Z (i) ) = φ (Z (i,0) )+ Y i g ( S (i,0) ) E do mesmo jeito φ (Z (i 1) ) = φ (Z (i,0) )+ X i g ( S (i,0) ) + (Y i) 2 2 g ( S (i,0) )+ Y3 i 3/2 ( S (i), S(i,0) ). (5.68) + (X i) 2 2 g ( S (i,0) )+ X3 ( i S (i 1) 3/2, S(i,0) ). (5.69) Nós propositalmete expadimos φ até ordem dois, pois X i e Y i possuem os mesmos mometos de ordem um (m = 0) e dois (σ 2 = 1). Itegrado os dois lados da igualdade acima começado com a itegração com respeito a Y i obtemos E[φ (Z (i) )] = E[φ (Z (i,0) )]+ 1 2 E [ g ( S (i,0) ) ] + E[ Y 3 i 3/2 ( S (i), S(i,0) ) ], (5.70) e uma expressão parecida para E[φ (Z (i 1) )]. Em particular como X i e Y i possuem os dois primeiros mometos iguais, os dois primeiros termos de Taylor coicidem após a itegração. Deduzimos etão que para i 0, usado o fato que X i, Y i L 3 E[φ (Z (i) )] E[φ (Z (i 1) )] [ Y 3 ( = E i S (i) 3/2, S(i,0) ) ] X 3 ( E[ i S (i 1) 3/2, S(i,0) ) ] De jeito que temos E( X 1 3 )+E( Y 1 3 ) g 6 3/2. (5.71) E[φ (X 1,..., X )] E[φ (Y 1,..., Y )] [ ] E φ (Z (i) ) φ 1 (Z (i 1) ) = k i k i 1 i=0 M 3/2 ( E( X1 3 )+E( Y 1 3 ) ), que claramete coverge a zero, provado o teorema. 106 i=0

21 UMA POVA ALTENATÍVA DO TEOEMA CENTAL DO LIMITE Corolário A N(0, 1) é a úica distribuição µ que possui esperaça zero, variâcia 1 e é tal que se X, Y são i.i.d. com distribuição µ, etão (X+ Y)/ 2 também possuem distribuição µ. Em outras palavras, N(0, σ 2 ), para σ 0, são os úicos potos fixos de Γ em L 3. Demostração. Usado a ivariâcia euciada acima, temos que X 1 + +X 2 k 2 k d µ. (5.72) Mas pelo Teorema cetral do limite, a distribuição dessa combiação de X i deve covergir a N(0, 1), logo temos µ = N(0, 1). Vamos termiar essa seção com uma aplicação do teorema acima. Exercício Digamos que jogamos 100 moedas hoestas e idepedetes, como foi proposto o iício da seção, obtedo fialmete uma variável aleatória Y d Bi(100, 1/2). Usado o Teorema Cetral do Limite, estime P[Y 55] usado uma aproximação por uma N(0, 1). Calcule umericamete o valor real desta probabilidade e compare ambas as estimativas. 107

22 CAPÍTULO 5. SOMAS DE VAIÁVEIS INDEPENDENTES II: TEOEMA CENTAL DO LIMITE Tópico: O Teorema de Portmateau O próximo resultado é bastate útil para provar covergêcia fraca, pois os forece uma coleção de equivalêcias muitas vezes mais fáceis de verificar. Lembramos que o euciado abaixo que E é um espaço métrico e que A é a σ algébra de Borel. Teorema (Teorema de Portmateau). Sejam (µ ) 1 e µ medidas de probabilidade em (E, A). São equivaletes: a) µ µ, a ) f dµ f dµ, para toda f uifmormemete cotíua e limitada, b) lim sup µ (F) µ(f), para todo F E fechado, b ) lim if µ (G) µ(g), para todo F E aberto, c) lim µ (A) = µ(a), para todo A A com µ( A) = 0. Para memorizar o teorema acima, é coveiete lembrar dos dois exemplos: i) se x x com x = x, F = {x} e G = B(x, δ)\{x} temos, para grade, µ (F) = µ(g) = 0 < 1 = µ(f) = µ (G), (5.73) ii) em (,B()), seja µ 2 = δ e µ 2+1 = µ = δ 0. Obviamete µ ão coverge fracamete a µ. Cotudo, para todo A B(), lim if lim sup µ (A) lim if µ 2 (A) = µ(a) e µ 2 (A) = µ(a). µ (A) lim sup (5.74) Prova do Teorema Obviamete, (a a ), pois a ) somete supõe a covergêcia das itegrais para fuções f que sejam uiformemete cotíuas, portato é um requisito mais fraco que a). Observamos também que (b b ). De fato, basta tomarmos complemetos e observar a mudaça os siais das desigualdades. Etão, para a prova do teorema, basta mostrar que (a b), (b+b c) e (c a). Começamos com (a b) e para tato, cosideramos F E fechado. Seja δ > 0 e defia a fução f δ : E dada por { f δ (x) = max 1 d(x, F) }, 0. (5.75) δ Claramete, f é uiformemete cotíua e vale1f f δ 1B(F, δ). Dessa desigualdade, temos lim sup µ (F) lim sup fδ dµ = f δ dµ µ(b(f, δ)). 108

23 TÓPICO: O TEOEMA DE POTMANTEAU Tomado agora o limite com δ 0, obtemos b) por cotiuidade da probabilidade µ. Para mostrar (b+b c), seja A A tal que µ( A) = 0. Nesse caso, sabemos que lim sup µ (A) lim sup µ (A) µ(a) = µ(å) lim if µ (Å) lim if µ (A), o que mostra o limite em c). Fialmete, resta mostrar (c a) e, para tato, cosideramos uma fução f : E cotíua e limitada. Digamos, com f = M. Sabemos que os cojutos { f 1 ({a})} a são disjutos, logo os cojutos f 1 ({a}) podem ter medida µ positiva apeas para uma coleção eumerável de valores a. Obtemos assim uma coleção fiita b 0 < b 1 < < b k, tal que b 0 < M e b k > M, b i+1 b i δ e µ ( f 1 ({b i }) ) = 0 para todo i k. (5.76) f(x) x Figura 5.2: Uma fução cotíua e limitada f, os potos b i e um cojuto A i. Iremos aproximar f por uma fução da forma f δ = i b i 1 Ai, ode os cojutos A i = f 1( [b i, b i+1 ) ) são disjutos. Obviamete f δ f f δ + δ, dode lim if f δ dµ lim if f dµ lim sup f dµ lim if f δ dµ + δ. Mas como f δ dµ = i b i µ (A i ), a prova estará cocluida se mostrarmos que µ (A i ) µ(a i ) para todo i k. Isso segue de d), pois A i f 1 ({b i, b i+1 }), que tem medida zero. Exercício Lembrado que em (,B()), temos 1 i=1 δ i/ U [0,1], use o ítem d) do Teorema para dar uma caracterização dos cojutos iemamesuráveis. Mais precisamete, ecotre os A tais que 1 i=1 δ i/(a) coverge para a medida de Lebesgue de A. 109