Coteúdo Probabilidade II Aula Juho de 009 Desigualdade de Marov Desigualdade de Jese Lei Fraca dos Grades Números Môica Barros, D.Sc. Itrodução A variâcia de uma variável aleatória mede a dispersão em toro da média. A desigualdade de Chebyshev os forece uma maeira de eteder como a variâcia mede a dispersão em toro da média, e os permite ecotrar limites superiores e iferiores para certas probabilidades. Itrodução Estes limites ão são ecessariamete próximos dos valores reais das probabilidades, e são usados pricipalmete em discussões teóricas, e ão como aproximações. A desigualdade de Marov é um resultado teórico importate que, etre outras coisas, os ajuda a demostrar a desigualdade de Chebyshev. 3 4
Itrodução Estas duas desigualdades os forecem limites superiores e iferiores para probabilidades quado apeas a média (Marov) é cohecida ou quado só a média e a variâcia são dadas (Chebyshev). Em geral, estes limites para as probabilidades ão são eficietes do poto de vista computacioal, mas também os requisitos ecessários para o seu cálculo são míimos, pois precisamos apeas cohecer o máximo a média e a variâcia. Desigualdade de Marov Teorema Seja u( X ) uma fução ão egativa da variável aleatória X. Se E [u( X )] existe, etão para qualquer costate positiva c temos: ( u X c) Pr ( ) ( ( )) E u X c 5 6 Desigualdade de Marov Demostração caso cotíuo Seja A o cojuto{x : u( x ) c}. Etão o valor esperado de u(x) pode ser escrito como: ( ( )) E u X = u ( x ) f ( x ) dx = u ( x ) f ( x ) dx + u ( x ) f ( x ) dx * ode A* é o complemeto de A, ou seja: A* = { X : u(x) < c} A 7 A Desigualdade de Marov Cada uma das itegrais do lado direito acima é ão egativa, e etão o lado esquerdo da equação é maior ou igual a cada uma destas itegrais. Em particular: E( u( X )) u( x) f ( x) dx A Mas, pela defiição do cojuto A, se X A etão u ( X ) c. Assim: ( ( )) ( ) ( ) ( ) =.Pr( ) =.Pr( ( ) ) E u X u x f x dx c f x dx c X A c u X c A A 8
Desigualdade de Marov Isto é: E [ u ( X ) ] c. Pr {u ( X ) c } Pr{ u ( X ) c } E [ u ( X ) ] /c Note que, a demostração da desigualdade de Marov a úica hipótese é que E [u(x)] existe e é uma fução ão egativa. 9 Desigualdade de Marov Exemplo Seja Y uma v.a. tal que E(Y 4 ) 00. Use esta iformação para ecotrar um limite superior para Pr(Y 5). Solução Seja W = Y 4. Etão W é uma v.a. ão egativa cuja média é, o máximo, 00. Note que se Y 5 etão W = Y 4 65. Pela desigualdade de Marov: E( W ) 00 Pr ( Y 5) = Pr( W 65) = 65 65 0 A desigualdade de Chebyshev pode ser ecarada como um corolário da desigualdade de Marov. Seja X uma v.a. qualquer com média µ e variâcia σ, ambas fiitas. Etão: Pr σ { X µ } Demostração Como u(x) = (X-µ) é uma fução ão-egativa, podemos aplicar a desigualdade de Marov e obter: E ( ) ( ) ) ( u( X )) E( X µ ) ) σ Pr u( X ) = Pr X µ = = Mas, os evetos: ( X µ ) e X µ São equivaletes, o que prova a desigualdade de Chebyshev.
Aalogamete podemos escrever: Pr σ ( X µ ) A desigualdade de Chebyshev pode ser escrita de maeira mais coveiete em termos da distâcia (em uidades do desvio padrão) em relação à média, ou seja: 3 A probabilidade de X estar a uma distâcia "grade" (maior que desvios padrões) da sua média é pequea (meor que / ). Pr ( X µ. σ ) A probabilidade de X estar a uma distâcia "pequea" (meor que desvios padrões) da sua média é grade (maior que - / ). Pr ( X µ. σ ) 4 Os limites forecidos pelas desigualdades de Marov e Chebyshev são, como já dissemos, grades demais para uso como aproximações uméricas. Suas maiores virtude são as de fucioar sob codições muito pouco restritivas, exigido apeas o cohecimeto da média (Marov) ou da média e variâcia (Chebyshev). Exemplo Comparação de uma probabilidade exata com o limite dado por Chebyshev. Seja X uma v.a. Uif(- 3, + 3). Verifique que E(X) = 0 e VAR(X) = Calcule exatamete: 3 Pr X = Pr X 3 = + 3/ 3/ 3 dx = = 0.340 3 3 5 6
Por Chebyshev, =3/ e o limite superior para esta probabilidade tora-se (vide slide 4): 3 4 Pr X 0.() = = 0.4444 9 ( 3/ ) Ou seja, o limite dado por Chebyshev é mais de 3 vezes maior que o valor real este caso. Exemplo 3 Neste caso a distribuição da v.a. é descohecida. O úmero de TVs produzido por uma fábrica um itervalo de uma semaa é uma v.a. com média 500. ) Ecotre um limite para a probabilidade do úmero de TVs produzido esta semaa exceder 000. 7 8 Neste caso usamos a desigualdade de Marov, pois só cohecemos a média. Note que a variável de iteresse (úmero de TVs produzidas é itrisecamete ão egativa, justificado o uso de Marov). ( X ) E 500 Pr ( X 000) = = 000 000 9 ) Supoha agora que cohecemos também a variâcia do úmero de TVs produzidas a semaa, que é igual a 00. O que se pode dizer sobre a probabilidade do úmero de TVs produzidas esta semaa estar etre 400 e 600? Pela desigualdade de Chebyshev, e usado µ = 500, σ = 00 temos: 00 Pr{ X 500 00} = Pr{ 400 X 600} = = (00) 00 0 99 00
Exemplo 4 Seja X uma variável Expo(). Use a desigualdade de Marov para provar que Pr(X >c) /c ode c é um úmero positivo qualquer. Solução Note que a desigualdade de Marov pode ser usada diretamete em X, que é uma variável ão egativa. Também, E(X) =. Por Marov: Pr(X > c) E(X)/c = /c A extesão deste exemplo para uma variável Expoecial qualquer é trivial. Se X é Expoecial(λ) etão: E( X ) Pr( X > c) = c λ. c Para qualquer costate positiva c. Note que isso é realmete verdadeiro, pois: ( ) { } λc λc Pr X > c = F( c) = e = e = = + λc 3 e ( ) ( λc) ( λc) λc + λc + + +...! 3! Exemplo 5 Aplicação a uma sequêcia de Beroullis. Sejam X, X,..., X iid Beroulli(p), de tal forma que Y = X + X +... + X é Biomial (, p). Pela desigualdade de Chebyshev: Pr VAR( Y ) pq { Y p } = 3 Mas, a fução.p.q =.p.(-p) tem um máximo em p=/ (faça o gráfico) e etão podemos garatir que: Pr 4 { Y p } = Cosidere agora a proporção de sucessos as repetições, isto é: Y p ˆ = 4
Pelas propriedades das fuções lieares de v.a., pode-se provar que: Y p E( pˆ ) = E = E( Y ) = Y pq VAR( pˆ ) = VAR = VAR( Y ) = = Aplicado Chebyshev a p^ segue que: pq Pr VAR( pˆ) pq 4 { pˆ p } = Esta última expressão tem implicações importates em amostragem. Por exemplo, se > 000, a probabilidade de p^ diferir do valor verdadeiro de p por mais de 0. é, o máximo, 0.05 para qualquer valor de p. 5 6 Exemplo 6 Com base a expressão do slide aterior, calcule (tamaho da amostra) ecessário para que a probabilidade da difereça etre o p real e o estimado ser maior que 3% seja meor ou igual a 5%. Solução Aqui = 0.03 e /(4 ) = 5% Logo: /4(3/00) = 0000/36 = 5/00 = 0 6 /80 = 5555 aproximadamete 7 Desigualdade de Jese Ates de euciar esta desigualdade, é preciso lembrar o que são fuções covexas. Uma fução f(x) é covexa se: f{t.x + (-t).y} t.f(x) + (-t).f(y) para 0 t e x e y um itervalo [a,b]. Se acima a desigualdade é estrita dizemos que f é estritamete covexa. 8
Desigualdade de Jese Este gráfico idica uma típica fução covexa Desigualdade de Jese A desigualdade de Jese pode ser escrita como: E { f ( X )} f { E( X )} alterativamete f { E( X )} E{ f ( X )} se f é uma fução covexa A igualdade ocorre se f ão é estritamete covexa ou se X tem uma distribuição degeerada (i.e, X tem toda a probabilidade um úico poto). 9 30 Desigualdade de Jese A demostração será omitida. A desigualdade de Jese será importate em Iferêcia Estatística para provar algus resultados, por exemplo, o Teorema de Rao-Blacwell. Uma aplicação iteressate segue. Desigualdade de Jese Exemplo 7 Use a desigualdade de Jese para provar que a variâcia de uma v.a. é sempre ão egativa. Solução A fução f(x) = x é covexa. Assim, pela desigualdade de Jese: E(X ) { E(X)} E(X ) - { E(X)} 0 VAR(X) 0 3 3
Lei Fraca dos Grades NúmerosN A média µ de uma distribuição pode ser ecarada como a média empírica de X o logo prazo após um úmero muito grade de repetições. Sejam X, X,..., X iid com média µ e variâcia σ, ambas fiitas. Mostraremos que a média amostral covergirá para µ o setido idicado a seguir. 33 Lei Fraca dos Grades NúmerosN Note que a soma S = X + X +... + X é uma v.a. com média.µ e variâcia.σ e assim ambas a média e a variâcia de S crescem à medida que tomamos mais termos a soma. A média e a variâcia da média amostral são: S. µ S E( X ) = E = = σ µ VAR( X ) = VAR = =. σ 34 Lei Fraca dos Grades NúmerosN Defiição Covergêcia em Probabilidade Dizemos que uma sequêcia de v.a. Y, Y,..., Y coverge em probabilidade para outra v.a. Y quado tede a ifiito se: lim Pr lim Pr ( Y Y ε ) equivaletemete : = 0 para todo ε > 0 ( Y Y < ε ) = para todo ε > 0 Ode os limites se referem a tededo a ifiito Lei Fraca dos Grades NúmerosN Em outras palavras: Y coverge em probabilidade para Y se tede a ifiito se, e somete se, Y está arbitrariamete perto de Y com uma probabilidade tão grade quato ecessário para suficietemete grade. Em muitos casos (como a lei fraca a seguir), a covergêcia em probabilidade será para uma costate. 35 36
Lei Fraca dos Grades NúmerosN Teorema (Lei Fraca dos Grade Números) Sejam X, X,..., X iid com média µ e variâcia σ, ambas fiitas. Etão, para qualquer : X = X + X +... + X Coverge em probabilidade para µ = E(X i ) quado tede a ifiito. Lei Fraca dos Grades NúmerosN Demostração Segue direto da desigualdade de Chebyshev e da defiição de covergêcia em probabilidade. VAR ( ) ( X ) X µ ε Pr σ = ε. ε 0 quado 37 38 Lei Fraca dos Grades NúmerosN Exemplo 8 Sejam X, X,..., X iid Uif(0,). Seja X () o máximo de X, X,..., X. Mostre que X () coverge em probabilidade para quado tede a ifiito. Solução Note que Pr(X () > ) = 0 Também: Pr(X () - ε) = {Pr(X i ε)} = = ( ε) para 0 < ε < e etão o limite desta probabilidade quado é zero. Lei Fraca dos Grades NúmerosN Exemplo 9 Simulação de Mote Carlo Uma aplicação muito útil da lei fraca dos grades úmeros está o cálculo de itegrais que ão podem ser resolvidas umericamete. Isso pode ser feito através de simulação de Mote Carlo, como mostrado a seguir. 39 40
Lei Fraca dos Grades NúmerosN Supoha que queremos calcular: = 0 I( f ) f ( x) dx E esta itegral ão tem uma solução aalítica, ou ão pode ser avaliada através de tabelas ou algum método fácil. O que fazer? 4 Lei Fraca dos Grades NúmerosN Uma solução bastate comum é apelar para métodos de simulação. A idéia este caso é: Gere um cojuto de variáveis iid Uif(0,) X, X,..., X Calcule uma aproximação para a itegral baseada os valores simulados, a saber: Iˆ( f ) = i= f ( ) X i 4 Lei Fraca dos Grades NúmerosN Pela lei fraca dos grades úmeros, este valor, se é grade, deve estar próximo de sua média, que é E{f(X)}, que é simplesmete: { f ( X )} = f ( x)() dx I( f ) E = 0 Este esquema pode ser alterado para, por exemplo, modificar o itervalo de itegração. Lei Fraca dos Grades NúmerosN Exemplo 0 aplicação do exemplo 9 Supoha que desejamos avaliar: I( f ) = 0 e π x / dx = Φ() 0.5 Neste caso já sabemos a resposta, pela tabela da N(0,), que é 0.343. 43 44
Lei Fraca dos Grades NúmerosN Como resolver isso por Mote Carlo? Geramos observações iid da Uif(0,) e calculamos: X Iˆ( f ) = exp i = i π Faça algumas simulações o Excel. Numa a. simulação, gerei = 000 variáveis Uif(0,) e ecotrei 0.347 como o valor aproximado da itegral (erro percetual de 0.4%) 45 Lei Fraca dos Grades NúmerosN Numa seguda simulação, com 0 mil úmeros gerados, o valor aproximado da itegral foi 0.3407 (erro percetual de 0.%). Numa terceira simulação, gerei 50 mil úmeros e obtive 0.345 como valor aproximado da itegral, um erro percetual de 0.%. 46 Exemplo para casa Seja X uma variável aleatória discreta com valores maiores ou iguais a zero. Seja G(s) = E(s x ) a fução geradora de probabilidades de X, e supoha que G(s) é fiita para todo s. Seja u um úmero positivo qualquer. Usado o mesmo tipo de argumetos que a demostração da desigualdade de Chebyshev prove que: G ( ) ( s) Pr X u, 0 s u s Exemplo para casa Seja X ~ Poisso(λ). Use as desigualdades de Chebyshev e Marov para mostrar que: ) λ 4 Pr X λ ( λ) ) Pr X λ 47 48
Exemplo para casa Uma variação do método de Mote Carlo Supoha que desejamos avaliar: b = a I ( f ) f ( x) dx Seja g(x) uma desidade em [a, b]. Gere X, X,..., X da desidade g(x) e estime I através de: Iˆ( f ) = i= f g ( X i ) ( X ) i 49 Exemplo para casa a) Use este exemplo para defiir um procedimeto para avaliar uma itegral defiida o itervalo [-,+] b) Você cosegue usar este esquema para avaliar: I x ( f ) = x e dx 0 c) E para avaliar a mesma itegral que acima mas o itervalo (0,)? 50