MAB-515 Avaliação e Desempenho (DCC/UFRJ)

Transcrição

1 MAB-515 Avaliação e Desempenho (DCC/UFRJ) Aula 6: Desigualdades, Limites e

2 1 Normalização Desigualdade de Chebyshev Lei dos Grandes Números 2 3

3 Normalização Sumário Normalização Desigualdade de Chebyshev Lei dos Grandes Números Seja {X i } um conjunto de variáveis aleatórias (i.i.d), tais que E[X i ] = E[X] e σ 2 X i = σ 2 X. Média das Amostras ou Sample Mean S n S n = X 1+X 2 + +X n E[S n ] = E[X] σ 2 S n = σ 2 X /n n = n i=1 X i n Se Y = n i=1 X i, então E[Y] = ne[x] e σ 2 Y = nσ2 X. Lembrar que V(aX) = a 2 V(X).

4 Desigualdade de Chebyshev Normalização Desigualdade de Chebyshev Lei dos Grandes Números P( X E[X] x) σ2 X x 2 Aplicando Chebyshev a S n P( S n E[X] x) σ2 S n x 2 = σ2 X nx 2 Significado: a média aritmética de um conjunto de amostras tende para a média da distribuição à medida que o número de observações cresce.

5 Normalização Desigualdade de Chebyshev Lei dos Grandes Números Aplicação da Desigualdade de Chebyshev Problema: Um jogador pode ganhar 6 ou perder 1, ou 2, ou 3, com probabilidade 1/4 para cada evento, por jogada. Quantas vezes o jogador deve jogar para manter a sua perda ou ganho médio por jogada menor do que 2 com probabilidade de pelo menos 0,95? Solução aproximada por Chebyshev Seja X i o ganho ou perda de uma jogada. Então, E[X i ] = 0 e V(X i ) = E[X 2 ] = 50/4. Fazendo ǫ = 2, obtemos n 63. ( P 1 ) Xi ǫ σ2 n nǫ 2 ( 1 P 1 ) Xi < ǫ σ2 n nǫ 2 ( P 1 ) Xi < ǫ 1 σ2 n nǫ 2 = 0,95

6 Lei dos Grandes Números Normalização Desigualdade de Chebyshev Lei dos Grandes Números Lei Fraca dos Grandes Números lim P( S n E[X] ǫ) = 0 n Lei Forte dos Grandes Números lim S n = E[X] com probabilidade 1 n A Lei Forte garante que a média das amostras não somente converge para a média verdadeira, mas que se torna ela com 100% de probabilidade. A Lei Fraca decorre diretamente de Chebyshev.

7 Normalização Desigualdade de Chebyshev Lei dos Grandes Números Função de Gauss ou Distribuição Normal Uma variável aleatória X com PDF Φ X (x) = x 1 2π e y2 2 dy, possui E[X] = 0 e V(X) = 1, e é chamada distribuição normal unitária ou N(0, 1). Em geral, uma v.a. X com distribuição normal com média E[X] = µ e variância V(X) = σ 2 (σ > 0), designada N(µ,σ 2 ), tem pdf f X (x) = PDF F X (x) = 1 2πσ e (x µ)2 2σ 2, x 1 x 2πσ e (y µ)2 2σ 2 dy, x.

8 Normalização Desigualdade de Chebyshev Lei dos Grandes Números Função de Gauss ou Distribuição Normal Transformada de Laplace da N(µ,σ 2 ) E[e sx ] = = 1 2πσ 1 2πσ sµ+s2 σ2 = e 2 sµ+s2 σ2 = e 2. e sx e (x µ)2 2σ 2 dx e (x (µ σ2 s)) 2 +µ 2 (µ σ 2 s) 2 2σ 2 dx 1 2πσ e (x (µ σ2 s)) 2 2σ 2 dx Por esta expressão é fácil verificar que a soma de variáveis com distribuição Normal é também uma variável Normal com média igual à soma das médias e variância igual à soma das variâncias.

9 Seja {X i } um conjunto de n variáveis aleatórias independentes e identicamente distribuídas (i.i.d), tais que E[X i ] = E[X] e σx 2 i = σx 2. Defina Y = n i=1 X i, com E[Y] = ne[x] e V(Y) = σy 2 = nv(x) = nσ2 X. n i=1 X i ne[x] A variável aleatória Z n = Y E[Y] σ Y = σ X n soma normalizada das variáveis aleatórias X i. Observe que E[Z n ] = 0 e V(Z n ) = 1. é chamada

10 O afirma que: lim P(Z n x) = Φ(x) n A soma normalizada de variáveis aleatórias independentes se aproxima da distribuição normal unitária. Não é necessário que todas as variáveis aleatórias tenham a mesma pdf; na prática, sempre que uma variável aleatória é a soma de um número grande de variáveis aleatórias bem comportadas, então a soma normalizada tem distribuição normal unitária. Exemplo: ruído sideral.

11 Aplicação do Problema: Em um milhão de lançamentos de uma moeda, qual a probabilidade de se obter mais de caras? Solução Exata A probabilidade de se obter exatamente caras em 10 6 lançamentos é: ( 10 6 ) (0,5) (0,5) = P(# de caras > ) = 10 6 k= ( 10 6 k ) (0,5) 106 = 26, Solução pode ser obtida através de um programa.

12 Aplicação do Solução pelo Tratando como um experimento de Bernoulli, o resultado do i-ésimo lançamento é uma variável X i, com valores 1 (cara) ou 0 (coroa) com probabilidade = 0,5. E[X i ] = 0,5, V(X i ) = 0,25 e σ Xi = 0,5. Y = 10 6 i=1 X i expressa o número de caras obtido. Seja Z n = Y 106 0,5 0, Verifica-se diretamente que P(Y > ) = P(Z n > 20). Da tabela da normal: P(Z n > 20) = 1 Φ(20) = Comparando o resultado obtido com a solução exata, vemos que o é uma excelente aproximação.

13 Aplicação do Solução usando a Desigualdade de Chebyshev P( S n E[X] x) σ2 X nx 2 P( ns n ne[x] nx) = P( Y x) Fazendo 10 6 x = , obtemos x = Então: σx 2 P( Y ) = 0, , e então P(Y ) 12, Se aproximarmos o valor da probabilidade pelo limite superior dado por Chebyshev verificamos que teremos uma resposta extremamente incorreta, pois o limite de Chebyshev para este caso é muito frouxo.

14 Aplicação do Aproximando Distribuiccões Uma v.a. Poisson Y pode ser vista como a soma de n v.as. Poisson X i : Y = n i=1 X i, com E[X] = λ i = λ/n = V(X). Pelo Z = Y E[Y] σ Y = Y λ λ = N(0,1) P(Z z) = Φ(z) ( P(Y k) = P Z k λ ) ( ) k λ = Φ λ λ Para efeito de aproximação, como Poisson é uma variável discreta( e Φ é contínua, ) usa-se uma correção de continuidade e adota-se : P(Y k) = Φ k+1/2 λ λ Esta aproximação melhora com aumento de λ.

15 Prova do Um resultado importante envolvendo momentos e T.L. E[e sx ( sx) i ] = E[ ] = i! i=0 ( s) i E[X i ] i! i=0 E[e sx ] = 1 se[x]+ s2 2 E[X2 ] s3 3! E[X3 ]+

16 Prova do Demonstração: O resultado do pode ser demonstrado de maneira simples usando o conceito de transformada. Z n = 1 n σ X n i=1 (X i E[X]) = 1 n σ X n i=1 W i, onde as variáveis W i,1 i n, são i.i.d, com E[W i ] = 0 e V(W i ) = E[Wi 2 ] = V(X) = σx 2. E [ e szn] = E [e s ni=1 ] ( ]) W σ X n i = E [e s n ( ( )) W σ X n i = Wi s n. σ X n W i (s) = 1 sew i ]+ s2 2 E[W2 i ] s3 3! E[W3 i ]+ = 1+ s2 2 E[W2 i ]+o(s 2 ) Aproximando Wi (s) = 1+ s2 2 E[W2 i ] = 1+ s2 2 σ2 X, obtemos n. E[e szn ] = (1+ 2n) s2 Para n, E [ e szn] = e s2 2 (T.L. da N(0,1)), ou seja, Z n N(0,1) com n. CQD.

17 Sumário {X 1,X 2,,X n } é o conjunto de n observações (ou amostras) independentes da v.a. X, que tem média u, variância σ 2 e pdf f(x). Estimador da Média ˆµ = 1 n n i=1 X i é a variável aleatória denominada média das amostras (ou sample mean) e é um estimador de µ. Estimador da Variância ˆσ 2 = 1 n n 1 i=1 (X i ˆµ) 2

18 Propriedades dos Não Tendencioso ou Unbiased: esperança do estimador é igual ao valor estimado E[ˆµ] = 1 n n i=1 E[X i] = E[X i ] = µ E [ˆσ 2] = σ 2 Consistente: variância do estimador tende a zero com aumento do número de amostras V(ˆµ) = V ( 1 n n i=1 X ) i = 1 n n 2 i=1 V(X i) = σ2 n V(ˆµ) = σ2 n 0 com n V(ˆσ 2 ) 0 com n