Processos Estocásticos

Transcrição

1 Probabilidade e Variáveis Aleatórias Charles Casimiro Cavalcante charles@gtel.ufc.br Grupo de Pesquisa em Telecomunicações Sem Fio GTEL Universidade Federal do Ceará UFC

2 Parte II Variáveis Aleatórias: Conceitos e Fundamentos

3 Variável aleatória pode ser entendida como o resultado numérico da operação de um mecanismo não-determinístico ou execução de um experimento não determinístico para gerar um valor aleatório. Ao contrário da prática comum com outras variáveis matemáticas, uma variável aleatória não pode ter um valor associado; uma variável aleatória não descreve o valor atual de uma realização de um evento particular, mas descreve a possível, ainda que indeterminado, resultado em termos de números reais.

4 Definição Variável aleatória (v.a.) é qualquer função definida no espaço amostral S tal que: Exemplo {X : S R,X(w) (,x],w S} F (7) Moeda: S = {cara,coroa} X(cara) = 0 X(coroa) = 1

5 Função distribuição de probabilidade (função de probabilidade cumulativa) Definição Exemplo: Distribuição uniforme F X (x) Pr{X x} (8) F X (x) 0, se x a F X (x) = x, se 0 < x b 1, se x > b 1 0 a b x

6 Função distribuição de probabilidade - cont. Propriedades da fdc 1 F X ( ) = 0 2 F X ( ) = 1 3 Pr{x 1 x 2 } = F X (x 2 ) F X (x 1 ) 4 Se x 1 x 2 F X (x 1 ) F X (x 2 ), ou seja, F X (x) é monotônico não-decrescente

7 Função densidade de probabilidade Definição Exemplo: Distribuição uniforme p X (x) d dx F X(x) (9) F X (x) 1 p X (x) 1 b a 0 a b x 0 a b x

8 Função densidade de probabilidade - cont. Propriedades 1 F X (x) = x p X (ξ) dξ 2 F X (x) é monotônico não-decrescente p X (x) 0 3 Pr{X > x} = 1 F X (x) = 1 Pr{X x} 4 Pr{x 1 < X x 2 } = F X (x 2 ) F X (x 1 ) = p X (ξ) dξ x 1 x 2

9 discretas Dificuldade Neste caso, as variáveis admitem valores somente em determinados instantes de tempo. O que ocorre com as probabilidades? p X (x) P 2 P 1 P 3 x 1 x 2 x 3 x Funções δ( ) de Dirac (impulsos) f(t)δ(t t 0 ) dt = f(t 0 ) δ(t) δ(t) dt = 1 δ(t) = função impulsiva de Dirac = d u(t),em que u(t)é a função degrau unitário dt

10 discretas - cont. Logo, teremos N p X (x) = Pr{X = x i } δ(x x i ) i=1 x F X (x) = p X (ξ) dξ = Mas sabe-se que N Pr{X = x i } x i=1 δ(ξ x i ) dξ x { 0, se x < xi δ(ξ x i ) dξ = 1, se x x i

11 discretas - cont. pdf p X (x) P 2 P 1 P 3 x 1 x 2 x 3 x

12 discretas - cont. fdc P 1 + P 2 + P 3 F X (x) P 3 P 1 + P 2 P 1 P 1 P 2 x 1 x 2 x 3 x

13 Função de densidade de probabilidade gaussiana Definição Seja X uma v.a., X é dito ter distribuição de probabilidade gaussiana, ou normal, se sua densidade de probabilidade pode ser escrita da seguinte forma Notação usual: ( ) p X (x) = 1 (x µ)2 exp 2πσ 2σ 2 { µ média Parâmetros σ 2 variância X N ( µ,σ 2) (10)

14 pdf gaussiana - cont. Normalização Z N(0,1) p Z (z) = 1 ) ( 2π exp z2 2 Função erro Função de distribuição cumulativa da função gaussiana erf(x) = F Z (x) = Pr{Z x} = 1 x ) exp ( z2 2π 2 dz (11)

15 pdf gaussiana - cont pz(z) σ % 95%

16 bidimensionais Função distribuição de probabilidade F X,Y (x,y) = Pr {X x, Y y} }{{} intersecção (12) Y y {X x, Y y} = { w S [X(w),Y (w)] D } }{{} evento em que D = { (X,Y ) X (,x], Y (,y] } D x X p X,Y (x,y) = 2 x y F X,Y (x,y) (13)

17 bidimensionais - cont. Propriedades 1 F X,Y (,y) = 0 2 F X,Y (x, ) = 0 3 F X,Y (, ) = 1 } F 4 X,Y (x, ) = F X (x) distribuições marginais F X,Y (,y) = F Y (y) x y 5 F X,Y (x,y) = p X,Y (α,β) dα dβ 6 p X (x) = p Y (y) = p X,Y (x,y) dy p X,Y (x,y) dx

18 independentes Definição Sejam X e Y v.a. s. Elas são independentes se: F X,Y (x,y) = F X (x) F Y (y) (14) Logo: F X,Y (x,y) = Pr{ X x, Y y } = Pr{X x} Pr{Y y} p X,Y (x,y) = p X (x) p Y (y) pois = 2 p X,Y (x,y) = 2 x y F X,Y (x,y) x y (F {}}{ X(x) F Y (y)) = p X (x) p Y (y)?

19 Representação de variáveis aleatórias Uma vez que, como já discutido, as variáveias aleatórias não podem ter um valor associado por se tratarem de representações de experimentos não-determinísticos, faz-se necessário métodos de representação das v.a. 1 Função densidade de probabilidade 2 Função de distribuição cumulativa 3 Histograma

20 Representação de variáveis aleatórias - cont. Histograma É uma representação da distribuição das variáveis no espaço amostral em relação ao número de ocorrências

21 Representação de variáveis aleatórias - cont. O histograma serve então para comparar com determinadas distribuições conhecidas e verificar quão próxima (ou quão diferente) é a distribuição dos dados com uma distribuição qualquer Gaussiana

22 Medidas estatísticas Momentos São estatísticas de uma variável aleatória capazes de representar seu comportamento probabiĺıstico. Os infinitos momentos estatísticos definem a função de densidade de probabilidade. Média Também chamada de esperança matemática, valor esperado, momento de 1 a ordem, é definido como para X v.a. contínua µ = {X} x p X (x) dx (15)

23 Medidas estatísticas - cont. Média Para X discreta µ = i= x i Pr{X = x i } (16) OBS: Se p X (x) for simétrico em relação a um valor x = a {X} = a Pergunta: Num jogo de moeda, qual a média? E no caso de uma distribuição uniforme entre [0,1]?

24 Medidas estatísticas - cont. Propriedades da média 1 {X + Y } = {X} + {Y } 2 {X Y } = {X} {Y } se X e Y são v.a. s independentes 3 {f(x,y )} = f(x,y)p X,Y (x,y) dxdy 4 Se X e Y são independentes {f(x) g(y )} = {f(x)} {g(y )}

25 Medidas estatísticas - cont. Momentos de ordem k µ k = { X k} = x k p X (x) dx (17) Os momentos de uma variável aleatória são uma representação da pdf da variável A coletânea dos infinitos momentos da v.a. definem sua pdf Algumas distribuições possuem alguns momentos nulos A estimativa de momentos cresce em complexidade e decresce em precisão com o aumento direto de k

26 Medidas estatísticas - cont. Momentos centrados Uma importante medida estatística é avaliar o comportamento da v.a. em torno da média. Assim, define-se o momento centrado de ordem k como sendo c k = { (X µ) k} = (x µ) k p X (x) dx (18) De particular interesse: variância (σ 2 = { (X µ) 2} 0) OBS: Se p X (x) é simétrica em relação a média c k = 0 para k ímpar!

27 Medidas estatísticas - cont. É possível escrever os momentos centrados em função dos momentos! Exemplo σ 2 = { (X µ) 2} = { X 2 2Xµ + µ 2} = { X 2} 2 {X} µ + µ 2 = { X 2} 2 {X} Fórmula para achar outros momentos?

28 Medidas estatísticas - cont. Exemplo Conhecendo-se a média e a variância de uma v.a. X (µ = {X},σ 2 = { (X µ) 2} ) deseja-se achar { X 3} aproximado em função de µ e σ 2. Aproximando X 3 em série de Taylor X 3 = 1 k! dk X 3 dx k (X µ) 3 X=µ k=0 = µ 3 + 3µ 2 (X µ) + 3µ (X µ) 2 + (X µ) 3 Aplicando-se o operador esperança {X 3 } = µ 3 + 3µ {(X µ)} + 3µ {(X µ) 2 } = µ 3 + 3µσ 2

29 Medidas estatísticas - cont. Resultado importante µ 2k µ 2 k, k = 1,2,3,... (19) Prova: Como { ( X k α ) 2 } 0, α, temos { X 2k} 2 α { X k} + { α 2} 0 µ 2k 2 αµ k + α 2 0 α α 2 2 αµ k + µ 2k 0 α (equação de 2a ordem) discriminante 0 4µ 2 k 4µ 2k 0 µ 2 k µ 2k

30 Desigualdades Desigualdade de Markoff Seja X uma v.a. tal que p X (x) = 0 se x < 0 Pr{X αµ} 1 α, α > 0 (20)

31 Desigualdades - cont. Prova - Desigualdade de Markoff µ = {X} = Z Pr{X αµ} = x p X(x) dx = Z αµ µ αµ Z αµ Z 0 p X(x) dx αµ p X(x) dx Z αµ x p X(x) dx p X(x) dx {z } Pr{X αµ} Pr{X αµ} 1 α Z αµ x p X(x) dx

32 Desigualdades - cont. Desigualdade de Tchebchev Seja X uma v.a. com distribuição qualquer, então Pr { X µ ǫ} σ2 ǫ 2, ǫ > 0 (21)

33 Desigualdades - cont. Prova - Desigualdade de Tchebchev Z σ 2 = (x µ) 2 p X (x) dx µ ǫ Z µ+ǫ Z Z = (x µ) 2 p X (x) dx + (x µ) 2 p X (x) dx + (x µ) 2 p X (x) dx µ ǫ µ+ǫ µ ǫ Z Z σ 2 (x µ) 2 p X (x) dx + (x µ) 2 p X (x) dx µ+ǫ µ ǫ Z Z σ 2 ǫ 2 p X (x) dx + ǫ 2 p X (x) dx µ+ǫ

34 Desigualdades - cont. Prova - Desigualdade de Tchebchev - cont. σ 2 ǫ 2 µ ǫ p X (x) dx+ } {{ } Pr{X µ ǫ} µ+ǫ p X (x) dx } {{ } Pr{X µ+ǫ} σ 2 Pr{X µ ǫ} + Pr{X µ ǫ} ǫ2 σ 2 Pr{ X µ ǫ} ǫ2 µ ǫ µ µ + ǫ

35 Funções característica Primeira função característica Importante C( ω) C(ω) p X (x) exp(jωx) dx (22) p X (x) exp( jωx) dx C( ω) = F{p X (x)} (transformada de Fourier de p X (x))

36 Funções característica - cont. Importante - cont. Notação P X (ω) = F{p X (x)} = {exp( jωx)} p X (x) exp( jωx) dx Assim p X (x) = 1 2π P X (ω) exp(jωx) dω

37 Funções característica - cont. Primeira função característica - Variáveis discretas P X (w) = Pr{X = x i } exp ( jωx i ) i= = {exp( jωx)}

38 Funções característica - cont. Propriedades P X (ω) 1 P X (ω) 1 Prova: 2 P X (0) = 1 P X(ω) = Z Z p X(x) exp( jωx) dx p X(x) exp( jωx) dx = Z desigualdade de Schwartz p X(x) dx

39 Funções característica - cont. Função geradora de momentos P X (ω) = {exp( jωx)} ( jωx) k exp( jωx) = k! k= { } ( jω) {exp( jωx)} = k X k k! {exp( jωx)} = P X (ω) = k= k= (Série de Taylor em torno de X = 0) k= ( jω) k k! ( jω) k µ k k! { X k} }{{} µ k

40 Funções característica - cont. Função geradora de momentos - cont. Ainda Logo k=0 P X (ω) = d k P X (ω) dw k k=0 d k P X (ω) dω k ωk ω=0 k! = 1 ω=0 k! ωk k=0 µ k ( j) k = dk P X (ω) dw k µ k ( j) k ωk k! ω=0

41 Funções característica - cont. Exemplo Sejam X e Y v.a.s independentes com p X (x) e p Y (y) conhecidas. Se Z = X + Y, p Z (z) =? Solução P Z(ω) = {exp( jωz)} = {exp[ jω(x + Y )]} Z Z Z exp( jωx) exp( jωy ) p X,Y (x, y) dx dy exp( jωx) p X(x) dx {z } {exp( jωx)} Z P Z(ω) = P X(ω) P Y (ω) p Z(z) = p X(x) p Y (y) exp( jωy ) p Y (y) dy {z } {exp( jωy )}

42 Funções característica - cont. Segunda função característica Ψ(ω) = ln[p X (ω)] (23) Importante A segunda função característica é também chamada de função geradora de cumulantes Os cumulantes são de extrema importância na caracterização estatística de uma v.a.

43 Cumulantes História Os cumulantes foram inicialmente introduzidos pelo astrônomo, contador, matemático e estaticista dinamarquês Thorvald N. Thiele ( ) que os denominou semi-invariantes. O termo cumulante surgiu pela primeira vez em 1931 no artigo The Derivation of the Pattern Formulæ of Two-Way Partitions from Those of Simpler Patterns, Proceedings of the London Mathematical Society, Series 2, vol. 33, pp , publicado pelo geneticista e estaticista Sir Ronald Fisher e o estaticista John Wishart, epônimo da distribuição de Wishart. O historiador Stephen Stigler comenta que o termo cumulante foi sugerido a Fisher numa carta de Harold Hotelling. Em um outro artigo publicado em 1929, Fisher chamou-os de funções de momentos cumulativos.

44 Cumulantes - cont. Definição O cumulante de ordem k é definido como κ k = k Ψ(ω) ω k (24)

45 Cumulantes - cont. Propriedades dos cumulantes 1 Invariância e equivariância κ 1 (Y + α) = κ 1 (Y ) + α κ k (Y + α) = κ k (Y ) para α uma constante qualquer. 2 Homogeneidade (ou multilinearidade) κ k (αy ) = α k κ k (Y ) 3 Aditividade κ k (X + Y ) = κ k (X) + κ k (Y ) se X e Y são v.a.s independentes

46 Cumulantes - cont. Cumulantes e momentos Os cumulantes são relacionados com os momentos através da seguinte recursão: k 1 ( k 1 κ k = µ k i 1 i=1 ) κ i µ k i (25)

47 Cumulantes - cont. Cumulantes e momentos - cont. Desta forma, o k ésimo momento é um polinômio de grau k dos k primeiros cumulantes, dados, para o caso em que k = 6, na seguinte forma: µ 1 = κ 1 µ 2 = κ 2 + κ 2 1 µ 3 = κ 3 + 3κ 2 κ 1 + κ 3 1 µ 4 = κ 4 + 4κ 3 κ 1 + 3κ κ 2 κ κ 4 1 µ 5 = κ 5 + 5κ 4 κ κ 3 κ κ 3 κ κ2 2 κ κ 2 κ 3 1 µ 6 = κ 6 + 6κ 5 κ κ 4 κ κ 4 κ κ κ 3 κ 2 κ κ 3 κ κ κ2 2 κ κ 2κ κ6 1.

48 Distribuições de probabilidade importantes - contínuas v.a. uniforme S = [a,b] p X (x) = 1 b a, a x b {X} = a + b σ 2 (b a)2 X = 2 12 exp( jωb) exp( jωa) P X (ω) = jω(a b)

49 Distribuições de probabilidade importantes - contínuas v.a. exponencial S = [a, ) p X (x) = λexp( λx), x 0,λ 0 {X} = 1 λ σ 2 X = 1 λ 2 P X (ω) = λ λ + jω

50 Distribuições de probabilidade importantes - contínuas v.a. gaussiana p X (x) = 1 exp ( 2πσ S = (, ) (x µ)2 2σ 2 {X} = µ σx 2 = σ 2 ( jµω σ 2 ω 2 ) P X (ω) = exp 2 ), < x <,σ > 0

51 Distribuições de probabilidade importantes - contínuas v.a. Gamma S = (0, ) p X (x) = λ (λx)α 1 exp( λx), x > 0,α > 0,λ > 0 Γ(α) {X} = α σx 2 = α λ ( λ 2 ) 1 P X (ω) = exp (1 + jω/λ) α

52 Distribuições de probabilidade importantes - contínuas v.a. Rayleigh v.a. Cauchy S = [0, ) ( ) x exp x2 2σ p X (x) = 2 α 2, x 0,α > 0 {X} = α π/2 σx 2 = (2 π/2)α 2 S = (, ) p X (x) = α/π x 2 + α2, < x <,α > 0 Média e variância não existem P X (ω) = exp( α ω )

53 Distribuições de probabilidade importantes - contínuas v.a. laplaciana S = (, ) p X (x) = αexp( α x ), < x <,α > 0 2 {X} = 0 σ 2 X = 2 α 2 P X (ω) = α2 ω 2 + α 2

54 Distribuições de probabilidade importantes - discretas v.a. Bernoulli v.a. binomial S = 0,1 Pr(0) = q = 1 p, Pr(1) = p, 0 p 1 Pr(k) = {X} = p σx 2 = p(1 p) ( n k S = 0,1,...,n ) p k (1 p) n k, k = 0,1,...,n {X} = np σ 2 X = np(1 p)

55 Distribuições de probabilidade importantes - discretas v.a. binomial negativa S = r,r + 1,..., em que r é um inteiro positivo ( ) k 1 Pr(k) = p r (1 p) k r, k = r,r + 1,... r 1 {X} = r p σ 2 X = r(1 p) p 2 v.a. de Poisson S = 0,1,2,... Pr(k) = αk k! exp( α), k = 0,1,2,..., α > 0 {X} = α σ 2 X = α

56 Correlação e Covariância Correlação R(X,Y ) {X Y } (26) Covariância cov(x,y ) {[X µ(x)] [Y µ(y )]} (27)

57 Correlação e Covariância - cont. Propriedades 1 cov(x,y ) = {X Y } µ(x)µ(y ) cov(x, Y ) = {[X µ(x)] [Y µ(y )]} = {XY Xµ(Y ) µ(x)y + µ(x)µ(y )} = {XY } {X}µ(Y ) {Y }µ(x) + µ(x)µ(y ) = {XY } µ(x)µ(y ) µ(y )µ(x) + µ(x)µ(y ) = R(X, Y ) µ(x)µ(y ) 2 Se X e Y forem independentes {XY } = {X} {Y } = µ(x)µ(y ) cov(x,y ) = 0

58 Correlação e Covariância - cont. Propriedades - cont. 3 Dizemos que X e Y são descorrelacionados se e somente se cov(x,y ) = 0 4 Quando X = Y cov(x,x) = {X X} µ(x)µ(x) = { X 2} 2 {X} = σ 2 X 5 Se cov(x, Y ) = 0 não implica que X e Y são independentes

59 Correlação e Covariância - cont. Exemplo θ v.a. uniforme entre [0, 2π] { X = sin(θ) Y = cos(θ) cov(x,y ) = {XY } {X} {Y } {X} = 0 e {Y } = 0 {XY } = {sin(θ) cos(θ)} = 2π 0 1 2π cov(x,y ) = 0 não implica X e Y independentes! sin(θ) cos(θ) dθ = 0

60 Correlação e Covariância - cont. Coeficiente de correlação Propriedade ρ XY cov(x,y ) σ X σ Y (28) ρ XY 1

61 Correlação e Covariância - cont. Propriedade (prova) { [α(x µ(x)) (Y µ(y ))] 2} 0, α { α 2 (X µ(x)) 2 + (Y µ(y )) 2 2 α(x µ(x))(y µ(y ))} 0, α 2 σx 2 + σ2 Y 2αcov(X,Y ) 0, α (equação do 2o grau para 0) = 4 cov 2 (X,Y ) 4 σ 2 X σ 2 Y 0 α cov 2 (X,Y ) σx 2 σy 2 ρ 2 XY = cov2 (X,Y ) σx 2 1 σ2 Y ρ XY 1(c.q.d)

62 Distribuições e densidades condicionais Meta Caracterização da distribuição de probabilidade de uma variável aleatória condicionada a ocorrência de outra variável aleatória ou evento Definição distribuição cumulativa condicionada F X (x A) Pr {X x A} = Pr{X x,a} Pr{A} p X (x A) d dx F X(x A) (29)

63 Distribuições e densidades condicionais - cont. Analisando... Seja A = {x a} F X (x A) = F X (x X a) = Pr{X x X a} (a) x < a X a x a F X (x x a) = 0

64 Distribuições e densidades condicionais - cont. (a) x a PSfrag x a x X x a F X (x x a) = Pr{X x, X a} Pr{X a} = F X(x) F X (a) 1 F X (a) p X (x X a) = d dx F X(x X a) = = x p X (α) dα a p X (β) dβ a d dx F X(x) 1 F X (a) = p X(x) 1 F X (a)

65 Distribuições e densidades condicionais - cont. Resumindo p X (x X a) = 0 p X (x) U(x a) p X (β) dβ p X (x X a) a

66 Distribuições e densidades condicionais - cont. Observações 1 p X (x X a) dx = a p X (x) U(x a) dx p X (β) dβ a p X (x) dx a = = 1 p X (β) dβ

67 Distribuições e densidades condicionais - cont. Observações - cont. 2 {X A} =? A = {X a} {X X a} = x p X (x X a) dx xp X (x) = U(x a) dx p X (β) dβ a {X X a} = a a x p X (x) dx p X (β) dβ

68 Distribuições e densidades condicionais - cont. Observações - cont. 3 Caso em que A = {X = a} F X (x X = a) = Relaxando um pouco X = a para a X a a, F X (x A) = F X (x a X a a) = Pr{X x,x = a} Pr{X = a} }{{} v.a. contínua Pr{X=a}=0 a 0(depois) Pr{X x, a X a a} Pr{a X a a}

69 Distribuições e densidades condicionais - cont. Observações - cont. Temos 3 situações X < a F X (x A) = 0 a X a a F X (x A) = X > a + a F X (x A) = 1 F X (x A) Pr{a X x} Pr{a X a+ a} 1 a a + a

70 Distribuições e densidades condicionais - cont. Observações - cont. Fazendo 0: F X (x A) 1 a F X (x A) = U(x a) }{{} função degrau unitário F X (x X = a) = U(x a) p X (x X = a) = d dx F X(x X = a) = δ(x a)

71 Distribuições e densidades condicionais - cont. Função densidade condicional de duas variáveis aleatórias Ainda F Y (y x X x + x) = Pr{Y y,x X x + x} = p Y (y x) =? Pr{Y y,x X x + } Pr{x X x + a y x+ x x p X,Y (α,β) dαdβ = p X,Y (x,β) x método de Euler = y p X,Y (x,β) dβ x

72 Distribuições e densidades condicionais - cont. Função densidade condicional de duas variáveis aleatórias - cont. Pr{x X x + x} = y x+ x x p X,Y (x,β) dβ x F Y (y x) = p X (x) x p Y (y x) = df Y (y x) dy Se X e Y forem independentes p X (γ) dγ = p X (x) x = y = p X,Y (x,y) p X (x) p X,Y (x,β dβ p X (x) p X,Y (x,y) = p X (x) p Y (y) p Y (y x) = p Y (y) (30)

73 Estimação de mínimos quadrados 1o. Caso (Ŷ Ŷ = a = constante é estimador de Y ) minimizar {erro quadrático médio (EQM)} a EQM = { (Y Ŷ )2} = {(Y a) 2 } = {Y 2 2Y a + a 2 a} = {Y 2 } 2a {Y } + a 2 minimizar(eqm) =?, derivar EQM em relação a a e igualar a zero, a ou seja, deqm da = 0

74 Estimação de mínimos quadrados 1o. Caso - cont. deqm da = 2 {Y } + 2a = 0 a = {Y } Estimador não-polarizado, pois: {Ŷ } = {Y } EQM mínimo = {(Y a }{{} ótimo ) 2 } = σ 2 Y

75 Estimação de mínimos quadrados 2o. Caso Ŷ = ax X é v.a. conhecida min EQM = min a a { (Y ax) 2} }{{} EQM EQM = { Y 2 2aXY + a 2 X 2} EQM = {Y 2 } 2a {XY } + a 2 {X 2 } min EQM : deqm = 0 a da 2 {XY } + 2a {X 2 } = 0 a = {XY } {X 2 }

76 Estimação de mínimos quadrados 2o. Caso - cont. { } Ŷ = {ax} = {XY } {X} {X 2 } Estimador polarizado! {Y }

77 Estimação de mínimos quadrados 3o. Caso Ŷ = ax + b min { [Y (ax + b)] 2} a,b }{{} EQM EQM = { Y 2 + a 2 X 2 + b 2 + 2abX 2aY X 2Y b } EQM = {Y 2 }+a 2 {X 2 }+b 2 +2ab {X} 2a {XY } 2b {Y }

78 Estimação de mínimos quadrados 3o. Caso - cont. EQM = 2a {X 2 } + 2b {X} 2 {XY } = 0 a EQM = 2b + 2a {X} 2 {Y } = 0 b { b = {Y } a {X} a = Utilizando-se substituição obtém-se: {XY } b {X} {X 2 } a = cov(x,y ) σ 2 X e b = {Y } cov(x,y ) σ 2 X {X}

79 Estimação de mínimos quadrados 3o. Caso - cont. { } Ŷ = {ax + b} = a {X} + {Y } a {X} = {Y } Estimador não-polarizado! Vimos que na estimação min a,b { (Y Ŷ )2} em queŷ = ax + b, obtemos { b = {Y } a {X} a = {XY } b {X} {X 2 }

80 Estimação de mínimos quadrados 3o. Caso - cont. {(Y }{{ Ŷ } ) }{{} X } erro medida Y {(Y ax b) X} = {XY } a {X 2 } b {X} = 0 Ou seja { (Y Ŷ ) X } = 0 o erro é ortogonal a medida X

81 Estimação de mínimos quadrados 3o. Caso - cont. O valor mínimo da solução ótima: EQM mínimo = {(Y ax b)} = Y ax {Y } + a {X} }{{} b = { [(Y {Y }) a(x {X})] 2} = {(Y {Y }) 2 2a(Y {Y })(X {X})+a 2 (X {X}) 2 } = {(Y {Y }) 2 } +a 2 {(X {X}) 2 } }{{} σ 2 Y }{{} σ 2 X 2a {(Y {Y })(X {X})} }{{} cov(x,y )

82 Estimação de mínimos quadrados 3o. Caso - cont. Logo: EQM mínimo = σ 2 Y + a 2 σ 2 X 2acov(X,Y ) Mas a = cov(x,y ), então substituindo σx 2 EQM mínimo = σ 2 Y cov(x,y ) σ 2 X EQM mínimo = (1 ρ 2 XY ) σ2 Y Se ρ XY = 1 EQM mínimo = 0 Se ρ XY = 1 EQM mínimo = σ 2 Y

83 Estimação de mínimos quadrados 4o. Caso min { [Y f(x)] 2} f(x) }{{} EQM { { EQM = X X Y [Y f(x)] 2 }} X Y { [Y f(x)] 2 } = Pode-se reescrever o problema como: min { X Y [Y f(x)] 2 } = f(x) (y f(x)) 2 p }{{} Y X (y x) }{{} 0 0 dy (y f(x)) 2 p Y X (y x) dy

84 Estimação de mínimos quadrados 4o. Caso - cont. Regra de Leibnitz φ 2 R(x) d dx φ 1 (x) φ 2 R(x) F(x,α) dα= φ 1 (x) Então, temos (z = f(x)) d dz F(x,α) dα+ dφ 2 (x) dx (y z) 2 p Y X (y x) dy = yp Y X (y x) dy = {Y X} = f(x) F(x,φ 2(x)) dφ 1 (x) F(x,φ dx 1 (x)) ( 2)(y z)p Y X (y x) dy = 0 f(x)p Y X (y x) dy

85 Estimação de mínimos quadrados 4o. Caso - cont. Note que: { } { Ŷ = {f(x)} = X X Y {Y X} } {Y } f(x) é um estimador não-polarizado! EQM mínimo = Y X { (Y {Y X}) 2 } = (y {Y X}) 2 p Y X (y x) dy

86 Estimação de mínimos quadrados 4o. Caso - cont. {Y X} = y p Y X (y x) dyse X e Y forem independentes: p Y X (y x) = p Y (y) {Y X} = {Y } EQM mínimo = σy 2 X = σ2 Y

87 Estimação de mínimos quadrados Caso particular { Y a } = = a min a Ŷ = a { Y a } y a p Y (y) dy = EAM }{{} Erro absoluto médio (y a) p Y (y) dy + a (a y) p Y (y) dy

88 Estimação de mínimos quadrados Caso particular - cont. deam da = a deam da = 0 ( 1) p Y (y) dy + } {{ } [1 F Y (a)] deam da a = 1 + 2F Y (a) = 0 F Y (a) = p Y (y) dy }{{} F Y (a)=pr{y a} a ótimo tal que F Y (a) = a é chamado de mediana. A mediana coincide com a média quando p Y (y) for simétrica

89 Teorema Central do Limite Muitos problemas em v.a. envolvem uma composição de eventos combinados Tais fenômenos resultants podem ser reduzidos, de forma exata ou aproximada, por uma soma de variáveis independentes O estudo deste tipo de fenômenos resulta no mais importante teorema relativo a varáveis aleatórias: o Teorema Central do Limite O estudo dele no entanto repousa sobre à chamada Lei dos Grande Números

90 Teorema Central do Limite Soma de variáveis aleatórias Seja X 1,X 2,...,X n uma seqüência de variáveis aleatórias e S n = X 1 + X X n sua soma. Então temos: n {S n } = {X i } (31) Ou seja, a média de uma soma de v.a.s é a soma das médias das v.a.s Entretanto, no caso da variância isso é mais complexo. i=1

91 Teorema Central do Limite Soma de variáveis aleatórias - cont. Para chegar ao resultado da variância da soma de n variáveis aleatórias, vamos considerar inicialmente duas, ou seja S 2 = X 1 + X 2. Então var(s 2 ) = { (S 2 {S 2 }) 2} = {X 1 + X 2 {X 1 } {X 2 }} = { [(X 1 {X 1 }) + (X 2 {X 2 })] 2} Então, após simplificações chegamos ao seguinte resultado var(s 2 ) = var(x 1 ) + var(x 2 ) + 2cov(X 1,X 2 ) Ou seja, as covariâncias são levadas em conta no cálculo da variância da soma de v.a.

92 Teorema Central do Limite Soma de variáveis aleatórias - cont. Ao fazermos as contas para a soma de n v.a.s (S n = X 1 + X X n ) temos var(s n ) = n var(x i ) + i=1 n j=1 j n cov(x i,x j ) i=1 Entretanto, para v.a. independentes temos var(s n ) = n var(x i ) i=1 uma vez que cov(x i,x j ) = 0 i j

93 Teorema Central do Limite Soma de variáveis aleatórias - cont. Se as v.a.s X i forem independentes e todas tiverem média µ e variância σ 2 teremos então para S n = X 1 + X X n : {S n } = n µ var(s n ) = n σ 2

94 Teorema Central do Limite Soma de variáveis aleatórias - cont. Para calcular a pdf de uma soma de n então de variáveis aleatórias independentes, podemos então fazer uso da função característica. Usando primeiro, o caso para n = 2(S 2 = X 1 + X 2 ): P S2 (ω) = {exp( jωs 2 )} = {exp[ jω(x 1 + X 2 )]} = {exp( jωx 1 )exp( jωx 2 )} = {exp( jωx 1 )} {exp( jωx 2 )} = P X1 (ω)p X2 (ω) Assim, para o caso de duas variáveis p S2 (s) = p X1 (x) p X2 (x)

95 Teorema Central do Limite Soma de variáveis aleatórias - cont. Para n variáveis (S n = X 1 + X X n ): P Sn (ω) = {exp( jωs n )} = {exp[ jω(x 1 + X X n )]} = {exp( jωx 1 )exp( jωx 2 ) exp( jωx n )} = {exp( jωx 1 )} {exp( jωx 2 )} {exp( jωx n )} = P X1 (ω)p X2 (ω) P Xn (ω) Logo, a densidade de probabilidade será dada por: p Sn (X) = F 1 {P X1 (ω)p X2 (ω) P Xn (ω)}

96 Teorema Central do Limite Soma de variáveis aleatórias - cont. Seja S n = X 1 + X X n a soma de n v.a. independentes e gaussianas com médias e variâncias, µ 1,µ 2,...,m n e σ 2 1,σ2 2,...,σ2 n. Temos que a função característica de X k é: Então, pelo resultado anterior ( P Xk = exp jωµ k ω2 σk 2 ) 2 P Sn (ω) = P X1 (ω)p X2 (ω) P Xn (ω) [ = exp jω(µ µ n ) ω2 (σ ] σ2 n) 2 que é a função característica de uma variável aleatória gaussiana com média µ = µ µ n e variância σ 2 = σ σ2 n

97 Teorema Central do Limite Soma de variáveis aleatórias - cont. Se as variáveis X i que compõem a soma forem independentes e identicamente distribuídas, cada uma com função característica P Xk (ω) = P X (ω) então, a função característica da soma será P Sn (ω) = [P X (ω)] n

98 Teorema Central do Limite Média das Amostras e Lei dos Grandes Números Seja X uma v.a. cuja média {X} = µ é desconhecida. Seja X 1,...,X n n repetições independentes medidas de X, ou seja, os X i s são variáveis independentes identicamente distribuídas (iid) com a mesma pdf de X. A média das amostras da seqüência usada para estimar {X} é dada por: M n = 1 n n X j (32) Qual a média e a variância do estimador M n de tal forma que ele é um bom estimador de {X}? E qual a influência do n no estimador? j=1

99 Teorema Central do Limite Média das Amostras e Lei dos Grandes Números - cont. A média das amostras é ele mesmo uma v.a. desta maneira irá exibir características de variação aleatória. Um bom estimador deve possuir duas propriedades: 1 Deve ser não-polarizado, ou seja, na média seu valor deve tender para o valor da variável; 2 Não { deve variar muito em torno do valor correto, ou seja, ) } 2 ( Mn µ deve ser pequeno

100 Teorema Central do Limite Média das Amostras e Lei dos Grandes Números - cont. Valor esperado do estimador: { Mn } 1 n = X j n = 1 n {X j } n = 1 n nµ = µ j=1 Assim, temos um estimador não-polarizado. j=1

101 Teorema Central do Limite Média das Amostras e Lei dos Grandes Números - cont. Já a variância: { ) } { 2 ) } 2 var( M n ) = ( Mn µ = ( Mn { M n } Deve-se notar que M n = Sn n, então, como var(s n ) = nvar(x j ) = nσ 2, uma vez que X i são i.i.d.. Logo var( M n ) = 1 n 2var(S n) = nσ2 n 2 = σ2 n Assim, a variância tende a zero quando o número de amostras aumenta! Isto implica que a probabilidade the a média amostral seja próxima do valor correto tende a um quando n se assume um valor grande.

102 Teorema Central do Limite Média das Amostras e Lei dos Grandes Números - cont. A afirmação anterior pode ser então formalizada por meio do uso da desigualdade de Tchebchev: { Pr Mn { Mn } } ǫ var( M n ) ǫ 2 Então, substituindo os valores, temos: Considerando o complemento: { } Pr Mn µ ǫ σ2 nǫ 2 } Pr{ Mn µ < ǫ 1 σ2 nǫ 2 (33)

103 Teorema Central do Limite Média das Amostras e Lei dos Grandes Números - cont. Note que se n então { } lim Pr Mn µ < ǫ = 1 n Este resultado nos remete então para duas importantes leis em estatística 1 Lei fraca dos grandes números; 2 Lei forte dos grandes números

104 Teorema Central do Limite Lei Fraca dos Grandes Números Seja X 1,X 2,... uma seqüência de v.a. i.i.d. com média {X} = µ, então para ǫ > 0 { } lim Pr Mn µ < ǫ = 1 (34) n A lei fraca dos grandes números afirma que para um valor fixo n suficientemente grande, a média amostral usando n valores vai ser próxima do valor correto com alta probabilidade.

105 Teorema Central do Limite Lei Forte dos Grandes Números Seja X 1,X 2,... uma seqüência de v.a. i.i.d. com média finita {X} = µ e variância finita, então { Pr lim n } M n = µ = 1 (35) Embora semelhante a lei fraca dos grandes números, há uma diferença crucial. Ela afirma que com probabilidade um, toda seqüência usada para cálculo da média amostral vai eventualmente se aproximar e permanecer próxima a {X} = µ. Este é o tipo de convergência que se espera em situações físicas nas quais a regularidade estatística se mantém.

106 Teorema Central do Limite Teorema Seja S n uma soma de n v.a. i.i.d. com média finita {X} e variância finita σ 2, e seja Z n uma v.a. de média nula e variância unitária, definida por Z n = S n nµ σ n então lim Pr{Z n z} = 1 n 2π z exp ) ( x2 2 dx (36)

107 Teorema Central do Limite Prova do Teorema Central do Limite Z n = S n nµ σ n = 1 σ n A função característica de Z n é dada por n (X k µ) k=1 P Zn (ω) = {exp( jωz n)} ( " #) jω nx = exp σ (X k µ) n k=1 ( Y n «) jω(xk µ) = exp σ n k=1 ny j «ff jω(xk µ) = exp σ n k=1» j «ff jω(xk µ) n = exp σ n

108 Teorema Central do Limite Prova do Teorema Central do Limite - cont. Expandindo a exponencial em série de Taylor, temos j «ff jω(x µ) exp σ n j = 1 + jω ff σ (jω)2 (X µ) + n 2!σ 2 n (X µ)2 + R(ω) = 1 + jω σ (jω)2 {(X µ)} + n 2!σ 2 n {(X µ)2 } + {R(ω)} Notando que {(X µ)} = 0 e {(X µ) 2 } = σ 2, temos { ( )} jω(x µ) exp σ = 1 ω2 n 2n + {R(ω)} O termo {R(ω)} pode ser desprezado em relação a ω2 2n quando n torna-se grande.

109 Teorema Central do Limite Prova do Teorema Central do Limite - cont. Ao substituirmos o resultado anterior na fórmula da função característica de Z n, tem-se ] n P Zn (ω) = [1 ω2 2n E sabe-se que P Zn (ω) exp ) ( ω2, quando n 2 O resultado acima é a função característica de uma v.a. gaussiana de média zero e variância unitária. c.q.d.