Processos Estocásticos

Processos Estocásticos Luis Henrique Assumpção Lolis 26 de maio de 2014 Luis Henrique Assumpção Lolis Processos Estocásticos 1

Conteúdo 1 Introdução 2 Definição 3 Especificando um processo aleatório 4 Processos no domínio do tempo discreto 5 Processos de Poisson 6 Processo Gaussiano e Wiener 7 Processos Aleatórios Estacionários Luis Henrique Assumpção Lolis Processos Estocásticos 2

Sumário 1 Introdução 2 Definição 3 Especificando um processo aleatório 4 Processos no domínio do tempo discreto 5 Processos de Poisson 6 Processo Gaussiano e Wiener 7 Processos Aleatórios Estacionários Luis Henrique Assumpção Lolis Processos Estocásticos 3

Introdução O resultado de um experimento para a ser uma função no tempo ou no espaço. Em sistemas de comunicação a informação que é um sinal em função do tempo é um processo estocástico. Processos estocásticos e processos aleatórios são sinônimos. Ex: Intensidade luminosa de um filme. Música. Sequência de dados. Alguns processos caminham juntos no tempo: A temperatura em uma determinada cidade. A demanda de energia elétrica nessa cidade. Luis Henrique Assumpção Lolis Processos Estocásticos 4

Conceitos a serem abordados Processos Aleatórios - Família Indexada de V.A. s Probabilidade conjunta dentro de uma família (Ex: a temperatura em dois instantes de tempo). Distribuições conjuntas Média e covariância Processo estacionário - regime permanente. Médias no tempo e estimação de parâmetros. Representação por séries de Fourier. Luis Henrique Assumpção Lolis Processos Estocásticos 5

Definição Os resultados possíveis de um experimento são denotados por ζ dentro de um espaço de amostras S. O processo aleatório é um resultado que é uma função no tempo: X(t, ζ), t I A função no tempo é chamada de realização, amostra do caminho, amostra da função. Fixando um instante t k no tempo (como tirar uma foto da função), para todas as amostras, representa uma variável aleatória X(t k, ζ). A família de V.A. s indexadas por t, {X(t, ζ, t I}) é o que chamamos de processo aleatório ou processo estocástico Luis Henrique Assumpção Lolis Processos Estocásticos 7

01234 5 6 01234 9 6 2 5 2 9 2 8 2 7 2 2 5 2 9 2 8 2 7 2 01234 8 6 2 5 2 9 2 8 2 7 2! "# $% & Luis Henrique Assumpção Lolis Processos Estocásticos 8

Exemplos Sequência Binária Aleatória. Senos Aleatórios. 34 678 34 679 3467 012 34 34 6 02!"#$% &'( )!%$* *+,'"%-./!"#$% &'( )!%$* +(#-0 Luis Henrique Assumpção Lolis Processos Estocásticos 9

Introdução Necessidade de especificar intervalos e tempos distintos. P [x 1 < X(t 1 ) x 2, x 1 < X(t 2 ) x 2 ] Probabilidade condicional do processo (EX: predição para compressão de fala) P [a < X(t k+1 ) b X(t 1 ) = x 1, X(t 2 ) = x 2,..., X(t k ) = x k ] Luis Henrique Assumpção Lolis Processos Estocásticos 11

Distribuições conjuntas de amostras no tempo X 1, X 2,..., X k, V.A. s do processo X(t, ζ) amostradas em t 1, t 2,..., t k X 1 = X(t 1, ζ), X 2 = X(t 2, ζ),..., X k = X(t k, ζ) A f.d.a. conjunta do processo nos instantes t k é a f.d.a conjunta do vetor aleatório X 1, X 2,..., X k de ordem k F x1,x 2,...,x k (X 1, X 2,..., X k ) = P [X(t 1 ) x 1, X(t 2 ) x 2,..., X(t k ) x k ] A f.d.p conjunta do processo contínuo como sendo a derivada da f.d.a conjunta p x1,x 2,...,x k (X 1, X 2,..., X k )dx 1... dx n = P {x 1 < X(t 1 ) x 1 + dx 1,..., x k < X(t k ) x k + dx k ] Luis Henrique Assumpção Lolis Processos Estocásticos 12

Exemplos Processo Gaussiano i.i.d. Considere X n sendo uma sequência de de variáveis aleatórias i.i.d. com distribuição gaussiana. de média zero e variância σ 2 X. p x1,x 2,...,x k (X 1, X 2,..., X k ) = 1 (2πσ 2 ) k/2 e (x2 1 +x2 2 + +x2 k )/(2σ2 ) Sinal ruidoso filtrado: X j = µ + N j, para j = 0, 1,... Média das amostras: S n = (X 1 + X 2 + + X n )/n, para n = 0, 1,... Var[S n ] = σ 2 /n e E[S n ] = µ Luis Henrique Assumpção Lolis Processos Estocásticos 13

Exemplos Processo Gaussiano filtrado. Temos X j como uma sequência de V.A. i.i.d. de um sinal de tensão µ corrompida por um sinal de ruído com média zero e variância σ 2 : X j = µ + n j para j = 0, 1,.... Agora considere que esse sinal passa por um filtro que tira a média do ruído: S n = (X 1 + X 2 + + X n )/n para n = 0, 1,... S n é a média das amostras da sequência i.i.d. e Luis Henrique Assumpção Lolis Processos Estocásticos 14

Média, Autocorrelação e Autocovariância Média do processo para o instante t: m x (t) = E[X(t)] = Variância do processo para o instante t: Var[X(t)] = xp x(t) (X)dX (x m x (t)) 2 p x(t) (X)dX Autocorrelação do processo para os instantes t 1, t 2 : R x (t 1, t 2 ) = E[X(t 1 )X(t 2 )] = x 1 x 2 p x(t1 ),x(t 2 )(X 1, X 2 )dx 1 dx 2 Autocovariância do processo para os instantes t 1, t 2 : C x (t 1, t 2 ) = E[{X(t 1 ) m x (t 1 )}{X(t 2 ) m x (t 2 )}] C x (t 1, t 2 ) = R x (t 1, t 2 ) m x (t 1 )m x (t 2 ) Var[X(t)] = E[(X(t) m x (t)) 2 ] = C x (t, t) Luis Henrique Assumpção Lolis Processos Estocásticos 15

Coeficiente de Autocorrelação Coeficiente de Autocorrelação do processo para os instantes t 1, t 2 : C x (t 1, t 2 ) ρ x (t 1, t 2 ) = Cx (t 1, t 1 ) C x (t 2, t 2 ) Se o processo passa para o domínio do tempo discreto, o sinal deixa de ser uma função contínua do tempo t e passa a ser uma amostra de número n. Exemplos: Calcular a média a autocorrelação e autocovariância dos processos: x(t) = A cos(2πt) e y(t) = cos(2πt + θ) Luis Henrique Assumpção Lolis Processos Estocásticos 16

Variáveis aleatórias múltiplas As vezes precisamos comparar dois processos em dois instantes diferentes. Ex: Uma sequencia aleatória enviada e sequência recebida. Exemplo de representação da f.d.p conjunta de duas V.A. s em dois instantes de tempo: p x(t1 ),y(t 2 )(X, Y ) = P x < X(t 1 ) x + dx, y < Y (t 2 ) y + dy X e Y (são vetores em t) podem ser independentes se: F x,y (X, Y ) = F x (X)F y (Y ) Correlação cruzada de X em t 1 e Y em t 2 : R x,y (t 1, t 2 ) = E[X(t 1 )Y (t 2 )] Sinais ortogonais: R x,y (t 1, t 2 ) = 0, t 1, t 2 Luis Henrique Assumpção Lolis Processos Estocásticos 17

Ex: Sinal com ruído Y (t) = X(t) + N(t) Vamos assumir X(t) e N(t) independentes. Calculando a correlação cruzada entre X e Y. R x,y (t 1, t 2 ) = E[X(t 1 )Y (t 2 )] = E[X(t 1 ){X(t 2 ) + N(t 2 )}] R x (t 1, t 2 ) + E[X(t 1 )N(t 2 )] com X e N independentes: = R x (t 1, t 2 ) + m X (t 1 )m N (t 2 ) Luis Henrique Assumpção Lolis Processos Estocásticos 18

Passos Aleatórios { +1 se In = 1 D n = 1 se I n = 0 E[D n ] = 2p 1 VAR[D n ] = 4p(1 p) Luis Henrique Assumpção Lolis Processos Estocásticos 20

V.A. s i.i.d. Média m x(n) = E[X n] = m Uma sequência de variáveis aleatórios independentes identicamente distribuídas. Cada V.A. com f.d.a F x (X), média m e variância σ 2. X n é um processo aleatório i.i.d. Autocovariância P/ n 1 n 2 C x(n 1, n 2) = E[(X n1 m)]e[(x n2) m] = 0 P/ n 1 = n 2 C x(n 1, n 2) = E[(X n1 m) 2 ] = σ 2 Autocorrelação R x(n 1, n 2) = C x(n 1, n 2) + m 2 Luis Henrique Assumpção Lolis Processos Estocásticos 21

Processos de soma Contagem binomial: P [S n = k] = todo 0 j n ( n j ) p j (1 p) n j, para Andar aleatório (o andar do bêbado), sendo a probabilidade da soma a posição final e p a probabilidade de um deslocamento (Ex:+1) e (1 p) a probabilidade de outro deslocamento (Ex:-1) p = 1/2 e quatro realizações temporais. 93 73 53 3 53 p = 3/4 para o deslocamento +1 e quatro realizações temporais. 933 833 733 633 73 93 3 3 433 533 633 733 833 933 33 33 33 4333 012 533 433 3 3 433 533 633 733 833 933 33 33 33 4333 012 Luis Henrique Assumpção Lolis Processos Estocásticos 22

Ex: Andar aleatório de uma dimensão E[S n ] = ne[x] = nm VAR[S n ] = n VAR[X] = nσ 2 Luis Henrique Assumpção Lolis Processos Estocásticos 23

Processos de Poisson O número de ocorrências em um intervalo t, N(t). Sendo que a taxa média de ocorrências é λ ocorrências por segundo. No intervalo [0, t] fica λt. O tempo entre eventos segue uma dist. exponencial. P [N(t) = k] = (λt)k e λt, para k = 0, 1,... k! E[N(t) = k] = λt e VAR[N(t)] = λt f.m.p. conjunta do processo de poisson: P [n(t 1 ) = i, N(t 2 ) = j] = P [N(t 1 ) = i]p [N(t 2 ) N(t 1 ) = j i] Autocovariância: C N (t 1, t 2 ) = E[(N(t 1 ) λt 1 )(N(t 2 ) λt 2 )] = = E[(N(t 1 ) λt 1 ) {N(t 2 ) N(t 1 ) λt 2 + λt 1 + (N(t 1 λt 1 ))}] = VAR[N(t 1 )] = λt 1 Luis Henrique Assumpção Lolis Processos Estocásticos 25

Ex:Processos de Poisson Pedidos chegam em uma secretária eletrônica de acordo com um processo de poisson de 15 pedidos por minuto. Encontre a probabilidade de que em 1 minuto, cheguem 3 pedidos e nos primeiros 10 segundos e que se cheguem 2 pedidos nos últimos 15 segundos. Luis Henrique Assumpção Lolis Processos Estocásticos 26

Processo Gaussiano m = X 1 = X(t 1 ), X 2 = X(t 2 ), X 3 = X(t 3 ),..., X k = X(t k ) f X1,X 2,...,X k (x 1, x 2,..., x k ) = e 1/2(x m)t K 1 (x m) (2π) k2/ K 1/2 m X (t 1 ). m X (t k ) K = C X (t 1, t 1 ) C X (t 1, t 2 ) C X (t 1, t k ) C X (t 2, t 1 ) C X (t 2, t 2 ) C X (t 2, t k )... C X (t k, t 1 ) C X (t k, t k ) Luis Henrique Assumpção Lolis Processos Estocásticos 28

Ex: Processo Gaussiano Contínuo Suponha X(t) um processo gaussiano com média e covariância definidos por: m X (t) = 3t e C X (t 1, t 2 ) = 9e 2 t 1 t 2 Calcular P [X(3) < 3] e P [X(1) + X(2) > 2] Luis Henrique Assumpção Lolis Processos Estocásticos 29

Wiener Wiener é um processo gaussiano cuja variância aumenta com o tempo. Se considerar um passo ±h de probabilidade p = 1/2 a cada δ segundos. E[hS n ] = 0, Var[hS n ] = h 2 n Agora reduzindo o intervalo tendendo a zero e o passo tendendo a zero δ 0 e h 0 e com h = aδ Var[X(t)] = ( αδ) 2 (t/δ) = αt Como o teorema do limite central direciona a soma de V.A.s i.i.d. para uma gaussiana gaussiano, então: 1 f X(t) (x) = e x2 2αt 2παt Luis Henrique Assumpção Lolis Processos Estocásticos 30

Wiener 4 316 3 216 2 016 0 016 2 216 3 0 012 013 014 015 016 017 018 019 01 2 Luis Henrique Assumpção Lolis Processos Estocásticos 31

Estacionariedade A aleatoriedade do processo não muda no tempo. Ex: média e variância constantes. Regime permanente. As propriedades conjuntas em (t 0, t 1 ) e (t 0 + τ, t 1 + τ) ficam as mesmas. Processo estacionário A probabilidade conjunta independe do instante inicial de observação: F X(t1 ),...,X(t k )(x 1,..., x k ) = F X(t1 +τ),...,x(t k +τ)(x 1,..., x k ) para qualquer τ, todo k e todos t 1,..., t k Luis Henrique Assumpção Lolis Processos Estocásticos 33

Estacionariedade de primeira ordem F X(t) (x) = F X(t+τ) (x) = F X (x), para todo t. Média e variância constantes para todo t m X(t) = E[X(t)] = m, para todo t Var[X(t)] = E[(X(t) m) 2 ] = σ 2, para todo t Luis Henrique Assumpção Lolis Processos Estocásticos 34

Estacionariedade de segunda ordem F X(t1 ),X(t 2 )(x 1, x 2 ) = F X(0),X(t2 t 1 )(x 1, x 2 ) = F X (x 1, x 2 ), para todo t 1, t 2. Autocorrelação e Autocovariância constantes pata todo t 2 t 1 R X(t) (t 1, t 2 ) = R X (t 2 t 1 ), para todo t 1, t 2. C X(t) (t 1, t 2 ) = C X (t 2 t 1 ), para todo t 1, t 2. Luis Henrique Assumpção Lolis Processos Estocásticos 35