Resumo. Parte 7 Processos Estocásticos. Ramiro Brito Willmersdorf

Parte 7 Processos Estocásticos Ramiro Brito Willmersdorf ramiro@willmersdorf.net Departamento de Engenharia Mecânica Universidade Federal de Pernambuco 2011.2 Resumo 1 Processos Estocásticos 2 Classicação 3 Exemplos 4 Especicação de Processos Estocásticos 5 Momentos de Processos Estocásticos 6 Processos Estocásticos Usuais 7 Estacionarieadade 8 Propriedades de Processos Estacionários no Sentido Amplo 9 Caracterização Conjunta de Processos Estocásticos 10 Independência, correlação e Ortogonalidade

Processos Estocásticos Denição Denição Um processo estocástico é um mapa que associa a cada ponto amostral ω Ω uma função real que depende de um parâmetro t. Mais formalmente x : Ω F ω x(t, ω), t T onde T R. Processos Estocásticos Denição Ilustração

Processos Estocásticos Interpretações Observações Um processo estocástico é uma função de duas variáveis, ω Ω e t T, com T R. Muitas vezes (elétrica, economia, etc) t representa o tempo e T = (0, T ], mas pode representar uma variável espacial. Cada função de F é chamada função amostra. O conjunto de todas as funções amostra é chamado de ensemble. Processos Estocásticos Interpretações Interpretações Importantes 1 Fixando ω = ω i, o processo estocástico representa uma única função x(t, ω i ) de t. 2 Fixando t = t 1, obtem-se uma variável aleatória que associa a cada ponto amostra um número real x(t 1, ω). 3 Fixando n valores t 1, t 2,..., t n, obtem-se um vetor aleatório (x(t 1, ω), x(t 2, ω),..., x(t n, ω)) T. 4 Se ambos t e ω são xos, então o processo estocástico reduz-se a um número real. Observação: Por conveniência, omitimos o parâmetro ω, e representamos o processo estocástico x(ω, t) como x(t) apenas.

Processos Estocásticos Interpretações Interpretações Um processo estocástico x(t) pode representar então 5 situações diferentes 1 Uma família de funções do tempo (t e ω variáveis); 2 Uma única função do tempo (t variável e ω xo); 3 Uma variável aleatória (t xo e ω variável); 4 Um vetor aleatório (t 1, t 2,..., t n xos e ω variável); 5 Um único número real (t e ω xos). Processos Estocásticos Exemplos Função Analítica Algumas vezes as funções amostra podem tem formas analíticas, por exemplo x(t, ω) = Asin(2πf c (ω)t) que é representada gracamente por observe que é possível se o valor da função é conhecido para t < t 1 então é possível calcular o valor da função para qualquer t > t 1.

Processos Estocásticos Exemplos Função Não Analítica Muitas vezes, as funções amostra não tem expressão simples, particularmente quando provenientes de processos físicos aleatórios. Por exemplo neste caso, o conhecimento do valor da função em um instante de tempo de forma alguma auxilia na previsão de seu valor em algum instante futuro. Classicação Classicação Quanto aos valores que o processo pode assumir Processo estocástico discreto; Processo estocástico contínuo. Quanto aos valores que os parâmetros podem assumir Processo estocástico de parâmetro discreto; Processo estocástico de parâmetro contínuo.

Classicação Tipos de Processos Estocásticos Exemplos Chamadas Telefônicas Número de chamadas telefônicas que chega em uma central telefônica em função do tempo. Processo estocástico discreto de parâmetro contínuo. O número de chamadas que chegaram até um determinado tempo, n(t 0, ω), é uma variável aleatória discreta. Uma função amostra típica é

Exemplos Ruído Térmico A tensão nos terminais de um resistor, devida ao movimento térmico dos elétrons, não é passível de descrição determinística. Processo estocástico contínuo de parâmetro contínuo. Uma função amostra típica é A tensão em um determinado instante de tempo é uma variável aleatória continua x(t 0, ω). Exemplos Sinal de Voz Amostrado Em um sistema de comunicações digital, o sistema tem que amostrar o sinal antes da transmissão. Processo estocástico contínuo de parâmetro discreto. Uma função amostra típica é

Exemplos Sinal de Rádio A intensidade de um signal de rádio recebido varia de forma aleatória devido a fenômenos naturais, interferência, etc. Uma função amostra típica é Claramente é um Processo estocástico contínuo de parâmetro contínuo. Exemplos Importante! Nos exemplos anteriores, observamos funções amostra especícas. É importante ressaltar que, conforme a nossa denição de espaço amostral, é necessário que estas experiências podem ser repetidas inúmeras vezes em condições idênticas!

Especicação de Processos Estocásticos Especicação de 1 a ordem Especicando-se um valor para t, t T, obtem-se uma v.a. x i e: x i tem uma função distribuiçao de probabilidade F xt (X ); x i tem uma função densidade de probabilidade p xt (X ); para cada valor de t T, obtem-se uma v.a. distinta! Especição de 1 a Ordem Um processo estocástico está especicado até a primeira ordem quando a função densidade de probabilidade p xt (X ) é conhecida para qualquer valor t T. As funções {p xt (X ), t T } são chamadas funções densidade de probabilidade de primeira ordem do processo estocástico x(t). Especicação de Processos Estocásticos Exemplo 7.5

Especicação de Processos Estocásticos Especicação de 2 a ordem Existem situações que requerem mais informação sobre o processo estocástico, como por exemplo a especicação da função densidade de probabilidade conjunta de duas variáveis aleatórias, denidas sobre o mesmo processo x(t) Especicação de 2 a ordem Um processo estocástico está especicado até a segunda ordem quando a função densidade de probabilidade conjunta p x1 x 2 (X 1, X 2 ) é conhecida para qualquer par de valores (t 1, t 2 ), com t 1 T e t 2 T. A função p x1 x 2 (X 1, X 2 ) é denominada função densidade de probabilidade de segunda ordem do processo estocástico x(t). Especicação de Processos Estocásticos Especicação de Ordem m Claramente a idéia pode ser extendida para m tempos. Especicação de Ordem m Um processo estocástico está especicado até a ordem m quando a função densisdade de probabilidade conjunta p x1 x 2 x m (X 1, X 2,..., X M ) é conhecida para qualquer conjunto de valores (t 1, t 2,, t m ) para qualquer t i T, i = 1,..., m. A função densidade de probabilidade p x1 x 2 x m (X 1, X 2,..., X M ) é denominada função densidade de probabilidade de ordem m do processo estocástico. Observação: Se um processo estocástico está especicado até a ordem m, então está especicado até qualquer ordem menor do que m.

Especicação de Processos Estocásticos Especicação Completa Levando a especicação ao limite temos, Especicação de Ordem m Um processo estocástico está especicado completamente se ele está especicado até a ordem m, para qualquer valor inteiro m. Na prática, normalmente conseguimos especicar processos até a primeira ou segunda ordem apenas. Momentos de Processos Estocásticos Média Os momentos de um processo estocástico são os momentos das variáveis aleatórias denidas em quaisquer instantes do processo. Por exemplo: Média A Média de um processo estocástico x(t), é representada por m x (t) e é denida por m x (t) = E[x(t)] ; t T.

Momentos de Processos Estocásticos Autocorrelação Função Autocorrelação A Função Autocorrelação de um processo estocástico x(t), representada por R x (t 1, t 2 ), é denida como a correlação entre as variáveis aleatórias x(t 1 ) e x(t 2 ), isto é R x (t 1, t 2 ) = E[x(t 1 )x(t 2 )] ; t 1, t 2 T. Se t 1 = t 2 = t a função autocorrelação fornece o Valor Médio Quadrático do processo, dado por R x (t, t) = E[x 2 (t)] ; t T. Momentos de Processos Estocásticos Autocovariância Função Autocovariância A Função Autocovariância de um processo estocástico x(t), representada por K x (t 1, t 2 ), é denida como a covariância entre as variáveis aleatórias x(t 1 ) e x(t 2 ), isto é K x (t 1, t 2 ) = E[(x(t 1 ) m x (t 1 ))(x(t 2 ) m x (t 2 ))] ; t 1, t 2 T. Observação: É possível mostrar que K x (t 1, t 2 ) = R x (t 1, t 2 ) m x (t 1 )m x (t 2 ).

Processos Estocásticos Usuais Transmissão Binária Semi-Aleatória Supondo que T = (, ) seja dividido em intervalos de tamanho T, e que durante cada um dos intervalos I n = ((n 1)T, nt ] ; n inteiro o processo pode assumir um dos valores A ou A. Processos Estocásticos Usuais Função Densidade de Probabilidade e Média Supondo ainda que: O valor em cada intervalo é estatiscamente independente do valor em qualquer outro intervalo; P(A) = p e P( A) = 1 p. A função densidade de probabilidade de 1 a ordem deste processo é p xt (X ) = pδ(x A) + (1 p)δ(x + A) A média é então m x (t) = E[x t ] = Xp xt (X ) dx = A(2p 1).

Processos Estocásticos Usuais Autocorrelação (1) Considerando y = x(t 1 )x(t 2 ), com t 1 I n1 e t 2 I n2, se t 1 e t 2 pertencem ao mesmo intervalo, isto é n 1 = n 2, então y = A 2 e p y n1 =n 2 (Y ) = δ(y A 2 ). Se n 1 n 2, então y = A 2 ou y = A 2, e observando que P(y = A 2 n 1 n 2 ) = P(x t1 = A, x t2 = A n 1 n 2 )+ P(x t1 = A, x t2 = A n 1 n 2 ) e P(y = A 2 n 1 n 2 ) = P(x t1 = A, x t2 = A n 1 n 2 )+ P(x t1 = A, x t2 = A n 1 n 2 ) Processos Estocásticos Usuais Autocorrelação (2) Além disto, se n 1 n 2, x(t 1 ) é independente de x(t 2 ), então P(y = A 2 n 1 n 2 ) = p 2 + (1 p) 2 = 2p 2 2p + 1 e P(y = A 2 n 1 n 2 ) = 2p(1 p) = 2p 2p 2. Assim, p y n1 n 2 (Y ) = (2p 2 2p + 1)δ(Y A 2 ) + (2p 2p 2 )δ(y + A 2 ). Como obtemos então R x (t 1, t 2 ) = E[x(t 1 )x(t 2 )] = E[y] R x (t 1, t 2 ) = { A 2 ; n 1 = n 2 A 2 (2p 1) 2 ; n 1 n 2.

Processos Estocásticos Usuais Autocorrelação (3) Processos Estocásticos Usuais Experiência de Poisson A experiência consiste em observar o número de ocorrências N de um evento em um intervalo t. A experiência é dita de Poisson se a probabilidade de k ocorrências for dada por P(N = k) = e λ t (λ t) k k! k = 0, 1,... e se os números de ocorrências em intervalos disjuntos forem estatisticamente independentes.

Processos Estocásticos Usuais Processo de Poisson O processo x(t) é denido por x(0) = 0; x(t) é o número de ocorrências no intervalo (0, t). Uma função amostra típica é Para (t 1, 2 ), t 2 > t 1, a v.a. x(t 2 ) x(t 1 ) tem função dens. de prob. de Poisson com parâmetro λ(t 2 t 1 ). Processos Estocásticos Usuais Média Para t a > t b e k = 0, 1, 2,..., temos Daí P(x(t a ) x(t b ) = k) = e λ(t a t b ) (λ(t a t b )) k E[x(t a ) x(t b )] = λ(t a t b ) E de forma análoga, é possível obter E[(x(t a ) x(t b )) 2 ] = λ 2 (t a t b ) 2 + λ(t a t b ) Se t a > t b > t c > t d, as variáveis aleatórias (x(t a ) x(t b )) e (x(t c ) x(t d )) são estatisticamente independentes, então E[(x(t a ) x(t b ))(x(t c ) x(t d ))] =E[x(t a ) x(t b )]E[x(t c ) x(t d )] k! λ 2 (t a t b )(t c t d )

Processos Estocásticos Usuais Média e Autocorrelação Se os intervalos (t b, t a ) e (td, tc) se superpõe empregamos x(t a ) x(t b ) = (x(t a ) x(t c )) + (x(t c x(t b )) x(t c ) x(t d ) = (x(t c ) x(t b )) + (x(t b x(t a )) o que leva a E[(x(t a ) x(t b ))(x(t c ) x(t d ))] = λ 2 (t a t b )(t c t d ) + λ(t c t b ) Processos Estocásticos Usuais Média e Correlação Tomando t a = t e t b = 0, temos m x = E[x(t)] == λt Tomando t a = t 1, t c = t 2 e t b = t d = 0, obtemos { λt 2 + λ 2 t 1 t 2 ; t 1 > t 2 R x (t 1, t 2 ) = E[x(t 1 )]x(t 2 ) = λt 1 + λ 2 t 1 t 2 ; t 1 t 2

Processos Estocásticos Usuais Onda Senoidal com Fase Aleatória Onda Senoidal com Fase Aleatória Seja x(t) = A sin(2πf 0 t + θ) onde θ é uma v.a.uniforme p θ (Θ) = { 1 2π ; Θ (0, 2π] 0 ; Θ / (0, 2π] Funções amostra típicas são Processos Estocásticos Usuais Onda Senoidal com Fase Aleatória Média A média deste processo estocástico é m x (t) = E[A sin(2πf 0 t + θ)] = = = 0 2π 0 A sin(2πf 0 t + Θ)p θ (Θ) dθ A sin(2πf 0 t + Θ) 1 2π dθ

Processos Estocásticos Usuais Onda Senoidal com Fase Aleatória Autocorrelação A função autocorrelação é R x (t 1, t 2 ) = E[x(t 1 )x(t 2 )] No entanto, = E[A 2 sin(2πf 0 t 1 + θ) sin(2πf 0 t 2 + θ)] = A2 2 E[cos(2πf 0(t 2 t 1 ))] A 2 2 E[cos(2πf 0(t 2 + t 1 ) + 2θ) E[cos(2πf 0 (t 2 +t 1 )+2θ)] = 2π 0 A cos(2πf 0 (t 2 +t 1 )+2Θ) 1 2π dθ = 0 Assim, R x (t 1, t 2 ) = A2 2 cos(2πf 0(t 2 t 1 )). Estacionarieadade Estacionariedade Estacionariedade de Ordem m Um processo estocástico x(t) é estacionário de ordem m quando a sua função densidade de probabilidade de ordem m não varia com o deslocamento no tempo, isto é p xt1 p xt2 p xtm (X 1, X 2,..., x M ) = p xt1 +τ p x t2 +τ p xtm +τ (X 1, X 2,..., x M ) ; τ.

Estacionarieadade Casos Particulares 1 Um processo é estacionário de 1 a ordem quando p xt (X ) = p xt+τ (X ) ; τ. Isto implica que p xt (X ) não depende de t. 2 Um processo é estacionário de 2 a ordem quando p xt1 p xt2 (X 1, X 2 ) = p xt1 +τ p x t2 +τ (X 1, X 2 ) ; τ. Isto implica que a função dens. prob. de 2 a ordem depende apenas de diferença entre t 1 e t 2. 3 Se x(t) é estacionário de ordem m, então ele é estácionário para qualquer ordem k, k < m. Estacionarieadade Estacionariedade Estrita Estacionariedade Estrita Um processo estocástico é dito estacionário no sentido estrito, ou estritamente estacionário, quando é estacionário de ordem m, para qualquer m. A estacionariedade estrita é muito restritiva, na prática temos que nos contentar em aproximar fenômenos físicos por modelos mais relaxados.

Estacionarieadade Estacionariedade Ampla Estacionariedade Ampla Um processo estocástico x(t) é estacionário no sentido amplo se m x (t) = η x ; t e R x (t 1, t 2 ) = R x (τ) ; τ = t 2 t 1. isto é, sua média é constante e sua função autocorrelação depende apenas da diferença t 2 t 1. Observação: Um processo estocástico de 2 a ordem é estacionário no sentido amplo, mas a recíproca não é verdadeira. Estacionarieadade Representação Gráca

Estacionarieadade Ergodicidade Se um processo estocástico é tal que as estatísticas calculadas para uma função amostra (média, autocorrelação) são iguais às estatísticas calculadas para o processo, então este processo é ergódico. Para processos ergódicos, a média pode ser calculada como a média temporal 1 T lim (X (t)) n dt T 2T T onde X (t) é uma das funções amostra (todas fornecem a mesma média para processos ergódicos.) Propriedades de Processos Estacionários no Sentido Amplo Processos Estacionários no Sentido Amplo Como R x (t 1, t 2 ) é função apenas de t 2 t 1, a função autocorrelação pode ser escrita como função de τ = t 2 t 1. Assim, R x (τ) = E[x(t)x(t + τ)] do que decorrem A função autocorrelação é par: R x (τ) = R x ( τ). R x (0) = E[x 2 (t)]. Se o processo tem uma componente periódica, isto é x(t) = x(t + nt ) ; n inteiro, então a autocorrelação tem um componente de mesmo período, R x (τ) = R x (τ + nt ) ; n inteiro.

Propriedades de Processos Estacionários no Sentido Amplo Processos Estacionários no Sentido Amplo Se o processo não contém componentes periódicas. lim τ R x(τ) = m 2 x(t) = η 2 x A função autocorrelação é máxima para τ = 0 R x (τ) R x (0) ; τ 0. Caracterização Conjunta de Processos Estocásticos Caracterização de Dois Processos Estocásticos Especicação de Dois Processos Especicação Conjunta de Ordem m + n de Dois Processos Dois processos x(t) e y(t) são conjuntamente especicados até a ordem m + n quando, para todo conjunto de m + n valores {t 1, t 2,..., t m, t 1, t 2,..., t n}, a função dens. de prob. conjunta das variáveis aleatórias {x(t 1 ), x(t 2 ),..., x(t m ), y(t 1 ), y(t 2 ),..., y(t n)} é conhecida. Especicação Conjunta Completa de Dois Processos Dois processos x(t) e y(t) estão conjunta e completamente especicados quando eles estão conjuntamente especicados até a ordem m + n para quaisquer valores de m e n.

Caracterização Conjunta de Processos Estocásticos Momentos Conjuntos de Dois Processos Estocásticos Correlação Correlação Cruzada A função correlação cruzada R xy (t 1, t 2 ) de dois processos x(t) e y(t) é denida como a correlação entre as variáveis aleatórias x(t 1 ) e y(t 2 ), denidas sobre cada processo, respectivamente, isto é R xy (t 1, t 2 ) = E[x(t 1 )y(t 2 )]. Caracterização Conjunta de Processos Estocásticos Momentos Conjuntos de Dois Processos Estocásticos Covariância Covariância Cruzada A função covariância cruzada K xy (t 1, t 2 ) de dois processos x(t) e y(t) é denida como a covariância entre as variáveis aleatórias x(t 1 ) e y(t 2 ), denidas sobre cada processo, respectivamente, isto é K xy (t 1, t 2 ) = E[(x(t 1 ) m x (t 1 ))(y(t 2 ) m y (t 2 ))]. É possível mostrar que K xy (t 1, t 2 ) = R xy (t 1, t 2 ) m x (t 1 )m y (t 2 ).

Caracterização Conjunta de Processos Estocásticos Estacionariedade Estacionariedade Conjunta Dois processos x(t) e y(t) são conjuntamente estacionários de ordem m + n quando a função dens. de prob. conjunta de quaisquer m + n variáveis {x(t 1 ), x(t 2 ),..., x(t m ), y(t 1 ), y(t 2 ),..., y(t n)} não varia com um deslocamento no tempo, isto é p xt1,...,x t m,y t 1,...,y t n (X 1,..., X m, Y 1,..., Y n ) = p xt1 +τ,...,x t m+τ,y t 1 +τ,...,y t n +τ (X 1,..., X m, Y 1,..., Y n ) para qualquer τ. Caracterização Conjunta de Processos Estocásticos Estacionariedade Estacionariedade Conjunta no Sentido Estrito Estacionarieadade Conjunta no Sentido Estrito Dois processos são conjuntamente estacionários no sentido estrito quando, para quaisquer valores m e n, eles são conjuntamente estacionários de oderm m + n. Estacionariedade no Sentido Amplo Dois processos são conjuntamente estacionários no sentido amplo quando cada um deles é estacionário no sentido amplo e função correlação cruzada R xy (t 1, t 2 ) dos dois processos depende apenas da diferença t 2 t 1.

Caracterização Conjunta de Processos Estocásticos Estacionariedade Estacionariedade no Sentido Amplo As condições a serem satisfeitas para estacionariedade no sentido amplo são m x (t) = η x ; m y (t) = η y ; t t R x (t 1, t 2 ) = R x (τ) ; τ = t 2 t 1 R y (t 1, t 2 ) = R y (τ) ; τ = t 2 t 1 R xy (t 1, t 2 ) = R xy (τ) ; τ = t 2 t 1 Independência, correlação e Ortogonalidade Independência Processos Independentes Dois processos x(t) e y(t) são estocasticamente independentes quando para quaisquer m e n inteiros positivos, e para quaisquer valores {t 1, t 2,..., t m, t 1, t 2,..., t n}, a função dens. de prob. conjunta das variáveis {x(t 1 ), x(t 2 ),..., x(t m ), y(t 1 ), y(t 2 ),..., y(t n)} pode ser escrita como o produto da função dens. de prob. conjunta de {x(t 1 ), x(t 2 ),..., x(t m )} com a função dens. de prob. conjunta de {y(t 1 ), y(t 2 ),..., y(t n)}, isto é p xt1,...,x t m,y t 1,...,y t n (X 1,..., X m, Y 1,..., Y n ) = p xt1,...,x t m (X 1,..., X m )p yt 1,...,y t n (Y 1,..., Y n ) ; n, m.

Independência, correlação e Ortogonalidade Ortogonalidade Processos Não Correlatos Os processos x(t) e y(t) são não correlatos quando sua função covariância cruzada é nula para quaisquer valores de t 1 e t 2, isto é K xy (t 1, t 2 ) = 0 ; t 1, t 2 Ortogonalidade Os processos x(t) e y(t) são ortogonais quando sua função correlação cruzada é nula para quaisquer valores de t 1 e t 2, isto é R xy (t 1, t 2 ) = 0 ; t 1, t 2 Independência, correlação e Ortogonalidade Propriedades da Correlação Cruzada Se x(t) e y(t) são conjuntamente estacionários no sentido amplo, então R xy (t 1, t 2 ) é função apenas de t 2 t 1, a função autocorrelação pode ser escrita como função de τ = t 2 t 1. Assim o que leva às propriedades: R xy (τ) = R yx ( τ). R 2 xy(τ) R x (0)R y (0). 2 R xy (τ) R x (0) + R y (0). R xy (τ) = E[x(t)y(t + τ)]