Notas Processos estocásticos. Nestor Caticha 23 de abril de 2012

Transcrição

1 Notas Processos estocástcos Nestor Catcha 23 de abrl de 2012

2 notas processos estocástcos 2 O Teorema de Perron Frobenus para matrzes de Markov Consdere um processo estocástco representado por um conunto de varáves aleatóras {X } onde o índce pode ser consderado como um tempo dscreto. O valor da varável X é x que toma valores num conunto L = {α 1, α 2,...α }. A probabldade do evento ˆX 0,n = {X(t n ) = x(t n ), X(t n 1 ) = x(t n 1,...X(t 0 ) = x(t 0 )} é denotada por IP( ˆX 0,n ). A regra do produto para essa sequênca leva a IP( ˆX 0,n ) = IP(X n = x n ˆX 0,n 1 )IP( ˆX 0,n 1 ) Para o caso Markovano em que a únca nformação relevante é o últmo valor de x que pode ser estenddo a IP( ˆX 0,n ) = IP(x n x n 1 )IP( ˆX 0,n 1 ) IP( ˆX 0,n ) = IP(x x 1 )IP(x 0 ) =1,n Sea M a matrz de transção de Markov. É uma matrz quadrada com elementos não negatvos: M = IP(x n = α x n 1 = α ), é a probabldade de transção (1-passo) do estado para o. Consderamos o caso em que estes elementos de matrz não dependem do tempo. Note que M = 1, mas M não é obrgatoramente 1. A probabldade P(x n ) é obtda margnalzando sobre todas as varáves X, = 0,...n 1, em notação de matrz P n = Π 0 M n (1) onde P n e Π 0, vetores (lnha) de dmensão, são respectvamente as probabldades no nstante n e 0. Mostraremos a segur város resultados que coletados são um caso partcular do teorema de Perron-Frobenus: 1. M tem um autovetor à dreta v 1 que é o vetor coluna com todas as entradas guas a O autovalor assocado a esse autovetor é λ PF = 1 de multplcdade algébrca e geometrca 1 3. Todos os outros autovalores λ de M satsfazem λ < 1 4. O autovetor à esquerda u PF assocado a λ PF tem todas as componentes não nulas. Pode ser normalzado de forma a que a soma das componentes sea 1.

3 notas processos estocástcos 3 5. Para cada um dos outros autovetores de M à esquerda ou à dreta, a soma das componentes é zero. 6. O vetor P n tende exponencalmente rápdo com n para u PF Prova de 1 e 2: Como os elementos de M são probabldades temos M = 1 lembrando que v 1 = (1,..., 1) T pode ser escrto M (v 1 ) = (v 1 ) ou Mv 1 = v 1 Prova de 3. Sea v = (v 1, v 2,..., v ) T um autovetor com autovalor assocado λ λv = M v, exste uma componente que satsfaz v k v para todo = k. Tomando o módulo da equação de autovalores, temos uma prmera desgualdade λv = M v M v (2) e uma segunda desgualdade é obtda maorando v por v k λv = M v M v M v k = v k (3) pos a somatóra é 1 por normalzação das probabldades. Assm temos que, para todo λv v k (4) e em partcular para = k λ v k v k (5) Dos casos são possíves. Se λ = 1, entao as duas desgualdades acma são gualdades. A desgualdade 2 mostra que todos os termos v tem a mesma fase. A segunda desgualdade em 3 mostra que os v também tem o mesmo módulo. A conclusão é que se λ = 1 então o vetor v so pode ser um múltplo de (1,...1) T e que λ = 1, é portanto o únco o autovalor 1,.e. smples. Note que vale o nverso: se v for um múltplo de v 1 mplca λ = 1. O segundo caso ocorre se v não for um múltplo de (1,...1) T, então não pode valer a gualdade: λ < 1. Prova de 4: que o autovetor à esquerda u PF de autovalor 1 tem as componentes postvas. Para qualquer autovetor à esquerda temos λu = u M (6)

4 notas processos estocástcos 4 tomando valor absoluto dos dos lados a desgualdade trangular somando sobre todo os λ u = u M (7) λ u = λ u u M u M (8) u M = u (9) Se λ < 1 não dz nada, mas se λ = 1 sgnfca que a desgualdade acma é uma gualdade. portanto a expressão 8 é uma gualdade e todas as componentes tem a mesma fase, que podemos tomar gual a zero. Segue que todas as componentes são postvas. Prova de 5. Consderemos outro autovetor à esquerda u com autovalor λ < 1. λu = u M (10) λ u = λ u M = u M (11) u = u (12) e portanto para qualquer autovetor à esquerda com autovalor menor que 1, a soma das componentes deve ser zero. Prova de 6: Convergênca para o equlíbro. Denote, para a = 2,..., os autovalores menores que 1 por {λ a } e por {u a } os autovetores assocados à esquerda. Note que acma provamos u PF = 1, u a = 0; (13) A condção ncal Π 0 pode ser escrta na base dos autovetores à esquerda Π 0 = c 0 u PF + c a u a (14) Somando as compoenentes dos vetores acma, por normalzação temos que 1 = c ou sea e usando a equação (1) Π 0 = u PF + c a u a (15) P n = Π 0 M n = u PF + c a λ n a u a (16)

5 notas processos estocástcos 5 e podemos mostrar a convergênca em qualquer norma aproprada P n u PF = c a λ n a u a (17) ordene os autovetores de forma que λ 2 λ a para todos os a > 2: P n u PF = λ 2 n c a ( λ a λ 2 ) n u a < Ce n/τ 0 (18) onde τ = 1/ ln λ 2 1 é o tempo característco de termalzação. Cadeas de Markov Absorventes O materal desta seção fo extrado de Grnstead e Snell 1 que recomendamos como fonte de consulta. Há processos markovanos que ao chegar a um determnado estado cessam de evolur. Isto nos leva à : 1 chance/teachng_ads /books_artcles/probablty_book/book.html Defnção: Estado Absorvente (EA): Se para todo =, M = 0, então o estado é um estado absorvente. Defnção: Cadeas de Markov Absorventes (CMA) são as cadeas de Markov com ao menos um estado absorvente. Defnção: Estado Transente (ET) é todo estado de uma CMA que não é absorvente. Estamos nteressados em determnar propredades do segunte tpo: qual é a esperança do tempo que leva para chegar a um estado aborvente partcular, a qualquer estado absorvente, qual é a esperança do número de vstas a um estado transente antes de ser absorvdo. Consdere uma CMA com n t estados transentes e n r estados absorventes, n t + n r =. A matrz de Markov da CMA pode ser escrta assm ( ) Q IR M = 0 1 onde Q é uma matrz n t n t que descreve as transções entre estados transentes, IR é a matrz n t n r que descreve a transção de estados transentes a absorventes. A matrz 0 é n r n t e seu elementos são todos nulos. A matrz 1 é dagonal, (1) = δ e tem dmensão n r n r. A equação (1) contnua descrevendo a dnâmca e precsamos encontrar as potêncas de M: M n = ( Q n f (IR, Q) 0 1 Devdo à absorção esperamos que Q n 0 pos Q descreve as transções entre os estados transentes e há a possbldade de )

6 notas processos estocástcos 6 transção de algum estado transente para um estado absorvente: a probabldade de estar em um estado transente va a zero quando o tempo n cresce. Há váras questões da dnâmca que podem ser responddas a partr de Q, em partcular olharemos para algumas delas. Seam e dos estados transentes e l um estado absorvente: Dado que o sstema está no estado qual é o valor esperado do número de vstas ao estado antes de ser absorvdo? Começando do estado, qual é o valor esperado do tempo que demora o sstema para ser absorvdo? Começando do estado, qual é a probabldade que o sstema sea absorvdo no estado l. Começamos defnndo a matrz chamada fundamental N como o nverso de (1 Q): Para n, (1 Q)((1 + Q + Q Q n ) = 1 Q n+1. N = lm n =0 Q, (19) temos que (1 Q)N = 1. PAra e transentes (fxos) e l um número de passos da dnâmca, defnmos a varável estocástca Y (l) que toma valor 1 se, começando do estado, depos de l passos, estver no estado, e zero se não estver. Então a probabldade P(Y (l) = 1) = 1 P(Y (l) = 0) = q (l) Exercíco Convença-se que o valor esperado de Y (l) é IE[Y (l) ] = q (l) é o valor esperado de estar em após l passos. Somando sobre todos os valores de l, temos o valor esperado de vstação de antes de ser abosorvdo: IE[ Y (l) ] = q (l) l=0 l=0 que pela defnçao de N, é IE[ Y (l) ] = n l=0 O tempo médo até a absorção depende do estado ncal, t. É a soma dos tempos esperados gastos em cada um dos estados transentes, portanto t = n

7 notas processos estocástcos 7 Consderamos agora um estado absorvente a e um estado ncal transente. Queremos saber qual é a probabldade de a ser o estado em que o processo para de evolur, que chameremos B a. Consderemos um outro estado absorvente, e a probabldade de depos de l passos o sstema não ter sdo absorvdo e estea em. A regra do produto pode ser aplcada a probabldade de: sar de, chegar a após l passos e ser absorvda em a: P( l, a) = q (l) r a. A regra da soma, para eventos mutuamente excludentes, nos dá B a = l q (l) r a, sto é, somamos sobre todos os estados transentes que podem levar ao estado absorvente a em l + 1 passos, e posterormente somamos sobre todos os valores de l. Mudando a ordem das somas e usando a expressão 19 obtemos ou B = NIR. B a = q (l) l r a = n r a