Notas de aula em Processos Estocásticos

Transcrição

1 Notas de aula em Processos Estocástcos Rafael A. Rosales Departamento de Computação e Matemátca, FFCLRP Unversdade de São Paulo 5 de agosto de 08

2

3 Sumáro Prefáco Tempo dscreto Cadeas de Markov Classes de comuncação Tempos do prmero retorno e da prmera chegada Propredade forte de Markov Recorrênca e transtoredade Recorrênca e transtoredade de passeos aleatóros smples Dstrbução nvarante Convergênca ao equlíbro Reversbldade Teorema ergódco Aplcações Processos de ramfcação Martngas e Opções 54. Tempo contínuo Processos a tempo contínuo Matrz Q Propredades da dstrbução exponencal Processo de Posson Processos de Markov Cadea de transção e tempos de permanênca Equações de Forward e Backward 7 6. Estrutura de classe Tempos da prmera chegada e probabldades de absorção Recorrênca e transtoredade v

4 v Sumáro 9. Dstrbução nvarante Convergênca Teorema Ergódco Apêndce A. 8. Relações de Recorrênca Forma matrcal 83 Apêndce B. Sugestões para alguns dos exercícos 89 Apêndce. Bblografa 9 Índce Remssvo

5 Prefáco Um processo estocástco é uma sequênca de varáves aleatóras X D.X t /, t T, onde parâmetro t usualmente representa o tempo. O processo X geralmente é utlzado com o propósto de representar a evolução aleatóra de um fenómeno físco. Neste caso o conjunto dos índces T é dentfcado com N ou R C. Durante o curso só serão consderadas sequêncas de varáves aleatóras X t defndas sobre o mesmo espaço de probabldade, todas com valores no conjunto S o qual supomos fnto ou nfntamente enumerável. Segundo a convenção usual utlzamos a notação t para os índces contínuos e n para o caso dscreto. A apresentação segue de perto os lvros de J. Norrs, [7] e Grmmett, Strzacker, [5]. Em partcular, a prmera parte dedcada ao estudo de processos em tempo dscreto, nclu boa parte Xt é realmente uma função X.!; t/ onde! e um evento elementar do espaço das trajetóras do processo. Ao consderar a sequênca.x t / estamos portanto consderando um espaço de funções aleatóras. A fm de entender sto melhor, lembramos algumas noções de teora de probabldade. Dado um espaço de probabldade.; A; P/, uma varável aleatóra é uma função W.; A/!.R; B/, tal que.b/ D f! W.!/ Bg A para todo B B, onde B é a menor sgma álgebra gerada pelos conjuntos abertos de R. Seja agora./ D.B/ D f.b/ W B Bg A; a sgma álgebra gerada pela varável aleatóra,.e. ntutvamente./ denota a porção da nformação contda no espaço de probabldade nerente a. A dstrbução de probabldade, P, de é defnda como P. B/ D Pf.B/g: Observamos que esta defnção permte determnar a probabldade de qualquer evento assocado a, desde que esta nclu as probabldades de todos os conjuntos.b/ D./ A. A fm de generalzar estes concetos para processo X, suponhamos que exste um espaço de probabldade.; A; P/ tal que.x / A. Neste caso se X é um processo com índces dscretos e valores em S temos que X W.; A/!.S ;.S //; sendo.s / a sgma álgebra gerada pelos conjuntos abertos de S. Se S D C, o espaço das funções contnuas em Œ0; /, então X é um processo com trajetóras contnuas. A suposção, nada trval, de que os eventos defndos sobre os espaço dos camnhos de um processo,, podem ser meddos por uma função de probabldade P representa um dos problemas mas fundamentas da teora dos processos estocástcos. Durante o curso, nos suporemos que sto é possível e não faremos mas refernca a este assunto. Os nteressados nos detalhes podem consultar o apêndce em [7] ou os textos mas avançados tas como [], e [9], procurando pelas seções referentes aos -sstemas. Estas classes de conjuntos também são conhecdos em teora de probabldade como os sstemas -, segundo a nomenclatura ntroduzda por Eugene B. Dynkn. As referêncas menconadas aqu e no decorrer das notas podem guar o estudo posteror e mas profundo da teora dos processos estocástcos.

6 Prefáco dos capítulos.-.0 de [7]. A segunda parte a qual representa uma ntrodução aos processos a tempo contínuo esta nsprada nos capítulos.-3.8 em [7] e os capítulos em [5]. Supõese um conhecmento da teora de probabldade a nível de graduação assm como conhecmentos báscos sobre equações dferencas e em dferença, e fnalmente também alguns rudmentos de álgebra lnear. Estas notas foram preparadas para a matéra ttulada Introdução a Processos Estocástcos, mnstrada durante o segundo semestre dos anos 06, 07 e 08, aos alunos do curso de Matemátca Aplcada a Negócos da USP.

7 Capítulo Tempo dscreto. Cadeas de Markov Os seguntes dos exemplos ntroduzem de manera nformal a propredade que defne uma ampla varedade de processos conhecdos como cadeas de Markov. O objetvo é desenvolver a ntução e motvar a teora. Exemplo (Sapo). v 3 v 4 Um sapo que habta num lago pode pular em procura de almento entre v nove vtóras régas v v, : : :, v 9, dspostas crcularmente. No nstante n D 0 5 o sapo encontra-se na planta v v. Com probabldade p, 0 < p <, este pode v pular a planta v e com q D p a planta v 9. As mesmas regras determnam 6 v 9 os pulos a partr de v para v C ou v, D ; : : : ; 9 (se D 9 então v 7 v8 C D, e se D então D 9). Denotamos por X n fv ; v ; : : : ; v 9 g a posção do sapo no nstante n, n N. A sequênca de varáves aleatóras.x n /, n 0, que correspondem as posções do sapo formam um processo aleatóro. Segundo as regras que determnam os movmentos do sapo temos que P.X 0 D v / D, P.X D v j X 0 D v / D p e P.X D v 9 j X 0 D v / D q. Supondo que seja conhecdo o percurso v! v! v 3! v 4, utlzando probabldade condconal, podemos também calcular a probabldade de que o sapo se encontre na planta v 5 no quarto pulo, P.X n D v 5 jx n D v 4 ; : : : ; X 0 D v / D P.X n D v 5 jx n D v 4 / D p o qual é consequênca medata das regras que determnam os movmentos do sapo. Esta equação é um caso partcular do fato no qual a dstrbução de X n dado.x 0, : : :, X n / só depende de X n. Esta únca smplfcação fornece a estrutura necessára para desenvolver a maor parte da teora. Em partcular, esta permte responder uma ampla gama de questões relevantes ao processo.x n /, n 0. Por exemplo: () Qual a dstrbução de X n?, () Qual a dstrbução do evento fx n j X 0 D v g? () Será possível calcular a dstrbução de X n no lmte n!? (v) Qual é o número esperado de pulos realzados pelo sapo até voltar pela prmera vez a planta v? (v) Se a planta v 6 é realmente a cabeça de um jacaré famnto, qual é o número de pulos em méda realzados pelo sapo antes de ser devorado? Vctora amazónca, uma planta aquátca da famíla das Nymphaeaceae. 3

8 4. Tempo dscreto Exemplo (Ruína do jogador). Suponha que você entra num cassno com reas, N. Em cada aposta você pode ganhar um real com probabldade p, 0 < p <, ou perder um real com probabldade q D p. X n, n, representa a sua fortuna depos da n-ésma aposta e X 0 D x 0 a sua fortuna ncal. Suponha que o cassno apresenta uma fonte lmtada de dnhero, portanto não exste em prncpo um lmte superor para a quantdade da sua fortuna. Claramente X n asome valores no conjunto N (ou Z caso o casno permta que o jogador fque devendo dnhero). A Fgura apresenta três trajetóras típcas deste processo para n D 00, p D q D, e X 0 D 0. Nas trajetóras assocadas com! e!, você anda possue dnhero sufcente para contnuar jogando após das prmeras 00 apostas. No tercero percurso o dnhero tudo é perddo na aposta 64. Dentre as questões mportantes neste problema menconamos o cálculo da probabldade da eventual ruína e do número esperado de apostas para a ruína em função de p e X 0. Analogamente ao exemplo anteror, neste caso consderamos a segunte condção de ndepêndeca condconal P.X n D x n C jx n D x n ; : : : ; X 0 D x 0 / D P.X n D x n C jx n D x n / D p P.X n D x n jx n D x n ; : : : ; X 0 D x 0 / D P.X n D x n jx n D x n / D q a qual é de fato consequênca da ndependênca entre os resultados de cada aposta. Este exemplo relatvemente smples é nstrumental na modelagem de mercados fnanceros a tempo dscreto e com valores dscretos, veja por exemplo [8] X n.!/ Fgura. Três possíves camnhos do processo da ruína descrto no Exemplo. n!!! 3.. Propredade de Markov. Seja S um conjunto enumerável. Um elemento S é chamado de estado e S o espaço de estados. Seja D. W S/ uma dstrbução de probabldade em S, sto é, X 0 ; D : Defnção. A dstrbução ncal do processo X é a dstrbução de probabldade S D P.X 0 D / D P f! W X 0.w/ D g ; S: Defnção. Uma matrz P D.p j W ; j S/ é estocástca se cada lnha.p j W j S/ é uma dstrbução em S.

9 . Cadeas de Markov 5 Um grafo G D.V; E/ é determnado por um conjunto enumerável de vétces V e um conjunto assocado de elos E V V. Cada elemento de E é determnado por um par de vértces v, v j o qual denotamos hv ; v j. Os vértces v e v j estão conectados por um elo e D hv ; v j se e E. Suponhamos que seja possível atrbur um número postvo a cada elo e E. Nesse caso chamamos o grafo G de rede e a denotamos por R. Exste uma correspondênca um-a-um entre uma matrz estocástca e uma rede R com vértces V D S. Por exemplo, para S D fv ; v ; v 3 g, suponhamos que seja dada a segunte rede e a matrz P, b c v a c a c v b v 3 b a P D v v v 3! b a c v a c b v c b a v 3 onde a 0, b 0, e c 0, são constantes tas que a C b C c D. A correspondênca é determnada ao consderarmos a ordem entre os vértces de R utlzada para dspormos os estados nas flas e colunas de P. Claramente e D hv ; v j E se e somente se p v ;v j > 0. Salvo seja ndcado o contráro, utlzamos a ordem lexcográfca dos elementos em S. Defnmos a segur um processo conhecdo como cadea de Markov. O resto desta seção esta destnado a mostrar que a estrutura básca deste processo e determnada em sua totaldade por uma matrz estocástca P e uma dstrbução ncal. Defnção 3 (cadea de Markov). X D.X n /; n N, é uma cadea de Markov com dstrbução ncal e matrz de probabldade de transção P, se P é estocástca e () X 0 tem dstrbução, () Para quasquer n 0, e. 0 ; ; : : : ; nc / S nc, () P.X nc D nc j X 0 D 0 ; : : : ; X n D n / D P.X nc D nc j X n D n / D p n nc : A relação em () é conhecda como a propredade de Markov. Intutvamente esta relação ndca que o processo não apresenta memóra dos lugares vstados no passado. Se o processo X D.X n /; n N, satsfaz as condções () e () dremos que X é Markov(; P) ou smplesmente uma cadea de Markov. Chamamos o grafo G e a Rede R nduzdos por P respectvamente de grafo e rede de transção da cadea. Teorema. X é uma cadea de Markov.; P/ se, e somente se para toda sequênca 0 ; ; : : : ; N S N C, P.X 0 D 0 ; X D ; : : : ; X N D N / D 0 p 0 p p N N com p k j k, k D 0; : : : ; N, tas que P j k S p k j k D.

10 6. Tempo dscreto Demonstração. Seja X Markov.; P/, então P.X 0 D 0 ; X D ; : : : ; X N D N / D P.X N D N j X 0 D 0 ; : : : ; X N D N / P.X N D N j X 0 D 0 ; : : : ; X N D N / P.X D j X 0 D 0 /P.X 0 D 0 / D 0 p 0 p p N N ; onde a últma gualdade segue () e () da Defnção 3, utlzando-se como hpótese que X é Markov.; P/. Para verfcar a equvalênca no sentdo oposto somamos N sobre todo S a ambos lados da gualdade no enuncado do Teorema, X P.X 0 D 0 ; : : : ; X N D N / D X 0 p 0 p p N N ; N S o qual mplca em N S P.X 0 D 0 ; : : : ; X N D N / D 0 p 0 p p N N ; uma vez que P.X 0 D 0 ; : : : ; X N D N / é a dstrbução conjunta de X 0, : : :, X N, X N, e P N S p N N D, se supomos que P é estocástca. Utlzando ndução deduzmos que para cada n em ; : : : ; N, P.X 0 D 0 ; : : : ; X n D n / D 0 p 0 p n n ; e em partcular que P.X 0 D 0 / D 0. Assm, para n D 0; ; : : : ; N, P.X nc D nc j X 0 D 0 ; : : : ; X n D n / D P.X 0 D 0 ; : : : ; X nc D nc / P.X 0 D 0 ; : : : ; X n D n / o qual mostra que X é Markov.; P/. D 0 p 0 p n nc 0 p 0 p n n D p n nc ; O segunte resultado fornece uma nterpretação crucal da propredade referda anterormente como perda de memóra. Seja ı D.ı j W j S/, uma dstrbução de probabldade concentrada em, ou seja ı j D se D j e ı j D 0 se j. Teorema (Propredade fraca de Markov). Seja X Markov(; P). Dado o evento X m D, o processo X mcn, n Z C, é Markov(ı ; P) e ndependente de X 0, : : :, X m. Demonstração. A prova consste em mostrar que a segunte gualdade P fx m D m ; : : : ; X mcn D mcn g \ AjX m D D ı m p m mc p mcn mcn P.AjX m D / é valda para qualquer evento A determnado pelas varáves aleatóras X 0, : : :, X m. Isto é consequênca da noção de ndependênca (condconal) de eventos da forma fx m, : : :, X mcn g e A. Segue medatamente desta gualdade e do Teorema que X mcn, n N é Markov.ı ; P/.

11 . Cadeas de Markov 7 Consderamos prmero o caso partcular A D fx 0 D 0 ; : : : ; X m D m g de tal forma que mas o numerador é dado por P.X m D m ; : : : ;X mcn D mcn \ A j X m D / D P.X m D m ; : : : ; X mcn D mcn ; A; f m D g/ ; P.X m D / P.X m D m ; : : : ; X mcn D mcn ; A; m D / D P.A; m D /P.X m D m ; : : : ; X mcn D mcn j A; m D / D P.A; m D /P.X m D m ; : : : ; X mcn D mcn j X m D / D P.A; X m D m /ı m p m mc p mcn mcn ; A segunda e a tercera gualdade são consequênca do Teorema. No caso geral temos que qualquer evento A pode ser representado como A D S k A k, onde A k são eventos elementares dsjuntos determnados pelas varáves aleatóras X 0, X, : : :, X m e fx m D g. O resultado neste caso segue utlzando o mesmo argumento mas somando sobre os eventos A k... Probabldades de n passos. Voltamos agora a uma das perguntas ncalmente formuladas no Exemplo que é a de como calcular as dstrbuções condconas e não condconas do processo no nstante n, sto é P.X n D j jx 0 D / e P.X n D / ; j S: A propredade de Markov e as operações báscas do produto matrcal permtem obter estas probabldades de manera efcente. Se representamos a dstrbução ncal como um vetor (fla) em S, temos sto é,.p/ j D P S p j D P S P.X 0 D /P.X D j j X 0 D / D P.X esta em j no nstante / Utlzando o produto matrcal ntroduzmos agora a segunte notação,.pp/ j D.P / j ; ; j S.P / j D P ks p kp kj D p j D P ks P.X D j j X D k/p.x D k j X 0 D / D P.X realza uma transção de a j em dos passos/: Defnção 4. Seja P n, n, a composção da matrz P consgo mesma n vezes. Para quasquer ; j S, denotamos por p n j a.; j /-ésma entrada da matrz P n. No caso n D 0 defnmos P 0 D I, sendo I a matrz dentdade. Denotamos por n, n, a dstrbução de X no nstante n, sto é, n D. n W S/ onde n D P.X n D /: Defnção 5. Seja X uma cadea de Markov. X é temporalmente homogênea se para quasquer ; j S e m; n, P.X mcn D j jx m D / D P.X n D j jx 0 D /. Salvo seja ndcado o contráro, todos os processos consderados adante são temporalmente homogêneos.

12 8. Tempo dscreto Teorema 3. Seja X Markov(; P). Para todo n; m 0 tem-se () P.X n D j / D.P n / j D j n. ( ) P.X n D j / D P.X mcn D j j X m D / D P.X n D j j X 0 D / D pj n. Demonstração. Do Teorema e da Defnção 4 resulta P.X n D j / D X X P.X 0 D 0 ; : : : ; X n D n ; X n D j / o S D X n X S o S n S 0 p 0 p n j D.P n / j ; o qual termna a prova do prmero tem. Segundo a propredade de Markov exposta no Teorema, condconando pelo evento fx m D g, obtemos que.x mcn / é Markov.ı ; P/. É portanto sufcente consderar D ı no prmero tem, ou seja P.X n D j / D.ı P n / j D pj n. Observamos que P D P e P 0 D I, onde I denota a matrz dentdade. Teorema 4 (Chapman-Kolmogorov). Seja X uma cadea de Markov com matrz de transção P. Para quasquer m; n N, P mcn D P m P n. Antes de proceder com a demostração observamos que este resultado é uma generalzação de.pp/ j D P k p kp kj para o caso.p m P n / j D P k pm k pn kj. Demonstração. Sejam ; j S, dos estados quasquer, logo p mcn j D P.X mcn D j / D X ks P.X mcn D j ; X m D k j X 0 D / D X ks P.X mcn D j j X m D k; X 0 D /P.X m D k j X 0 D / D X ks P.X n D j j X 0 D k/p.x m D k j X 0 D / D X ks p m k pn kj :

13 Exercícos 9 Exercícos Para resolver alguns dos exercícos desta parte resulta utl lembrar que se P é dagonzável, ou seja se exstr uma matrz dagonal D tal que P D NDN, então P n D ND n N. Exercíco. Determne a rede e a matrz de transção dos processos descrtos no Exemplo e no Exemplo. Exercíco. () Mostre que.p/ é uma dstrbução de probabldade em S. () Mostre que P n é uma matrz estocástca em S para qualquer n 0. () Mostre que.p n / é uma dstrbução de probabldade em S. Exercíco 3. Seja.X n / n0 uma sequênca de v.a. ndependentes e dentcamente dstrbuídas e sejam.a/ S n D P n D X ;.b/ M n D X ^ X ^ : : : ^ X n ;.c/ L n D X _ X _ : : : _ X n ;.d/ K n D X n C X n : () Quas das sequêncas X n, S n, M n, L n e K n é Markov? () Encontre a matrz de probabldade de transção para as sequêncas que são cadeas de Markov. Exercíco 4. Suponha que os movmentos da BOVESPA podam ser modelados por uma cadea de Markov com valores em S D f ; +g, onde representa um da onde a bolsa fecha em valor negatvo e + um da com fechamento postvo. Neste caso, a evolução da a da da BOVESPA é determnada pelas probabldades de transção P.X n D jx n D / D, P.X n D +jx n D / D, P.X n D jx n D +/ D ˇ e P.X n D +jx n D +/ D ˇ, para 0 < < e 0 < ˇ <. () Se a cadea começa num da do tpo, e D ˇ D 3, mostre que 4 n D P.X n D /; P.X n D +/ D. C n /; /. n ( n é a dstrbução do processo após n das de ter ncado em, sto é a probabldade de que a BOVESPA feche em ou + depos de n das, dada a dstrbução ncal 0 D.; 0/). () Interpretar lm n! n. () Calcular p n ++ D P.X n D +jx 0 D +/ no caso geral para qualquer 0 < e 0 < ˇ. Exercíco 5. Seja.X n / n0 uma cadea de Markov com valores em S D fv ; v ; v 3 g, defnda pela segunte rede e matrz de probabldade de transção v v v P A ; 0 0 As flas e as colunas de P estão dspostas de acordo a ordem.v ; v ; v 3 /. Encontre uma equação geral para p n v v. Para a; b R, a _ b D máxmofa; bg e a ^ b D mínmofa; bg.

14 0. Tempo dscreto Exercíco 6. Uma consultora fnancera classfca emprestamos de carros em quatro categoras: o empréstmo fo pago em sua totaldade (F), o contrato encontra-se em boas condções sendo que todos os juros estão ao da (G), a conta esta em stuação rregular com um ou mas pagamentos pendentes (A), ou a conta se encontra em péssmas condções e fo vendda a uma agênca de coleção do crédto (B). O hstórco ndca que cada mês 0% dos contratos do tpo G paga em sua totaldade os juros, 80% permanecem em G, e 0% vram do tpo B. Logo 0% das contas do tpo A pagam os juros totalmente, 40% vram do tpo G, 40% permanecem em A, e 0% vram do tpo B. () Calcule a proporção de contratos do tpo B que pagarão a sua dvda totalmente no futuro. () Qual será a proporção de contratos de tpo G que num futuro serão do tpo B. Exercíco 7. Suponha que Z 0 ; Z ; : : : são varáves aleatóras ndependentes e dentcamente dstrbuídas tas que Z D com probabldade p e Z D 0 com probabldade p. Seja S 0 D 0 e S n D Z C : : : C Z n. Em cada um dos seguntes casos determne se.x n / n0 é uma cadea de Markov: (a) X n D Z n, (b) X n D S n, (c) X n D S 0 C : : : C S n, (d) X n D.S n ; S 0 C : : : C S n /. Encontre o espaço de estados e a matrz de probabldade de transção nos casos em nos quas.x n / n0 é uma cadea de Markov. Exercíco 8. Seja.X n / n0 Markov.; P/. Se Y n D X k n, mostrar que.y n / n0 é Markov.; P k /. Em geral, a amostragem de.x n / n0 a ntervalos constantes de comprmento k gera uma cadea chamada o k-esqueleto de.x n / n0. Exercíco 9. Uma pulga pula sobre os vértces de um trângulo de manera que qualquer pulo tem a mesma probabldade. Encontrar a probabldade de que depos de n pulos a pulga esteja de volta no lugar de partda. Uma segunda pulga também decde pular sobre os vértces do trângulo, mas a probabldade de pular no sentdo horáro é duas vezes a probabldade no sentdo contráro. Qual a probabldade de que após de n pulos esta últma esteja no mesmo lugar onde ncou. [Observe que e =6 D p 3= =.] Exercíco 0. Seja.X n / n0 uma cadea de Markov em S, e seja I W S n! f0; g. Mostre que a dstrbução condconal de X n ; X nc ; : : : dado o evento fi.x ; : : : ; X n / D \ fx n D gg é dêntca a dstrbução de X n ; X nc ; : : : dado fx m D g. Exercíco. Seja.X n / n0 uma cadea de Markov com espaço de estados S, e suponha que h W S! T é bjetva. Mostre que Y n D h.x n / defne uma cadea de Markov em T. h tem que ser bjetva? Exercíco. O segunte exercíco mostra como trabalhar com uma cadea de Markov quando só se tem nformação sobre algumas das transções do processo. Seja J S e seja a segunte partção da matrz de probabldade de transção P, J J c P D J A B J c C D

15 . Classes de comuncação Suponhamos que só seja possível regstrar as entradas a J, e neste caso é observada uma cadea de Markov. XQ n / restrta ao conjunto de estados J. () Mostre que a matrz de transção de XQ n é Q P D A C B X n0 D n C D A C B.I D/ C: () O Dr. P. Slva fca a maor parte do seu tempo em Rberão Preto no trabalho (T ), no seu flat (F), em uma boate (B), ou com uma amante (A). Cada hora, ele muda de um destes possíves estados de acordo com uma matrz de probabldade de transção P. A mulher do Slva, que desconhece da exstênca da amante, acredta que as mudanças estão determnadas pela matrz P E, T F B A P D T F B A 0 =3 =3 =3 0 B 0 =3 =3 =3 =3 0 =3 =3A ; =3 =3 0 =3 P E D T F B T F B 0 =3 =3 =3 =3 =3A : =3 =3 =3 As pessoas só encontram com o Dr. Slva quando esta se encontra em J D ft; F; Bg. () Calcule a matrz PQ que aparentemente controla os movmentos do Dr. Slva. As aventuras do Dr. Slva serão contnuadas no Exercíco 46. Exercíco 3. Seja X 0 uma v.a. com valores no conjunto enumerável S. Seja U ; U ; : : : uma seqüênca de v.as. ndependentes e com dstrbução unforme em [0,]. Sejam as funções tas que W S Œ0;! S; W Œ0;! S X n D (.X n ; U n /; se n ;.U 0 /; se n D 0: () Mostre que.x n / n0 é uma cadea de Markov e encontre a matrz de probabldade de transção P em termos de. Escreva a dstrbução ncal em termos de. () É possível construr qualquer cadea desta forma? O programa markov.r (na lnguagem R), mplementa as deas deste exercíco e pode ser utlzado para resolver alguns exercícos propostos adante. Ince R e desde a lnha de comando dgte source(" rrosales/aulas/markov.r") Esta nstrução fornece a função markov. O códgo fonte em markov.r fornece alguns exemplos de como trabalhar com esta função.. Classes de comuncação Incamos a contnuação o estudo de grupos de estados que apresentam certas característcas em comum. Um dos objetvos é o de restrngr o estudo do processo defndo em S a partes mas smples tas que juntas estas permtam fornecer uma vsão geral do processo em S. Defnção 6. Sejam e j dos pontos quasquer em S. O estado conduz a j, denotado! j, se exste n > 0 tal que pj n > 0. Utlzamos a notação j para ndcar que não conduz a j.

16 . Tempo dscreto Defnção 7. O estado comunca com o estado j, denotado $ j, se! j e j!. Utlzamos a notação j para ndcar j ou j, ou j e j. Ressaltamos que na últma defnção o número de passos necesáros para estabelecer a comuncação de até j não é necessáramente gual ao número de passos no sentdo contráro. Teorema 5. Para quasquer dos estados ; j S, j, as seguntes afrmações são equvalentes. ()! j. () p 0 p p n n > 0 para uma seqênca de estados 0 ; ; : : : ; n com 0 D e n D j. () pj n > 0 para algum n 0. Demonstração. Observamos prmero que X p n j P.X n D j para alguns n 0/ p n j ; nd0 já que fx n D j j X 0 D g [ [ fx k D j j X 0 D g fx k D j j X 0 D g alguns k n kn demonstrando a equvalênca entre () e (). Segue-se do Teorema 4 que p n j D X p p : : : p n j; ; ;:::; n o qual mostra a equvalênca entre () e (). É smples verfcar que relação $ é uma relação de equvalênca em S. A relação $ pode ser utlzada para classfcar os elementos de S, uma vez que esta nduz una partção de S. Os conjuntos desta partção são conhecdas como as classes de comuncação de S. Defnção 8. Uma classe de comuncação C é fechada se C W! j ) j C: A classe fechada relaconada a será denotada por C./ D fj S W! j g. Uma classe será chamada de aberta se esta não é fechada. Uma classe fechada é uma classe sem saída já que se em algum nstante X atnge um estado da classe fechada, então X não consegue se comuncar com um estado de outra classe. Defnção 9. Um estado S e chamado de estado absorvente se o conjunto fg é uma classe fechada. Defnção 0. X é uma cadea de Markov rredutível se S é a únca classe de comuncação nduzda por $. Segundo a Defnção 9 uma classe de comuncação fechada é uma classe absorvente. Se X é rredutível então dremos que P é uma matrz rredutível, ou equvalentemente que S é rredutível.

17 Exercícos 3 Exemplo 3. A procura das classes de comuncação é smplfcada ao achar o grafo G assocado a matrz de probabldade de transção P. Para a segunte matrz de probabldade de transção 0 = = =3 0 0 =3 =3 0 P D : B = = A Consderamos os estados v, v, : : :, v 6, e os assocamos nesta ordem as flas e as colunas de P, o qual medatamente duz o grafo v v 4 v 3 v v 5 v 6 Dretamente do grafo deduzmos que esta cadea apresenta as classes de comuncação fv ; v ; v 3 g, fv 4 g e fv 5 ; v 6 g. A classe fv 5 ; v 6 g é fechada pos se X entra neste conjunto de estados X não pode mas sar destes. Os estados fv ; v ; v 3 g formam uma classe pos v! v e v! v 3, v! v e v! v 3, e fnalmente v 3! v, v 3! v. Observamos também que fv 4 g fv ; v ; v 3 g já que v 4 v (e também v 4 v e v 4 v 3 ). As classes fv ; v ; v 3 g e fv 4 g são classes abertas desde que estas comuncam com estados de outras classes. Isto conclu a descrção das classes de comuncação de S. Exercícos Exercíco 4. Seja X uma cadea de Markov com grafo de transção c b d a e () Encontre as classes de estados fechadas. () Dga se X é rredutível. Exercíco 5. Classfque os estados para o processo no Exemplo e no Exemplo. Dga se X em cada um destes casos é rredutível. Exercíco 6. Mostre que $ é uma relação de equvalênca em S.

18 4. Tempo dscreto 3. Tempos do prmero retorno e da prmera chegada Uma parte sgnfcatva dos problemas encontrados no estudo das cadeas de Markov pode ser reduzda ao estudo de duas varáves aleatóras conhecdas como o prmero tempo de retorno e o prmero tempo de chegada. Defnção. Seja X Markov(; P) com valores em S. O prmero tempo de chegada ao conjunto A S é a varável aleatóra H A W! Z C [ fcg dada por H A.!/ D nffn 0 W X n.!/ Ag: (sendo nff g D.). O prmero tempo de retorno a A S é a varável aleatóra T A W! N [ fcg defnda como T A.!/ D nffn W X n.!/ Ag: Segue dretamente desta defnção que T A D H A fx0 Ag quase certamente 3. Condconando pelo evento ncal fx 0 D g, a probabldade de que X eventualmente chegue até A é denotada por h A D P.H A < / D X n0 P.H A D n/: O tempo esperado para chegar até A a partr de é denotado por k A D E ŒH A D X n0 np.h A D n/ C P.H A D /: Defnção. Se A é uma classe fechada. Para qualquer S, h A de absorção em A e k A é o tempo médo até a absorção em A. é chamada de probabldade Exemplo 4. O segunte exemplo lustra o cálculo de h A e k A num caso elementar. Seja X uma cadea com valores em S D f; ; 3; 4g e a segunte rede de transção 3 4 Se X é ncada no estado, qual a probabldade de X ser absorvda em 4? Quanto tempo demora X para ser absorvda em ou em 4? Seja A D f; 4g, claramente das defnções de h e k temos h 4 D 0; h4 4 D ; ka D ka 4 D 0: 3 A afrmação ' sobre uma varável aleatóra se dz quase certa se Pf! W ' não é verdaderag D 0, ou equvalentemente se Pf! W ' é verdaderag D.

19 3. Tempos do prmero retorno e da prmera chegada 5 Suponhamos agora que X 0 D e a segur consderamos as possbldades após da prmera transção, sto é, com probabldade pulamos de a e com de a 3, logo (a) (b) h 4 D h4 C h4 3 ; k A D C ka C ka 3 : A justfcatva destas equações esta baseada essencalmente na propredade de Markov. Para (a), seja E D fx é absorvda em 4g, logo h 4 D P.E j X 0 D / D X ksp.e; X D k j X 0 D / D P.E; X D j X 0 D / C P.E; X D 3 j X 0 D / D P.E j X D ; X 0 D /P.X D j X 0 D / C P.E j X D 3; X 0 D /P.X D 3 j X 0 D / D P.E j X D /p C P.E j X D 3/p 3 : A últma lnha segue do Teorema. Um argumento smlar pode ser utlzado para comprovar (b), mas a justfcatva formal será dexada para o Teorema 7 adante. Com probabldade p D ocorre a prmera transção ao estado, logo temos que consderar k 4 como o valor esperado dos passos até a absorção. A outra possbldade, a qual corresponde a transção de a 3 nclu as quantdades p 3 D e h4 3. Utlzando exatamente este mesmo procedmento agora obtemos h4 3 e k A 3, (c) (d) h 4 3 D h C h4 4 k A 3 D C ka C ka 4 Substtundo (c) em (a) e lembrando que h 4 D 0, h4 4 D, obtemos h 4 D h4 C ; logo h 4 D 3 : Fnalmente, de (d) em (b) e k A D ka 4 D 0, k A D C C ka ; então k A D : Este exemplo tem por objetvo mostrar o argumento central baseado na decomposção assocada a prmera transção. Dependendo da smetra nerente ao grafo de transção, sucessvas decomposções podem levar dretamente a resposta fnal. Em geral este método permte construr uma equação em dferença a qual pode ser resolvda utlzando dversas técncas. O apêndce a estas notas apresenta um método geral para resolver este tpo de equações. Em geral temos o segunte resultado. Teorema 6 (probabldade da prmera chegada). O vetor da probabldade dos tempos da prmera chegada ao conjunto A S, h A D.h A W S/, é a solução não negatva mínma ao sstema

20 6. Tempo dscreto lnear ( () h A ; se A; D P js p jhj A ; se A: Observamos que h é a solução mínma se para uma outra solução g D.g W S/ tal que g 0, então pontualmente g h. Demonstração. Mostraremos prmero que h A é uma solução ao sstema ndcado. Trvalmente, se X 0 D A então H A D 0 mplca h A D. Se X 0 D A, então H A e segundo a propredade de Markov, logo, P.H A < j X D j / D P.H A < j X D j ; X 0 / D P.H A < j X D j / D P j.h A < / D h A j ; h A D X js P.H A < ; X D j / D X js P.H A < j X D j /P.X D j / D X js p j h A j : Mostramos agora que h A é a solução mínma. Suponhamos que g D.g W S/ é uma outra solução qualquer portanto se A então g D D h A. Porém, se A então g D X js p j g j D X ja p j C X j A p j g j : Substtundo da mesma manera mas uma vez para g j, g D X p j C X X p j p jk C X p jk g k ja j A ka k A D P.X A/ C P.X A; X A/ C X Repetndo este argumento por ndução tem-se j A;k A p j p jk g k : g j D P.X A/ C : : : C P.X A; : : : ; X n A; X n A/ C X p j p j j : : : p jn j n g jn : j A:::j n A Se g é não negatva então o últmo termo da equação acma é não negatvo. Por outro lado, os termos restantes tem soma gual a P.H A n/, portanto para cada n, g P.H A n/. Passando ao lmte n! obtemos g lm n! P.H A n/ D P lm n[ n! kd fh A kg D P.H A < / D h ; pos a sequênca de eventos E n D f! W H A.!/ ng é monotona crescente, sto é E n E nc, n.

21 3. Tempos do prmero retorno e da prmera chegada 7 Este Teorema quando aplcado ao Exemplo 4 leva dretamente ao segunte sstema h 4 4 D ; h4 D h4 C h4 3 ; h4 3 D h4 C h4 4 ; o qual expressa h 4 em térmnos do valor desconhecdo h4. Da mnmaldade da solução podemos consderar h 4 D 0, o qual leva ao valor h4 D. 3 Apresentamos a contnuação dos exemplos clásscos da aplcação do prncpo de decomposção da prmera transção. Cada um destes resulta em uma equação em dferença partcular. Exemplo 5 (Ruína do jogador). Seja X Markov.; P/ com valores em Z C e probabldades de transção p 0;0 D, p ; D q, p ;C D p para 0 < p <, q D p. O processo determnado por estas probabldades de transção corresponde ao modelo descrto nformalmente no Exemplo. Desejamos calcular a probabldade da ruína, ou seja de que X n D 0 dado que X 0 D, N. Não é dfícl chegar a segunte resposta P.X n chega a 0/ D P.H 0 < / D h 0 : Da decomposção da prmera transção obtemos então que (3) h 0 0 D ; e h0 D ph 0 C C qh0 ; : Um método geral para resolvermos a equação em dferença de segunda ordem é apresentado no apêndce. Apresentamos a segur um outro método parecdo com o método utlzado para resolver equações dferencas ordnáras lneares, o qual consste em encontrar duas soluções, e, lnearmente ndependentes tas que h 0 D c. / C c. / : Propomos prmero uma solução da forma h 0 D, e assm a recorrênca em (3) toma a forma D p C C q,. Em partcular para D temos a equação característca p C q D 0, com raízes D p 4pq p ; C D C p 4pq : p Duas stuações são possíves, A: 4pq D 0 (quando p D q D ), e B: 4pq 0. Analsamos cada caso separadamente. Caso A. Se p D q então temos D C D D. Logo propomos mas uma solução (lnearmente ndependente de ) da forma e então em geral obtemos h 0 D c. / C c. / D c C c : Esta solução necessáramente deve ser válda para todo 0, o qual força c D 0 e desta forma no lmte!, h 0 anda satsfaze h0. A solução agora apresenta a forma h 0 D c, mas segundo a condção ncal do problema h 0 0 D D c C c nfermos que c D, logo fnalmente h 0 D. Mesmo quando o cassno é honesto e ndependentemente da fortuna ncal, com certeza sempre acabaremos arrunados. Caso B. Se p q, então D p 4p. p/ p D p.p / p D q p

22 8. Tempo dscreto e C D C p.p / p Neste caso a solução geral já toma a forma desejada h 0 D c./ C c q p ; porém anda fca por ser determnados os valores de c e c. Observamos que se p < q, então no lmte! temos que.q=p/ dverge, portanto segundo o mesmo argumento empregado no caso A concluímos que h 0 D para. Isto é, se a chance de perder cada aposta é maor que a chance de ganhar, então com certeza também acabaremos arrunados! Fnalmente se p > q, utlzando a condção ncal na solução geral temos q h 0 D c C. c / p D : D q p C c q p : Sendo p > q, necessáramente.q=p/ > 0, o qual mplca que c 0 e então h 0 0. Utlzamos a propredade mnmal de h 0 demonstrada no Teorema 6 para justfcar a escolha c D 0. A solução neste caso é portanto q : h 0 D p Concluímos que com probabldade postva podemos perder todo o nosso dnhero mas a mesma dmnu geometrcamente com, sto é, a medda que entramos com mas dnhero no cassno. Só no lmte! podemos garantr que a probabldade de não fcar arrunados seja. Exemplo 6 (Cadea de nascmento e morte smples). Seja X uma cadea de Markov com valores em Z C e probabldades de transção p 0; D 0, p ;C D p, e p ; D q. A rede de transção para este processo é portanto 0 3 C q p q p q 3 p q C Este processo é muto parecdo com o processo que descreve a ruína do jogador, mas agora as probabldades de transção em cada nstante dependem do estado atual do processo. A cadea assm defnda pode ser utlzada para modelar o crescmento de uma população a qual no nstante n apresenta ndvíduos,.e., X n D. Uma quantdade mportante nesta aplcação é a probabldade de extnção da população. Dado que a população apresenta ncalmente ndvíduos temos P eventual extnção da população D P.H 0 < / D h 0 : Utlzando a decomposção da prmera transção temos que esta probabldade satsfaz a segunte relação de recorrênca h 0 D p h 0 C C q h 0 ; D ; ; : : :

23 3. Tempos do prmero retorno e da prmera chegada 9 Observamos que, a dferença do Exemplo, a equação em dferença que descreve h 0 agora não é homogênea pos os coefcentes q, p dependem do estado atual do processo. Mesmo assm, neste caso anda é possível encontrar a solução dretamente. Seja logo e portanto ı D h 0 h 0 ; p ı C D p h 0 p h 0 C D p h 0.h 0 q h 0 / D h 0. p / C q h 0 D q.h 0 h 0 / D q ı ; ı C D q p ı : Desta forma, utlzando ndução sobre consegumos ı C D q p q p q p ı : Se D Q kd q k=p k, para, então ı C D ı. Por outro lado observamos que ı C ı C : : : C ı D h 0 0 h 0 : Combnando estes dos resultados temos a forma geral para a probabldade de extnção obtemos X h 0 D ı j : Para obtermos h 0, anda temos que calcular ı. Consderamos a tal fm separadamente os seguntes casos, A: P D0 D, e B: P D0 <. Caso A. Para termos h 0,, é necessáro que ı D 0. Neste caso, com probabldade, a população será extnta para qualquer número ncal de ndvíduos. Caso B. Se P D0 <, então deve exstr um índce k < tal que q kcn q D 0; p kcn p para todo n 0. Portanto é possível consderar ı > 0 sempre e quando ı. 0 C : : : C / <, para. Utlzando o Teorema 6 escolhemos jd0 X ; ı D D0 já que neste caso obtemos a solução mínma para h 0. Esta escolha satsfaze ı. 0 C: : :C / <, e portanto da expressão geral para h 0 temos P h 0 jd0 D P j jd P jd0 D j P j jd0 < ; : j Concluímos que para qualquer quantdade ncal de ndvíduos,, a probabldade de extnção h 0 <, ou equvalentemente P.sobrevvênca/ D h 0 > 0.

24 0. Tempo dscreto Este exemplo e o anteror mostra como a condção de mnmaldade é útl na solução de equações em dferença para calcular h A, em especal quando S não é fnto pos neste caso usualmente não temos uma das condções de contorno necessáras. Voltamos agora a consderar os tempos esperados da prmera chegada a um conjunto A S, sto é k A. Para esta quantdade apresentamos o segunte resultado geral. Teorema 7 (tempo esperado da prmera chegada). Seja A S. O vetor de tempos esperados de chegada k A D.k A W S/, é a solução mínma, não-negatva ao sstema lnear ( k A 0; se A; D C P j A p jkj A ; se A: Demonstração. Mostramos prmero que k A D.E ŒH A W S/ satsfaz este sstema. Se X 0 D A então H A D 0, logo E ŒH A D E Œ0 D 0. Se X 0 D A então H A. Observamos prmero que E ŒH A j X D j D E ŒH A j X D j ; X 0 D h D E nf fn 0 W X n Ag j X D j ; X 0 D n h D E nf fn W X n Ag j X D j n h D C E nf fn 0 W X n Ag j X 0 D j D C E j ŒH A n sendo que a prmera e a tercera gualdade seguem da propredade de Markov. A tercera também utlza X 0 D A, e a quarta é consequênca da homogenedade (temporal) do processo. Agora k A D E ŒH A D X X X E HA fx Djg D H A.!/ fx Djg.!/ P.!/ js js D X X np.h A.!/ D n; X.!/ D j / js n D X X np.h A.!/ D n j X D j / P.X D j / js n D X js E ŒH A j X D j p j ;! e portanto da prmera parte da prova k A D X. C E j ŒH A / p j D C X js js E j ŒH A p j D C X j A p j k A j : A restrção do somatóro ao complemento de A é devda a que kj A D 0 para j A. Mostramos agora que.k A W S/ é de fato a solução mínma. Suponhamos que r D.r W S/ é qualquer outra solução ao sstema. Então k A D r D 0 para qualquer A. Se A, dado que r satsfaz

25 3. Tempos do prmero retorno e da prmera chegada o sstema, r D C X j A p j r j D C X j A p j C X p jk r k k A D C X j A p j C X j A;k A p j p jk r k D P.H A / C P.H A / C X p j p jk r k j A;k A Utlzando ndução r D nx P.H A k/ C kd Se r é não negatva, então necessaramente r X j A;:::;j n A nx P.H A k/; kd o qual é valdo para todo n. No lmte portante tem-se r p j p j j p jn j n r jn : X P.H A k/ D E ŒH A D k A : kd Nesta últma lnha utlzamos a dentdade EŒ D P k0 P. > k/, válda para qualqer varável aleatóra não negatva, 0. Exste uma outra manera para calcular os valores esperados do prmero tempo de retorno, baseada no método da função geradora. Defnção 3. Seja uma varável aleatóra com valores no conjunto enumerável S. A função geradora de probabldade de é defnda por G.z/ D EŒz D X S z P. D /; para tudo jzj pertencente ao rao de convergênca da sére de potênca a dreta da ultma gualdade. O segunte Lema apresenta algumas das propredades báscas destas funções. A sua demonstração é dexada como um exercíco. Lema. Se tem função geradora G.z/, então./ G./ D,./ G.0/ D P. D 0/, e./ EŒ D G 0./ D dg.z/ ˇ : dz ˇzD

26 . Tempo dscreto Seja h j.n/ a dstrbução do prmero tempo de retorno de a j, sto é, hj.n/ D P.T j D n/, n. Consderamos agora as seguntes funções geradoras X X G j.z/ D z n p n j ; H.z/ D z n h.n/ nd0 lembrando que pj 0 D se D j, p0 j D 0 se j e hj.0/ D 0 para tudo e j S. Lema. Seja X uma cadea de Markov e S em estado qualquer. Neste caso, G.z/ D C H.z/G.z/ e G j.z/ D H.z/G jj.z/ se j. nd0 Demonstração. Veja o Teorema 6..3 em [5], pagna. Estes resultados podem ser utlzados para calcular o tempo médo do prmero retorno. Do Lema temos que H.z/ D.G.z//, o qual combnado com o Lema resulta em! k D E ŒH D H 0.z/ˇˇzD D 0ˇˇˇˇ : G.z/ ˇzD Exemplo 7. Duas cadeas de Markov estão defndas pelas seguntes matrzes de probabldade de transção p 0 p p p p p p A ;.b/ B p 0 p 0 0 p 0 p A : 0 p p p 0 p 0 Calculamos a segur os tempos de recorrênca esperados para cada um dos possíves estados em (a) e (b). Para (a) encontramos prmeramente a função geradora G.z/, para o qual calculamos P n D ND n N. Da equação característca assocada obtemos os três autovalores,. p/, e. 4p/, logo 0 N 0 =4 = =4 0 A ; N = 0 =A =4 = =4 0 D n p/ n 0 A p/ n e então calculando o produto ND n N obtemos os elementos da dagonal p n D 4 C. p/n C 4. 4p/n ; p n D C 4. 4p/n ; p n 33 D pn : Assm G.z/ D X n0 z n 4 C. p/n C 4. 4p/n D 4. z/ C. z. p// C 4. z. 4p// :

27 Exercícos 3 Segundo o Lema temos k D H 0.z/ˇˇzD D 6p4 4p 4 D 4; o qual também é o valor de k 3 3. Analogamente para pn, temos portanto G.z/ D X n0 z n C. 4p/n D. z/ C. z. 4p// ; k D H 0.z/ˇˇˇzD D 8p 4p D : Para a cadea defnda por (b) procedemos da mesma forma. Neste caso os autovalores são,,.p /, e.p /, logo p n jj D C. / n C..p // n C..p // n ; 4 para qualquer j D ; ; 3; 4; e então fnalmente do Lema, k D k D k3 3 D k4 4 D 4: Exercícos Exercíco 7. Uma cadea de Markov com espaço de estados f; ; 3g apresenta a segunte matrz de probabldade de transção P 0 A : 0 0 Mostre que o estado 3 é absorvente. Dado que X 0 D, encontre o tempo esperado até absorção. Exercíco 8. Uma moeda honesta é lançada repetdas vezes. Calcule o número esperado de lançamentos até aparecer a sequênca fcara, coroa, carag pela prmera vez. Exercíco 9. Seja X uma cadea de Markov em Z C e probabldades de transção C p; p 0 D ; p ;C C p ; D ; p ;C D ; : Mostre que se X 0 D 0 então a probabldade de que X n para todo n é 6=. Exercíco 0. () Calcule a probabldade da sua ruína sendo que o seu captal ncal é, sto é calcule h 0, mas agora suponha que você se encontra jogando contra uma outra pessoa com captal ncal j D a. () Calcule a probabldade da ruína do seu oponente. Exercíco. Responda a pergunta (v) formulada no Exemplo. Exercíco. Consdere o enuncado do Exercíco 0 e neste caso () calcule o tempo esperado da sua ruína. () Calcule o tempo esperado da ruína do seu oponente.

28 4. Tempo dscreto Exercíco 3. Este exercíco é uma contnuação do exercíco Exercíco 6. Qual é o número médo de meses no qual uma conta do tpo A permanecera no sstema? (sto é, o número de meses em méda para que esta vre do tpo F ou B.) Exercíco 4 (Serpentes e escadas 4 ). Um tabulero de 3 3 quadros apresenta duas escadas e duas cobras. A prmera escada nca no quadro e termna no quadro 7 e outra va do quadro 3 até o quadro 5. A cauda da prmera cobra esta no quadro e a sua cabeç no quadro 6, e a cauda da segunda cobra esta em 4 e a sua cabeça em 8. Suponha que você nca o jogo no quadro, e logo em cada turno você joga uma moeda (honesta) de tal manera que se o resultado é cara então você avança dos quadros, mas se o resultado é coroa você avança só um quadro. Se você se encontra com o pé de uma escada você medatamente sobe até o fnal dela, mas se você se encontra com a cabeça de uma cobra você desce até o fnal da cauda. () Quantas turnos são necessáros em méda para chegar até o quadro 9? () Qual a probabldade de que um jogador que tenha chegado até ao quadro 5 consga chegar até o 9 sem voltar até o quadro? () Calcule a quantdade de turnos esperados se em lugar de uma moeda agora é utlzado um dado de tal forma que você avança n quadros quando a face superor é n. Exercíco 5. Duas pulgas pulam ndependentemente uma da outra sobre os vérces do grafo v mostrado abaxo. Suponha que as pulgas ncam o seu percurso nos vérces a e b a e que cada pulga pode pular a um vértce vznho ou fcar no mesmo vérce com b probabldade. () Encontre a matrz de probabldade de transção assocada 3 ao processo correspondente a posção relatva das duas pulgas em cada nstante. v 3 v 4 () Determne o tempo esperado no qual as duas pulgas se encontram sobre o mesmo vérce pela prmera vez. Exercíco 6. Demonstre o Lema. Exercíco 7. Consdere novamente as questoes () e () do Exercíco 6. Observe porém que os estados B e F são absorventes logo, a resposta a () e () pode ser obtda ao consderar respectvamente uma equação de recorrênca. Exercíco 8. Seja.X n / n0 Markov em f0; ; ; : : :g com matrz de transção defnda por p 0j D a j se j 0; p D r; p ; D r se : Encontre o valor esperado dos tempos de retorno. Exercíco 9. Suponha que j S seja absorvente. Mostre que P.T j n/ D p n j. A dstrbução do prmero tempo de retorno a j pode ser calculada como h j.n/ D P.T j n/ P.T n / D p n j p n j ; n : 4 Este jogo, popular na Inglaterra Vctorana ao rededor de 890, esta relaconado a um jogo da Inda de nome Moksha-Patamu, possívelmente orgnado em 00 A.C. O Tabulero consderado neste exercíco é uma versão smplfcada do verdadero jogo, o qual possue 0 0 quadros, e escadas e cobras dspostas da segunte forma: escadasd f., 38);(4, 4);(9, 3);(, 4);(8, 84);(36, 44);(5, 67);(7, 9);(80, 00/g, cobrasd f(6, 6), (47, 6), (49, ), (56, 53), (6, 9), (64, 60), (87, 4), (93, 73), (95, 75), (98, 78)g.

29 4. Propredade forte de Markov 5 4. Propredade forte de Markov Um avanço sgnfcatvo na teora é consegudo ao consderar eventos do tpo para o nstante aleatóro T.!/, em lugar de fx T C ; : : : X T Cn j X T D ; : : : ; X 0 D g fx mc ; : : : X mcn j X m D ; : : : ; X 0 D g onde m é um nstante fxo determnado a pror. Precsamos porém da segunte restrção para poder condconar por um nstante aleatóro. Defnção 4. A varável aleatóra T W! f0; ; : : :g [ fg é um tempo de parada para o processo X, se o evento ft D mg só depende de X 0 ; : : : ; X m. Exemplo 8. Seja X um processo aleatóro com valores em S. () O prmero tempo de retorno ao estado, T, é um tempo de parada para X uma vez que ft D ng D fx 0 ; X ; : : : ; X n ; X n D g: () O prmero tempo de chegada a, H, também é um tempo de parada para X. () O últmo tempo de saída de A S, ℶ A D supfn 0 W X n Ag não é um tempo de parada para X, já que fℶ A D ng claramente depende do evento fx ncm A W m g. A propredade de Markov anda é válda se a varável aleatóra T é um tempo de parada. O ponto crucal é observar que se B é um evento determnado por X 0 ; : : : ; X T, então B \ ft D mg esta determnado por X 0 ; : : : ; X m. Teorema 8 (Propredade forte de Markov). Seja X Markov.; P/ e B um evento determnado por X 0 ; : : : ; X T. Dado o evento ft < ; X T D g, o processo.x T Cn /, n 0, é Markov.ı ; P/ e ndependente de X 0 ; : : : ; X T. Demonstração. Seja B D fx 0 ; : : : ; X T g então B \ ft D mg esta determnado por X 0 ; : : : ; X m. Agora P.fX T D j 0 ; : : : ; X T Cn D j n g \ fb; T < ; X T D g/ D X m0 P.fX T D j 0 ; : : : ; X T Cn D j n g \ fb; T D m; X T D g/; logo P.X T D j 0 ; : : : ; X T Cn D j ; B j T < ; X T D / D X n P.X T D j 0 ; : : : ; X T Cn D j n ; B; T D m; X T D / m0 P.T D m; XT D /P.T D m; X T D / o ;

30 6. Tempo dscreto mas se T D m, então X T D X m. Desta forma temos que X P.X m D j 0 ; : : : ; X mcn D j n ; X 0 ; : : : ; X m ; T D m; X m D /P.T D m; X m D / m0 D X P.Xm D j 0 ; : : : ; X mcn D j n j X 0 ; : : : ; X m ; X m D ; T D m/ m0 P.X 0 ; : : : ; X m ; X m D ; T D m/p.t D m; X m D / ; assm, da propredade fraca de Markov, a expressão a dreta da ultma gualdade é X P.X m D j 0 ; : : : ; X mcn D j n j X m D /P.X 0 ; : : : ; X m j T D m; X m D /: m0 Da homogenedade do processo, concluímos portanto que P.X 0 D j 0 ; : : : ;X n D j n / X P.X 0 ; : : : ; X m j T D m; X m D / m0 D P.X 0 D j 0 ; : : : ; X n D j n /P.B j T < ; X T D /: 5. Recorrênca e transtoredade Exste uma outra manera de classfcar os estados em S de acordo a se estes podem ser vstados um número nfnto de vezes ou não. Veremos que esta classfcação é essencal para estudar as propredades de X n no lmte n!. Baseamos a exposção das noções de recorrênca e transtoredade nos tempos do prmero retorno T A. Posterormente veremos que exstem caracterzações alternatvas. Defnção 5. Seja X Markov.; P/ com valores no conjunto enumerável S. O estado S é recorrente 5 se P.X n D para nfntos n/ D. O estado S é transtóro se P.X n D para nfntos n/ D 0: A cadea é recorrente se S é recorrente. Um estado é recorrente se este é vstado nfntas vezes, caso contráro este é transtóro. Se um estado é transtóro então eventualmente exste um nstante a partr do qual a cadea não vsta mas este estado. Mostraremos que S pode ser partconado em classes de estados recorrentes e transtóras, porém mas mportante-mente desenvolveremos város crtéros de recorrênca e transtoredade equvalentes. Seja T o prmero tempo de retorno a. Se T 0 0, e T T, então o k-ésmo tempo de retorno a é defndo ndutvamente para k D 0; ; : : : como T kc.!/ D nffn T k.!/ C W X n.!/ D g Logo a duração da k-ésma excursão é ( E k T k T k ; se T k < ; D 0; caso contráro: A relação entre T k e E k e apresentada na Fgura. 5 as vezes também denomnado persstente

31 5. Recorrênca e transtoredade 7 X n.!/ E E E 3 E 5 E Fgura. tempos de excursão e do prmero retorno ao estado. A prmera caracterzação das noções de recorrênca e transtoredade a ser descrta estará baseada na dstrbução conjunta da duração dos tempos de excursão. Com este propósto apresentamos dos resultados prelmnares. Lema 3. Para k D ; 3; : : :, dado T k <, E k é ndependente de fx m W m T k g, e P.E k D n j T k < / D P.T D n/: Demonstração. A prova consste em mostrar as duas gualdades P E k D n; fx m W m T k g j T k < (4) D P E k D n j T k < P fx m W m T k g j T k < (5) D P.T D n j X 0 D /P fx m W m T k g j T k < : Observamos prmeramente que T D T k é um tempo de parada o qual mplca P fe k D ng \ fx m W m T g j T < D P ft k T D ng \ fx m W m T g j T < D P.X T ; : : : ; X T Cn D ; X 0 ; : : : ; X T j T < /: Embora, no nstante T a cadea esta em portanto P.X T ; : : : ; X T Cn ; X 0 ; : : : ; X T j X T D ; T < / D P.X T : : : ; X T Cn j X T D ; T < /P.X 0 ; : : : ; X T j X T D ; T < / D P.E k D n j T k < /P.X 0 ; : : : ; X T j T k < /: A segunda gualdade segue dretamente ao aplcarmos o Teorema 8 para o tempo de parada T. Isto prova (4). Para (5) é sufcente observar, mas uma vez do Teorema 8, que.x T Cn /, n 0 é Markov.ı ; P/. Neste caso D nffn W X T Cn D g E k é o prmero tempo de retorno a para esta cadea, logo o resultado é medato. Consderamos agora a varável aleatóra V.!/ D X fxn Dg.!/; nd0