Departaeto de Iforátca Dscpla: do Desepeho de Ssteas de Coputação Cadeas de Marov I Processos de Marov (ou PE Marovao) Sea u processo estocástco caracterzado pela seüêca de v.a s X(t ),,,, Sea X(t ) a descrção do estado atual do processo A seüêca (X(t + +), X(t + +), ) é o futuro do processo A seüêca ( X(t ), X(t ),, X(t - ) ) é o passado do processo Prof. Sérgo Colcher colcher@f.puc-ro.br U PE é dto Marovao se ele satsfaz a segute propredade M (propredade arovaa) M: dado o estado atual, o futuro do processo ão depede do seu passado Copyrght 999- by TeleMída Lab. Cadea de Marov U processo estocástco x(t) ) fora ua Cadea de Marov se, para todo tero e ualuer seuêca t,..., t + tal ue t < t <... < t, te-se [ ( + ) + ( ), ( ),, ( ) ] P[ x( t ) x( t ) ] P x t x t x t x t + + Cadea de Marov de Tepo Dscreto U processo estocástco {x } fora ua Cadea de Marov de Tepo Dscreto se, para todo tero te-se [ + +,,, ] P[ x x ] P x x x x + + Ode,,, + são toados de u espaço de estados dscreto Ode,,, + são toados de u espaço de estados dscreto
Processo de Cotage Processo estocástco {N(t), t } é de cotage se N(t) ) represeta o úero total de evetos ue ocorre etre (, t] Por defção, N(t) ) satsfaz: N(t) N(t) assue valores teros s < t N(s) N(t) s < t N(t) N(s) úero de evetos durate o tervalo (s,t] Processo de Cotage Icreetos depedetes: processo de cotage o ual o úero de evetos ocorrdos e tervalos de tepos dsutos são depedetes Exeplo: o processo de cotage o tervalo (5,] ão depede do processo de cotage e (,5] 5 6 Processo de Cotage Icreetos estacoáros: úero de evetos e (t +s, t +s] depede soete da apltude do tervalo (t t ) Ou sea, N(t +s) N(t +s) te a esa dstrbução ue N(t ) N(t ),, ode t > t e s > t t s+t s+t Processo de Posso (PP) N(t) é u processo de Posso se: N(t) é u processo de cotage N() Te creetos depedetes e estacoáros Núero de evetos e ualuer tervalo de apltude t é dstrbuído coo ua varável de Posso co éda λt, ou sea: -λt e ( λt) P{ N( t + s) N( s) },,, e s, t! 7 8
Processo de Posso Tepo etre chegadas Eveto {T > t } sgfca ue ão acoteceu chegada algua do processo de Posso o tervalo (, t] -λt e ( λt) P{ N( t + s) N( s) }! P{T > t} } P{N(t) N() } P{N(t) } e -λt Repetdo o racocío para u tervalo (s, s+t] P{T > t T s} P{ evetos e (s, s+t]} e -λt Tepos Etre Evetos e u PP Varável Aleatóra Expoecal F x (X) ( e λx ) u(x) Propredade ( se eóra ou se passado ): P[ x > t + s x > s] P[ x > t] A probabldade de u copoete ue á fucoou s horas fucoar as t horas é gual a probabldade de u copoete ovo fucoar t horas. Coclu-se ue T,,,... são v.a.s expoecas, depedetes e detcaete dstrbuídas (d) 9 Cadeas de Marov Tepo Dscreto ou Tepo Cotíuo Abas co Espaço de Estados Dscreto [Kleroc] Exeplo do Hppe Vaate U hppe vaate coeça toado caroa e ua cdade. Por algu otvo, ele sepre pega ua ova caroa ao fal de cada da, co o prero ue se dspõe a levá-lo, se se preocupar co o desto. Ele acaba vaado aleatoraete pelas cdades próxas co as probabldade lustradas.
Hppe Vaate Depos do prero da, ele estará e co probabldade / ou e co probabldade / A probabldade de retorar a va o segudo da é de /6 e de retorar a va o segudo é de /6 Logo, a probabldade de retorar a o segudo da é de /6 / Pode-se efetuar calcular cálculos parecdos para os das, etc. e tabé para as cdades, etc. Cadeas de Marov de Tepo Dscreto Ua seüêca de varáves aleatóras X, X,... fora ua cadea de Marov de tepo dscreto se, para todo (,,...) e para todos os valores das varáves aleatóras, te-se ue [,,, ] P[ X X ] P X X X X No caso do exeplo do vaate, sso sgfca dzer ue a próxa cdade vstada depede apeas da atual e ão das cdades á vstadas Cadeas de Marov de Tepo Dscreto (CMTD) Se, alé de ão depeder das cdades vstadas, a probabldade tabé ão depeder de,, te- se ua Cadea de Marov Hoogêea represeta a probabldade de se r para o estado dado ue se está o estado. p Idepedete do [ ] p P X X Matrz de Trasções e Dagraa de Trasções de Ua CMTD Hoogêea / / P / / / / Probabldade de r de para P p Probabldade de r de para Dagraa de Trasções da CMTD Hoogêea 5 6
Matrz Estocástca Ua atrz ualuer é dta estocástca uado todos os seus eleetos são ão egatvos e a soa dos valores e ualuer de suas lhas é gual a. A atrz uadrada P [ p ], de taaho, é dta estocástca sse () p para todo, () p para todo, Teorea: A atrz de trasções de ua CMTD é estocástca / / P / / / / Hppe Vaate Dado o estado atual,, a probabldade de se estar e u estado passadas trasções é represetada por [ ] p P X + X Pela defção de Cadea de Marov de Tepo Dscreto, chegar o estado e passos só depede de ode se está o passo - Exeplo: p p p + p p + p p () () () () 7 8 Cadeas de Marov de Tepo Dscreto Pela defção de Cadea de Marov de Tepo Dscreto, chegar o estado e passos só depede de ode se está o passo - De fora recursva ( ) p p p Probabldade dos Estados [ ] Sea P X a probabldade de se ecotrar o sstea o estado o passo Vetor de probabldade o passo,,,,,, é o estado cal () () () () Se teos u estado cal deterístco, etão o vetor () te u dos eleetos gual a e os deas guas a zero Ex.: se arbtraros ue o hppe coeça a cdade () [,, ] 9
Evolução do Sstea Evolução do Sstea Probabldades das Trasções / / P [ p ] / / / / Vetor de probabldades o passo,,, Estado cal correspode ao passo : () ( ) p p p p + p + p + () () () p + p + p + () () () () () () () p p p p () () () () () () p p [,,..., ] [,,..., ] p p p () () P P P P P () () () () P P ( ) () Resudo: a Evolução do Sstea Vetor de probabldades o passo Estado cal correspode ao passo : Estados Segutes:,,, () () () P P P P P () () () () P P ( ) () Evolução do Sstea...,,5,88,,,75,6,59,5,8,5,688,5,5,5 P P ( ) () / / P / / / /
Evolução do Sstea Evolução do Sstea......,5,88,,99,,,75,5,89,8,75,8,57,5,5,5,88,,99,,5,,66,85,8,5,5,5,56,5 P P ( ) () P P ( ) () / / P / / / / / / P / / / / 5 6 Evolução do Sstea...,,75,6,98,,,,,6,88,77,8,,55,5,5,5,5 P P ( ) () / / P / / / / Questão Gostaríaos de saber se exste (e, e caso postvo, e ue stuações exste) u couto de probabldades { } ue descreva a probabldade do hppe estar e ua cdade e u tepo arbtráro do futuro Isto é, gostaríaos de saber se exste ua dstrbução de probabldades estacoára tal ue ão depede do tepo depos de ua possível fase trasete,, o sstea etre e rege de eulíbro o ual as probabldades de se estar o estado são guas a, depedeteete do tepo e da dstrbução cal { () }. 7 8
Defção: Cadeas de Marov Irredutíves Irredutível: uado todos os estados são possíves de sere alcaçados a partr de ualuer outro estado, sto é, : p >, p > Exeplo de Cadea ue ão é rredutível: Ua cadea é rredutível se for fechada e ão cotver sub-coutos fechados Sub-couto fechado de estados Defdo: Probabldade de Retoro f P Prero retoro ao E ocorra passos depos de dexar o E etão, a probabldade de se retorar ao estado (E ) e u úero ualuer de passos é: f f Se f estado recorrete Se f < estado trasete Se os úcos passos e ue o sstea pode retorar ao estado são γ,, γ, γ,... (coγ> ) estado peródco período γ se γ estado aperódco 9 Tepo Médo de Retoro Cosderado os estados e ue f (estados recorretes), defe-se o tepo édo de retoro coo Se M Estado recorrete ulo Se M < M Estado recorrete ão ulo f Teorea: Teorea (se deostração) Os estados de ua cadea de Marov rredutível pode ser: ou todos trasetes ou todos recorretes ão ulos ou todos recorretes ulos ou todos peródcos de eso período
Teorea (se deostração) Sea P[ X ] a probabldade de se ecotrar o sstea o estado o passo Teorea: E ua Cadea de Marov hoogêea rredutível e aperódca. as probabldades l sepre exste e são () depedetes das probabldades cas.. Ua das duas stuações se verfca. todos os estados são trasetes ou todos os estados são recorretes ulos, casos e ue para todo e ão exste ua dstrbução estacoára. { } todos os estados são recorretes ão ulos, caso e ue > para todo e exste ua dstrbução estacoára e M OBS.: e ua cadea fta, a stuação. é a úca possível Vetor de probabldade o passo Estado cal correspode ao passo : Estados Segutes: Trasete,,, () () () P P P P P () () () () P P ( ) () Trasete para Estacoáro P P ( ) () l l P ( ) P 5 p No caso., Coseüêca do Teorea 6 sto é, uado todos os estados são recorretes ão ulos caso e ue > para todo e exste ua dstrbução estacoára e te-se ue os são uvocaete deterados por eo das segutes euações p M
Coseüêca do Teorea N (): úero de vstas ao estado até o state N P l : freüêca co ue o processo vsta o estado Ergodcdade U estado é dto ergódgo uado é, ao eso tepo, aperódco γ recorrete ão ulo f M < Quado todos os estados de ua cadea são ergódgos etão a cadea é dta ergódga 7 8 Pelo Teorea Ergodcdade E ua Cadea de Marov hoogêea rredutível e aperódca. as probabldades l sepre exste e são depedetes das probabldades cas { ()}.. Ua das duas stuação é verdadera..... todos os estados são recorretes ão ulos, caso e ue > para todo e exste ua dstrbução estacoára É possível ostrar ue, se ua cadea é ergódga, ela é rredutível e, e sedo hoogêea, vale a stuação. Logo l sepre exste e é depedete de () { } Ergodcdade Lebrado da prera coseüêca do Teorea : No caso. (sto é, todos os estados são recorretes ão ulos, caso e ue > para todo e exste ua dstrbução estacoára ) te-se ue os são uvocaete deterados por eo das segutes euações p logo, se a cadea é ergódga, os são uvocaete deterados por eo dessas euações É possível ostrar ue o setdo verso tabé é verdadero, sto é Se a solução do sstea de euações exstr e for ão ula, etão a cadea é ergódga Ou sea: te-se coo codção sufcete para ergodcdade a exstêca de ua solução úca do sstea de euações aca 9
Matrz de Probabldades Matrz de Probabldades P p P p Teorea p / / P / / / / P [,,, ] Teorea p / / P / / / / [,,, ] p + p + p + + p + p + p + + p + p + p + + Solução o Eulíbro P, 5 7,8 5,5 5 Dstrbução geoétrca Cosdere experetos de Beroull depedetes, cada u co probabldade de êxto p x v.a. Ge(p) represetado o úero de tetatvas até cosegur o prero êxto X { } P x X p p X,,... Fução de dstrbução: X F ( X ) p p x
Tepo de Peraêca e u Estado Cadea de Marov de Tepo Dscreto Cosdere ue o sstea acabou de etrar o estado E Ele peraecerá esse estado o próxo passo co probabldade p ; logo, ele dexará esse estado co probabldade p. Se ele de fato peraecer o estado E o próxo passo, o passo segute ele voltará a ter probabldade p de peraecer esse estado e, de aera dêtca, probabldade p de dexá-lo. Pela propredade arovaa, o fato de o sstea ter peraecdo esse estado por u úero ualuer de passos ão terfere a probabldade de ue ele veha a dexar esse estado o próxo passo. [ peraêca e E por as passos acabou de etrar e E ] ( ) P p p Dstrbução Geoétrca: úca dstrbução dscreta se eóra Cadeas de Marov de Tepo Dscreto CMTD Hoogêeas: probabldade de trasção ão depede e da seüêca de estados e e dos passos [ ] p P X X CMTD Não Hoogêeas: probabldade de trasção ão depede da seüêca de estados as depede do úero de passos dados [ ] p, P X X, 5 6 Estado CMTDs Não Hoogêeas [ ] Passo p, P X X, E algu passo teredáro o sstea passou por u estado E passar pelos dferetes estados teredáros são evetos utuaete exclusvos p, P X, X X, CMTDs Não Hoogêeas p, P X, X X, p (, ) P X, X, X P X [ ] P X, X, X P X, X P[ X ] P X, X P X, X P X, X, X P[ X ] P X, X p (, ) P X X P X X, X 7 8
CMTDs Não Hoogêeas [ ] p, P X X, Váldo para ualuer cadea (eso as ue ão são arovaas) 9 p (, ) P X X P X X, X Propredade arovaa: P X X, X P X X p (, ) Logo: p (, ) p, p,, Euação de Chapa-Kologorov Chapa-Kologorov p (, ) p, p,, 5 Ou sea: podeos partcoar a probabldade de se atgr o estado a partr do estado e ( ) ) passos a soa dos produtos das probabldades dos ( ) e ( ) passos, cosderado todos os estados teredáros ue pode ter sdo ocupados o state. Estado Passo Chapa-Kologorov Se a cadea é hoogêea [ + ] [ ] p P X X p (, ) P X X p ( ) Se a cadea é hoogêea e + p (, ) p (, ) p (, ), () p (, ) p, p p, p ( s) ( s ) 5 p p p (Resultado á obtdo aterorete) Chapa-Kologorov a Fora Matrcal p (, ) p, p,, ( + ) P p, P( ) P se a cadea for hoogêea 5 No caso da cadea hoogêea: Trasção de passos gera atrz P. No caso da cadea heterogêea: Defção: H(, ) p (, ) Note ue H(, + ) P e, o caso hoogêeo, H(, + ) P.
Chapa-Kologorov a Fora Matrcal p (, ) p, p,, Pode-se escolher ualuer state etre e. Vaos exeplfcar dos: (forward Chapa-Kologorov E.) + (bacward Chapa-Kologorov E.) Euações de Chapa-Kologorov (Fw e Bw) Forward: p (, ) p, p,, H(, ) H(, ) P( ) Bacward: p (, ) p, + p +,, H(, ) P H( +, ) Por substtução: H(, ) P P( + ) P( ) 5 5