Cadeias de Markov de Tempo Contínuo (CTMC)

Cadeias de Markov de Tempo Contínuo (CTMC)

Cadeia de Markov Contínua (1) A análise de cadeias de Markov contínuas (CTMCs) é bem similar a análise em tempo discreto, com a diferença de que as transições podem ocorrer em qualquer instante de tempo. Seja I = {0,1,2,...} o espaço de estados do processo e T =[0, ) o espaço do parâmetro de observação. Relembrando a propriedade Markoviana: P[X(t) = x X(t n )= x n,x(t n-1 )= x n-1,...,x(t 0 )= x 0 ] = P[X(t) = x X(t n )= x n ]

Cadeia de Markov Contínua (2) O comportamento do processo é caracterizado pela distribuição de probabilidades iniciais P[X(t 0 ) = k]; k = {0,1,2,3,...} e probabilidades de transição: p ij (v,t) = P( X(t) = j X(v) = i) Para 0 <= v <= t e i,j = 0,1,2,..., definimos p ij (t,t) = 1, se i = j = 0, caso contrário

O comportamento probabilístico é totalmente determinado pelas probabilidades de transição e a distribuição de probabilidades iniciais Cadeia de Markov Contínua (3) Definimos a pmf de X(t) no tempo t por π j (t) = P(X(t) = j), j = 0,1,2,...; t>=0 Aplicando o teorema da probabilidade total: π j (t) = p ij (v,t)π ι (v); para todo i Se v = 0, então: π j (t) = p ij (0,t)π ι (0); para todo i

Cadeia de Markov Contínua (4) As probabilidades de transições de uma CTMC satisfazem a equação de Chapman- Kolmogorov, para todos os estados i,j em I: p ij (v,t) = p ik (v,u)p kj (u,t), para todo k є I; 0<=v<u<t (Resultado obtido aplicando o teorema da probabilidade total)

Cadeia de Markov Contínua (5) Como calcular as probabilidades de transição para cadeias contínuas? p ij (t,t+h) =q ij (t).h + o(h), para i j p jj (t,t+h) =1-q jj (t).h + o(h), para i = j Onde q i j denota o número total de transições que ocorrem na CTMC por unidade de tempo. Quando h 0, a probabilidade de ocorrência de uma transição do estado i no tempo t para o estado j nas próximas h unidades de tempo é igual a taxa de transição no tempo t multiplicada pelo o intervalo de tempo h.

Cadeia de Markov Contínua (6) Utilizando a equação de Kolmogorov e a definição de π j (t), temos o vetor π de probabilidades em um tempo t, dado pelo seguinte sistema de equações diferenciais: dπ(t)/dt = π(t)q

Cadeia de Markov Contínua (7) O que representa a matriz Q?A matriz Q é denominada matriz geradora de uma CTMC, onde os elementos representam as taxas de mudanças entre os estados da cadeia. Exemplo: α 1 2 β Q = -α α β β Os elementos na diagonal são negativos, pois dado que o processo está no estado i em t, a probabilidade de se transferir a um estado diferente aumenta como tempo, e a probabilidade de permanecer no estado diminui, na mesma proporção.

Cadeia de Markov Contínua (8) Quais são as características da matriz Q? (1) Soma das linhas igual a zero (2) Elementos na diagonal são não-positivos (3) Elementos fora da diagonal são nãonegativos

Estado Estacionário Para cadeias de Markov irredutíveis, recorrente não nulas,o vetor de probabilidades em estado estacionário é dado por: π(t)q = 0 π i (t) = 1, para todo i Considerando que para t, não existe mais variação das probabilidades de permanência em cada um dos estados.

No entanto, toda CTMC possui sua equivalente DTMC (técnica de uniformização) e outros métodos numéricos podem ser aplicados para obtenção da medida de interesse. Estado Transiente Para observarmos a cadeia em um tempo finito, temos que π(t) = π(0)e Qt Ou seja, devemos calcular uma exponencial de matrizes, usando, por exemplo autovalores e autovetores.

Propriedade Markoviana... O tempo em que o processo passa em cada estado de uma CTMC é exponencialmente distribuído, dado a propriedade da falta de memória (memoryless) dos processos Markovianos.Neste caso, o parâmetro da distribuição exponencial é: Σ i j q ij (Provado usando estatística de ordem) No caso de DTMC, número de visitas antes de sair do estado é geometricamente distribuído

Birth-Death (1) Uma CTMC com o espaço de estados {0,1,2,...} é conhecida como um processo birth-death (nascimento-morte) se existem constantes λ i (i = 0,1,...) e µ i (i = 0,1,...) tais que as transições são dadas por: q i,i+1 = λ i q i,i-1 =µ i; q i,i = λ i +µ i q i,j = 0 i -j > 0

Birth-Death (2) A CTMC estará no estado k em t+ h se um dos seguintes eventos ocorre: 1) Se a CTMC está no estado k no tempo t, e não existem transições no intervalo (t,t+h]. p k,k (t,t+h) = 1 q k.h + o(h) = 1 - ( λ k + µ k ).h + o(h) 2) Se a CTMC está no estado k-1 no tempo t, e um nascimento ocorre no intervalo (t,t+h]. p k-1,k (t,t+h) = q k-1,k.h + o(h) = λ k-1.h + o(h)

Birth-Death (3) A CTMC estará no estado k em t+ h se um dos seguintes eventos ocorre: 3) Se a CTMC está no estado k+1 no tempo t, e uma morte ocorre no intervalo (t,t+h]. p k+1,k (t,t+h) = q k+1,k.h + o(h) = µ k+1.h + o(h) 4) Dois ou mais transições ocorrem no intervalo (t,t+h], resultando em X(t+h) = k, com probabilidade o(h).

Diagrama de estados Birth-Death (4)

Birth-Death (5) Usando o teorema da probabilidade total: P(X(t+h) = k)) = π k (t+h) =π k (t)p k,k (t,t+h) + π k-1 (t)p k- (t,t+h) + π (t)p (t,t+h) + o(h) 1,k k+1 k+1,k Dividindo por h, e fazendo h 0 dπ k (t)/dt = (λ k +µ k )π k (t) + λ k-1 π k-1 (t) + µ k+1 π k+1 (t) dπ 0 (t)/dt = λ 0 π 0 (t) + µ 1 π 1 (t)

Birth-Death (6) Se estamos interessados na distribuição de probabilidades em estado estacionário... 0 = (λ k +µ k )π k + λ k-1 π k-1 + µ k+1 π k+1 0 = λ 0 π 0 + µ 1 π 1 Manipulando as equações e considerando que π k =1, para todo k, temos: π k =(λ k-1 /µ k )π k-1 ; k>=1 π k = k-1 i=0 (λ i / µ i+1 )π 0 π 0 = 1/( ι >=0 j=1; κ 1 (λ i / µ i+1 ))

Equações de Equilíbrio A distribuição em estado estacionário, para alguns sistemas, pode ter uma fórmula fechada. Para tal, basta escrevermos as equações de equilíbrio (balance equations) onde: Taxa de entrada no estado j = Taxa de saída do estado j No caso do modelo birth-death, para um estado k, as taxas de entrada são iguais a: λ k-1 π k-1 + µ k+1 π k+1 e as taxas de saída são iguais a: (λ k +µ k )π k

Equações de Equilíbrio Em um caso mais geral, seja S um conjunto de estados, então: Taxa de entrada em S = Taxa de saída de S j S i S π i q ij = j S π j i S q ji