Cadeias de Markov em Tempo Continuo Ricardo Ehlers ehlers@icmc.usp.br Departamento de Matemática Aplicada e Estatística Universidade de São Paulo Capitulos 6 Taylor & Karlin 1 / 44
Análogo ao processo de Markov já visto para tempo discreto. Satisfaz à propriedade Markoviana. O processo de Poisson é uma cadeia de Markov em tempo continuo com estados 0, 1, 2,... que sempre vai sempre do estado n para o estado n + 1. O processo de Poisson é um processo de nascimento puro. Processos baseados no modelo exponencial que podem saltar de n para n + 1 ou n 1 são chamados processos de nascimento e morte. 2 / 44
Seja um processo estocástico {X (t), t 0} em tempo continuo que assume valores nos inteiros não negativos 0, 1, 2,... Este processo é uma cadeia de Markov em tempo continuo se, P[X (t + s) = j X (s) = i, X (u) = k, 0 u < s] = P[X (t + s) = j X (s) = i], s, t 0. A cadeia tem a propriedade Markoviana, a distribuição do futuro X (t + s), dado o presente X (s), não depende do passado X (u), 0 u < s. Se P[X (t + s) = j X (s) = i] não depende de s a cadeia é estacionária. 3 / 44
Seja uma cadeia de Markov em tempo continuo {X (t), t 0}. Se a cadeia entrou no estado i e permaneceu neste estado por 10 minutos, qual a probabilidade da cadeia permanecer no estado i por mais 5 minutos? Pela propriedade Markoviana, a probabilidade de permanecer no estado i no intervalo [10,15] é a probabilidade de ficar no estado i por ao menos mais 5 minutos. 4 / 44
Seja T i o tempo que a cadeia fica no estado i antes de fazer uma transição para outro estado. Então, No caso geral, P(T i > 15 T i > 10) = P(T i > 5). P(T i > s + t T i > s) = P(T i > t), s, t 0. Portanto a variável aleatória T i não tem memória e tem distribuição exponencial. 5 / 44
Definição Alternativa Um processo estocástico que quando entra num estado i tem as seguintes propriedades, o tempo T i gasto em i antes de mudar para j i tem distribuição exponencial com parâmetro v i, e muda para o estado j com probabilidade P ij tal que P ii = 0 e j P ij = 1, i, é uma cadeia de Markov em tempo continuo. 6 / 44
Processos de nascimento e morte Considere um sistema cujo estado é o seu número de individuos. Quando há n individuos no sistema, novos individuos entram no sistema a uma taxa exponencial λ n, individuos saem do sistema a uma taxa exponencial µ n. Equivalentemente, o tempo até a próxima chegada tem distribuição exponencial com parâmetro λ n, o tempo até a próxima saida tem distribuição exponencial com parâmetro µ n, estes tempos são independentes. Tal sistema é chamado de processo de nascimento e morte. 7 / 44
Definição. Um processo de nascimento e morte é uma cadeia de Markov em tempo continuo com estados 0, 1, 2,... cujas transições vão do estado n para n 1 ou n + 1. v 0 = λ 0 v i = λ i + µ i, i = 1, 2,... P 01 = 1 P i,i+1 = P i,i 1 = λ i λ i + µ i µ i λ i + µ i 8 / 44
A trajetória do processo é similar a um passeio aleatório porém as transições ocorrem em tempos aleatórios ao invés de tempos fixos. Uma possivel trajetória do processo seria, i, para 0 < t < t 1, i + 1, para t 1 < t < t 1 + t 2, X (t) = i, para t 1 + t 2 < t < t 1 + t 2 + t 3,. 9 / 44
Exemplo. Considere um processo de nascimento e morte no qual, µ n = 0, n = 0, 1,... λ n = λ, n = 0, 1,... Neste processo não ocorrem saidas do sistema e o tempo entre chegadas sucessivas tem distribuição exponencial com parâmetro λ. Portanto é um processo de Poisson. 10 / 44
Exemplo. (Processo de Yule). Considere uma população em que só há nascimentos e ninguém morre. Os individuos agem de forma independente e cada um leva um tempo exponencial com parâmetro λ para dar origem a um nascimento. Em uma população com n individuos a taxa total de nascimento é λ n = nλ, n = 0, 1,... Se X (t) representa o tamanho da população no tempo t então {X (t), t 0} é um processo de nascimento com taxa λ n 11 / 44
No caso geral, considere novamente uma população em que só há nascimentos sendo X (t) o número de elementos na população no tempo t. Assume-se que X (0) = 0. Sejam S 0, S 1,... os tempos entre nascimentos, e k 1 W k = S i, k = 1, 2,... i=0 o tempo para o k-ésimo nascimento. Pelo que sabemos de processos de Poisson, S 0, S 1,... são independentes e S k Exponencial(λ k ). Dizemos que {X (t), t 0} é um processo de nascimento puro com taxas de nascimento λ 0, λ 1,.... 12 / 44
Sejam as probabilidades de que a cadeia esteja no estado n em um tempo t dado que começou no estado zero, P[X (t) = n X (0) = 0] = P n (t). Pelos resultados da Seção 1.2 temos que, P 0 (t) = e λ 0t [ e λ 0 ] t P 1 (t) = λ 0 + e λ1t λ 1 λ 0 λ 0 λ 1 ( n 1 ) n P n (t) = λ k B j,n e λ j t k=0 j=0 13 / 44
sendo, B 0,n = B k,n = B n,n = n 1 (λ j+1 λ j ) j=0 n j=0,j k 1 1 (λ j λ k ), k = 1,..., n 1 n 1 (λ j λ n ) j=0 1 14 / 44
Exemplo. Um processo de nascimento puro com X (0) = 0 tem taxas de nascimento λ 0 = 1, λ 1 = 3, λ 2 = 2 e λ 3 = 5. Calcule as probabilidades, P 0 (t), P 1 (t), P 2 (t) e P 3 (t). P 0 (t) = e t P 1 (t) = e t 2 e 3t 2. 15 / 44
Exemplo. Um equipamento está sujeito a operações dostipos 1, 2 e 3 em sequência. Os tempos para executar as operações S 1, S 2, S 3 são independentes e tem distribuições exponenciais com parâmetros λ 1 = 5, λ 2 = 3 e λ 3 = 13. Seja X (t) a operação que está sendo executada no tempo t. Calcule as probabilidades P 1 (t), P 2 (t) e P 3 (t). 16 / 44
Exemplo. Seja um processo de nascimento com taxas λ k = α + kβ, k = 0, 1, 2,.... Neste modelo, β representa a taxa de nascimento de cada individuo e α a taxa de imigração. Assumindo que X (0) = 0 determine as probabilidades P 0 (t), P 1 (t), P 2 (t),... 17 / 44
Probabilidades de transição Dado que o processo está no estado j, define-se a probabilidade de que esteja no estado i após um tempo t como, P ij (t) = P[X (t + s) = j X (s) = i] que são as probabilidades de transição da cadeia. Note que estas probabilidades não dependem de s. 18 / 44
Equações de Chapman-Kolmogorov Seja {X (t), t 0} uma cadeia de Markov em tempo continuo. A cadeia se move do estado i para o estado j no tempo t + s movendo-se do estado i para o estado k no tempo t e de k para o estado j no tempo restante s, P ij (t + s) = P ik (t)p kj (s) k=0 19 / 44
Além disso, P n (t) = P(X (t) = n) = P(X (t) = n X (0) = i)p(x (0) = i). i=0 20 / 44
Comportamento limite Em processos de nascimento e morte deseja-se saber se existe uma distribuição limite para a cadeia, independente do estado inicial. Para uma cadeia sem estados absorventes pode-se mostrar que, lim i0(t) t = π 0, lim i1(t) t = π 1, lim i2(t) t = π 2, com π j 0, j = 0, 1,... Se π j > 0, j = 0, 1,... segue também que j=0 π j = 1 e temos uma distribuição de probabilidades limite.. 21 / 44
Equaçoes de Kolmogorov, P i0(t) = λ 0 P i0 (t) + µ 1 P i1 (t) P ij(t) = λ j 1 P ij 1 (t) (λ j +µ j )P ij (t)+µ j+1 P i,j+1 (t), j = 1, 2,... Passando o limite para t, obtém-se 0 = λ 0 π 0 + µ 1 π 1 0 = λ j 1 π j 1 (λ j + µ j )π j + µ j+1 π j+1, j = 1, 2,... 22 / 44
A solução é obtida por indução sendo dada por, π j+1 = θ j+1 π 0 definindo-se os parâmetros θ como, θ 0 = 1 e θ j = j 1 k=0 λ k j k=1 µ, j = 1, 2,... k Somando-se ambos os lados segue que, π k = π 0 k=0 k=0 θ k e então, π j = θ j π 0 = θ j k=0 θ, j = 0, 1,... k 23 / 44
Portanto, fica claro que π 0, π 1,... define uma distribuição de probabilidades se k=0 θ k <. Caso contrário, se k=0 θ k = então π j = 0, j e a distribuição limite não existe. 24 / 44
Exemplo. Seja um processo de nascimento e morte com taxas λ n = a + nλ e µ n = nµ, n = 0, 1,.... Os parâmetros λ, µ > 0 são as taxas individuais de nascimento e morte e a > 0 é a taxa de imigração. θ 0 = 1 θ 1 = a µ θ 2 = θ 3 =. θ k = a(a + λ) 2µ 2 a(a + λ)(a + 2λ) 6µ 3 a(a + λ)... (a + (k 1)λ) k!µ k 25 / 44
θ k = = a λ ( a λ + 1)... ( a λ + (k 1)) k! ( a/λ + k 1 k ) ( λ µ ) k ( ) λ k µ Usando a expansão binomial, segue que, θ k = k=0 (1 x) N = ( ) N + k 1 x k, para x < 1, k k=0 ( a/λ + k 1 k=0 k ) ( λ µ ) k = ( 1 λ µ) a/λ, para λ < µ. 26 / 44
Conclui-se então que, para λ < µ a distribuição limite existe e é dada por, π 0 = π k = ( 1 λ ) a/λ µ ( a/λ + k 1 k ) ( ) λ k ( 1 λ a/λ, k = 1, 2,... µ µ) Se λ µ a distribuição limite não existe, 27 / 44
Exemplo. Um sistema é composto de N máquinas. Cada máquina opera um tempo aleatório com distribuição exponencial(λ). Quando uma máquina falha ela é consertada num tempo aleatório com distribuição exponencial(µ). X (t): o número de máquinas não defeituosas no tempo t, é um processo de nascimento e morte finito com parâmetros, para n = 0, 1,..., N. λ n = (N n)λ µ n = nµ 28 / 44
Temos então, θ 0 = 1 θ 1 = Nλ µ θ 2 = N(N 1)λ2 2µ 2. θ k = N(N 1)... (N k + 1)λk k!µ k = Pela fórmula binomial temos que, e portanto, N θ k = k=0 (1 + x) N = N k=0 ( N k N k=0 ( ) N x k k ( N k ) ( ) λ k ( = 1 + λ ) N µ µ ) ( ) λ k. µ 29 / 44
Conclui-se que a distribuição limite existe e é dada por, π 0 = π k = = = ( 1 + µ) λ N ( ) µ N = λ + µ ( ) ( ) N λ k ( 1 + λ ) N k µ µ ( ) ( ) N λ k ( ) µ N k µ λ + µ ( ) ( ) N λ k ( ) µ N k, k λ + µ λ + µ ou seja distribuição Binomial com parâmetros N e λ/(λ + µ). 30 / 44
Cadeias com estados absorventes Em processos de nascimento e morte com λ 0 = 0 o estado 0 é absorvente. Neste caso, deseja-se calcular a probabilidade de absorção dado que a cadeia iniciou no estado i = 1, 2,..., P(X (t) = 0 X (0) = i). Este não é um evento certo pois a cadeia pode ficar para sempre vagando pelos estado 1, 2,... 31 / 44
A probabilidade pode ser reescrita como, P(X (t) = 0 X (0) = i) = P(X (t) = 0 X (1) = k)p(x (1) = k X (0) = i) k=0 P(X (t) = 0 X (0) = i + 1)P i,i+1 + P(X (t) = 0 X (0) = i 1)P i,i 1 Defina u i a probabilidade de absorção dado que começou no estado i e lembrando que, P i,i+1 = λ i λ i + µ i segue que, u i = P i,i 1 = µ i λ i + µ i λ i u i+1 + µ i u i 1 λ i + µ i λ i + µ i 32 / 44
Podemos reescrever esta expressão como, u i+1 u i = (u i u i 1 ) µ i λ i, i = 1, 2,... ν i = ν i 1 µ i λ i = ν i 2 µ i λ i µ i 1 λ i 1. = ν 0 µ i µ i 1... µ 1 λ i λ i 1... λ 1 = ρ i ν 0, com ρ 0 = 1. 33 / 44
Some ambos os lados para i variando de 1 até um inteiro m 1, m 1 (u i+1 u i ) = (u 1 u 0 ) i=1 m 1 i=1 m 1 u m u 1 = (u 1 1) ρ i, m = 2, 3,... Sendo u m 1 segue que se m 1 i=1 ρ i = então u 1 = 1 e u m = 1, m > 1 e a absorção pelo estado 0 é certa para qualquer estado inicial. i=1 ρ i 34 / 44
Por outro lado, se 0 < u 1 < 1 então m 1 i=1 ρ i <. Neste caso u m é uma função decrescente de m (pois u 1 1 < 0). Pode-se mostrar que u m 0 quando m. Passando ao limite temos uma solução para u 1, i=1 u 1 = ρ i 1 + i=1 ρ i Substituindo na equação anterior, temos que u m = i=1 ρ i m 1 i=1 ρ i 1 + i=1 ρ i = i=m ρ i 1 + i=1 ρ i 35 / 44
Exemplo. Considere um processo de nascimento e morte com estados 0,1,2,3,4,5 e parâmetros (λ 0, λ 1, λ 2, λ 3, λ 4, λ 5 ) = (0, 1, 2, 3, 4, 0) (µ 0, µ 1, µ 2, µ 3, µ 4, µ 5 ) = (0, 4, 3, 2, 1, 0). Se o processo inicia no estado 2 calcular a probabilidade de absorção no estado 0. Os estados 0 e 5 são absorventes. Deseja-se calcular P(X (t) = 0 X (0) = 2). 36 / 44
Segue que, ρ 0 = 1 ρ 1 = µ 1 /λ1 = 4 ρ 2 = ρ 1 µ 2 /λ2 = 6 ρ 3 = ρ 2 µ 3 /λ3 = 4 ρ 4 = ρ 3 µ 4 /λ4 = 1 ρ 5 = 0 Portanto, P(X (t) = 0 X (0) = 2) = u 2 = 5 i=2 ρ i 1 + 5 i=1 ρ = 0.73 i 37 / 44
Tempo médio até absorção Seja um processo de nascimento e morte com estado 0 absorvente. Assume-se que i=1 ρ i = (absorção certa). Seja w i o tempo médio de absorção começando no estado i. Seja T i o tempo de permanencia no estado i antes de mudar para i + 1 ou i 1. Sabemos que, T i Exponencial(λ i + µ i ), e P i,i+1 = λ i /(λ i + µ i ) e P i,i 1 = µ i /(λ i + µ i ). Então, w i = 1 λ i + µ i + λ i (λ i + µ i ) w i+1 + µ i (λ i + µ i ) w i 1, i = 1, 2,... 38 / 44
A expressão anterior pode ser reescrita como, w i = 1 + λ iw i+1 + µ i w i 1 λ i + µ i λ i (w i w i+1 ) = 1 + µ i (w i 1 w i ) z i = 1 ( ) µi + z i 1, i = 1, 2,... λ i Fazendo substituições sucessivas, z 1 = 1 λ 1 + ( µ1 λ 1 ) λ i z 0 z 2 = 1 λ 2 + µ 2 λ 2 λ 1 +. ( µ2 µ 1 λ 2 λ 1 ) z 0 39 / 44
Finalmente, z m = m 1 λ i i=1 m j=i+1 µ j m + λ j µ j λ j j=1 z 0. sendo m µ j j=m+1 λ j = 1. Voltando a notação anterior segue que, z m = m i=1 1 λ i ρ m ρ i + ρ m z 0. Equivalentemete, como z m = w m w m+1 e z 0 = w 0 w 1 = w 1, w m w m+1 ρ m = m i=1 1 λ i ρ i w 1. 40 / 44
Teorema. Seja um processo de nascimento e morte com parâmetros λ n e µ n, n = 1, 2,... e λ 0 = 0. Então, i=m ρ i 1 + i=1 ρ, se ρ i < i i=1 u m = 1, se ρ i = i=1 w m =, se i=1 i=1 m 1 1 + λ i ρ i 1 λ i ρ i = ρ k k=1 j=k+1 1 λ j ρ j, se i=1 1 λ i ρ i < 41 / 44
Exemplo. Considere uma população cujo número de elementos segue um processo de nascimento e morte com parâmetros λ n = nλ e µ n = nµ, n = 0, 1,.... O estado 0 é absorvente (extinção). Neste caso, ρ j = (µ/λ) j e portanto, ( µ ) j ρ j =. λ j=m j=m Se λ > µ temos a soma dos termos de uma progressão geométrica com razão µ/λ < 1 e assim, (µ/λ) m, se λ > µ, e 1 µ/λ ρ j = j=m, se λ µ, Analogamente, 1 + 1 ρ j = 1 µ/λ, se λ > µ. 42 / 44 j=1
Finalmente, (µ/λ) m, se λ > µ, e P(X (t) = 0 X (0) = m) = 1, se λ µ 43 / 44
Para λ µ (extinção certa) e X (0) = 1, i=1 1 λ i ρ i = = 1 λ i=1 = 1 λ = 1 iλ i i=1 0 λ/µ 0 ( ) λ i = 1 µ λ λ/µ 1 λ log i=1 1 i x i 1 dx = 1 λ 1 1 x dx ( µ µ λ, se λ = µ. ( ) λ i = µ λ/µ 0 ), se λ < µ x i 1 dx i=1 44 / 44