Cadeias de Markov e Campos Aleatórios Markovianos

Transcrição

1 UNIVERSIDADE DE SÃO PAULO INSTITUTO DE FÍSICA Cadeias de Markov e Campos Aleatórios Markovianos Wagner Gomes Rodrigues Junior Profª Drª Tania Tomé - IFUSP São Paulo 2009 Sumário 1 Cadeias de MarKov 1

2 SUMÁRIO 2 2 Função de transição e distribuição inicial 4 3 Cálculos com a função de transição 6 4 A Matriz de Transição 8 5 Estados transientes e recorrentes 9 6 Decomposição do espaço de estados 13 7 Topologia da matriz de transição 15 8 Probabilidade de absorção 18 9 Distribuição estacionária de uma Cadeia de Markov Propriedades fundamentais de Distribuições Estacionárias Cadeia de vida e morte Número médio de visitas a um estado recorrente Recorrência Nula e estados recorrentes positivos Existência e unicidade de distribuições estácionárias Cadeias Redutíveis Convergência para distribuição estacionária Distribuição de Gibbs e Campos Aleatórios Markovianos Campos Aleatórios Amostra de Gibbs 49

3 1 Cadeias de MarKov 1 1 Cadeias de MarKov Sequências de variáveis aleatórias independentes e identicamente distribuídas são processos estocásticos, mas nem sempre elas são interessantes como modelos porque elas comportam-se mais ou menos da mesma maneira. Com o objetivo de introduzir maior variabilidade pode-se permitir alguma dependência com o passado, de forma de determinar equações de recorrência. Cadeias de Markov homogêneas e discretas no tempo possuem estas características, já que elas podem sempre ser representadas por uma equação de recorrência estocática X n+1 = f(x n, Z n+1 ), onde {Z n } n 1 é uma sequência independente e identicamente distribuida (i.i.d), independente do estado inicial X 0. A dependência probabilística com o passado é feita somente com o estado imediatamente anterior, mas esta limitada quantidade de memória é suficiente para produzir uma grande variedade de comportamentos. A sequência {X n } n 0 de variávies aleatórias de um conjunto E é chamado processo estocástico de tempo discreto com espaço de estado E. Neste texto, este espaço é enumerável e seus elementos serão denotados por x 0, x 1, x 2,... Se X n = x n, o processo é dito estar no estado x n no tempo n, ou visita o estado x n no tempo n. Já que estamos interessados em sistemas não determinísticos, pensamos X n, n 0 como variáveis aleatórias definidas sobre um espaço de probabilidades. Muitos sistemas tem a propriedade de que dado um estado presente, os estados passados não influênciam o futuro. Esta propriedade é chamada de propriedade de Markov e um sistema que tem essa propriedade é chamado cadeia de Markov. Esta propriedade é precisamente definida por Definição 1.1 (Cadeia de Markov(CM)) Seja {X n } n 0 um processo estocástico a tempo discreto com um espaço enumerável E. Se para todo inteiro n 0 e todo estado x 0, x 1...x n eme. P (X n = x n X 0 = x 0,..., X n 1 = x n 1 ) = P (X n = x n X n 1 = x n 1 ). (1) ambos os lados estão bem definidos, este processo estocástico é chamado Cadeia de Markov. Ela é dita Cadeia de Markov Homogênea (CMH) se o lado direito de (1) é independente de n.

4 1 Cadeias de MarKov 2 As probabilidades condicionais P (X n+1 = y X n = x) são chamadas probabilidades de transição da cadeia. Uma probabilidade de transição é dita estacionária se P (X n+1 = y X n = x) independe de n. Exemplo - Cadeia de Markov de dois estados. Considere uma máquina que no começo de um determinado dia ou está quebrada ou está funcionando. Assuma que se a máquina está quebrada no começo do n-ésimo dia, existe uma probabilidade p de que a máquina esteja funcionando no (n + 1)-ésimo dia. Além disso assuma que se a máquina esta funcionado no n-ésimo dia existe uma probabilidade q de ela estar quebrada no (n+1)-ésimo dia. Finalmente seja π 0 (0) a probabilidade de que a máquina está quebrada no 0-ésimo dia. O estado 0 corresponde à máquina quebrada e o estado 1 corresponde à máquina que está operando. Seja X n a variável aleatória denotando o estado da máquina no tempo n. De acordo com a descrição acima P (X n+1 = 1 X n = 0) = p, e P (X n+1 = 0 X n = 1) = q P (X 0 = 1 X n = 1) = π 0 (0). Já que existem somente dois estados, 0 e 1, segue imediatamente que P (X n+1 = 0 X n = 0) = 1 p, P (X n+1 = 1 X n = 1) = 1 q, e a probabilidade π 0 (1) de estar inicialmente no estado 1 é dada por π 0 (1) = P (X 0 = 1) = 1 π 0 (0). A partir destas informações, podemos calcular P (X n = 0) e P (X n = 1). Observamos que P (X n+1 = 0) = P (X n+1 = 0 X n = 0) + P (X n+1 = 0 X n = 1) = P (X n = 0)P (X n+1 = 0 X n = 0) + P (X n = 1)P (X n+1 = 0 X n = 1) = P (X n = 0)(1 p) + P (X n = 1)q = (1 p)p (X n = 0) + q(1 P (X n = 0)) = (1 p q)p (X n = 0) + q Como P (X 0 = 0) = π 0 (0), então P (X 1 = 0) = (1 p q)π 0 (0) + q

5 1 Cadeias de MarKov 3 e P (X 2 = 0) = (1 p q)p (X 1 = 0) + q = (1 p q) 2 π 0 (0) + q[1 + (1 p q)] Repetindo o processo n vezes que Como temos e n 1 P (X n = 0) = (1 p q) n π 0 (0) + q (1 p q) j n 1 (1 p q) j = j=0 P (X n = 0) = P (X n = 1) = j=0 1 (1 p q)n p + q q ( p + q + (1 p q)n π 0 (0) p ( p + q + (1 p q)n π 0 (1) q ) p + q p ) p + q Sendo 0 < p + q < 2, 1 p q < 1 e neste caso quando n e lim P (X n = 0) = n lim P (X n = 1) = n q p + q p p + q p As probabilidades p + q e q podem ser obtidas por uma abordagem p + q diferente. Suponha que desejamos escolher π 0 (0) e π 0 (1) tal que P (X n = 0) e P (X n = 1) sejam independentes de n. De (2) e (3) vemos que devemos escolher π 0 (0) = q p + q e π 0 (1) = p p + q Assim nós vemos que se X n, n 0, começa com a distribuição inicial então para todo n P (X 0 = 0) = P (X n = 0) = q p + q q p + q e P (X 0 = 1) = p p + q, e P (X n = 1) = p p + q, (2) (3)

6 2 Função de transição e distribuição inicial 4 2 Função de transição e distribuição inicial Seja X n, n 0, uma cadeia de Markov no espaço de estados E. A função P (x, y), x, y E, definida por P (x, y) = P (X 1 = y X 0 = x) é chamada função de transição da cadeia. Ela é tal que e Se a cadeia de Markov for estacionária, vemos que P (x, y) 0 (4) P (x, y) = 1 (5) y P (X n+1 = y X n = x) = P (x, y), n 1 (6) E da propriedade de Markov segue que P (X n+1 = y X 0 = x 0,..., X n 1 = x n 1, X n = x) = P (x, y) (7) Em outras palavras, se a cadeia de Markov está num estado x no tempo n, então não importa como ela foi para x, ela tem a probabilidade P (x, y) de estar em y na próxima etapa. Por esta razão os números P (x, y) são chamados probabilidades de transição de uma etapa da cadeia de Markov. A função π 0 (x), x E definida por π 0 (x) = P (X 0 = x), x E (8) é chamada distribuição inicial da cadeia. Ela é tal que e π 0 (x) 0, x E (9) π 0 (x) = 1 (10) x A distribuição de X 0,...X n pode ser expressa em termos da função de transição e da distribuição inicial. Por exemplo, P (X 0 = 0 X 1 = x 1 ) = P (X 0 = 0)P (X 1 = x 1 X 0 = x 0 ) = π 0 (x 0 )P (x 0, x 1 )

7 2 Função de transição e distribuição inicial 5 Além disso, P (X 0 = x 0 X 1 = x 1 X 2 = x 2 ) = P (X 0 = x 0 X 1 = x 1 )P (X 2 = x 2 X 0 = x 0 X 1 = x 1 ) = π 0 (x 0 )P (x 0, x 1 )P (X 2 = x 2 X 0 = x 0 X 1 = x 1 ) Já que X n, n 0, satisfaz a propriedade de Markov e tem probabilidade de transição estacionária, vemos que Assim P (X 2 = x 2 X 0 = x 0 X 1 = x 1 ) = P (X 2 = x 2 X 1 = x 1 ) = P (X 1 = x 2 X 0 = x 1 ) = P (x 1, x 2 ) P (X 0 = x 0 X 1 = x 1 X 2 = x 2 ) = π 0 (x 0 )P (x 0, x 1 )P (x 1, x 2 ) Por indução vemos que P (X 0 = x 0 X 1 = x 1... X n = x n ) = π 0 (x 0 )P (x 0, x 1 )...P (x n 1, x n ) (11) Exemplo- Urnas de Ehrenfest Suponha que temos duas urnas A e B, e d bolas marcadas por 1,2,...d. Inicialmente algumas dessas bolas estão na caixa A e o restante está na caixa B. Um número entre 1 e d é escolhido aleatoriamente e a bola com o correspondente número é transferida para outra caixa. Este processo é repetido indefinidamente com os sorteios sendo independentes. Seja X n o número de bolas na caixa A no n-ésima sorteio. Então X n, n 0 é uma cadeia de Markov sobre E = 0,1,2,...d. Suponha que existam x bolas na caixa A no tempo n. Então com probabilidade x a bola tirada na (n + 1)-ésima d tentativa será transferida para a caixa B. Similarmente, com probabilidade d x a bola tirada na (n + 1)-ésima tentativa da caixa B será transferida para x a caixa A, resultando em x + 1 bolas na caixa A no tempo n + 1. Assim a função de transição é dada por x d, y = x 1 P (x, y) = 1 x d y = x caso contrário Um estado a de uma cadeia de Markov é chamado absorvente se P (a, a) = 1 ou, equivalentemente, se P (a, y) = 0 para y a.

8 3 Cálculos com a função de transição 6 3 Cálculos com a função de transição Seja X n, n 0, uma Cadeia de Markov sobre E tendo uma função de transição P. Vamos mostrar como probabilidades condicionais podem ser escritas em termos de P. Vamos começar com o fato de que P (X n+1 = x n+1,..., X n+m = x x+m X 0 = x 0,..., X n = x n ) = P (X 0 = x 0,..., X n+m = x x+m ) P (X 0 = x 0,..., X n = x n ) O lado direito da igualdade acima pode ser reescrito, por (11), como Portanto, π 0 (x 0 )P (x 0, x 1 ),..., P (x n+m 1, x n+m ) π 0 (x 0 )P (x 0, x 1 ),..., P (x n 1, x n ) P (X n+1 = x n+1,..., X n+m = x x+m X 0 = x 0,..., X n = x n ) = P (x n, x n+1 ),..., P (x n+m 1, x n+m ) Será mais conveniente reescrever a equação acima como P (X n+1 = y 1,..., X n+m = y m X 0 = x 0,..., X n 1 = x n 1, X n = x) = = P (x, y 1 ), P (y 1, y 2 )..., P (y m 1, y m ) (12) Sejam A 0,..., A n1 subconjuntos de E. Segue de (12) que P (X n+1 = y 1,..., X n+m = y m X 0 A 0,..., X n 1 A n 1, X n = x) = = P (x, y 1 ), P (y 1, y 2 )..., P (y m 1, y m ) (13) Sejam B 1,..., B m subconjuntos de E. Segue a partir de (13) que P (X n+1 B 1,..., X n+m B m X 0 A 0,..., X n 1 A n 1, X n = x) = =... P (x, y 1 ), P (y 1, y 2 )..., P (y m 1, y m ) (14) y 1 B 1 y m B m A função de transição P m (x, y) definida por P m (x, y) = y 1... y m 1 P (x, y 1 ), P (y 1, y 2 )..., P (y m 1, y), para m 2 P 1 (x, y) = P (x, y) P 0 (x, y) = { 1 se y = x 0 caso contrário

9 3 Cálculos com a função de transição 7 fornece a probabilidade do sistema ir do estado x para o estado y em m etapas. Vemos que, fazendo B 1 =,...B m 1 =E e B m = y, em (14) P (X n+m = y X 0 A 0,..., X n 1 A n 1, X n = x) = P m (x, y) Em particular, fazendo A 0 =...A n 1 =E, vemos que Segue a partir de (15) que P (X m+n = y X n = x) = P m (x, y) (15) P (X n+m = y X 0 = x, X n = z) = P m (z, y) (16) Daí, da fómula sequencial de Bayes, P n+m (x, y) = P (X n+m = y X 0 = x) = = z P (X n = z X 0 = x)p (X n+m = y X 0 = x, X n = z) = z P n (x, z)p (X n+m = y X 0 = x, X n = z) (17) De (16) P n+m (x, y) = z P n (x, z)p m (z, y) (18) Para uma cadeia de Markov tendo um número finito de estados, a equação acima pode ser pensada como a n-ésima potência de uma matriz P. Seja π 0 seja uma distribuição inicial de uma Cadeia de Markov. P (X n = y) = x = x = x P (X 0 = x, X n = y) P (X 0 = x)p (X n = y X 0 = x) π 0 (x)p n (x, y) (19) Esta fórmula permite calcular a distribuição de X n em termos da distribuição inicial π 0 e a etapa n da função distribuição P n. Um método alternativo de calcular a distribuição de X n, é P (X n+1 = y) = x = x = x P (X n = x, X n + 1 = y) P (X n = x)p (X n+1 = y X n = x) P (X n = x)p (x, y) (20)

10 4 A Matriz de Transição 8 Se conhecermos a distribuição de X 0, podemos usar a equação acima para esncontrar a distribuição de X 1. Então, conhecedo a distribuição de X 1, podemos encontrar X 2 e assim por diante. Usaremos a notação P x ( ) para denotar probabilidades de vários eventos em termos de cadeias de Markov começando em x. Assim P x (X 1 a, X 2 a, X 3 = a) denota a probabilidade de uma cadeia de Markov começando em x estar em um estado a no tempo 3 mas não no tempo 1 ou 2.Em termos de notação (14) pode ser reescrito como P (X n+1 B 1,..., X n+m B m X 0 A 0,..., X n 1 A n 1, X n = x) = = P (X 1 B 1 ),...P (X m B m ) 4 A Matriz de Transição Suponha que o espaço E é finito, digamos E = {0, 1, 2,..., d}. Neste caso podemos pensar P como uma matriz de transição tendo d+1 linhas e colunas dada por P (0, 0) P (0, d)... P (d, 0) P (d, d) Similarmente, podemos considerar P n como uma matriz de transição na n- ésima etapa. A fórmula (18) com m = 1 torna-se P n+1 (x, y) = z P n (x, z)p (z, y) A distribuição inicial π 0 pode ser pensada como um vetor linha de dimensão (d + 1). π 0 = (π 0 (0),..., π 0 (d)) Se denotarmos π n o vetor linha de dimensão (d + 1) π n = (P (X n = 0),..., P (X n = d)) então (19) e (20) podem ser reescritas respectivamente como π n = π 0 P n (21)

11 5 Estados transientes e recorrentes 9 π n+1 = π n P (22) Definição 4.1 (Hitting times) Seja A um subconjunto de E. O hitting times T A de A é definido por { min(n > 0 : Xn A) se X T A = n A paraalgum n > 0 caso contrário Em outras palavras, T A é o primeiro tempo positivo no qual a cadeia de Markov está em A. Uma importante equação envolvendo hitting times é a seguinte n P m (x, y) = P x (T y = m)p n m (y, y), n 1. (23) m=1 Para provar (23) notemos que os eventos {T y = m, X n = y}, 1 m n, são disjuntos e que n {X n = y} = {T y = m, X n = y} (24) m=1 Temos na realidade decomposto o evento {X n = y} de acordo com o hitting time de y. Vemos a partir desta decomposição que P n (x, y) = P x (X n = y) n = P x (T y = m, X n = y) = = = m=1 n P x (T y = m)p (X n = y X 0 = x, T y = m) m=1 n P x (T y = m)p (X n = y X 0 = x, X 1 y,..., X m 1 y, X m = y) m=1 n P x (T y = m)p n m (y, y) m=1 5 Estados transientes e recorrentes Seja X n, n 0, uma Cadeia de MarKov tendo o espaço de estados E função de transição P. E seja ρ xy = P x (T y < ). e

12 5 Estados transientes e recorrentes 10 Então ρ xy denota a probabilidade que a Cadeia de Markov começando em x estará no estado y em algum tempo positivo. Em particular, ρ yy denota a probabilidade de uma CM, tendo partindo de y retornar para y. Um estado y é dito recorrente se ρ yy = 1 e transiente se ρ yy < 1. Se y é um estado recorrente, uma CM que começou em y retornará para ele com probabilidade um. Se y é um estado transiente, uma CM tem probabilidade 1 ρ yy de nunca retornar para ele. Se y é um estado absorvente, então P y (T y = 1) = P (y, y) = 1 e daí ρ yy = 1; assim um estado absorvente é necessariamente recorrente. Seja 1 y (z), z E, a função indicadora do conjunto y definida por { 1 se z = y, 1 y (z) = 0 caso contrário Seja N(y) o número do vezes que a cadeia passou pelo estado y. Já que 1 y (X n ) = 1 se a cadeia está no estado y e no tempo n e 1 y (X n ) = 0 caso contrário, vemos que N(y) = 1 y (X n ). (25) n=1 O evento {N(y) 1} é equivalente a {T y, }. Assim P x (N(y) 1) = P x (T y, ) = ρ xy Sejam m e n inteiros positivos. Por (21), a probabilidade de que a CM começando em x visite o estado y no tempo m e torne a visitá-lo n unidades de tempo depois é P x (T y = m)p y (T y = n). Assim P x (N(y) 2) = m=1 n=1 P x (T y = m)p y (T y = n) = ( )( ) = P x (T y = m) P y (T y = n) = m=1 = ρ xy ρ yy. Similarmente concluímos que P x (N(y) m) = ρ xy ρ m 1 yy, m 1 (26) n=1 Já que daí P x (N(y) = m) = P x (N(y) m) P x (N(y) m + 1) P x (N(y) = m) = ρ xy ρ m 1 yy (1 ρ yy ), m 1 (27)

13 5 Estados transientes e recorrentes 11 Além disso Logo, P x (N(y) = 0) = 1 P x (N(y) 1), P x (N(y) = 0) = 1 ρ xy, Usamos a notação E x ( ) para denotar valores esperados de variáveis aleatórias definidas em termos de uma CM começando em x. Por exemplo, E x (1 y (X n )) = P x (X n = y) = P n (x, y). Das equações acima temos, ( ) E x (N(y)) = E x 1 y (X n ) Com isto, temos a seguinte definição = = m=1 ) E x (1 y (X n ) m=1 P n (x, y). m=1 Definição 5.1 (Potencial Matriz) Seja E x ( ) o valor esperado de alguma variável aleatória. Então G(x, y) = E x (N(y)) = P n (x, y). (28) m=1 Denota o número médio de visitas a y por uma CM começando em x O teorema abaixo descreve a diferença fundamental entre um estado transiente e um recorrente. Se um estado y é transiente, então não importa onde a CM começou, ela faz somente um número finito de visitas a y e o número esperado de visitas a y é finito. Por outro lado, se y é recorrente, ele é visitado infinitas vezes. Se a cadeia começa de um outro estado x, por ser impossível para ela atingir y. Se é possivel, entretanto, e cadeia visita y ao menos uma vez, ela o fará para sempre. Teorema 5.1

14 5 Estados transientes e recorrentes 12 (i)seja y um estado transiente. Então e é finito para todo x E. G(x, y) = P x (N(y) < ) = 1 ρ xy 1 ρ y y, x E (ii) Seja y um estado recorrente. Então P y (N(y) = ) = 1 e G(y, y) =. Além disso P x (N(y) = ) = P x (T y < ) = ρ xy, x E Se ρ xy = 0 então G(x, y) = 0, enquanto se ρ xy > 0, então G(x, y) = Demonstração: Seja y um estado transiente. Já que 0 ρ yy < 1, segue de (26) que Por (27) temos P x (N(y) = ) = lim m P x(n(y) m) = lim m ρ xyρ m 1 yy = 0 G(x, y) = E x (N(y)) = mp x (N(y) = m) = m=1 m=1 Substituindo t = ρ yy em séries de potências Concluímos que = m=1 G(x, y) = mρ xy ρ m 1 yy (1 ρ yy ) 1 (1 t) 2 ρ xy 1 ρ yy < O que completa a prova de (i). Agora seja y um estado recorrente. Então ρ yy = 1 e segue de (26) que P x (N(y) = ) = lim m P x(n(y) m) = lim m ρ xy = ρ xy

15 6 Decomposição do espaço de estados 13 Em particular, P y (N(y) = ) = 1. Se uma variável aleatória não negativa tem uma probabilidade positiva de ser infinita, seu valor esperado é infinito. Assim G(y, y) = E y (N(y)) = Se ρ xy = 0, então P x (T y = m) = 0 para todo inteiro positivo m, então (23) implica que P n (x, y) = 0, n 1; assim G(x, y) = 0 neste caso. Se ρ xy > 0, então P x (N(y) = ) = ρ xy > 0 e daí Seja y um estado transiente. Já que G(x, y) = E x (N(y)) = P n (x, y) = G(x, y) <, n=1 x E Vemos que lim P n (x, y) = 0 x E (29) n Uma CM é chamada cadeia transiente se todos os seus estados são transientes e cadeia recorrente se todos os seus estados são recorrentes. Uma cadeia de Markov tendo um espaço finito deve ter ao menos um estado recorrente e não pode ser uma cadeia transiente. Se E é finito e todos os seus estados são transientes, então por (29) 0 = lim P n (x, y) n y E = lim P n (x, y) n y E = lim n P x (X n E ) = lim n 1 = 1 6 Decomposição do espaço de estados Sejam x e y dois estados não necessariamente distintos. Dizemos que x leva para y se ρ xy > 0.(x leva para y se e somente se P n (x, y) > 0 para algum inteiro positivo n. Além disso se x leva para y e este leva para z então x leva para z.

16 6 Decomposição do espaço de estados 14 Teorema 6.1 Seja x um estado recorrente suponha que x leva para y. Então y é recorrente e ρ xy = ρ yx = 1 Demosntração: Assumimos que y x pois, de outra forma não há o que provar. P x (T y < ) = ρ xy > 0, Vemos que P x (T y = n) > 0 para algum inteiro positivo n. Seja n 0 o menor inteiro positivo, isto é Segue de (23) e (30) que P n 0 (x, y) > 0 e n 0 = min(n 1 : P x (T y = n) > 0) (30) P m (x, y) = 0, 1 m < n 0 (31) Já que P n 0 (x, y) > 0, podemos encontrar estados y 1,..., y n0 1 tais que P x (X 1 = y 1,..., X n0 1 = y n0 1, X n0 = y n0 ) = P (x, y 1 )...P (y n0 1, y) > 0 Nenhum dos estados y 1,..., y n0 1 dos estados são iguais a x ou y; Se uma delas fosse igual a x ou y, seria possível ir de x para y com probabilidade positiva em menos de n 0 etapas, em contradição com (31). Mostraremos agora que ρ yx = 1. Suponha por absurdo que ρ yx < 1. Então uma CM começando em y tem probabilidade positiva de nunca atingir x. Uma CM, começando em x tem uma probabilidade positiva P (x, y 1 )...P (y yn0 1,y)(1 ρ xy ) de visitar os estados y 1,..., y n0 1, y sucessivamente nas primeiro n 0 etapas e nunca retornar para x depois do tempo n 0. Mas se isto acontece, a CM nunca retorna para x em qualquer tempo n 1, então isto está em contradição com a suposição de que x é um estado recorrente. Já que ρ yx = 1, existe um inteiro positivo n 1 tal que P n 1 (x, y) > 0. Agora P n 1+n+n 0 (y, y) = P y (X n1 +n+n 0 = y) P y (X n1 = x, X n1 +n = x, X n1 +n+n 0 = y) = P n 1 (y, x)p n (x, x)p n 0 (x, y).

17 7 Topologia da matriz de transição 15 Daí, G(y, y) P n (y, y) n=n 1 +n+n 0 = P n 1+n+n 0 (y, y) n=1 = P n 1 (y, x)p n 0 (x, y) P n (x, x) n=1 = P n 1 (y, x)p n 0 (x, y)g(x, x) =. Portanto y é um estado recorrente. Já que y é recorrente e vai para x, vemos que o teorema a está verificado para ρ xy = 1. 7 Topologia da matriz de transição Conjunto fechado Um conjunto de estados não vazio C é dito fechado se nenhum estado dentro de C leva para um estado fora de C, i.e., se ρ xy = 0, x C e y / C. (32) Equivalentemente, C é dito fechado se e somente se P n (x, y) = 0, x C, y / C. e n 1 (33) De fato, mesmo a partir da fraca condição P (x, y) = 0, x C, y / C. e n 1 (34) pode -se provar que C é fechado. A partir de (34) P 2 (x, y) = z E P (x, z)p (z, y) = z C P (x, z)p (z, y) = 0, e (33) segue por indução. Se C é fechado, então uma CM começando dentro de C permanecerá em C com probabilidade um, por todo o tempo. Se a é um estado absorvente, então {a} é fechado.

18 7 Topologia da matriz de transição 16 Conjunto irredutível Um conjnuto fechado C é dito irredutível se x vai para y para todas as escolhas de x e y em C. Segue a partir do teorema 6.1 que se C é um conjunto fechado irredutível, então então todo estado em C ou é recorrente ou é transiente. Corolário 7.1 Seja C um conjunto fechado e irredutível de estatos recorrentes. Então ρ xy = 1, P x (N(y) = ) = 1 e G(x, y) = para toda escolha de x e y em C. Uma Cadeia de Markov irredutível é uma cadeia cujo espaço de estados é irredutível, isto é, uma cadeia em que todo estado leva para outros estados e de volta para ele mesmo. Tal CM é necessariamente uma cadeia recorrente ou uma cadeia transiente. O corolário anterior implica, em particular, que uma CM irredutível e recorrente visita todos os estados infinitamente com probabilidade um. Dissemos anteiormente que se E é finito, ele contém ao menos um estado recorrente. O mesmo argumento pode ser usado para mostrar que qualquer estado conjunto fechado de estados contém ao menos um estado recorrente. Agora seja C um estado finito e irretutível. Vemos que ou todo estado em C ou é transiente ou é recorrente, e que C tem ao menos um estado recorrente, portanto todo estado em C é recorrente. Isto se resume no seguinte teorema: Teorema 7.1 Seja C um conjunto fechado irredutível finito de estados. Então todo estado em C é recorrente. Considere uma cadeia de Markov tendo um número finito estados. O teorema 7.1 implica que se a cadeia é irredutível ela deve ser recorrente. Se a cadeia não é irredutível, podemos usar o teorema 6.1 e o teorema 7.1 para determinar quais são recorrentes e quais são transientes. Exemplo Dada a matriz de transição abaixo vamos determinar quais estados são recorrentes e quais são transientes

19 7 Topologia da matriz de transição 17 Como uma primeira etapa determinamos, por inspeção, quais estados levam para outros estados. Isto pode ser indicado na forma matricial como Os elementos x, y desta matriz são + ou 0 dependendo se ρ x,y é positivo ou zero, i.e., dependendo se x leva ou não para y. Se P (x, y) > 0, então ρ x,y > 0. O contrário não é sempre verdadeiro. Por exemplo, P (2, 0) = 0 mas P 2 (2, 0) = P (2, 1)P (1, 0) = 1 1 = 1. Então ρ ,0 > 0 O estado 0 é um estado absorvente, e daí também é um estado recorrente. Também a partir da matriz acima vemos que {3, 4, 5} é um conjunto fechado irredutível. Então o teorema 7.1 implica que 3, 4 e 5 são estados recorrentes. Os estados 1 e 2 são ambos levados para 0, mas nunca são obtidos a partir do zero. Assim do teorema 6.1 vemos que 1 e 2 são estados transientes. Denotemos por E T a coleção de estados transientes em E e E R a coleção de estados recorrentes em E. No exemplo E T = {1, 2} e E R ={0, 3, 4, 5}. O conjunto E R pode ser decomposto em conjuntos fechados irredutíveis disjuntos C 1 ={0} e C 2 {3, 4, 5}. O próximo teorema mostra que tal decomposição é sempre possível quando E R é não vazio. Teorema 7.2 Suponha que o conjunto E R de estados recorrentes é não vazio. Então E R é a união de uma quantidade enumerável de conjuntos fechados irredutíveis disjuntos E 1, E 2... Demonstração: Escolha x E R e seja C o conjunto de todos os estados y E R tais que x vai para y. Já que x é recorrente, ρ x,x = 1 e daí x C. Verifiquemos que C é fechado. Suponha que y C e que y vai para z. Já que x vai para y e y vai para z, concluí-se que x vai para z. Assim z está em C. Logo C é fechado. Suponha que y e z estão em C. Já que x é recorrente e x vai para y, segue a partir do teorema 6.1 que y vai para x. Já que y vai para x e este para z. Portanto C é irredutível.

20 8 Probabilidade de absorção 18 Para completar a demonstração basta mostrarmos que se C e D são dois subconjuntos fechados irredutíveis de E R então ou eles são disjuntos ou são idênticos. Para isto, suponha que eles não são disjuntos e que x pertença a ambos. Tome y C. Agora x vai para y, já que x está em C e este é irredutível. Já que D é fechado, x está em D, e x vai para y, e portanto y está em D. Assim todo estado em C também está em D. Similarmente todo estado em D está em C, logo eles são idênticos. Podemos usar a decomposição de espaço de estados de uma CM para entender o comportamento de um tal sistema. Se a CM começa em um dos conjuntos fechados irredutíveis C i de estados recorrentes, ela pemarecerá em C i e, com probabilidade um, visitará todos os estados em C i infinitas vezes. Se uma CM começa em C T ela permanecerá em C T para sempre ou, algum tempo depois entrará em algum do C i e ali permanecerá visitando todos os estados. 8 Probabilidade de absorção Seja C um conjunto fechado e irredutível de estados recorrentes, e seja ρ C (x) = P x (T C < ) a probabidade de que uma cadeia de Markov começando em x eventualmente alcance C. Já que a cadeia permanecerá em C, denominamos ρ C (x) a probabilidade de que uma cadeia começando em x seja absorvida por C. Claramente ρ C (x) = 1 x C, e ρ c (x) = 0 se x é um estado recorrente fora de C. Entretanto ainda não é claro como calcular ρ C (x) se x C T. Se existem somente um número finito de estados transientes, e em particular se C é finito, é sempre possível calcular ρ C (x), x C T, resolvendo um sistema de equaçoes lineares em existem tantas equações quanto incógnitas, i.e., membros de C T. Para entender o porque disto, observe que se x C T, uma cadeia começando em x pode entrar em C entrando em C no tempo 1 com probabilidade P (x, y) ou, estando em C T entrar em C em algum y C tempo futuro com probabilidade ρ c (x) = y C P (x, y) + y C T P (x, y)ρ c (y). Assim y C T P (x, y)ρ c (y), x C T (35) A equação acima é válida quando C T é finito ou infinito, mas não é claro como resolvê-la quando C T é inifito. Uma dificuldade adicional é que se C T é infinito a equação acima não tem solução única.

21 8 Probabilidade de absorção 19 Teorema 8.1 Suponha que o conjunto C T de estados transientes é finito e seja C um conjunto fechado irredutível de estados recorrentes. Então o sistema de equações f(x) = P (x, y) + P (x, y)f(y), y C y C T x C T, (36) tem solução única. f(x) = ρ c (x), x C T (37) Demonstração Se (36) é válida então f(y) = z C P (y, z) + z C T P (y, z)f(z), y C T Substituindo em (36) temos que f(x) = P (x, y)+ P (x, y)p (y, z)+ y C y C T z C y C T z C T P (x, y)p (y, z)f(z) A soma dos dois primeiros termos é P x (T c 2),e o terceiro termo se reduz para P 2 (x, z)f(z), que é o mesmo que P 2 (x, y)f(y) Assim z C T y C T f(x) = P x (T C 2) + P 2 (x, y)f(y) y C T Por indução concluímos que, para todo inteiro positivo n f(x) = P x (T c n) + y C T P n (x, y)f(y), x C T (38) Já que cada,y C T é transiente, segue de (29) que lim P n (x, y) = 0, x C e y C T (39) n De acordo com as suposições do teorema acima, C T é um conjunto finito. Portanto segue de (39) que a soma em (38) tende para zero quando n. Consequentemente para x C T como desejado. Exemplo f(x) = lim n P x (T c n) = P x (T c ) = ρ c (x) (40)

22 8 Probabilidade de absorção 20 Considere a CM do exemplo anterior. Vamos encontrar ρ 10 = ρ {0} (1) e ρ 20 = ρ {0} (2). A partir de (35) e da matriz de transição do exemplo anterior, vemos que ρ 10 e ρ 20 são determinados pelas equações e ρ 10 = ρ ρ 20 ρ 20 = 1 5 ρ ρ 20 Resolvendo este sistema temos ρ 10 = 3 e ρ 5 20 = 1. Por métodos similares 5 encontramos ρ 3,4,5 (1) = 2 e ρ 5 3,4,5 = 4. 5 Alternativamente, podemos obter essas probabilidades subtraindo ρ 0 (1) e ρ 0 (2) da unidade, já que existem somente um número finito de estados transientes, ρ ci (x) = 1, x C T (41) i Para verificar isto notemos que para x C T ρ ci (x) = P x (T ci < ) = P x (T CR < ). (42) i i Já que existem somente um número finito de estados transientes e cada estado transiente é visitado somente um número finito de vezes, a probabilidade P x (T CR < ) que o estado recorrente seja atingido é 1. Uma vez que uma CM começando em um estado transiente x, entra em um conjunto fechado e irredutível C de estados recorrentes, ela visita todos os estados de C. Assim Portanto, no nosso exemplo anterior ρ xy = ρ c (x) x C T e y C e ρ 1 3 = ρ 1 4 = ρ 1 5 = ρ (3,4,5) (1) = 2 5 ρ 2 3 = ρ 2 4 = ρ 2 5 = ρ (3,4,5) (2) = 4 5

23 9 Distribuição estacionária de uma Cadeia de Markov 21 9 Distribuição estacionária de uma Cadeia de Markov Seja X n, n 0 uma CM tendo o espaço de estados E e uma função de transição P (x, y). Se π(x), x E, são números não negativos somando um, e se π(x)p (x, y) = π(y), y E, (43) x então π é chamada Distribuição Estacionária (DE). Suponha que uma DE π existe e que lim P n (x, y) = π(y), y E (44) n Então, como veremos em breve, independentemente da distribuição da cadeia, a distribuição de X n se aproxima de π quando n. Em tais casos, π é algumas vezes chamada de distribuição de estados constante. 10 Propriedades fundamentais de Distribuições Estacionárias Seja π uma DE. Então π(x)p 2 (x, y) = x x = z = z π(x) P (x, z)p (z, y) z ( ) π(x)p (x, z) P (z, y) x π(z)p (z, y) = π(y) Assim por indução P n+1 (x, y) = z P n (x, z)p (z, y), e para todo n π(x)p n (x, y) = π(y), y E (45) x Se X 0 tem uma DE π como distribuição inicial, então (45) implica para todo n P (X n = y) = π(y), y E (46)

24 10 Propriedades fundamentais de Distribuições Estacionárias 22 e daí segue que a distribuição de X n é independente de n. Suponha por outro lado que a distribuição de X n é independente de n. Então a distribuição inicial π 0 é tal que π 0 (y) = P (X 0 = y) = P (X 1 = y) = x π 0 (x)p (x, y) (47) Consequentemente π 0 é uma distribuição estacionária. Em resumo, a distribuição de X n é independente de n se e somente se a distribuição inicial é uma distribuição estacionária. Suponha agora que π é uma distribuição estacionária e que (44) é satisfeita. Seja π 0 a distribuição inicial. Então P (X n = y) = x π 0 (x)p n (x, y), y E (48) Usando (44) e o teorema da convergência limitada (veja apêndice) podemos fazer n em (48), obtendo lim n P (X n = y) = x π 0 (x)π(y). Já que x π 0 (x) = 1, concluímos que lim P (X n = y) = π(y), y E (49) n A expressão acima estabelece que, independente da distribuição inicial, para grandes valores de n a distribuição de X n é aproximadamente igual a DE π. Isto implica que π é a única DE. Pois se houvesse alguma outra DE poderíamos usá-la para a distribuição inicial π 0. A partir de (46) e (49) poderíamos concluir que π 0 (y) = π(y), y E. Considere um sistema descrito por uma CM tendo função de transição P (x, y) e única DE π. Suponha que começamos observando o sistema depois de ele de algum tempo, digamos n 0 unidades de tempo para algum n 0 grande. Com efeito, observamos Y n, n 0, onde Y n = X n+n0, n 0.. As variáveis aleatórias Y n, n 0, também formam uma CM com função de transição P. Com o objetivo de determinar probabilidades únicas paraeventos definidos em termos da cadeia Y n, necessitamos conhecer sua distribuição inicial, que é a mesma da distribuição de X n0 Na maioria das aplicações práticas é muito difícil de determinar essa distribuição exatamente. Podemos não

25 11 Cadeia de vida e morte 23 ter escolha e assumir que Y n, n 0, tem distribuição estácionária π como sua distribuição inicial. Esta suposição é razoável se (44) é satisfeita. EXEMPLO pag 49?? 11 Cadeia de vida e morte Uma cadeia de vida e morte é uma CM definida sobre E = {0, 1, 2, 3...d} e com função de transição dada por q x, y = x 1 r P (x, y) = x, y = x p x, y = x caso contrário tal que q x + p x + r x = 1 Suponha que d é finito. Então o sistema de equações π(x)p n (x, y) = π(y), y E x Torna-se π(0)r 0 + π(1)q 1 = π(0), π(y 1)p y 1 + π(y)r y + π(y + 1)q y+1 = π(y), y 1 Como q y + p y + r y = 1, eliminando r y essas equações se reduzem a π(0)p 0 + π(1)q 1 = 0 π(y)r y + π(y + 1)q y+1 = q y π(y) π(y 1)p y 1, y 1 Daí por indução, π(y)r y + π(y + 1)q y+1 = 0, y 0 e portanto Consequentemente π(y + 1) = r y q y+1 π(y), y 0 π(x) = p o...p x 1 q 1...q x π(0), x 1 (50)

26 11 Cadeia de vida e morte 24 e { 1, x = 0 π x = p o...p x 1, x 1 q 1...q x Então (50) pode ser escrita como π(x) = π x π(0) x 0 (51) Suponha que x π x < ou equivalentemente, que x=1 = p o...p x 1 q 1...q x < (52) Concluímos de (51) que uma cadeia de morte e vida tem uma única distribuição estacionária,dada por π(x) = π x x 0 (53) π y y=0 Suponha agora que (52) não é satisfeita, i.e.,que π x = (54) x=0 Da equação anterior e de (51) concluímos que qualquer solução de (43) ou é identicamente nula ou tem soma infinita, e daí não tem distribuição estácionária. Em resumo, uma cadeia tem distribuição estacinária se e somente se (52) é satisfeita e, quando existe, ela é dada por (??) e (53). Suponha agora que d <. Usando o mesmo argumento utilizado para obter (53), concluímos que a única distribuição estacionária é dada por π(x) = π x 0 x d (55) π y y=0 Exemplo Considere novamente a cadeia de Ehrenfest e suponha que d = 3. Encontraremos a DE. A matriz de transição da cadeia é

27 11 Cadeia de vida e morte 25 Esta é uma cadeia de morte e vida irredutível em que π 0 = 1, e π 1 = = 3, π 2 = π 3 = = Assim a única distribuição estacionária é dada por = 3 π(0) = 1 8, π(1) = 3 8, π(2) = 3 8, e π(4) = 1 8. A equação (44) não é satisfeita para a cadeia do exemplo anterior já que P n (x, x) = 0 para valores impares de n. Podemos modificar levemente a cadeia de Ehrenfest para evitar tal periodicidade. Exemplo-Cadeia de Ehrenfest modificada Suponha que temos duas caixas denominadas A e B e d bolas numeradas. Inicialmente algumas bolas estão na caixa A e o restante está em B. Um inteiro entre 1, 2,...d é selecionado aleatoriamente e a bola marcada pelo respectivo número é removida da caixa. O processo é repetido indefinidamente, sendo os sorteios independentes. Seja X n o número de bolas na caixa A depois do n-ésimo sorteio. Então X n, n 0, é uma CM sobre E = {0, 1,..., d} Vamos encontrar a distribuição estacionária da cadeia para d = 3. A matriz de transição desta cadeia é Para ver porque é dada como indicado, calculemos P (1, y), 0 y 3. Começamos com uma bola na caixa A e duas bolas na B. Assim P (1, 0) é a probabilidade de que a bola na caixa A seja selecionada e a caixa B seja selecionada. Assim P (1, 0) = = 1 6 Depois, P (1, 2) é a probabilidade de que a bola selecionada está na caixa B e a caixa selecionada é a caixa A. Assim P (1, 2) = =

28 12 Número médio de visitas a um estado recorrente 26 A probabilidade P (1, 3) = 0, já que ao menos uma bola é transferida. Finalmente, P (1, 1) pode ser obtido subtraíndo P (1, 0) + P (1, 2) + P (1, 3), da unidade. Alternativamente, P (1, 1) é a probabilidade que ou selecionada está na caixa A e a caixa A é selecionada, ou a bola sorteada na caixa B e a caixa B é selecionada. Assim P (1, 1) = = 1 2 As outras probabilidades são calculadas similarmente. Esta CM é uma cadeia de morte e vida irredutível. Podemos ser que π x, 0 x 3 é a mesma que no exemplo anterior e portanto a DE é a mesma. Mas agora (44) é satisfeita. 12 Número médio de visitas a um estado recorrente Considere uma cadeia de morte e vida irredutível com DE π. Suponha que P (x, x) = r x = 0, x E, como uma cadeia de Ehrenfest. Então em cada transição a cadeia de morte e vida se move ou uma etapa para a direita ou uma etapa para a esquerda. Assim a cadeia pode pode retornar para seu ponto de partida somente depois de um número par de transições. Em outras palavras, P (x, x) = 0 para valores ímpares de n Para tal cadeia a fórmula lim P n (x, y) = π(y), n y E Não é mais satisfeita. Existe uma maneira de manipular tal situação. Seja a n, n 0,uma sequência de números. Se lim a n = L (56) n para algum número finito L então n lim a m = L (57) Vamos mostrar que n m=1 lim n m=1 n a m = L para algum par x, y de estados para uma Cadeia de Markov arbitrária. Seja n N n (y) = 1 y (X m ) m=1

29 12 Número médio de visitas a um estado recorrente 27 o número médio de visitas da CM a y durante os tempos m = 1,...n. O valor esperado de tais visitas para uma cadeia começando em x é dado por E x (N n (y)) = n E x (1 y (X m )) = m=1 n P x (X m = y) = m=1 Seja y um estado transiente. Então e Daí segue que n P m (x, y) = G n (x, y) m=1 (58) lim N n(y) = N(y) <, com probabilidade um (59) n lim G n(y) = G(x, y) <, n N n (y) lim n n x E = 0, com probabilidade um (60) e que G n (y) lim = G(x, y) = 0, x E (61) n n Suponha agora que o estado y é recorrente. Seja m y = E y (T y ) o tempo médio de retorno para y. para uma cadeia começando em y se este tempo de retorno tem valor esperado finito, m y = caso contrário. Seja 1 {Ty< } a variável que é 1 set y < e zero se T y =. Teorema 12.1 Seja y um estado recorrente. Então e N n (y) lim n n = 1 {T y< } m y, com probabilidade um (62) G n (y) lim n n = ρ xy m y, x E (63) Demonstração: Considere uma CM começando no estado y Com probabilidade um ela retorna para y muitas vezes. Para r 1 seja Ty r o tempo da r-ésima visita ao estado y, tal que Ty r = min(n 1 : N n (y) = r) Seja W y = T y e para r 2 seja Wy r = Ty r Ty r 1 o tempo de espera entre a (r 1)-ésima visita a y e a r-ésima visita a y. Logo T r y = W 1 y W r y

30 12 Número médio de visitas a um estado recorrente 28 As variáveis aleatórias W 1 y, W 2 y,... são independentes e identicamente distribuidas e daí elas têm uma média comum E y (W 1 y ) = E y (T y ) = m y. Isto pode ser visto usando o fato de que P (W r+1 y = m r+1 W 1 y,..., W r y ) = P y (W 1 y = m r+1 ) e então segue por indução que P y (W 1 y = m 1,..., W r y = m r ) = P y (W 1 y = m 1 ),..., P y (W 1 y = m r ) A da lei forte dos grandes números implica que isto é, que lim = W y 1 + Wy Wy k k k = m y, com probabilidade um lim = T y k k k = m y, com probabilidade um (64) Seja r = N n (y).no tempo n a cadeia fez exatamente r visitas a y. Assim a r-ésima visita ao estado y ocorre em ou antes do tempo n, e a (r + 1)-ésima visita a y ocorre depois do tempo n; isto é Daí, T Nn(y) y T Nn(y) y N n (y) n T Nn(y)+1 y n N n (y) n T y Nn(y)+1 N n (y) para n suficientemente grande para que N n (y) 1. Já que N n (y) com probabilidade um quando n, essas desigualdades e (65) juntas implicam que lim = n = m n Ty k y, com probabilidade um (65) Seja y um estado recorrente como antes, e X 0 com distribuição arbitrária. Então a cadeia pode nunca alcançar y. Se a cadeia alcança y, o argumento acima é válido; é daí, com probabilidade um, N n(y) = 1 {T y< } quando n n m y Por definição 0 N n (y) n, daí 0 N n(y) n 1 (66)

31 13 Recorrência Nula e estados recorrentes positivos 29 Um teorema da teoria da medida, conhecido como teorema da convergência dominada, náo permite concluir a partir de (62) e (66) que ( ) ( ) lim E N n (y) 1{Ty< } x = E x = P x(t y < = ρ xy n n m y m y m y e daí a partir (59) segue (63) Uma vez que a cadeia alcança y ela retorna para y em média a cada m y unidades de tempo. Assim se T y < e n é grande, a proporção das n primeiras unidades de tempo em que a cadeia está no estado y deveria 1 ser cerca de Do Corolário (7.1) e do teorema anterior, imediatamente m y obtemos o próximo resultado Corolário 12.1 Seja C um conjunto irredútivel fechado de estados recorrentes. Então G n (y) lim = 1, x, y C (67) n n m y e se P (X 0 C ) = 1, então com probabilidade um N n (y) lim n n = 1 m y, y C (68) Se m y = o lado direito das equações (62)-(68) são todos iguais a zero, e daí (60) e (61) é satisfeita. 13 Recorrência Nula e estados recorrentes positivos Um estado recorrente y é chamado recorrente nulo se m y =. A partir do teorema 12.1 vemos que se y é recorrente nulo, então G n (x, y) n m=1 lim = lim P m (x, y) = 0 y E (69) n n n n O estado recorrente y é chamado recorrente positivo se m y <. Segue do teorema 12.1 que se y é recorrente positivo, então G n (y, y) lim n n = 1 m y > 0 Considere uma cadeia de Markov começando em um estado recorrente y Segue o teorema 12.1 que se y é recorrente nulo, então com probabilidade

32 13 Recorrência Nula e estados recorrentes positivos 30 um, a proporção de tempo que que a a cadeia esta no estado y durante as primeiras n unidades de tempo tende a zero quando n. Por outro lado, se y é um estado recorrente positivo, então, com probabilidade um, a proporção de tempo em que a cadeia está no estado y durante as n primeiras unidades de tempo tende ao limite positivo 1 m y quando n. Teorema 13.1 Seja x um estado recorrente positivo e suponha qua x vai para y. Então y é um estado recorrente positivo. Demonstração: Segue do teorema 6.1 que y vai para x. Assim existem inteiros positivos n 1 e n 2 tais que P n 1 (y, x) > 0 e P n 2 (y, x) > 0 Agora P n 1+m+n 2 (y, y) P n 1 (y, x)p m (x, x)p n 2 (x, y) Somando em m = 1, 2,...n e dividindo por n, concluímos que G n1 +m+n 2 (y, y) n G n 1 +n 2 (y, y) n P n 1 (y, x)p n 2 (x, y) G n(x, x) n Quando n, o lado esquerdo desta desigualdade tende para 1 m y direito converge para P n 1 (y, x)p n 2 (x, y) m x 1 P n1 (y, x)p n2 (x, y) > 0 m y m x e o lado e consequentemente m y <. Logo y é recorrente positivo. A partir deste teorema e do teorema 6.1 vemos que se C é um conjunto irredutível fechado, então todo estado em C é transiente, todo estado em C é recorrente nulo, ou todo estado em C é recorrente positivo. Uma CM é chamada cadeia recorrente nula se todos seus estados são recorrentes nulos e cadeia recorrente positiva se todos seus estados são positivos recorrentes. Vemos portanto que uma CM irredutível é uma cadeia transiente, uma cadeia recorrente, ou uma cadeia positiva recorrente. Se C é um conjunto finito fechado de estados, então C tem ao menos um estado positivo recorrente. Para P m (x, y) = 1, x C y C

33 14 Existência e unicidade de distribuições estácionárias 31 e somando em m = 1,..., n e dividindo por n encontramos y C G n (x, y) n = 1, x C Se C é finito e cada estado em C é transiente ou recorrente nulo, então (61) é satisfeita e daí G n (x, y) 1 = lim n n y C = G n (x, y) lim = 0 n n y C Uma contradição. Teorema 13.2 Seja C um conjunto de estados fechado irredutível e recorrente. Então todo estado em C é recorrente positivo. Demonstração: já que C é um conjunto fechado e finito, existe ao menos um estado recorrente positivo em C. Já que C é irredutível, todo estado em C é positivo recorrente pelo teorema 44. Corolário 13.1 Uma CM irredutível tendo um número finito de estados é recorrente positiva. Corolário 13.2 Uma CM irredutivel tendo um número finito de estados não tem estados recorrentes nulos. Demonstração: Se y é um estado recorrente, então pelo teorema 7.2, y está contido em um conjunto C irredutível fechado de estados recorrentes. Já que C é necessariamente finito, segue do teorema 13.2 que todos os estados qua estão em C, são recorrentes positivos. Assim todo estado recorrente é recorrente positivo. 14 Existência e unicidade de distribuições estácionárias Aqui determinaremos quais CM tem distribuição estacionária e quando tem uma única distribuição. Seja π uma distribuição estacionária e seja m um

34 14 Existência e unicidade de distribuições estácionárias 32 inteiro positivo. Então por (13.2) π(z)p m (z, x) = π(x). somando em m e dividindo por n z z π(z) G n(z, x) n = π(x), x E (70) Teorema 14.1 Seja π um estado estacionário. Se x é um estado transiente ou recorrente nulo, então π(x) = 0 Demonstração: Se x é um estado transiente ou recorrente nulo, Segue disto e de (70) que G n (z, x) lim n n π(x) = lim n z = 0 x E (71) π(z) G n(z, x) n = 0. (72) Segue do teorma acima que uma CM sem estados positivos recorrentes não tem distribuição estacionária. Teorema 14.2 Uma CM irredutível positiva recorrente tem uma única cadeia distribuição estacionária π, dada por π(x) = 1 m x x E (73) Demonstração: A partir do teorema 12.1 e da hipótese deste teorema que G n (z, x) lim n n =. 1 m x x, z E (74) Suponha que π é uma distribuição estacionária. Vemos a partir de (70), (74) que π(x) = lim π(z) G n(z, x) n z 1 π(z) = 1 m x m x n z

35 14 Existência e unicidade de distribuições estácionárias 33 Assim se existe uma distribuição estacionária, deve ser dada por (73) Para completar a prova do teorema precisamos mostrar que a função π(x), x E, definida por (73) é de fato uma distribuição estácionária. Como ela não é negativa, precisamos mostrar somente que 1 = 1 (75) m x e que x x 1 m x P (x, y) = 1 m y y E (76) Para esta última primeiro observamos que P z,x = 1 (77) x Somando em m = 1,...n e dividindo por n, concluímos que G n (z, x) = 1 z E (78) n x Agora observe por (18) que P m (z, x)p (x, y) = P m+1 (z, y) Daí x x G n (z, x) P (x, y) = G n+1(z, y) P (z, y) n n n Se E é finito, concluímos de (74) e (78) que G n (z, x) 1 = lim = n n x x (79) 1 m x (80) Assim temos (75). Da mesma maneira obtemos (76) no limite n em (80). Corolário 14.1 Uma CM irredutível é recorrente positiva se e somente se ela tem uma distribuição estacionária. Corolário 14.2 Se uma CM tem um número finito de estados é irredutível se ela tem uma única distribuição estacionária. Combinando o corolário 12.1 e o teorema 14.2 temos o próximo resultado Corolário 14.3 Seja X n, n 0, uma CM irredutível positiva recorrente tendo distribuição estacionária π. Então com probabilidade um N n (y) lim n n = π(x) x E (81)

36 15 Cadeias Redutíveis Cadeias Redutíveis Seja π a distribuição sobre E, isto é, seja π(x) tal que x E são os números não negativos cuja soma é igual a 1, e seja C um subconjunto de E. Dizemos que π(x) está concentrada sobre C se π(x) = 0, x / C Usando essencialmente o mesmo argumento utilizado para provar o Teorema 14.2, podemos obter um resultado um pouco mais geral. Teorema 15.1 Seja C um conjunto fechado irredutível de estados recorrentes positivos. Então a CM tem uma única distribuição estacionária π concentrada sobre C, que é dada por 1, x C π(x) = m x 0 caso contrário Suponha C 0 e C 1 dois conjuntos irredutíveis fechados distintos de estados recorrentes positivos de uma CM. Segue do Teorema 15.1 que a CM tem uma distribuição estacionária π 0 concentrada em C 0 e uma distribuição estacionária π 1 concentrada em C 1, tais que π 0 π 1. Além disso, as distribuições π α, definidas para 0 α 1 por π α (x) = (1 α)π 0 (x) + απ 1 (x), x E (82) são distribuições estacionárias distintas. Combinando os Teoremas 14.1 e 15.1 e suas consequências, obtemos Corolário 15.1 Seja E P uma CM. Temos: o conjunto dos estados recorrentes positivos de (i) Se E P =, a cadeia não tem distribuições estacionárias. (ii) Se E P é um conjunto irredutível, a cadeia tem uma única distribuição estacionária. (iii) Se E P não é um conjunto irredutível, a cadeia tem um número infinito de distribuições estacionárias distintas.

37 16 Convergência para distribuição estacionária 35 Considere agora uma CM com um número finito de estados. Então todo estado recorrente é positivo e existe pelo menos um desses estados. Há duas possibilidades: cada conjunto de estados recorrentes E R é irredutível e existe um única distribuição estacionária, ou E R pode ser decomposto em dois ou mais conjuntos fechados irredutíveis e há um número infinito de distribuições estacionárias distintas. A última possibilidade vale para uma CM sobre E = {0, 1,..., d}, onde d > 0 e 0 e d são ambos estados absorventes. 16 Convergência para distribuição estacionária Vimos anteriormente que se X n, n 0, é uma CM irredutível recorrente positiva tendo π como distribuição estacionária, então 1 lim n n n m=1 P m (x, y) = lim n G n (x, y) n Nessa seção veremos quando o forte resultado = π(y), x, y E lim P n (x, y) = π(y), n x, y E vale e o que acontece quando não vale. O inteiro positivo d é dito um divisor do inteiro positivo n se n é um inteiro. d Se I é um conjunto não vazio de inteiros positivos, o máximo divisor comum de I, denotado por mdc I, é definido por ser o maior inteiro d que divida todo inteiro de I. Segue imediatamente que 1 mdc I min{n : n I}. Em particular, se 1 I, então mdc I = 1 e o maior inteiro positivo de um conjunto de inteiros positivos pares é 2. Seja agora x um estado de uma CM tal que P n (x, x) > 0 para algum n 1, isto é, tal que ρ xx = P x (T x < ) > 0. Definimos o período d x por Então Se P (x, x) > 0, então d x = 1. d x = mdc{n 1 : P n (x, x) > 0}. 1 d x min{n 1 : P n (x, x) > 0}.

38 16 Convergência para distribuição estacionária 36 Se x e y são dois estados, cada um deles conduzindo um ao outro, então d x = d y. Sejam n 1 e n 2 inteiros positivos, tais que Então e daí d x é um divisor de n 1 + n 2. Se P n (y, y) > 0, então P n 1 (x, y) > 0 e P n 2 (y, x) > 0. P n 1+n 2 (x, x) P n 1 (x, y)p n 2 (y, x) > 0, P n 1+n+n 2 (x, x) P n 1 (x, y)p n (y, y)p n 2 (y, x) > 0, de modo que d x é um divisor de n 1 + n + n 2. Já que d x é um divisor de n 1 + n 2, então deve ser um divisor de n. Assim, d x é um divisor de todos os números do conjunto {n 1 : P n (y, y) > 0}. Já que d y é seu maior divisor, concluímos que d x d y. Analogamente, d y d x e, portanto, d x = d y. Mostramos, em outras palavras, que os estados, em uma CM irredutível tem um período comum d. Dizemos que uma cadeia é periódica com período d se d > 1 e aperiódica se d = 1. Uma condição suficiente para que uma CM irredutível seja aperiódica é P (x, x) > 0 para algum x E. Exemplo: Determine o período de uma cadeia de vida e morte irredutível. Se algum r x > 0, então P (x, x) = r x > 0, e a cadeia de vida e morte é aperiódica. Em particular, a cadeia de Ehrenfest modificada é aperiódica. Suponha agora que r x = 0, x. Então em uma transição o estado da cadeia muda, ou de um estado ímpar para um estado par ou de um estado par para um ímpar. Em particular, uma cadeia pode retornar ao seu estado inicial somente depois de um número par de transições. Assim, o período da cadeia é 2 ou um múltiplo de 2. Já que P 2 (0, 0) = p 0 q 1 > 0, concluímos que a cadeia é periódica com período 2. Em particular, a cadeia de Ehrenfest é periódica de período 2.