Cadeias de Markov. Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo

Transcrição

1 Cadeias de Markov Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo Capitulos 3 e 4 Taylor & Karlin 1 / 71

2 Cadeias de Markov Seja X 0, X 1,... um processo estocástico com espaço de estados finito ou infinito enumerável. Propriedade de Markov: a probabilidade de que a cadeia assuma um certo valor futuro, quando o seu estado atual é conhecido, não se altera se conhecemos os seu comportamento passado. Em termos probabilisticos, temos que Pr(X n+1 = j X 0 = i 0, X 1 = i 1,..., X n 1 = i n 1, X n = i) = Pr(X n+1 = j X n = i) = P n,n+1 i,j. 2 / 71

3 P n,n+1 i,j são chamadas probabilidades de transição a 1 passo. Quando as probabilidades de transição não dependem do tempo n, ou seja P n,n+1 i,j = P i,j, temos uma cadeia de Markov estacionária (com probabilidades de transição estacionária). A propriedade de Markov vale para uma sequencia de tempos, Distribuição de X n+1,..., X n+k só depende de X n 3 / 71

4 Matriz de transição As probabilidades de transição a 1 passo podem ser arranjadas em uma matriz de probabilidades de transição, P 00 P 01 P P = P 10 P 11 P As probabilidades P ij satisfazem as condições, P ij 0, i, j j=0 P ij = 1, i 4 / 71

5 As linhas da matriz P definem distribuições de probabilidades de X n+1 X n, n = 1, 2,.... A matriz será finita se a cadeia tem um número finito de estados. Uma cadeia de Markov fica completamente definida especificando-se sua matriz de transição e o estado inicial X 0. 5 / 71

6 Exemplo. Seja o processo estocástico {X n, n = 0, 1,... } tal que { 0, se chove no tempo n X n = 1, caso contrário com P(X n = 0 X n 1 = 0) = α e P(X n = 0 X n 1 = 1) = β Matriz de transição, [ ] α 1 α P = β 1 β 6 / 71

7 Exemplo. Suponha que o processo anterior tenha as seguintes probabilidades de transição, P(X n+1 = 0 X n = 0, X n 1 = 0) = 0.7 P(X n+1 = 0 X n = 0, X n 1 = 1) = 0.5 P(X n+1 = 0 X n = 1, X n 1 = 0) = 0.4 P(X n+1 = 0 X n = 1, X n 1 = 1) = 0.2 Como transformar este processo em uma cadeia de Markov? 7 / 71

8 Defina o processo, 0, se X n = 0, X n 1 = 0 1, se X Y n = n = 0, X n 1 = 1 2, se X n = 1, X n 1 = 0 3, se X n = 1, X n 1 = 1 Verifique que Y n é uma cadeia de Markov estacionária com espaço de estados {0, 1, 2, 3}. 8 / 71

9 Exemplo. Um processo estocástico {X n, n = 0, 1,... } que assume valores nos inteiros {..., 2, 1, 0, 1, 2,... } tal que P(X n = i + 1 X n 1 = i) = p P(X n = i 1 X n 1 = i) = 1 p é chamado de passeio aleatório. O passeio aleatório pode ser reescrito como, X n = X n 1 + Z n com P(Z n = 1) = p e P(Z n = 1) = 1 p. 9 / 71

10 Passeio aleatório com p = 0.6 X n n 10 / 71

11 Exemplo. No exemplo anterior calcule P(X 0 = 0, X 1 = 1, X 2 = 2) sendo P(X 0 = 0) = q. P(X 0 = 0, X 1 = 1, X 2 = 2) = P(X 2 = 2 X 1 = 1, X 0 = 0)P(X 1 = 1, X 0 = 0) = P(X 2 = 2 X 1 = 1)P(X 1 = 1 X 0 = 0)P(X 0 = 0) = p 2 q. 11 / 71

12 Exemplo. Em um jogo, o jogador só pode ganhar ou perder 1 unidade monetária a cada jogada com probabilidades p e 1 p. Ele é obrigado a abandonar o jogo se perder tudo ou ganhar a fortuna N. O processo estocástico {X n, n = 0, 1,... } sendo X n a fortuna do jogador no tempo n é um passeio aleatório com P(X n = i + 1 X n 1 = i) = p, i = 1,..., N 1 P(X n = i 1 X n 1 = i) = 1 p, i = 1,..., N 1 P(X n = 0 X n 1 = 0) = 1 P(X n = N X n 1 = N) = 1 Os estados 0 e N são chamados estados absorventes. 12 / 71

13 Questões de interesse: 1. Qual a probabilidade do jogador eventualmente perder tudo? 2. Qual o tempo esperado para o jogador eventualmente ganhar tudo? 13 / 71

14 Grafo representando a matriz de transição de uma cadeia de Markov com 5 estados / 71

15 Grafo representando a matriz de transição de uma cadeia de Markov com 9 estados / 71

16 Transição em mais de um passo Qual a probabilidade de uma cadeia de Markov estacionária ir do estado i para o estado j em n passos? Pr(X n+m = j X m = i) =? }{{} P (n) ij P (n+m) ij = k P (n) ik P(m) kj P (n+m) = P (n) P (m) P (1) = P, P (2) = P (1) P (1) = PP = P 2 16 / 71

17 Por indução, P (n) = P (n 1+1) = P (n 1) P (1) = PP (n 1) = PP n 1 = P n Conclusão: P (n) = P n 17 / 71

18 Exemplo. Seja uma cadeia de Markov {X n, n = 0, 1,... } com estados {0, 1, 2} e matriz de transição, Calcule P(X 3 = 1 X 1 = 0) e P(X 3 = 1 X 0 = 0). 18 / 71

19 Exemplo. A probabilidade de chover em um dia depende de ter chovido ou não nos 2 dias anteriores. Dado que choveu segunda-feira e terça-feira qual a probabilidade de chover na quinta-feira? 19 / 71

20 Classificação dos Estados j é acessivel a partir de i se P (n) ij > 0 para algum n 0. i e j se comunicam (i j) se são acessiveis um a partir do outro. Se i e j não se comunicam então, P (n) ij = 0, n 0 ou P (n) ji = 0, n 0 ou ambos i i, para todo estado i. Se i j então j i. Se i j e j k então i k. Estados que se comunicam formam uma classe de estados. Uma cadeia é irredutivel se tiver somente uma classe (todos os estados se comunicam). 20 / 71

21 Exemplo. Seja uma cadeia de Markov com estados {1, 2, 3, 4, 5} e a seguinte matriz de transição, 1/2 1/ /4 3/ /2 0 1/ Há 2 classes de estados que se comunicam: classe C 1 = {1, 2} e classe C 2 = {3, 4, 5}. Pr(X n = j X 0 = i) = Pr(X n = i X 0 = j) = 0, se j C 2 e i C 1, n / 71

22 Exemplo. Seja um passeio aleatório com estados {0, 1, 2, 3, 4} e a seguinte matriz de transição, q 0 p q 0 p q 0 p Podemos identificar 3 classes: C 1 = {0}, C 2 = {1, 2, 3} e C 3 = {4}. 22 / 71

23 Estados recorrentes e transientes Em uma cadeia de Markov sejam, f i = P(X n = i X 0 = i) = P (n) ii, para algum n, N o número de retornos ao estado i. Então, Se f i = 1, o estado i é recorrente, e N =. Se f i < 1, o estado i é transiente. 23 / 71

24 Para um estado i transiente, existe uma probabilidade não nula de nunca retornar ao estado i. P(nunca retornar a i) = 1 f i > 0. N é o número retornos ao estado i até que nunca mais retorne ao estado i, N Geometrica (1 f i ) P(N = n X 0 = i) = f n 1 i (1 f i ). E(N X 0 = i) = 1 1 f i. 24 / 71

25 Teorema. O estado i é recorrente se somente se, n=1 P (n) ii = Equivalentemente, o estado i é transiente se somente se, n=1 P (n) ii <. 25 / 71

26 Propriedades Se o espaço de estados for finito, pelo menos um dos estados é recorrente. Se i j e i é recorrente então j também é recorrente. Recorrência e transiência são propriedades de classe. Se a cadeia for irredutivel e finita, todos os estados são recorrentes. 26 / 71

27 Exemplo. Verifique quais estados são transientes ou recorrentes nesta cadeia de Markov com estados {1, 2, 3, 4}. P = A cadeia é irredutivel pois todos os estados se comunicam. Portanto todos os estados são recorrentes. 27 / 71

28 Grafo representando a matriz de transição da cadeia de Markov do exemplo anterior / 71

29 Exemplo. Verifique quais estados são transientes ou recorrentes nesta cadeia de Markov com estados {1, 2, 3, 4, 5} P = / 71

30 Grafo representando a matriz de transição de uma cadeia de Markov com 5 estados / 71

31 Note que P (n) 5,5 = 1 2 n n=1 P (n) 5,5 <. Portanto o estado 5 é transiente. As classes são {1, 2}, {3, 4} e {5} portanto os outros estados são recorrentes. 31 / 71

32 Exemplo. Encontre os estados transientes e recorrentes. 1/3 0 1/ /3 1/2 1/4 1/ P = /4 1/4 1/ / / 71

33 Exemplo. Encontre as classes, os periodos e classifique os estados em transientes e recorrentes. P = /3 1/3 0 1/3 33 / 71

34 Periodicidade Exemplo. Seja uma cadeia de Markov com a seguinte matriz de transição, [ ] 0 1 P =. 1 0 Podemos verificar que, P (2) = [ ] 1 0, P (3) = 0 1 [ ] 0 1, P (4) = 1 0 [ ] 1 0, A cadeia oscila entre os estados e não vai convergir para uma distribuição limite. Dizemos que ela é periódica. 34 / 71

35 Definição. O periodo de um estado i, d(i), é o maior divisor comum no conjunto {n 1 : P (n) ii > 0}. Se P (n) ii = 0, n 1 define-se d(i) = / 71

36 Exemplo. Seja uma cadeia de Markov com estados {0, 1, 2, 3} e matriz de transição, P = Todos os estados têm periodo 4. Por exemplo, P (1) 00 = P (2) 00 = P(3) 00 = 0, P(4) 00 = 1 P (5) 00 = P (6) 00 = P(7) 00 = 0, P(8) 00 = 1. Então d(0) = mdc{4, 8, 12,... } = / 71

37 Realizações de uma cadeia de Markov com estados 0,1,2,3 de periodo igual a 4 estados tempo 37 / 71

38 Exemplo. Seja uma cadeia de Markov com estados {0, 1, 2, 3} e matriz de transição, P = Podemos calcular, P (1) 00 = 0, P (2) 00 = 0, P(3) 00 = 0, P(4) 00 = 0.5 P (5) 00 = 0, P (6) 00 = 0.25, P(7) 00 = 0, P(8) 00 = 1/8,... Portanto, d(0) = mdc{4, 6, 8,... } = / 71

39 Realizações de uma cadeia de Markov do exemplo estados tempo 39 / 71

40 Exemplo. Seja um passeio aleatório com estados {0, 1, 2, 3} e matriz de transição, P = q 0 p 0 0 q 0 p Todos os estados tem periodo 2? 40 / 71

41 Realizações de um passeio aleatorio com p = q = 1/2 estados tempo 41 / 71

42 Propriedades 1. Se i j então d(i) = d(j). 2. P (nd(i)) ii 3. Se P (m) ii > 0, para n grande. > 0 então P (m+nd(i)) ii > 0, para n grande. 42 / 71

43 Definição. Uma cadeia de Markov com estados 0, 1,..., N tal que d(i) = 1, i = 0, 1,..., N é chamada aperiódica. Neste caso, os retornos aos estados ocorrem em tempos irregulares. 43 / 71

44 Cadeias com distribuição limite Seja uma cadeia de Markov com as seguintes transições a 1 a 9 passos, i.e. P, P 2,..., [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] / 71

45 Seja uma cadeia de Markov com as seguintes transições a 1, 2, 4, 8 e 16 passos, i.e. P, P 2, P 4, P 8, P / 71

46 Nos exemplos anteriores, as probabilidades dos estados parecem estar estabilizando. Será que existe uma distribuição limite? No caso geral será possivel obter esta distribuição limite, i.e. as probabilidades dos estados 0, 1,..., N? 46 / 71

47 Recorrência positiva Definição. Sejam {X n, n = 0, 1,... } uma cadeia de Markov com estados 0, 1,..., N e T = min{n 0; X n = i X 0 = i} o número de transições até retornar ao estado i dado que começou em i. i é recorrente positivo se for recorrente e E(T ) <. recorrência positiva é uma propriedade de classe. se a cadeia for finita, recorrência recorrência positiva. i recorrente positivo e aperiódico é chamado de ergódico. 47 / 71

48 Teorema. Se uma cadeia de Markov for irredutivel e ergódica, existe uma distribuição de probabilidades limite, π = (π 0, π 1,..., π N ), π j > 0, j = 0, 1,..., N, N π j = 1. j=0 que não depende do estado inicial. lim n P(X n = j X 0 = i) = π j 48 / 71

49 Teorema. A distribuição limite é a solução das equações, π 0 = π 1 = N π i P i0 i=0 N π i P i1 i=0. =. N π N = π i P in N π j = 1 j=0 i=0 49 / 71

50 Exemplo. Seja uma cadeia de Markov com 2 estados e matriz de transição, [ ] 1 a a, 0 < a, b < 1. b 1 b Verifique que as probabilidades limite são, π 0 = b a + b e π 1 = a a + b 50 / 71

51 Exemplo. Seja uma cadeia de Markov com matriz de transição, Devemos resolver o sistema de equações, π π 1 = π 2 1 cuja solução é [ ] 51 / 71

52 Cadeias Duplamente Estocásticas Definição. Uma matriz de transição com N estados 0, 1,..., N 1 é duplamente estocástica se P ij 0, N 1 i=0 P ij = 1, N 1 j=0 P ij = 1. Se P k ij > 0, i = 0, N 1 e j = 0, N 1 para algum k a cadeia é dita regular e sua distribuição limite é uniforme, π j = 1, j = 0,..., N 1. N 52 / 71

53 Exemplo. Seja uma cadeia de Markov com estados {0, 1, 2, 3, 4} que se move para a esquerda ou direita do estado atual com probabilidade 1/2. Se a cadeia está nos estados 0 ou 4 ela permanece com probabilidade 1/2. A matriz de transição é, que é duplamente estocástica e portanto, π j = 1/5, j = 0, 1, 2, 3, / 71

54 Exemplo. Seja uma cadeia de Markov com estados {0, 1} e matriz de transição, [ ] 0 1 P =. 1 0 A cadeia é duplamente estocástica e π = (1/2, 1/2) satisfaz às equações de equilibrio, π = πp. Porém a cadeia é periódica e não converge para π. 54 / 71

55 Cadeias com estados absorventes Seja X 0, X 1,... um cadeia de Markov tal que i 1,..., i k são estados absorventes, ou seja P(X n = i 1 X n 1 = i 1 ) = = P(X n = i k X n 1 = i k ) = 1. O tempo para a cadeia entrar num estado absorvente é, T = min{n 0; X n = i 1 ou X n = i 2 ou... X n = i k }. 55 / 71

56 1. Qual a probabilidade da cadeia eventualmente entrar num estado absorvente? P(X T = j X 0 = m), j {i 1,..., i k }, m {i 1,..., i k }. 2. Qual o tempo médio para a cadeia entrar em um dos estados absorvente? E(T X 0 = m), m {i 1,..., i k }. 56 / 71

57 Exemplo. Seja uma cadeia com estados 0,1,2 e matriz de transição P = α β γ P(X T = 0 X 0 = 1) = i=0,1,2 = i=0,1,2 P(X T = 0, X 1 = i X 0 = 1) P(X T = 0 X 1 = i)p(x 1 = i X 0 = 1) = P(X T = 0 X 1 = 0)P 10 + P(X T = 0 X 1 = 1)P 11 + P(X T = 0 X 1 = 2)P / 71

58 Como P(X T = 0 X 1 = 0) = 1 e P(X T = 0 X 1 = 2) = 0 segue que, P(X T = 0 X 0 = 1) = P 10 + P(X T = 0 X 1 = 1)P 11 Definindo u = P(atingir o estado 0 a partir do estado 1), então u = α + uβ u = α 1 β. 58 / 71

59 O tempo médio até atingir um estado absorvente a partir do estado 1 é, E(T X 0 = 1) = 1 + E(T X 1 = 1) = 1 + E(T X 2 = i, X 1 = 1)P(X 2 = i X 1 = 1) i=0,1,2 = 1 + E(T X 2 = 0, X 1 = 1)P 10 + E(T X 2 = 1, X 1 = 1)P 11 + E(T X 2 = 2, X 1 = 1)P / 71

60 Note que E(T X 2 = 0, X 1 = 1) = E(T X 2 = 2, X 1 = 1) = 0. Portanto, E(T X 0 = 1) = 1 + E(T X 2 = 1, X 1 = 1)β Denotando este tempo médio por v então, v = 1 + vβ v = 1 1 β. 60 / 71

61 Caso Geral Seja X 1, X 2,... uma cadeia de Markov com estados {0, 1,..., N}. Para qualquer estado absorvente k e qualquer estado transiente i, = = N Pr(X T = k X 0 = i) = Pr(X T = k, X 1 = j X 0 = i) j=0 N Pr(X T = k X 1 = j, X 0 = i)pr(x 1 = j X 0 = i) j=0 N Pr(X T = k X 1 = j)p ij j=0 61 / 71

62 Mas, 0, se j k, j absorvente Pr(X T = k X 1 = j) = 1, se j = k u j, se j k, j transiente Portanto, Pr(X T = k X 0 = i) = P ik + j u j P ij sendo a soma para j transiente. 62 / 71

63 Exemplo. Seja um passeio aleatório com 5 estados e probabilidades de transição, Pr(X n+1 = i + 1 X n = i) = p i Pr(X n+1 = i 1 X n = i) = q i Pr(X n+1 = i X n = i) = r i tais que, r 0 > 0, p 0 > 0, r 0 + p 0 = 1 r i > 0, p i > 0, q i > 0, r i + p i + q i = 1, i = 1, 2, / 71

64 Grafo de Passeio Aleatório com 5 estados / 71

65 Problema do jogador Jogador A possui uma fortuna de i unidades e joga contra o jogador B. Em cada jogada, o jogador A ganha 1 unidade com probabilidade p i, perde 1 unidade com probabilidade q i, ou permanece com i unidades com probabilidade r i q 1 r 1 p P = 0 q 2 r 2 p / 71

66 Caso particular, jogadas identicas e sem empate q 0 p 0... P = 0 q 0 p Qual a probabilidade de ruina do jogador A? 66 / 71

67 Seja X n uma cadeia de Markov com estados 0, 1,..., N que representa a fortuna do jogador A. Então, Note que, P(ruina do jogador A) = P(X T = 0 X 0 = i) = u i. u 0 = P(X T = 0 X 0 = 0) = 1 u N = P(X T = 0 X 0 = N) = / 71

68 Para i = 1,..., N 1, P(X T = 0 X 0 = i) = k P(X T = 0, X 1 = k X 0 = i), k {i 1, i + 1} Portanto, u i = k P(X T = 0 X 1 = k, X 0 = i)p(x 1 = k X 0 = i) = P(X T = 0 X 1 = i 1) P(X 1 = i 1 X 0 = i) + P(X T = 0 X 1 = i + 1) P(X 1 = i + 1 X 0 = i) = u i+1 p + u i 1 q Por exemplo u 1 = u 2 p + q e u N 1 = u N 2 q. 68 / 71

69 Passeio aleatório simétrico..... p r p P =... 0 p r p p r p..... com 2p + r = / 71

70 Cadeias Reversíveis Seja {X n, n = 0, 1,... } uma cadeia de Markov estacionária e ergódica, com P(X n = j X n 1 = i) = P ij e lim n P(X n = i X 0 = k) = π i. Processo reverso,..., X m+1, X m, X m 1, X m 2,... também é uma cadeia de Markov com as mesmas probabilidades de transição. 70 / 71

71 Definição. Uma cadeia de Markov com distribuição limite π é reversivel se satisfaz às equações de equilibrio, para todos os estados i e j. π i P ij = π j P ji 71 / 71