Aula - Equações de Chapman-Kolmogorov

Transcrição

1 Equações de Chapman-Kolmogorov Prof. Magnos Martinello Aula - Equações de Chapman-Kolmogorov Universidade Federal do Esprito Santo-UFES 2011 Equações de Chapman-Kolmogorov 1/17

2 Introdução As equações de transição de um passo já foram definidas P ij. Vamos definir a probabilidade de transição de n passos P n ij como a probabilidade de um processo no estado i estar no estado j após n transições adicionais. P n = P[X n+m = j X m = i], n 0, i, j 0 P 1 ij = P ij As equações de Chapman-Kolmogorov fornecem um método para calcular estas probabilidades em n passos P n+m ij = Pik n.pm kj n, m 0 k=0 Equações de Chapman-Kolmogorov 2/17

3 Introdução Representando a probabilidade de iniciar em i o processo vai ao estado j em n+m transições através de um caminho que leve ao estado k na n-ésima transição Equações de Chapman-Kolmogorov 3/17

4 Introdução Suponha que para todos os estados intermediários k resulta na probabilidade de o processo estar no estado j após n+m transições Vamos denotar i como a matriz de transição de probabilidade em n passos P 1 ij P n+m = P n.p m - Multiplicação matricial P 2 = P.P P n = P n 1+1.P Equações de Chapman-Kolmogorov 4/17

5 Exemplo Considere o exemplo de previsão do tempo que é uma cadeia de Markov de dois estados 0 - chove 1 - não chove [ ] [ ] α 1 α P00 P P = = 01 β 1 β P 10 P 11 Se α = 0.7 e β = 0.4, calcule a probabilidade de chover daqui a 4 dias dado que hoje está chovendo. Equações de Chapman-Kolmogorov 5/17

6 Exemplo Resolução Resolvendo o problema sem utilizar as equações de Chapman-Kolmogorov. Equações de Chapman-Kolmogorov 6/17

7 Exemplo Resolução Probabilidade = 0, , , , , , , ,0432 = 0, Agora [ resolvendo ] através de equações de Chapman-Kolmogorov P = Caminhos em 4 passos P 2 = [ ] P 4 = P 2.P 2 = [ ] = [ ] [ 0.61 ] [ ] = [ ] P 4 00 = Equações de Chapman-Kolmogorov 7/17

8 Exemplo Resolução β 1 α+β = 0.4 π 0 = = [ ] P 8 = P 4.P 4 = [ ] = [ ] A medida que n for aumentando, no limite quando n tende ao infinito, P n se aproxima de π 0 definido como a probabilidade estacionária (probabilidade no limite) que o processo esteja no estado i quando o tempo n for infinito. Equações de Chapman-Kolmogorov 8/17

9 Classificação dos estados Um estado j é dito ser acessível a partir do estado i se P n ij 0 para qualquer n 0; Dois estados i e j que são acessíveis mutuamente são ditos estados que se comunicam ; O conceito de comunicação divide o espaço de estados em classes; Equações de Chapman-Kolmogorov 9/17

10 Classificação dos estados Uma cadeia de Markov é dita irredutível se houver apenas uma classe, isto é, se todos os estados se comunicarem entre si. Equações de Chapman-Kolmogorov 10/17

11 Classificação dos estados Seja f i a probabilidade do processo iniciando no estado i, vai re-entrar no estado i. O estado i é dito recorrente se a probabilidade de re-entrar no estado, f i = 1 e transiente se f i < 1. Se o estado i for recorrente, então iniciando no estado i o processo vai entrar no estado i novamente e frequentemente. Se o estado i for transiente, então há uma probabilidade do processo entrar no estado i e nunca mais voltar ao estado 1 f i. Equações de Chapman-Kolmogorov 11/17

12 Classificação dos estados Seja T i a variável aleatória que representa o tempo do primeiro retorno ao estado i. Seja f (n) ii = P[T i = n] = P[retornar ao estado i depois de n passos] Estado i é recorrente Estado i é transiente n=1 n=1 f n ii = 1 f n ii < 1 Um estado recorrente i é periodico com período K > 1 f (n) ii 0 m, n, n = k.m Equações de Chapman-Kolmogorov 12/17

13 Classificação dos estados Exemplo: f (0) 00 = 0 f (4) 00 = p(1-p) f (2) 00 = 1(1-p) f (5) 00 = 0 f (3) 00 = 0 f (6) 00 = p 2 (1-p) OBS: f (n) ii passos. = probabilidade de sair de i e retornar a i em n Equações de Chapman-Kolmogorov 13/17

14 Classificação dos estados Podemos observar que : f (2j) 00 = p j 1 (1 p) e f (2j 1) 00 = 0 No exemplo, o estado 0 é recorrente positivo periódico com k=2 TEOREMA: Para uma cadeia irredutível ergódica (recorrente, positiva aperiódica) lim n P n ij existe e é independente de i. Seja π j = lim n Pij n, j 0, então π j é uma solução única não negativa de π j = π i P ij, j 0 i=0 π j = 1 j=0 Equações de Chapman-Kolmogorov 14/17

15 Classificação dos estados O teorema vale também para cadeias com estados periódicos π 0 = π 1 (1 p) (I ) π 0 + π 2 = π 1 (1 p) + π 1 p (II ) π 2 = π 1 p (III ) π 0 + π 1 + π 2 = 1 (IV ) Equações de Chapman-Kolmogorov 15/17

16 Classificação dos estados Substituindo (I) e (III) em (IV) π 1 (1 p) + π 1 + π 1 p π 1 = 1/2 π 2 = p/2 π 3 = (1 p)/2 Equações de Chapman-Kolmogorov 16/17

17 Aplicação de cadeia de Markov O ranqueamento das páginas (pagerank) web usados pelo Google é definido como uma cadeia de Markov. É definido como a probabilidade do processo (clicar aleatoriamente) estar na página i em regime estacionário considerando todas as páginas web conhecidas N. Se N é o número de páginas web conhecidas, e supondo que uma página i tenha k i links para ela. A probabilidade de transição é P[ir para paginas ligadas] = α k i + 1 α N para todas as páginas que estão ligadas (linked) a esta. P[ir para paginas não ligadas] = 1 α N para todas as páginas que não estão ligadas a ela. O parâmetro α tem valor de Equações de Chapman-Kolmogorov 17/17

18 Aplicação de cadeia de Markov Equações de Chapman-Kolmogorov 18/17