Cadeias de Markov. Geovany A. Borges

Transcrição

1 Introdução aos Processos Estocásticos Curso de Pós-Graduação em Engenharia Elétrica Departamento de Engenharia Elétrica Universidade de Brasília Cadeias de Markov Geovany A. Borges gaborges@ene.unb.br

2 Cadeias de Markov Definição: um processo X estocástico é dito cadeia de Markov em tempo pode assumir K valores discretos s 0,,s K 1 e Pr{X k = x k X 0 = x 0,,X k 1 = x k 1 } = Pr{X k = x k X k 1 = x k 1 } com k sendo o tempo discreto correspondente ao instante t k = kt. Em muitos casos, X pode ser um conjunto de símbolos indexados por s i. De acordo com a forma de representação dos estados e do tempo, segue-se a seguinte tabela para denominação de processos Markovianos: Estados Tempo Classificação contínuo contínuo Processo Markoviano em tempo contínuo contínuo discreto Processo Markoviano em tempo discreto discreto contínuo Cadeia de Markov em tempo contínuo discreto discreto Cadeia de Markov em tempo discreto 1

3 Nesta fase do curso trataremos de cadeias de Markov em tempo discreto. Representação gráfica: diagrama de transição de estados. Usando a notação Pr{X k = s j X k 1 = s i } = p ij (k) (1) o diagrama de transição abaixo aplica-se para K = 3 estados possíveis e para um dado instante k. 2

4 Matriz de transição de probabilidades: P(k) = {p ij (k)}, i,j = 0,, K 1. No caso de K = 3 P(k) = p 00(k) p 01 (k) p 02 (k) p 10 (k) p 11 (k) p 12 (k) (2) p 20 (k) p 21 (k) p 22 (k) Observa-se que K 1 j=0 p ij (k) = 1 (3) implicando que a soma de todos os elementos de uma mesma linha de P deve ser 1. Ou seja, P(k) 1. 1 = (4) Para o diagrama de transição de estados, isto implica que a soma de 3

5 todos os pesos dos arcos saindo de um estado deve ser 1. Em alguns casos, o número de estados é não-contável: P(k) = p 00 (k) p 01 (k) p 02 (k) p 10 (k) p 11 (k) p 12 (k) p 20 (k) p 21 (k) p 22 (k).... (5) Dependência do tempo k: Sendo p ij dependente do tempo: cadeia de Markov não-homogênea Sendo p ij independente do tempo: cadeia de Markov homogênea. 4

6 Cadeias de Markov Homogêneas Exemplo 1: Considere o caso de uma máquina que pode assumir dois estados: F (em funcionamento) e P (com problema) [1]. Os estados podem ser indexados por s 0 = 0 e s 1 = 1, correspondentes a P e F, respectivamente. A cada hora k, um sistema supervisório de verificação do funcionamento da máquina faz um check-up completo da mesma, indicando um dos estados. Considere que I. A probabilidade de a máquina estar funcionando normalmente na hora k e apresentar problema na hora k + 1 é α; II. A probabilidade de a máquina ser reparada na hora k + 1 estando com problema na hora k é β. 5

7 Cadeias de Markov Homogêneas Solução: Este problema pode ser modelado pelas probabilidades Pr{X k = s 1 X k 1 = s 0 } = β, (6) Pr{X k = s 0 X k 1 = s 1 } = α, (7) das quais, a partir das relações Pr{X k = s 0 X k 1 = s 1 } + Pr{X k = s 1 X k 1 = s 1 } = 1, (8) Pr{X k = s 0 X k 1 = s 0 } + Pr{X k = s 1 X k 1 = s 0 } = 1, (9) pode-se obter Pr{X k = s 1 X k 1 = s 1 } = 1 α, (10) Pr{X k = s 0 X k 1 = s 0 } = 1 β. (11) 6

8 Portanto, a matriz de transição de estados é dada por [ ] 1 β β P = α 1 α (12) O diagrama de transição de estados é dado por 7

9 Cadeias de Markov Homogêneas Exemplo 2: Seja uma fila de uma porta de comunicação serial, cujo número de elementos na fila após ocorrência do k-ésimo evento é representado por X k, e considerando que I. A fila pode armazenar até no máximo K 1 elementos: X k {0,1,,K 1} II. Os eventos são: chegada de um elemento e partida de um elemento, que não podem ocorrer simultâneamente. III. p a : probabilidade do k-ésimo evento ser a chegada de um elemento; IV. p d : probabilidade do k-ésimo evento ser a partida de um elemento. Este é um exemplo típico de Sistema a Evento Discreto, podendo ser modelado por uma cadeia de Markov. 8

10 Cadeias de Markov Homogêneas Solução: Sendo somente chegada de um elemento e saída de um elemento os eventos do modelo, e que o indíce k é incrementado quando da ocorrência de um evento, então p a + p d = 1 (13) de forma que para 0 < n < K 1 Pr{X k = n + 1 X k 1 = n} = p a (14) Pr{X k = n 1 X k 1 = n} = p d (15) Considerando que o número de elementos na fila nunca pode ser negativo, Pr{X k = 1 X k 1 = 0} = 0, (16) 9

11 implicando em Pr{X k = 1 X k 1 = 0} = 1, (17) pois com a fila vazia o único evento possível é a chegada de um elemento. De forma similar, quando a pilha está cheia (X k 1 = K 1), eventos de chegada de novos elementos são inibidos: e assim Pr{X k = K X k 1 = K 1} = 0, Pr{X k = K 2 X k 1 = K 1} = 1. 10

12 A matriz de transição de estados para este sistema fica P = p d 0 p a 0 0 p d 0 p a 0. 0 p d 0 p a p d 0 p a 0 0 p d 0 p a (18) O diagrama de transição de estados é dado por 11

13 Cadeias de Markov Homogêneas Exemplo 3: Considere o problema do Passeio Aleatório em uma única dimensão: X k = { Xk com probabilidade α X k 1 1 com probabilidade β = 1 α (19) tal que X 0 = 0 e p + q = 1. X k é uma cadeia de Markov em tempo discreto. No entanto, X k pode assumir um número infinito de valores no espaço discreto {, 3, 2, 1,0,1,2, 3, } 12

14 Cadeias de Markov Homogêneas Solução: Este modelo pode ser escrito na forma X k = a k 1 X k 1 + b k 1 u k 1 + w k (20) com a k 1 = 1, b k 1 = 0 e w k = { +1 com probabilidade α 1 com probabilidade β = 1 α (21) Observa-se que Pr{X k = s j X k 1 = s i } = α se s j = s i + 1 β = 1 α se s j = s i 1 0 qualquer outra caso. (22) 13

15 de modo que, considerando s n = n, a partir das seguintes relações: p ii = Pr{X k = i X k 1 = i} = 0 (23) p i(i+1) = Pr{X k = i + 1 X k 1 = i} = α (24) p (i+1)i = Pr{X k = i X k 1 = i + 1} = β (25) a matriz de transição de estados é dada por P = β 0 α 0 0 β 0 α 0 0 β 0 α (26) 14

16 O diagrama de transição de estados é dado por 15

17 Dinâmica de cadeias de Markov homogêneas Considere que pode ser escrito como π j (k) = Pr{X k = s j } (27) π j (k) = = = = K 1 i=0 K 1 i=0 K 1 i=0 K 1 i=0 Pr{X k = s j,x k 1 = s i } (28) Pr{X k = s j X k 1 = s i } Pr{X k 1 = s i } (29) Pr{X k = s j X k 1 = s i }π i (k 1) (30) p ij π i (k 1) (31) 16

18 A partir desta relação, se definirmos o vetor (linha) de probabilidades então pode-se verificar que π(k) = [ π 0 (k) π K 1 (k) ] (32) π(k) = π(k 1)P (33) que é uma forma recursiva para atualização das probabilidades π(k). De fato, π(k) representa a FDP da cadeia no k-ésimo instante de tempo. Assim, dado um vetor de probabilidades iniciais π(0), verifica-se que para k = 1,2,. π(k) = π(0)p P P } {{ } k vezes = π(0)p k (34) O alto poder do modelo (34) poder ser verificado se tentarmos construir um modelo equivalente em espaço de estados para a cadeia de Markov. Assim, 17

19 considere o espaço seja X k particionado em K = 2 estados s 0 = [ 1 0 ] T, s1 = [ 0 1 ] T. Então, um modelo equivalente em espaço de estados seria X k = A k 1 X k 1 (35) em que A k 1 seria uma matriz estocástica tal que Se X k 1 = s 0 A k 1 = Se X k 1 = s 0 A k 1 = Se X k 1 = s 1 A k 1 = [ 1 γ 0 γ [ 0 γ 1 γ [ γ 0 γ 1 ] ] ] com probabilidade Pr{X k = s 0 X k 1 = s 0 } com probabilidade Pr{X k = s 1 X k 1 = s 0 } com probabilidade Pr{X k = s 1 X k 1 = s 1 } 18

20 Se X k 1 = s 1 A k 1 = com γ R. [ γ 1 γ 0 ] com probabilidade Pr{X k = s 0 X k 1 = s 1 } 19

21 Simulação de cadeias de Markov homogêneas No algoritmo abaixo, o vetor de probabilidades π é usado para gerar o índice i do estado s i com probabilidade π i (k). Portanto, usa-se a notação i π(k). Algoritmo 1: Simulador de cadeias de Markov homogêneas I. Amostre i π(0) e selecione X 0 = s i ; II. Para k = 1, 2, I. Calcule π(k) = π(k 1)P II. Amostre X k de Pr (X k = s j X k 1 = s i ): i. j [P] i, em que [P] i significa a i-ésima linha da matriz P. ii. X k = s j iii. i := j Neste algoritmo a etapa 2.a pode ser descartada se não for de interesse conhecer a evolução da distribuição da cadeia. 20

22 Simulação de cadeias de Markov homogêneas Exemplo 4: Simulação da uma fila de uma USART com capacidade para 16 bytes Para esta simulação, podemos usar o modelo do Exemplo 2 com K = 17 estados 0, 1,,16. Considerando X 0 = 0 e p a = 0,6 = 1 p d, obtem-se o seguinte resultado: Número de bytes na fila k 21

23 Se quisermos simular uma fila com inicialmente n bytes, basta fazer π i (0) = { 1 i = n 0 i n. No caso de n = 6, obtem-se a seguinte execução: 16 Número de bytes na fila k 22

24 Distribuição de regime permanente Sob certas condições [1], dado π(0), a seqüência gerada por π(k) = π(k 1)P (36) estabiliza em um valor π(k) = π, denominada de distribuição de regime da cadeia de Markov. Quando existe, a distribuição de regime satisfaz ao sistema de equações π = πp (37) Quando alcançado o regime permanente, sendo π ={ π i }, π i pode ser interpretado como a fração esperada do tempo que a cadeia dedica ao estado s i. 23

25 Distribuição de regime permanente Exemplo 5: Considere o Exemplo 1, que modela uma máquina que pode assumir dois estados: F (em funcionamento) e P (com problema). Para aquele exemplo, P = [ 1 β β α 1 α com α e β sendo probabilidades relacionadas à falha da máquina e ao seu reparo da máquina em um determinado lapso de tempo. ] (38) Neste problema, deseja-se que a máquina passe satisfaça a um limite superior do tempo de falha: π 0 < 0,4 (39) Considerando α = 0, 5, pede-se determinar que objetivo deve ser alcançado com relação ao parâmetro β de forma a se garantir o objetivo acima. 24

26 Distribuição de regime permanente Solução: Para resolver este poroblema, deve-se antes determinar as distribuições de regime π 0 e π 1 : [ π0 π 1 ] = [ π 0 π 1 ] P = [ π 0 π 1 ] [ 1 β β 0,5 0,5 ] da qual obtem-se π 0 = π 0 (1 β) + 0, 5 π 1 (40) π 1 = π 0 β + 0,5 π 1 (41) 25

27 Sendo π 0 + π 1 = 1, obtem-se π 0 = 0,5 β + 0,5 π 1 = β β + 0,5 Assim, para satisfazer (39) e 0 β 1, deve-se ter 0,75 < β 1. 26

28 Tópicos futuros Quando possível, os seguintes tópicos serão acrescentados a este material: Propriedades de cadeias de Markov Identificação da matriz P de cadeias de Markov Modelos de Markov Ocultos (HMM, do inglês) Simulação de cadeias de Markov por Monte Carlo (Markov Chain Monte Carlo) 27

29 Referências [1] CASSANDRAS, C. G.; LAFORTUNE, S. Introduction to Discrete Event Systems. [S.l.]: Kuwer Academic Pulishers,