Teoria de Filas Aula 10

Transcrição

1 Aula Passada Comentários sobre a prova Teoria de Filas Aula 10 Introdução a processos estocásticos Introdução a Cadeias de Markov Aula de Hoje Cadeias de Markov de tempo discreto (DTMC) 1

2 Recordando... Um processo Markoviano é um processo estocástico cujo a inâmica do comportamento é tal que a distribuição de robabilidade do futuro depende somente do estado presente e ão no passado do processo. e o espaço de estados é discreto, o processo Markoviano é conhecido como cadeia de Markov. Se observações são feitas em instantes discretos, temos uma Cadeia de Markov de tempo discreto (DTMC) 2

3 Cadeia de Markov Discreta (I) Assuma que estamos observando os estados do sistema em pontos de tempo discretos. As observações sucessivas definem as v.a.s X 0,X 1,...X n,..., nos passos 0,1,..,n,..., respectivamente. Se X n = j, então o estado do sistema no passo n é j. X 0 é o estado inicial do sistema. Pela propriedade Markoviana: P[X n = i n X 0 =i 0,X 1 = i 1,...,X n-1 = i n-1 ] = P[X n = i n X n-1 = i n-1 ] 3

4 Cadeia de Markov Discreta (II) Dado o estado presente do sistema, o futuro é independente do passado Definindo a pmf da v.a X n p j (n) = P( X n = j) Definindo a probabilidade de transição entre os estados p jk (m,n) = P(X n = k X m = j) 4

5 Cadeia de Markov Discreta (III) Definindo a probabilidade de transição após n passos p jk (n) = P(X m+n = k X m = j) A probabilidade em 1 passo é dada por: p jk = p jk (1) = P( X n = k X n-1 = j); n>=1 A probabilidade inicial é dada por p i_0 = P(X 0 =i 0 ) 5

6 Cadeia de Markov Discreta (IV) Ao analisarmos a evolução do sistema, temos que a v.a pode assumir qualquer um dos valores segundo uma distribuição de probabilidades inicial, dada pelo vetor: p(0) = [p 0 (0),p 1 (0),...] 6

7 Cadeia de Markov Discreta (V) A matriz de probabilidades em 1 passo é dada por: P = [ p ij ] = p 00 p 01 p p 10 p 11 p

8 Cadeia de Markov Discreta (VI) Os elementos da matriz P satisfaz as seguintes propriedades: 0 <= p ij <=1, i,j I, e p ij = 1, i,j I Matrizes com estas propriedades são chamadas matrizes estocásticas Podemos representar as matrizes de probabilidades em um passo através de um grafo direto chamado de diagrama de transição de estados de uma cadeia de Markov 8

9 Calculando as probabilidades após n passos (I) Como encontrar uma expressão para o cálculo da probabilidade após n transições a partir da matriz de probabilidades em um passo? p ij (m,n) = P ( X m +n = j X m = i) = p ik (m )p kj (n) Equação de Chapman-Kolmogorov 9

10 Calculando as probabilidades após n passos (II) Seja P(n) a matriz cujo elemento (i,j) é igual a p ij (n), ou seja, P(n) é a matriz de probabilidades após n passos. A equação de Chapman- Kolmogorov na forma de matriz é dada por (m = 1 e n = n-1): P(n) = P.P(n-1) = P n 10

11 Calculando as probabilidades após n passos (III) Seja a pmf de X n (estado do sistema no passo n) dada pelo vetor p(n) =[p 0 (n), p 1 (n),..., p j (n),... ], então temos que: p(n) = p(0)p(n) p(0)p n Assim, a probabilidade no n-ésimo passo é determinada pela matriz de probabilidades em um 11 passo P(elevado a n-ésima potência) e p(0)

12 Probabilidades Limite Para algumas cadeias de Markov, quando n, temos que p j (n) se aproxima a uma constante. E este valor, é INDEPENDENTE da probabilidade inicial. Assim denotamos por probabilidade limite do estado j como sendo: π j = lim j p(n), n, j = 0,1,...

13 Cadeia Irredutível e Homogênea Irredutível: Todo estado pode ser alcançado a partir de qualquer outro estado Homogênea: Probabilidades de transição são independentes do passo n

14 Teorema Para uma cadeia de Markov irredutível, aperiódica e com todos os estados recorrentes não nulos (ou finita, irredutível, aperiódica), o vetor π de probabilidades em estado estacionário é único.

15 Vetor de Probabilidades em Estado Estacionário(I) Assuma que para um cadeia de Markov as probabilidades limite π j existem para todos os estados j. Se π j = 1, para todo j, temos que o vetor π é o vetor de probabilidade em estado estacionário Depois de um período de influência do estado inicial, a cadeia de Markov chega ao estado estacionário

16 Vetor de Probabilidades em Estado Estacionário (III) Como calcular a probabilidade em estado estacionário? Conjunto de equações lineares: π = πp; π j = 1, para todo j (equação de normalização)

17 Exemplo 1 Observe um estado de um componente em pontos discretos de tempo. Dizemos que o sistema está no estado 0 se está operacional. Se o componente quebra e segue para o reparo, o estado do sistema passa a 1. Seja a probabilidade de quebra = a e de reparo = b, e se assumimos que o sistema possui a propriedade Markoviana, defina a DTMC do sistema

18 Exemplo 2 Considere uma rede de comunicação que consiste em uma sequência de estágios de canais de comunicação. Assuma que os canais de comunicação sejam estatisticamente independentes. Novamente temos uma DTMC com 2 estados.

19 Exemplo 3 Considere que o comportamento da NASDAQ possa ser descrito da seguinte forma. Se a bolsa subiu hoje e ontem, então a bolsa subirá amanhã com prob. 0.7; se a bolsa subiu ontem mas não hoje, então a bolsa subirá amanhã com prob. 0.3; se ela subiu hoje, mas não ontem, então ela subirá amanhã com prob e se ela caiu hoje e ontem, ela subirá amanhã com prob Descreva o comportamento da NASDAQ usando uma cadeia de Markov. Defina as v.a.s que compõe os estados e sua matriz de probabilidades em 1 passo

20 Exemplo 4 Considere a DTMC do Exemplo 1, para a = 0 e b = 1. Como ficaria a representação gráfica da DTMC? Quais as informações podemos extrair desta cadeia?