Processos Estocásticos e Cadeias de Markov Discretas

Processos Estocásticos e Cadeias de Markov Discretas

Processo Estocástico(I) Definição: Um processo estocástico é uma família de variáveis aleatórias {X(t) t T}, definidas em um espaço de probabilidades, indexadas por um parâmetro t, onde t varia no conjunto T. Os valores assumidos pela variável aleatória X(t) são chamados estados, e o conjunto de todos os valores possíveis é denominado espaço de estados, definido por I.

Processo Estocástico(II) Classificação em relação aos estados: (1) Se o espaço de estados é discreto, temos um processo de estados discretos, ou cadeia (2) Se o espaço de estados é contínuo, temos um processo de estados contínuo Classificação em relação ao tempo: (1) Se o conjunto de índices é discreto, temos um processo de parâmetro de tempo discreto (2) Se o cnjunto de índices é contínuo, temos um processo de parâmetros de tempo contínuo

Notação em Teoria de Filas(I) A teoria de filas possui um amplo conjunto de exemplos de processos estocásticos. Uma fila se forma quando um conjunto de clientes (jobs) chegam em uma estação (servidor de arquivos) para receber um serviço. Assuma que os tempos entre chegadas Y 1,Y 2,..., entre jobs são v.a.s independentes e identicamente distribuídas, com uma distribuição F Y

Notação em Teoria de Filas (II) Do mesmo modo, os tempos de serviço S 1,S 2,S 3,... são representados por v.a.s independentes e identicamente distribuídas com distribuição F S. Seja m o número total de servidores e k o número máximo de clientes permitidos. Usaremos a notação F Y /F S /m/k para descrever o sistema de filas. Exemplos: M/M/1; M/D/1; M/M/3/10

Sistema de Filas (I) Chegadas: Tempo entre chegadas tem distribuição F Y 1 ou mais servidores Serviço: Tempo entre serviços tem distribuição F S

Sistema de Filas (II) Exemplo: Considere um servidor de CPU onde os jobs chegam em pontos aleatórios no tempo e fazem uma fila para obter um serviço e partem após a finalização do serviço. Seja N k o total de jobs no sistema no instante de partida do k-ésimo cliente. O processo estocástico {N k k=1,2,...} é um processo estocástico de tempo e espaço discretos, com espaço de estados I={0,1,2,...} e conjunto de índices T {1,2,3,...}

Exemplo: Sistema de Filas (III) Seja X(t) o número de jobs no sistema no tempo t. Então, {X(t) t T} é um processo de tempo contínuo, espaço de estados discreto com I = {0,1,2,3..} e T = {t 0 <= t < }

Processo Markoviano Um processo Markoviano é um processo estocástico cujo a dinâmica do comportamento é tal que a distribuição de probabilidade do futuro depende somente do estado presente e não no passado do processo. Se o espaço de estados é discreto, o processo Markoviano é conhecido como cadeia de Markov. Se T é também discreto, temos uma cadeia de Markov de tempo discreto (DTMC)

Cadeia de Markov Discreta (1) Assuma que estamos observando os estados do sistema em pontos de tempo discretos. As observações sucessivas definem as v.a.s X 0,X 1,...X n,..., nos passos 0,1,..,n,..., respectivamente. Se X n = j, então o estado do sistema no passo n é j. X 0 é o estado inicial do sistema. Pela propriedade Markoviana: P[X n = i n X 0 =i 0,X 1 = i 1,...,X n-1 = i n-1 ] = P[X n = i n X n-1 = i n-1 ]

Cadeia de Markov Discreta (2) Assim: Dado o estado presente do sistema, o futuro é independente do passado Definindo a pmf da v.a X n p j (n) = P( X n = j) Definindo a probabilidade de transição entre os estados p jk (m,n) = P(X n = k X m = j)

Cadeia de Markov Discreta (3) Definindo a probabilidade de transição após n passos p jk (n) = P(X m+n = k X m = j) A probabilidade em 1 passo é dada por: p jk = p jk (1) = P( X n = k X n-1 = j); n>=1 A probabilidade inicial é dada por p i_0 = P(X 0 =i 0 )

Cadeia de Markov Discreta (4) A pmf da v.a. X 0, chamada de vetor de probabilidades iniciais é dada por: p(0) = [p 0 (0),p 1 (0),...] A matriz de probabilidades em 1 passo é dada por: p 00 p 01 p 02...... P = [ p ij ] = p 10 p 11 p 12......

Cadeia de Markov Discreta (5) Os elementos da matriz P satisfaz as seguintes propriedades: 0 <= p ij <=1, i,j I, e p ij = 1, i,j I Matrizes com estas propriedades são chamadas matrizes estocásticas Podemos representar as matrizes de probabilidades em um passo através de um grafo direto chamado de diagrama de transição de estados de uma cadeia de Markov

Exemplo (1) Observe um estado de um componente em pontos discretos de tempo. Dizemos que o sistema está no estado 0 se está operacional. Se o componente quebra e segue para o reparo, o estado do sistema passa a 1. Assumindo que o sistema possua a propriedade Markoviana (falta de memória), temos uma DTMC de com dois estados.

Exemplo (2) Considere uma rede de comunicação que consiste em uma sequência de estágios de canais de comunicação. X n denota que o bit está deixando o n-ésimo estágio do sistema e X 0 denota o bit entrando no primeiro estágio. Assuma que os canais de comunicação sejam estatisticamente independentes. Novamente temos uma DTMC com 2 estados.

Calculando as probabilidades após n passos (1) Como encontrar uma expressão para o cálculo da probabilidade após n transições a partir da matriz de probabilidades em um passo? p ij (m,n) = P( X m+n = j X m = i) = p ik (m)p kj (n) Equação de Chapman-Kolmogorov

Calculando as probabilidades após n passos (2) Seja P(n) a matriz cujo elemento (i,j) é igual a p ij (n), ou seja, P(n) é a matriz de probabilidades após n passos. A equação de Chapman-Kolmogorov na forma de matriz é dada por (m = 1 e n = n-1): P(n) = P.P(n-1) = P n

Calculando as probabilidades após n passos (3) Se a pmf de X n (estado do sistema no passo n) é dada pelo vetor p(n) =[p 0 (n), p 1 (n),..., p j (n),... ], então temos que: p(n) = p(0)p(n) p(0)p n Assim, a probabilidade no n-ésimo passo é determinada pela matriz de probabilidades em um passo P e o vetor de probabilidades iniciais.

Exemplo (3) Considere que a NASDAQ suba ou desça dependa com o acontecimento anterior da seguinte maneira. Se a bolsa subiu hoje e ontem, então a bolsa subirá amanha com prob. 0.7; se a bolsa caiu ontem mas não hoje, então a bolsa subirá amanha com prob. 0.3; se ela subiu hoje, mas não ontem, então ela subirá amanha com prob. 0.45 e se ela caiu hoje e ontem, ela subirá amanhã com prob. 0.1. Descreva o comportamento da NASDAQ usando uma cadeia de Markov. Defina as v.a.s que compõe os estados e sua matriz de probabilidades em 1 passo

Voltando ao Exemplo 2... Considerando a = ¼ e b = ½, P(X 0 = 0) =1/3 e P(X 0 = 1) = 2/3, temos: p(n) = p(0)p n = [2/3 1/3(1/4) n 1/3+2/3(1/4) n ] Quando n, p(n) = [2/3 1/3]. Em outras palavras, a pmf de X n se torna independente de n para grandes valores de n. Adicionalmente, qualquer vetor de probabilidades iniciais resulta na mesma pmf limite.

Classificação de Estados e Probabilidades Limite Para algumas cadeias de Markov, quando n, temos que p j (n) se aproxima a uma constante. E este valor, é INDEPENDENTE da probabilidade inicial. Assim denotamos por probabilidade limite do estado j como sendo: π j = lim j p(n), n, j = 0,1,...

Classificação de Estados (1) Seja f jj (n) = P(primeiro retorno ao estado j ocorre n passos após deixar j) Estado Transiente: Um estado i é classificado como sendo transiente se e somente se existe uma probabilidade maior que zero, 1-f jj do processo não retornar a este estado. O estado será visitado um número finito de vezes, durante um tempo infinito Por exemplo, se modelamos um programa usando uma cadeia de Markov, espera-se que todos os estados exceto o final, sejam transientes. Senão o programa tem um loop infinito

Classificação de Estados (2) Seja X ji o total de visitas ao estado i, começando em j. A média de visitas ao estado i, começando em j é dada por E[X ji ] = p ji (n); 0 <= n <= Assim, se um estado i é transiente, então E[X ji ] é finita para todo j, uma vez que p ji (n) aproxima de zero quando n tende ao infinito

Classificação de Estados (3) Estado recorrente: Um estado i é classificado como recorrente se e somente se, começando de i, o processo eventualmente retorna ao estado i com probabilidade 1, ou seja, f jj = 1. ertamente a cadeia passará por este estado em algum tempo no futuro. Se µ = nf ii (n) é o número médio de transições para retornar a i, temos que: i é recorrente nulo se µ = i é recorrente não nulo se µ <

Classificação de Estados (4) Critério de periodicidade Seja γ o maior divisor comum do conjunto de todos os n >= 1, para os quais p jj (n) > 0. Se γ = 1, então j é aperiódico Se γ >=2, então j é periódico, com período γ

Classificação de Estados (5) Estado absorvente: Um estado i é classificado como absorvente, se e somente se p ii = 1. Exemplo: Se um servidor WEB sai de funcionamento e não é substituido, podemos dizer que o serviço entra em um estado absorvente, significando que nenhum cliente será mais atendido

Cadeia Irredutível e Homogênea Irredutível: Todo estado pode ser alcançado a partir de qualquer outro estado Homogênea: Probabilidades de transição são independentes do passo n

Teorema Para uma cadeia de Markov irredutível, aperiódica e com todos os estados recorrentes não nulos (ou finita, irredutível, aperiódica), o vetor π de probabilidades em estado estacionário é único.

Vetor de Probabilidades em Estado Estacionário(1) Assuma que para um cadeia de Markov as probabilidades limite π j existem para todos os estados j. Se π j = 1, para todo j, temos que o vetor π é o vetor de probabilidade em estado estacionário Depois de um período de influência do estado inicial, a cadeia de Markov chega ao estado estacionário

Vetor de Probabilidades em Estado Estacionário (2) omo calcular a probabilidade em estado estacionário? Conjunto de equações lineares: π = πp; π j = 1, para todo j (equação de normalização)

Exemplo 4 Consideremos uma cadeia de Markov de dois estados: 0 CPU em funcionamento 1 CPU em reparo Com probabilidades em 1 passo: 0 1 = a 1 0 = b Qual o vetor em estado estacionário?