TE802 Processos Estocásticos em Engenharia

Transcrição

1 TE802 Processos Estocásticos em Engenharia Cadeias de Markov 20/11/2017

2 Andrei Markov Em 1907, Andrei Markov iniciou um estudo sobre processos onde o resultado de um experimento depende do resultado de um experimento anterior.

3 Processo Markoviano Processo Markoviano, X(t): Um processo aleatório é considerado Markoviano quando o estado futuro do processo dado o estado presente é independente do passado. Isto é, se para tempos arbitrários t 1 < t 2 <... < t k < t k+1, P[X(t k+1 ) = x k+1 X(t k ) = x k,...,x(t 1 ) = x 1 ] = P[X(t k+1 ) = x k+1 X(t k ) = x k ] Este tipo de Processo Estocástico é também denominado de memoryless process (processo sem memória), uma vez que o passado é esquecido (desprezado).

4 Processos Markoviano Exemplo Uma urna inicialmente contém cinco bolas pretas e cinco bolas brancas. O seguinte experimento é realizado indefinidamente: uma bola é retirada da urna, se a bola é branca, então é colocada novamente na urna, senão é retirada. X n é o número de bolas pretas restantes na urna após n retiradas da urna. a) X n é um processo Markoviano? Quais são as probabilidade de transição? b) As probabilidades de transição dependem de n?

5 Processos Markoviano Exercício Michael e Marisa inicialmente possuem quatro canetas cada. Do total de oito canetas, metade estão boas e metade não possuem mais tinta. O seguinte experimento é realizado indefinidamente: Michael e Marisa trocam uma caneta selecionada aleatoriamente. X n é o número de canetas boas de Marisa após n trocas. a) X n é um processo Markoviano? Quais são as probabilidade de transição? b) As probabilidades de transição dependem de n?

6 Cadeia de Markov Cadeia de Markov: Um Processo Markoviano é dito ser uma Cadeia de Markov quando as variáveis randômicas X n estão definidas em um espaço de estados discreto E = {e 1,e 2,...}. O processo inicia-se em um destes estados e se move sucessivamente de um estado para outro; A probabilidade de um processo estar no estado e j, dado que antes estava no estado e i, é dada por: P[X n+1 = e j X n = e i ] = p ij, este valor é fixo e não muda com o tempo. Esta probabilidade é chamada de probabilidade de transição.

7 Cadeia de Markov Diagrama de transição de estados p 00 p 11 p 22 p 01 p p 10 p 21 Matriz de transição de probabilidades de um passo p 00 p 01 0 P = p 10 p 11 p 12 0 p 21 p 22 A soma de cada linha da matriz de transição é igual a um.

8 Cadeia de Markov Probabilidade de transição de passo n A probabilidade do processo estar no estado e j após n passos, dado que seu estado inicial era e i, é dada por P n. p n P n 00 p n 01 p n 02 = p n 10 p n 11 p n 12 p n 20 p n 21 p n 22 Exemplos: A probabilidade que faça sol daqui dois dias se hoje está chovendo. A probabilidade de que haja uma falha num processo daqui uma semana, sendo que hoje ele está funcionando corretamente.

9 Cadeias de Markov Exercício Suponha que a função de um trabalhador em uma empresa pode ser classificada como pesquisador, trabalhador qualificado ou técnico. Monitorando as funções na empresa de uma dada família através de várias gerações. Obteve-se a conclusão que dos filhos de pesquisador, 80 % são pesquisadores, 10 % são trabalhadores qualificados e 10 % são técnicos. No caso de filhos de trabalhadores qualificados, 60 % são trabalhadores qualificados, 20 % são pesquisadores, e 20 % são técnicos. Finalmente, no caso de técnicos, 50 % dos filhos são técnicos, 25 % são trabalhadores qualificados e 25 % são pesquisadores. Suponha que cada trabalhador tem pelo menos um filho e formam uma cadeia de Markov. Qual é probabilidade de que um neto de um técnico ser um pesquisador?

10 Cadeia de Markov A probabilidade do processo estar no estado e j n passos adiante é dada por: p n = p 0 P n, onde p 0 é o vetor de probabilidade de estado inicial.

11 Cadeia de Markov Exemplo Uma cidade possui duas empresas de internet fixa. A empresa A tem uma probabilidade de 40% de ser escolhida. Entretanto, após um período de um ano apenas 30% escolhem a empresa A novamente. Os clientes que escolhem a empresa B, tem 50% de chance de ser escolhida novamente. Diagrama de transição de estados: 30% A 70% 50% Vetor de probabilidade de estado inicial B p 0 = [ ] Matriz de transição de um passo [ ] P = %

12 Cadeia de Markov Exemplo Quais são as probabilidades de um usuário usar os serviços das empresas A e B[ após um] período de um ano? p 1 = [ ]

13 Cadeia de Markov Exemplo Quais são as probabilidades de um usuário usar os serviços das empresas A e B[ após um] período de um ano? p 1 = [ ] p 1 A = = 0.42 = = 0.58 p 1 B Após um ano a probabilidade de um usuário estar usando a empresa A é de 42% e a empresa B de 58%.

14 Cadeia de Markov Exemplo Quais são as probabilidades de um usuário usar os serviços das empresas A e B após um período de três anos? ([ ]) p 3 = [ ]

15 Cadeia de Markov Exemplo Quais são as probabilidades de um usuário usar os serviços das empresas A e B após um período de três anos? ([ ]) p 3 = [ ] [ ] p 3 = [ ]

16 Cadeia de Markov Exemplo Quais são as probabilidades de um usuário usar os serviços das empresas A e B após um período de três anos? ([ ]) p 3 = [ ] [ ] p 3 = [ ] p 3 A = = = = p 3 B Após três anos a probabilidade de um usuário estar usando a empresa A é de 41.6% e a empresa B de 58.4%.

17 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? ([ ]) 3 [ ] P 3 = =

18 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? ([ ]) 3 [ ] P 3 = = ([ ]) 5 [ ] P 5 = =

19 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? ([ ]) 3 [ ] P 3 = = ([ ]) 5 [ ] P 5 = = ([ ]) 7 [ ] P 7 = =

20 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? ([ ]) 3 [ ] P 3 = = ([ ]) 5 [ ] P 5 = = ([ ]) 7 [ ] P 7 = = [ ] p 7 = [ ] p 7 A = = = = p 7 B

21 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? [ ] [p n A pn B ] = [pn A pn B ] p n A = 0.3pn A +0.5pn B p n B = 0.7pn A +0.5pn B p n A +pn B = 1

22 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? [ ] [p n A pn B ] = [pn A pn B ] p n A = 0.3pn A +0.5pn B p n B = 0.7pn A +0.5pn B p n A +pn B = 1 p n A = , pn B =

23 Cadeia de Markov Exemplo p 0 = [ ] p 0 = [ ] Empresa A Empresa B 0.8 Empresa A Empresa B Probabilidade Probabilidade Passos Passos

24 Cadeia de Markov Exemplo Caso a probabilidade de um usuário continuar na empresa B seja de 80%. Quais são as probabilidades de estado permanente para cada uma das empresas? 70% 30% A B 80% 20% Matriz de transição de um passo [ ] P =

25 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? [ ] [p n A pn B ] = [pn A pn B ] p n A = 0.3pn A +0.2pn B p n B = 0.7pn A +0.8pn B p n A +pn B = 1

26 Cadeia de Markov Exemplo Quais são as probabilidades de estado permanente para cada uma das empresas? [ ] [p n A pn B ] = [pn A pn B ] p n A = 0.3pn A +0.2pn B p n B = 0.7pn A +0.8pn B p n A +pn B = 1 p n A = 0.222, pn B = 0.778

27 Cadeia de Markov Exemplo p 0 = [ ] p 0 = [ ] Empresa A Empresa B Probabilidade 0.5 Probabilidade Empresa A Empresa B Passos Passos

28 Cadeias de Markov Exercício Uma planta de fabricação de microchips funciona corretamente na maior parte do tempo. Após um dia em que a planta está trabalhando, a planta irá funcionar no próximo dia com probabilidade de 90 %. Caso contrário, um dia de reparo seguido de um dia de testes é requerido para restaurar o funcionamento da planta. Encontre as probabilidade de estado permanente quando n. 90% 10% 100% Funcionando Reparos Testes 100%

29 Cadeias de Markov Exercício Encontre as probabilidade de estado permanente quando n tende a infinito, dado um vetor de probalidade inicial p 0 = [p f p r p t ] P = p n f = 0.9pn f +pn t p n r = 0.1p n f p n t = pn r p n f +pn r +p n t = 1 p n f = 5/6,pn t = 1/12,pn r = 1/12

30 Classificação dos Estados Um estado j é acessível de um estado i, i j, se P ij (n) > 0 para um n > 0. Quando um estado j não é acessível de um estado i, usa-se a notação i j. Pelo diagrama de Markov, i j se existe um caminho entre entre i e j. p 00 p 11 p 22 p 01 p p , 1 2, 2 0

31 Classificação dos Estados Dois estados i e j são comunicantes, i j, se i j e j i. O estado i é sempre comunicante com ele mesmo, já que o sistema pode atingir i a partir de i em zero passos. Se um estado i é comunicante com um estado k e o estado k é comunicante com um estado j, então o estado i é comunicante com o estado j. p 00 p 11 p 22 p 01 p p , 0 0

32 Classificação dos Estados Uma classe comunicante é um subconjunto não-vazio de estados C, tal que se i C, então j C se e somente se i j. p 00 p 11 p 22 p 01 p p 21 C 1 = {0}, C 2 = {1,2}.

33 Cadeia de Markov Irredutível Uma cadeia de Markov é irredutível se todos os estados são comunicantes, portanto todos os estados pertencem a uma única classe. p 00 p 11 p 22 p 01 p p 10 p 21

34 Classificação dos Estados Um estado i é periódico com período t se um retorno a este estado é possível somente em t,2t,3t,... passos para t > 1 e t é o maior inteiro com esta propriedade (máximo divisor comum). p 01 p p 20 A cadeia de Markov pode retornar a qualquer um dos estados com um período t = 3.

35 Classificação dos Estados Se há dois números consecutivos s e s+1 tal que o processo pode estar no estado i nos tempos s e s+1, o estado é dito ter período 1 e é chamado estado aperiódico. p 01 p 10 p p 20 A cadeia de Markov pode retornar ao estado 0 nos tempos 2 e 3, portanto este estado é aperiódico com t = 1.

36 Classificação dos Estados Um estado i é transitório se entrando neste estado, o processo pode nunca retornar novamente para este estado. O estado i é transitório se e somente se existe um estado j (j i) que é alcançável a partir do estado i mas não vice-versa, isto é, o estado i não é alcançável a partir do estado j. p 11 p 22 p 01 p p 21 O estado 0 é transitório.

37 Classificação dos Estados Um estado i é recorrente se entrando neste estado, o processo definitivamente irá retornar para este estado. Portanto, um estado é recorrente, se e somente se, não é transitório. Uma vez que o estado recorrente será revisitado após cada visita (não necessariamente no próximo passo do processo), este será visitado infinitamente para o processo em tempo infinito. p 11 p 22 p 01 p p 21 Os estados 1 e 2 são recorrentes.

38 Classificação dos Estados-Exercício Para a cadeia de Markov abaixo, onde todas as transições possuem probabilidade diferente de zero, determine: Quais são as classes comunicantes? Identifique quais estados são periódicos e quais são aperiódicos. Identifique quais estados são transitórios e quais são recorrentes.

39 Classificação dos Estados Um estado i é absorvente se entrando neste estado, o processo nunca irá deixar este estado. Portanto, um estado i é absorvente se e somente se p ii = 1. Um estado absorvente é um caso especial de um estado recorrente.

40 Classificação dos Estados-Exemplo Considere um jogo com uma moeda não viciada, para cada jogada o apostador pode ganhar R$1,00 com probabilidade p = 0.5 se sair uma cara ou perder R$1,00 com probabilidade q = 1 p = 0.5, se sair coroa. O jogo termina quando o jogador acumula R$5,00 ou R$0,00. Desenhe o diagrama de transição de estados e a matriz de transição de um passo. Qual é o numero esperado de vezes que o jogador vai ficar com R$1,00, dado que ele iniciou o jogo com R$2,00. Qual é número médio de passos necessários para que o jogo termine? Qual é a probabilidade do sistema encerrar em cada um dos estados absorventes?

41 Classificação dos Estados-Exemplo p 00 = 1 p 12 = p p 23 = p p 34 = p p 45 = p p 55 = p 10 = q p 21 = q p 32 = q p 43 = q Matriz de transição de um passo q 0 p P = 0 q 0 p q 0 p q 0 p

42 Estado Absorvente Uma matriz P com r estados absorventes e t estados transientes pode ser escrita em uma forma canônica. [ ] Q R P =, 0 I Onde I é uma matriz identidade r por r, R é uma matriz t por r e Q é uma matriz t por t. 0 p 0 0 q 0 q 0 p P = 0 q 0 p q 0 0 p

43 Estado Absorvente A matriz P para um passo n pode ser escrita como [ ] Q P n n =. 0 I Quando n, Q n 0.

44 Estado Absorvente O número esperado de vezes que um processo está em um estado transitório e j, se este começou em um estado e i. Este número n ij é obtido através da matriz fundamental de P, dada por N = (I Q) 1. Considerando p = q = p Q = q 0 p 0 0 q 0 p q N = =

45 Estado Absorvente O número médio de passos para a absorção é dada por t = Nc, onde c é um vetor coluna com todos os elementos iguais a um t = =

46 Estado Absorvente A probabilidade do sistema encerrar em um dos estados absorventes, dada por: B = NR B = =

47 Estado Ergódico Uma vez que se entrou neste estado, um retorno ao estado é assegurado dentro de um número finito de passos, porém o estado não é periódico e pode voltar antes de qualquer passo n. Uma cadeia onde todos os estados são recorrentes e aperiódicos é chamada de cadeia ergódica.

48 Probabilidades de Estados Estavéis A matriz de transição irá estabilizar os valores de seus elementos a longo período se a Cadeia de Markov é Ergódica e Irredutível.

49 Google Page Rank Algoritmo utilizado pela ferramenta de busca Google para posicionar websites entre os resultados de suas buscas. A métrica PageRank representa a probabilidade de uma pessoa chegar a uma página, clicando aleatoriamente em links. Ordena de acordo com o número de votos que uma página recebe. Um voto é um link em qualquer lugar da Web para aquela página. Links de páginas com maior relevância aumentam a importância do site.

50 Cadeias de Markov de Tempo Contínuo Processos em que as transições podem ocorrer em qualquer tempo. Exemplo: Processos de fila; Chamadas telefônicas; Falhas em equipamentos.

51 Cadeias de Markov de Tempo Contínuo As cadeias de Markov de tempo contínuo são relacionadas aos processos de Poisson. Um processo ocorre com taxa λ eventos/tempo; O intervalo entre as transições ocorre com uma distribuição exponencial com média 1/λ.

52 Cadeias de Markov de Tempo Contínuo Cadeia de Markov em tempo continuo é um processo estocástico X(t),t 0 com a propriedade de Markov, ou seja, a probabilidade de estar no estado j num momento futuro depende apenas do estado presente e não dos estados visitados em qualquer momento passado. P[X(s+t) = j X(u),u s] = P[X(s+t) = j X(s) = i] = P[X(t) = j X(0) = i] As probabilidades de transição dependem somente da diferença entre os dois tempos.

53 Cadeias de Markov de Tempo Contínuo As cadeias de Markov são caracterizadas por um conjunto {q ij } de taxas de transições. Auto transições não mudam o sistema, por isso q ii = 0. Quando uma cadeia de Markov possui espaço de estados finitos, podemos representar a cadeia de Markov através da matriz Q de transições de estado, onde a diagonal principal é sempre igual a zero.

54 Cadeias de Markov de Tempo Contínuo O tempo até a próxima transição é uma variável exponencial com parâmetro v i = q ij, j i onde v i é a taxa de saída do estado i. Como uma distribuição exponencial não possui memória, não importa quanto tempo o sistema permanece no estado i, o tempo até a próxima transição será sempre uma variável exponencial.

55 Cadeias de Markov de Tempo Contínuo A matriz { de taxas R pode ser expressa como q ij i j r ij = v i i = j.

56 Cadeias de Markov de Tempo Contínuo-Exemplo Em um processo de tempo contínuo com dois estados ON e OFF, os períodos em cada estado possuem duração exponencial. O período médio em ON é de 1/µ segundos, enquanto o tempo médio em OFF é de 1 λ segundos. Q = OFF [ ] [ ] 0 λ λ λ, R = µ 0 µ µ λ µ ON

57 Cadeias de Markov de Tempo Contínuo A probabilidade condicional D ij que o processo sai de um estado i e vai para um estado j é dada por P[D ij D i ] = D ij D i = q ij v i = q ij j i q. ij

58 Cadeias de Markov de Tempo Contínuo-Exemplo No verão, um ar condicionado está em um dos três estados: 0 (desligado), 1 (baixo) e 2 (alto). Enquanto em desligado, transições para baixo ocorrem com um tempo exponencial com média de 3 minutos. Enquanto em estado baixo, transições para desligado ou alto ocorrem com igual probabilidade e ocorrem em uma taxa de 0.5 transições por minuto. Quando o sistema está em estado alto, uma transição para baixo ocorre com probabilidade de 2/3 ou para desligado com probabilidade 1/3. O tempo em estado alto é uma variável exponencial com média de dois minutos. Quais são as probabilidade de transição?

59 Cadeias de Markov de Tempo Contínuo Para uma cadeia de Markov de tempo continuo, a probabilidade da cadeia estar em um estado j no tempo t p j (t) é obtida através de uma equação diferencial dp j (t) dt = i r ij p i (t), j = 0,1,2,..., dado p j (0). As probabilidades de cada estado convergem para um valor fixo, quando dp j (t) = 0. dt

60 Cadeias de Markov de Tempo Contínuo As probabilidades de estado devem satisfazer as seguintes condições lim p j(t) = p j ; t r ij p i = 0; i j p j = 1; Cuja solução é obtida calculando a seguinte expressão p j v j = i j q ij p i, portanto as probabilidades de estado permanente ocorrem quando a taxa média de transições que saem de j são iguais a taxa média das transições que entram em j.

61 Cadeias de Markov de Tempo Contínuo Exercício Um tigre sempre está sempre em um desses três estados: (0) dormindo, (1) caçando e (2) comendo. A vida do tigre é monótona, ele sempre vai do estado dormindo para caçando para comendo e depois voltando a dormir. Em média, o tigre dorme por 3 horas, caça por 2 horas e come por 1/2 hora. Assumindo que o tigre permanece por um tempo exponencial em cada estado, modele a vida de um tigre como uma cadeia de Markov. Quais são as probabilidades estacionárias?

62 Processo de Nascimento e Morte Uma cadeia de Markov de tempo contínuo é um processo de nascimento e morte se as taxas de transição satisfazem q ij = 0 para i j > 1. Exemplo: Sistemas de filas.

63 Filas M/M/1 Em uma fila M/M/1, as chegadas são modeladas como processos de Poisson de taxa λ, o tempo de atendimento segue uma variável exponencial de média 1/µ, portanto a taxa média de saída é µ. Quando λ > 0 e µ > λ, as probabilidades de estado permanente são p n = (1 ρ)ρ n, com ρ = λ/µ.

64 Filas M/M/1 Exemplo Carros entram em uma fila de pedágio de acordo com um processo de Poisson de taxa λ =.6 clientes por minuto, o tempo de atendimento segue uma variável exponencial de média 1/µ =.3 minutos. Quais são as probabilidades de estado permanente? Qual é a probabilidade em um tempo futuro de haver dois carros na fila?

65 Filas M/M/1 Exemplo Carros entram em uma fila de pedágio de acordo com um processo de Poisson de taxa λ =.6 clientes por minuto, o tempo de atendimento segue uma variável exponencial de média 1/µ =.3 minutos. Quais são as probabilidades de estado permanente? Qual é a probabilidade em um tempo futuro de haver dois carros na fila? Cálculo de ρ ρ = λ/µ = = 0.18

66 Filas M/M/1 Exemplo Carros entram em uma fila de pedágio de acordo com um processo de Poisson de taxa λ =.6 clientes por minuto, o tempo de atendimento segue uma variável exponencial de média 1/µ =.3 minutos. Quais são as probabilidades de estado permanente? Qual é a probabilidade em um tempo futuro de haver dois carros na fila? Cálculo de ρ ρ = λ/µ = = 0.18 Cálculo de P n p n = (1 0.18) (0.18) n = (0.82) (0.18) n

67 Filas M/M/1 Exemplo Carros entram em uma fila de pedágio de acordo com um processo de Poisson de taxa λ =.6 clientes por minuto, o tempo de atendimento segue uma variável exponencial de média 1/µ =.3 minutos. Quais são as probabilidades de estado permanente? Qual é a probabilidade em um tempo futuro de haver dois carros na fila? Cálculo de ρ ρ = λ/µ = = 0.18 Cálculo de P n p n = (1 0.18) (0.18) n = (0.82) (0.18) n Cálculo de P 2 p 2 = (1 0.18) (0.18) 2 = (0.82) (0.18) 2 = = 2,6%

68 Filas M/M/1 O número médio de clientes na fila é dado por E[N] = ρ 1 ρ = λ µ λ

69 Filas M/M/1 O número médio de clientes na fila é dado por E[N] = ρ 1 ρ = λ µ λ Para o exemplo anterior, E[N] = 0.6 1/

70 Filas M/M/1 O tempo médio dos clientes na fila é dado por E[T] = 1 µ λ

71 Filas M/M/1 O tempo médio dos clientes na fila é dado por E[T] = 1 µ λ Para o exemplo anterior, o tempo médio em minutos é E[T] = 1 1/