Cadeias de Markov. 1. Introdução. Modelagem e Simulação - Cadeias de Markov

Transcrição

1 Cadeias de Markov. Introdução Nestas notas de aula serão tratados modelos de robabilidade ara rocessos que evoluem no temo de maneira robabilística. Tais rocessos são denominados rocessos Estocásticos... rocessos Estocásticos Um rocesso Estocástico é definido como uma coleção de variáveis randômicas (X(t)) indexadas or um arâmetro t ertencente a um conjunto T. Freqüentemente T é tomado ara ser o conjunto dos inteiros não-negativos (orém, outros conjuntos são erfeitamente ossíveis) e X(t) reresenta uma característica mensurável de interesse no temo t. Exemlificando, X(t) ode reresentar o nível de estoque de um roduto no fim da semana t. rocessos Estocásticos são de interesse ara descrever o rocedimento de um sistema oerando sobre algum eríodo de temo, com isso, em termos formais, a variável randômica X(t) reresenta o estado do sistema no arâmetro (geralmente temo) t. ortanto, ode-se afirmar que X(t) é definido em um esaço denominado Esaço de Estados. Os rocessos Estocásticos odem ser classificados como: a) Em relação ao Estado Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito. Estado Contínuo (seqüência): X(t) caso contrário. b) Em relação ao Temo (arâmetro) Temo Discreto: t é finito ou enumerável. Temo Contínuo: t caso contrário. Exemlos:. Número de usuários em uma fila de banco em um determinado instante: Estado Discreto e Temo Contínuo.. Índice luviométrico diário: Estado Contínuo e Temo Discreto.. Número de dias chuvosos: Estado Discreto e Temo Discreto. Existem vários "tios" de rocessos Estocásticos, orém, nestas notas de aula será aenas abordado um tio de rocesso Estocástico denominado rocesso Markoviano. Notas de Aula - Fernando Nogueira

2 Andrei Andreyevich Markov (*856, Ryazan, Russia; 9, São etersburgo, Russia).. rocessos Markovianos Um rocesso Estocástico é dito ser um rocesso Markoviano se: { X(t ) x X(t ) x, X(t ) x,...,x(t ) x, X(t ) x } { X(t ) x X(t ) x } k+ k+ k k k k k+ k+ k k () t t...t k t k+,,... e toda seqüência k,k,...,k t,k t, k t ara + A exressão () ode ser "traduzida" or: a robabilidade condicional de qualquer evento futuro, dado qualquer evento assado e o estado resente X(t k ) x k, é indeendente do evento assado e deende somente do estado resente. Em termos mais resumidos: um rocesso Estocástico é dito ser um rocesso Markoviano se o estado futuro deende aenas do estado resente e não dos estados assados. Este tio de rocesso Estocástico é também denominado de memoryless rocess (rocesso sem memória), uma vez que o assado é "esquecido" (desrezado). As robabilidades condicionais { X(t k+ ) x k+ X(t k ) x k } são denominadas robabilidades de Transição e reresentam, ortanto, a robabilidade do estado X(t k+ ) ser x k + no instante t k+ dado que o estado X(t k ) é x k no instante t k. Sem demais formalismo, segue-se o exemlo seguinte: Exemlo A O estado no ano de 99 do uso da terra em uma cidade de 5 quilômetros quadrados de área é: Notas de Aula - Fernando Nogueira

3 Tabela - Estado do uso da terra em 99. I uso residencial % II uso comercial % III uso industrial 5% Os valores da tabela odem ser disostos em um vetor x, denominado Vetor de Estados: [ I II III] x () As robabilidades de cada Estado (robabilidade não-condicional) odem também ser disostos em um vetor, denominado Vetor de robabilidade de Estado (ara distingui-las das robabilidades de transição): [...5] () Assumindo que as robabilidades de transição ara intervalos de 5 anos são dadas ela seguinte tabela: Tabela - robabilidades de Transição ara I ara II ara III de I.8.. de II..7. de III..9 As robabilidades condicionais na tabela, em termos informais, odem ser entendidas como: de I ara I a robabilidade do estado ser I aós 5 anos, dado que o X(t + 5) I X(t) I.. ara t 99, estado atual (resente) é I é.8, ou { } 8 fica { X(998) I X(99) I}. 8. de I ara II a robabilidade do estado ser II aós 5 anos, dado que o estado atual (resente) é I é., ou { X t + 5 II X t I}.. ara t 99, fica X(998) II X(99) I.. { } de I ara III a robabilidade do estado ser III aós 5 anos, dado que o estado atual (resente) é I é., ou { X(t + 5) III X(t) I}.. ara t 99, X(998) III X(99) I.. fica { } de II ara I a robabilidade do estado ser I aós 5 anos, dado que o estado atual (resente) é II é., ou { X(t + 5) I X(t) II}.. ara t 99, fica { X(998) I X(99) II}.. de II ara II a robabilidade do estado ser II aós 5 anos, dado que o estado atual (resente) é II é.7, ou { X(t + 5) II X(t) II}. 7. ara t 99, fica { X(998) II X(99) II}. 7. o raciocínio é análogo ara as demais. Notas de Aula - Fernando Nogueira

4 Os valores da tabela odem ser então disostos em uma matriz, denominada Matriz de Transição: (4) Assim, a artir de e o vetor de robabilidade de estado ara 99, denominado (), ode-se calcular o vetor de robabilidade de estado ara 998, denominado () : ( ) ( ) [ 5]..7. [ 6 5]. (5). Cadeias de Markov Um rocesso Markoviano é dito ser uma Cadeia de Markov quando as variáveis randômicas X(t) estão definidas em um esaço de estados discreto E. O exemlo dado acima é então uma Cadeia de Markov orque o esaço de estados é discreto. Quando o temo é discreto, a Cadeia de Markov é dita ser uma Cadeia de Markov em Temo Discreto. Neste caso, tem-se: { X(k ) x X(k) x, X(k ) x,...,x() x, X() x } { X(k + ) x X(k) x } + k+ k k k+ seqüência,,...,k,k,k + k (6) As robabilidades de Transição { X(k ) x X(k) x } + k+ k reresentam, ortanto, a robabilidade do estado X (k + ) ser x k + no temo k + dado que o estado X (k) é x k no temo k. Se ara cada x k+ e x k, tem-se: { X(k ) x X(k) x } { X() x X() x } + k+ seqüência,,...,k, k, k + k então, as robabilidades de Transição são ditas Estacionárias. Assim, tendo-se robabilidades de Transição Estacionárias imlica que as robabilidades de Transição não mudam em relação ao temo. Ainda, de acordo com a exressão (7), as robabilidades de Transição são denominadas robabilidades de Transição de asso. A existência de robabilidades de Transição Estacionárias de asso imlica que ara cada x k+n e x k e n (n,,,...), tem-se: (7) { X(k n) x X(k) x } { X(n) x X() x } + k+ n seqüência,,...,k, k, k + k n (8) Notas de Aula - Fernando Nogueira 4

5 Estas robabilidades condicionais são chamadas robabilidades de Transição de asso n. ara simlificação da notação, adotando x k+ ou x k+n de j e x k de i, ode-se definir: { X(k + ) j X(k) i} e n) (9) { X(k + n) jx(k) i} ( () (n) orque são robabilidades condicionais, estas recisam ser não negativas e desde que o rocesso recisa realizar uma transição em algum estado, estas recisam satisfazer as seguintes roriedades: n) e ( i, j) ;n,,,... ( () M j (n) i;n,,,... () n é: Uma maneira conveniente de mostrar todas as robabilidades de Transição de asso Estado... M (n) (n) (n) (n )... (n ) M... (n ) M (n) (n ) M M ou, equivalentemente, or uma matriz (n) : M... (n) MM ( n) ( n) ( n )... M ( n) ( n) ( n) ( n)... M ( ) ( ) ( ) n n n M M... MM () A matriz (n) é denominada Matriz de Transição de asso n. Quando n, a matriz é denominada aenas Matriz de Transição, como exemlificado na exressão (4). As Cadeias de Markov, consideradas nestas notas de aula ossuem as seguintes roriedades: Notas de Aula - Fernando Nogueira 5

6 . Um número finito de estados.. robabilidades de Transição Estacionárias. Ainda será assumido como conhecido o vetor de robabilidade de estado inicial () (vetor comosto or {X i} ara todo i). Exemlo B Uma loja de câmeras fotográficas armazena um modelo de câmera que ode ser comrada semanalmente do fornecedor. D, D,..., reresenta a demanda ara esta câmera (o número de unidades que deveriam ser vendidas se o estoque não é esgotado) durante a semana, semana,..., resectivamente. É assumido que D i são variáveis randômicas indeendentes e identicamente distribuídas (i.i.d ) tendo uma distribuição de oisson com média igual a. Dado X reresentar o número de câmeras inicialmente, X o número de câmeras no fim da semana, X o número de câmeras no fim da semana e assim or diante. Assume-se que X. No sábado a noite a loja faz o edido de câmeras ara o fornecedor, o qual realizará a entrega aenas na róxima segunda-feira. A loja utiliza a seguinte olítica de comra: se não há câmeras no estoque, a loja comra câmeras. Entretanto, se há alguma câmera no estoque, nenhuma câmera é comrada. Vendas são erdidas quando a demanda excede o estoque. Assim, { X t } ara t,,,... é um rocesso Estocástico. Os Estados ossíveis do rocesso são os inteiros,,,, reresentando o número de câmeras no fim da semana t, ou seja, o esaço de estados, ara este exemlo é E { }. As variáveis randômicas X t são deendentes e odem ser avaliadas iterativamente ela exressão: X max{ D t+,} se X t t + ara t,,,... max{ X D,} se X t t+ t (4) A exressão (4) é o rocesso estocástico (o qual foi modelado a artir do enunciado). Ainda faz-se necessário definir a matriz de transição, orém, rimeiramente, a título de revisão segue: Duas variáveis aleatórias são indeendentes se ( A B) ( A B ). ( B) ( A ). ( B). Duas variáveis aleatórias são identicamente distribuídas se ossuem a mesma distribuição de robabilidade. Notas de Aula - Fernando Nogueira 6

7 Distribuição de oisson Siméon Denis oisson (*78 ithiviers, França; 84, Sceaux, França). A distribuição de oisson é uma distribuição discreta emregada em situações robabilísticas onde a área de oortunidade de ocorrência de um evento é grande, mas a oortunidade de ocorrência em um intervalo articular (ou em um onto) é muito equena. Exemlo: Número de defeitos ao longo de um fio de uma linha de transmissão de energia. Erros de datilografia em um livro. Acidentes industriais. Chegadas em modelos de fila de esera. Matematicamente: A robabilidade de exatamente r ocorrências de um evento é: ( r) ( λ) r e r! λ (5) onde: λ é a média da distribuição A variância de (r) é λ também. Exemlo: O número médio de defeitos em laminas de vidro é 5. A robabilidade que a lamina tenha 6 defeitos é: ( 6) ( 5) 6 e 6! 5.46 (6) Notas de Aula - Fernando Nogueira 7

8 Retomando o exemlo do estoque da loja de câmeras, dado que o estado corrente X t i, o rocesso só deende de D t+ (veja exressão (4)). Uma vez que X t+ é indeendente do assado, este rocesso é um rocesso Markoviano. Considerando ainda que o esaço de estado é discreto, este rocesso Markoviano é uma Cadeia de Markov. Uma vez que D t+ tem distribuição de oisson com média λ ode-se calcular: n e n! { D n}, ara n,,... t+ (7) Atribuindo valores ara n, onde n reresenta o número de câmeras necessárias ara reor o estoque na róxima semana, fica: { D t + } e. 68 (8) { D t + } e. 68 (9) t + e { D }. 84 () { D t + } { D t+ } () De osse das robabilidades de D t+ ara os valores de n e do rocesso estocástico (exressão 4), as robabilidades de transição (elementos da matriz de transição) odem ser definidas: X t e X t + max( D t+,) ( D t ). 8 + () X t e X t + max( D t+,) ( D t ) () X t e X t + max( D t+,) ( D t ) ( D t+ ). 6 + (4) X t e X t + max( D t+,) ( D t ) + (5) Notas de Aula - Fernando Nogueira 8

9 ara as demais, o raciocínio é análogo. A matriz de transição então fica: (6) Uma maneira alternativa ara reresentar as robabilidades de transição é utilizar uma reresentação denominada Diagrama de Transição de Estado. Neste os sentidos das flechas indicam a robabilidade de transição de um estado i ara um estado j. ara a matriz de transição dada ela exressão (6) o diagrama fica: Fig. - Diagrama de Transição de Estado. Notas de Aula - Fernando Nogueira 9

10 . Equações de Chaman - Kolmogorov Sidney Chaman (*888, Eccles, Inglaterra; 97, Boulder, Estados Unidos). Andrey Nikolaevich Kolmogorov (*9, Tambov, Russia; 987, Moscow, Russia). A matriz de transição é a matriz de transição de robabilidades de estado ara um asso no temo, ou seja, de t ara t+. ode se dizer, de maneira simlista, que as equações de Chaman-Kolmogorov fornecem um método ara comutar a matriz de transição ara n assos no temo, ou seja, de t ara t+, de t ara t+,..., de t ara t+n. (n) Seja a robabilidade de transição do estado i ara o estado j de asso n, ode-se escrever que: ( n) M k m ik n m kj (7) i,,...,m j,,...,m e qualquer m,,..., n- e qualquer n m+, m+,... Em notação matricial, a exressão (7) fica: (n) m n m. (8) onde: (n) é a matriz de transição de asso n. Notas de Aula - Fernando Nogueira

11 A artir de (8) ode-se concluir, ortanto, que: (n) n (9) A exressão (9) afirma que a matriz de transição de asso n é igual à matriz de transição de asso elevada a n-ésima otência. Cabe ressaltar neste momento que a exressão (9) só é válida ara Cadeias de Markov cujas robabilidades de transição de estados são constantes em relação ao temo (robabilidades de Transição Estacionárias). A este tio de Cadeia de Markov, denomina-se Cadeia de Markov Homogênea e a matriz de transição é então uma matriz homogênea. Retomando o exemlo do estoque da loja de câmeras, a matriz de transição de asso (n ), é: ( ) () O vetor robabilidade de estado ara o exemlo da câmera no temo é: [ ] () () uma vez que X. ara o temo, () ode ser calculado como: () () () [. ] [ ] ara o temo, () ode ser calculado como: () [. ] [ ] () (). Classificação de Estados em Cadeias de Markov Notas de Aula - Fernando Nogueira

12 .. Estados Alcançáveis e Comunicantes ( ) Um estado j é dito ser alcançável (accessible) a artir de um estado i se n > ara algum n. Isto imlica que é ossível o sistema entrar no estado j eventualmente quando este começa no estado i. Exemlo : os estados da matriz de transição () na exressão (). Exemlo : Um jogador tem um $, e a cada vez que joga ganha $, com robabilidade > ou erde $, com robabilidade -. O jogo termina quando o jogador acumula $, ou $,. Este jogo é uma Cadeia de Markov cujos estados reresentam a quantia eserada de dinheiro que o jogador ossui a cada vez que joga. O esaço de estados é E { } e a matriz de transição é dada or: Estado (4) Nesta Cadeia de Markov, o estado, or exemlo, não é alcançável a artir do estado. Isto ode ser observado a artir do contexto, uma vez que se o jogador alcançar o ( ) estado, este nunca deixará este estado, o que imlica que n ara todo n. ( ) Entretanto, o estado é alcançável a artir do estado, uma vez que >. Um estado j é dito comunicante com o estado i se o estado j é alcançável a artir do estado i e o estado i é alcançável a artir do estado j. Exemlo : os estados da matriz de transição () na exressão (). Exemlo 4: estados e do exemlo não são comunicantes. A seguinte regra ode ser definida a artir das Equações de Chaman-Kolmogorov: "Se um estado i é comunicante com um estado k e o estado k é comunicante com um estado j, então o estado i é comunicante com o estado j". Se dois estados se comunicam entre si, diz-se que eles ertencem à mesma classe. Se todos os estados são comunicantes, ortanto todos os estados ertencem a uma única classe, a Cadeia de Markov é dita ser Irredutível. Exemlo 5: A Cadeia de Markov do exemlo do estoque da loja de câmeras... Estados Recorrentes e Transientes Notas de Aula - Fernando Nogueira

13 Um estado é dito ser Transiente (Temorário, Efêmero, Transitório) se, entrando neste estado, o rocesso ode nunca retornar novamente ara este estado. ortanto, o estado i é transiente se e somente se existe um estado j ( j i) que é alcançável a artir do estado i mas não vice-versa, isto é, o estado i não é alcançável a artir do estado j. Assim, se o estado i é transiente e o rocesso visita este estado, há uma robabilidade ositiva que o rocesso irá mover-se ara o estado j e assim nunca irá retornar ara o estado i. Conseqüentemente, um estado transiente será visitado somente um número finito de vezes. Um estado é dito ser Recorrente se entrando neste estado, o rocesso definitivamente irá retornar ara este estado. ortanto, um estado é recorrente, se e somente se, não é transiente. Uma vez que o estado recorrente será "revisitado" aós cada visita (não necessariamente no róximo asso do rocesso), este será visitado infinitamente ara o rocesso em temo infinito. Um estado é dito ser Absorvente se entrando neste estado, o rocesso nunca irá deixar este estado. ortanto, um estado i é absorvente se e somente se ii. Com isso, ode-se afirmar que um estado absorvente é um caso esecial de um estado recorrente. Em uma Cadeia de Markov, um conjunto C de estados é dito ser um Conjunto Fechado se o rocesso ao entrar em um desses estados de C, este irá ermanecer nos estados de C indefinidamente, ou seja, C é um conjunto tal que nenhum estado fora de C é alcançável a artir de qualquer estado de C. Com isso, ode-se afirmar que C é um conjunto formado or estados recorrentes. Em uma Cadeia de Markov, um conjunto C m de estados é dito ser um Conjunto Fechado Mínimo se este conjunto não ossui sub-conjuntos fechados. Exemlo 6: Suonha que a Cadeia de Markov ossui a seguinte matriz de transição : Estado (5) O estado é transiente orque se o rocesso está no estado, há uma robabilidade ositiva que ele nunca irá retornar ara este estado. O estado 4 também é um estado transiente orque se o rocesso começa neste estado, imediatamente o rocesso o deixa e nunca mais irá retornar ara este estado. Os estados e são recorrentes. Através de ercebe que se o rocesso começar a artir de um desses dois estados, este nunca deixará estes dois estados. Além disto, semre quando o rocesso move-se a artir de um destes estados ara o outro, este irá retornar ara o estado original eventualmente. O estado é um estado absorvente, ois, uma vez que o rocesso entra no estado, este nunca mais o deixará. Os estados, e formam um conjunto fechado C, uma vez que se o rocesso entrar em um destes estados, nunca os deixará. Os estados e formam um conjunto fechado mínimo, bem como o estado. Notas de Aula - Fernando Nogueira

14 .. roriedades de eriodicidade Um estado i é eriódico com eríodo t se um retorno a este estado é ossível somente em t, t, t,... assos ara t> e t é o maior inteiro com esta roriedade (máximo ( ) divisor comum). Isto imlica que n ii semre quando n não é divisível or t. Exemlo 7: o estado do exemlo. Começando no estado, é ossível ara o rocesso entrar no estado somente nos temos, 4, 6,..., de tal forma que o estado ossui eríodo ( n ) ( ) t. Isto ode ser verificado calculando ara todo n e observar que n ara n imar. Exemlo 8: os estados da seguinte Matriz de Transição: Estado (6) Exemlo de Cadeia de Markov com estados eriodicos.5 estado temo (asso) Figura - Cadeia de Markov com estados eriódicos. Se há dois números consecutivos s e s + tal que o rocesso ode estar no estado i nos temos s e s +, o estado é dito ter eríodo e é chamado estado Aeriódico. Notas de Aula - Fernando Nogueira 4

15 Como a recorrência é uma classe de roriedade, a eriodicidade também é uma classe de roriedade. Assim, se um estado i em uma classe tem eríodo t, todos os estados nesta classe têm eríodo t. Exemlo 9: o estado do exemlo ossui eríodo t orque está na mesma classe que o estado, o qual, or sua vez, tem eríodo t. Em uma Cadeia de Markov de estado finito, estados recorrentes que são aeriódicos são chamados de estados Ergódicos. Uma Cadeia de Markov é dita ser Ergódica se todos os estados são estados ergódicos. Resumo Conjunto Fechado Estado Absorvente Estado Recorrente Estado eriódico Estado Transiente Estado Ergódico Cadeia Irredutível Cadeia Absorvente Cadeia Ergódica Tabela - Resumo de classificações de Estados e Cadeias. Nenhum estado, a não ser algum ertencente ao conjunto, ode ser alcançado de qualquer estado ertencente ao conjunto. Uma vez que se entra neste estado, nunca mais o deixa. Uma vez que se entra neste estado, um eventual retorno é assegurado. O estado que ode somente ser alcançado nos assos m, m, m,..., onde m é um inteiro >. Um eventual retorno ao estado não está assegurado. Uma vez que se entrou neste estado, um retorno ao estado é assegurado dentro de um número finito de assos, orém o estado não é eriódico e ode voltar antes de qualquer asso n. Cada estado ode ser alcançado a artir de qualquer outro estado (todos os estados são comunicantes). A Cadeia contém um ou mais conjuntos fechados e o rocesso oderá eventualmente ser absorvido em um dos conjuntos fechados. Todos os estados são recorrentes e aeriódicos..4 roriedades de Longo eríodo em Cadeias de Markov.4. robabilidades de Estados Estavéis (Steady-State) A matriz de transição (n) do exemlo do estoque da loja de câmeras é ara: n.8 ( ) (7) Notas de Aula - Fernando Nogueira 5

16 n.49 ( ) (8) n 4.89 ( ) (9) n 8.86 ( ) (4) Como se ode erceber, todas as linhas da matriz (8) são aroximadamente iguais (no caso, são iguais aenas devido ao truncamento na casa decimal), e serão absolutamente iguais ara n. Se todas as linhas da matriz de transição são iguais, o rocesso torna-se indeendente da distribuição de robabilidade inicial, a qual é reresentada elo vetor de robabilidade de estado. No caso do estoque da loja de câmeras, isto imlica que a longo eríodo, o estado do estoque é indeendente do estado inicial X. A figura abaixo mostra o vetor de robabilidade de estado em função do temo ara () [ ] (X ), () [ ] (X ), () [ ] (X ), () [ ] (X ). Nota-se que indeendente do estado inicial do estoque da loja de câmeras, a distribuição de robabilidade dos estados (7) é raticamente a mesma nos gráficos abaixo. Notas de Aula - Fernando Nogueira 6

17 .9.8 robabilidades de Estados ara V estado estado estado estado.9.8 robabilidades de Estados ara V estado estado estado estado robabilidade do estado robabilidade do estado temo (asso) temo (asso).9.8 robabilidades de Estados ara V estado estado estado estado.9.8 robabilidades de Estados ara V estado estado estado estado robabilidade do estado robabilidade do estado temo (asso) temo (asso) Fig. - Vetor de robabilidade (n) ara o asso n dado (). A matriz de transição irá estabilizar os valores de seus elementos a longo eríodo se a Cadeia de Markov é Ergódica e Irredutível, que or sua vez, imlica na existência de ( n) lim indeendente de i. Além disto: n ( n) lim j > n (4) onde os j satisfazem unicamente as seguintes equações de estados estáveis: j M i i ara j,,,..., M (4) e O ( n) lim ode também existir mesmo ara Cadeias Não Irredutíveis e/ou Não Ergódicas (ver Tabela 4). n Notas de Aula - Fernando Nogueira 7

18 M j ara j,,,...,m j (4) Os j são chamados de robabilidades de Estados-Estáveis da Cadeia de Markov e odem ser denominados também como robabilidades de Estados Estacionários (não confundir com robabilidades de transição estacionárias), robabilidades de Estados em Fase de Regime, Distribuição Estacionária, robabilidades de Equilíbrio, Valores Limites ou robabilidades de Estado Fixo. Nota-se que as exressões (4) e (4) formam um sistema com M + equações em M + incógnitas. Com isso, no mínimo uma equação recisa ser redundante e ode, ortanto, ser excluída do sistema. No entanto, a equação da exressão (4) é a única que não ode ser excluída devido ao seu caráter de normalização no sistema. Retomando o exemlo do estoque da loja de câmeras, o sistema fica: (44) Igualando a zero as quatro rimeiras equações do sistema da exressão (44), fica: ( ) ( ) ( ) ( ) (45) Substituindo valores, fica: (.8 ) (.68 ) (.68 ) (.68 ) (46) Excluindo uma equação qualquer (sem ser a última) e resolvendo o sistema, a solução é: [ ] [ ] (47) é: A artir de (47), ode-se afirmar que a matriz de transição ( ) ara o asso n Notas de Aula - Fernando Nogueira 8

19 ( ) ( ) ( ) ( ) ( ) (48) então: Em articular, se i e j são estados recorrentes ertencentes a diferentes classes, ( ) n, n (49) Similarmente, se j é um estado transiente, então: lim ( n ) n, i (5) Observação Imortante: como já citado, cabe neste momento ressaltar que (n) só ode ser obtida como na exressão (48) somente se a Cadeia de Markov é Ergódica Irredutível, o que garante que todas as linhas de (n) são idênticas. No entanto, o método de se elevar a matriz de transição a n-ésima otência ara se determinar (n) é semre válido, aesar de não haver necessidade que todas as linhas de (n) sejam idênticas mesmo ara n. O seguinte exemlo deixa claro esta ressalva. Exemlo: Uma Cadeia de Markov ossui a seguinte matriz de transição () : : : )...5 ( (5) ) Qual o valor de lim n (n)? Elevando a otências mais altas, tem-se: ( (5) ) ( (5) 4) ( (54) Notas de Aula - Fernando Nogueira 9

20 ).6.4 ( (55) Escrevendo o seguinte sistema: (56) A solução de (56) resulta em: + e (57) e conseqüentemente não existe uma solução determinada ara e. Como se ode notar, as linhas de ( ) não são iguais e, or isso, os valores de e não são determinados unicamente. Este fato ocorreu devido a esta Cadeia de Markov não ser Irredutível. Observação Imortante: Se é uma matriz de transição em que: M j e M i i,,...,m j,,...,m (58) (59) esta matriz é dita ser uma matriz Dulamente Estocástica e neste caso, ara irredutível, tem-se: lim n ( n ) M i, j,,...,m (6) Considerações matemáticas: A equação vetorial em (4), ode ser dada em notação reduzida or: é dulamente estocástica, mas Irredutível. lim n ( n ) i, j,, orque não é Notas de Aula - Fernando Nogueira

21 (6) sendo: um vetor linha; e é uma matriz quadrada. Equivalentemente, a exressão (6) ode ser escrita or: t t t (6) sendo: t o oerador transosto. A exressão (6) ode ser entendida como um roblema de auto-valor, que imlica em t ter um auto-valor igual a. O roblema de auto-valor fica então: t t ( λi) ; (6) A resolução de (6) irá fornecer um auto-vetor t associado a um auto-valor igual a que corresonde ara o vetor de robabilidades de Estados Estáveis. Uma vez que é uma matriz homogênea, o auto-vetor t oderá ter infinitas soluções, orém tais soluções diferem entre si aenas or um fator de escala. Faz-se necessário então normalizar os valores do vetor t ara sua soma ser igual a. O exemlo abaixo resolve o roblema de auto-valor ara a matriz de transição do exemlo do estoque da loja de câmeras: λ (64) A solução é: Ax λx ( A λi) x sendo: λ um auto-valor; x um auto-vetor associado ao auto-valor λ; e I a matriz identidade. Notas de Aula - Fernando Nogueira

22 AutoValor i.9.44i (65) i i AutoVetor i i O auto-vetor associado ao auto-valor é: (66) t t Que or sua vez, normalizado ara a soma dos seus elementos ser igual a é: (67) (68) Os valores em (68) corresondem ara os mesmos valores encontrados em (4) e (47). Considerando a Matriz de Transição da Cadeia de Markov Não Irredutível e Não Ergódica dada em (5), o roblema de auto-valor fica:.. λ..5. (69) A solução é: AutoValor.5 (7) Notas de Aula - Fernando Nogueira

23 AutoVetor (7) Neste caso, existe auto-valores iguais a, devido a existência de dois conjuntos fechados mínimos ( estados absorventes), e não aenas um auto-valor igual a. Neste caso, o vetor t não ode ser unicamente determinado (como em (55) e (57))..5 Custo Médio Eserado or Unidade de Temo Na seção anterior, abordou-se o caso em que os estados são ergódicos (recorrentes e aeriódicos). Se a condição de aeriodicidade é relaxada, então o limite ( n lim ) ode não existir. Exemlo: a seguinte matriz de transição n Estado (7) Se o rocesso começa no estado no temo, o rocesso retornará ao estado nos temos, 4, 6,... e entrará no estado nos temos,, 5,... ortanto, ( n lim ) não existe. No entanto, o seguinte limite semre irá existir ara uma Cadeia de Markov Irredutível (estado finito): n ii lim n n n k ( k) j, i (7) A exressão 7 (não confundir a exressão 7 com ( n lim )) é de suma imortância ara calcular o Custo Médio a Longo eríodo or Unidade de Temo associado à Cadeia de Markov. Suondo que um custo seja determinado aenas em função do estado da Cadeia de Markov, ou seja, C(X t ) é a função de custo. Nota-se que esta função é uma variável randômica que assume os valores C(), C(),..., C(M), onde E [,,..., M] é o esaço de estados do rocesso e que C( ) é, ortanto, indeendente de t. O custo médio eserado ara os n rimeiros eríodos é dado or: n ii n C E C X t n t ( ) (74) Através de (7), ode-se demonstrar que o Custo Médio or Unidade de Temo associado à Cadeia de Markov é dado or: Notas de Aula - Fernando Nogueira

24 n lim E C X n n t M ( ) C( j) t j j (75) Exemlo: a função de custo ara o exemlo do estoque da loja de câmeras é dada or: ( ) C X t 8 8 se se se se X t X X X t t t (76) Alicando os valores de (76) em (75), fica: n lim E C X n n t ( ).86( ) +.85( ) +.6( 8) +.66( 8) t (77) O valor da exressão (77) é o custo médio eserado do estoque or semana. Outro resultado interessante é obtido ara a seguinte função de custo: ( ) C X t se se X X t t j j Alicando os valores de (78) em (75), o resultado são os rórios j. Com isso, os valores de j odem ser interretados com a fração do temo em que o rocesso está no estado j. A tabela 4 mostra um resumo das condições ara obter em função da classificação da cadeia. (78) Notas de Aula - Fernando Nogueira 4

25 Irredutível todos os estados são comunicantes Não Irredutível ao menos um estado não é comunicante com ao menos algum outro estado Tabela 4 - Condições ara em função da classificação da cadeia. Ergódica Não ergódica todos os estados são recorrentes e aeriódicos lim n indeende ( n ) Exemlo:, j de i [ ] lim n deende Exemlo: ( n) de mas, j i Cadeia ergódica, mas estados e não são comunicantes com estados e. existe ao menos um estado transiente a existência de ao menos um estado transiente imlica em haver estados que não são comunicantes. ortanto, não existe cadeia irredutível com um ou mais estados transientes. Caso : deende lim n Exemlo: ( n) de mas, j i Estado é transiente e não é comunicante com estados,, e 4. Caso: indeende lim n ( n ) Exemlo:.5.5.5, j de i Estado não é comunicante com demais e estados, e são transientes. existe ao menos um estado eriódico lim n indeende ( n) de é obtido através de: n ( k ) lim j, i n n k Exemlo: [.5.5], mas lim n lim n ( n ) deende Exemlo: ( n ) de Estados, e ossuem eríodo T e estados e 4 ossuem eríodo T. Estados, e não são comunicantes com estados e 4..6 Custo Médio Eserado or Unidade de Temo ara Funções de Custo Comlexas Na seção anterior, tratou-se aenas com funções de custo deendentes do estado em que o sistema se encontra no temo t. ara funções de custo que deendem não só do estado do sistema, mas também de outra variável randômica, faz necessário fazer algumas ressalvas. Considerando que: ) { X t } é uma Cadeia de Markov Irredutível (estado-finito). Notas de Aula - Fernando Nogueira 5

26 ) Existe uma seqüência de variáveis randômicas { D t }, indeendentes e identicamente distribuídas (i.i.d) associada à { X t }. ) ara cada m, ±, ±,... fixo é ocorrido um custo C(X t,d t+m ) no temo t, ara t,,,... 4) A seqüência X, X,..., X t recisa ser indeendente de D t+m. Se as quatro condições dadas acima são satisfeitas, então: n lim E C X n n t (, D ) K( j). t t+ m M j j (79) onde: ( j) E[ C( j), ] (8) K D t + m K(j) é o valor eserado condicional calculado de acordo com a distribuição de robabilidade das variáveis randômicas D t, dado o estado j. Além disto: n lim C X n n t (, D ) K( j). t t+ m M j j (8) ara essencialmente todos os caminhos do rocesso..7 Temos de rimeira assagem O Temo de rimeira assagem ode ser entendido como o temo demandado ara o rocesso atingir o estado j a artir do estado i. Quando j i, o Temo de rimeira assagem é simlesmente o número de assos (transições) ara o rocesso retornar ao estado inicial i. Neste caso, denomina-se Temo de Recorrência ara o estado i. Retomando o exemlo do estoque da loja de câmeras, o estado do estoque ara as seis rimeiras semanas é: X X X X X 4 X 5 Neste caso, o Temo de rimeira assagem a artir do estado ara o estado é semanas, o Temo de rimeira assagem a artir do estado ara o estado é semanas e o Temo de Recorrência ara o estado é 4 semanas. Em geral, o Temo de rimeira assagem é uma variável aleatória cuja distribuição de robabilidade associada deende das robabilidades de transição do rocesso. ( n) Denominando f a robabilidade do Temo de rimeira assagem a artir do estado i ara o estado j ser n, ode-se escrever que: ( ) ( ) f (8) Notas de Aula - Fernando Nogueira 6

27 f : : f ( ) ( ) k j ik f kj ( n ) ( n ) k j ik f kj (8) (84) Assim, o Temo de rimeira assagem a artir do estado i ara o estado j em n assos ode ser comutado recursivamente. Exemlo: robabilidade do Temo de rimeira assagem ara o estoque da loja de câmeras a artir do estado (estoque cheio) ara o estado (estoque vazio) ser n: ( ) f f : :.8 (85) ( ) ( ) ( ) ( ) f + f + f.84(.6) +.68(.64) +.68(.8). 4 (86) ara dado i e j, tem-se que: n f ( n) (87) ( n) Se f < n estado j. Quando imlica que rocesso inicialmente no estado i, ode nunca alcançar o n f ( n ), ( n) f ode ser considerado como a distribuição de robabilidade ara a variável aleatória Temo de rimeira assagem. O Temo de rimeira assagem Eserado ode ser definido or: ( n) se f < n ( n) ( n) nf se f n n (88) Semre quando n f ( n ), unicamente satisfaz a equação: + (89) ik k j kj Notas de Aula - Fernando Nogueira 7

28 Exemlo: Temo de rimeira assagem Eserado ara o estoque da loja de câmeras a artir do estado (estoque cheio) ara o estado (estoque vazio): (9) Substituindo valores, fica: (9) Resolvendo (9), fica:.58semanas.5semanas.5 semanas (9) Assim, o temo eserado ara o estoque ficar vazio, a artir de estar cheio é de.5 semanas. Quando i j, jj é o Temo de Recorrência Eserado ara o estado j. De osse das robabilidades de estado estáveis j, o Temo Eserado de Recorrência ode ser calculado como: jj ara j,,...,m j (9) Exemlo: Temo de Recorrência Eserado ara o estoque da loja de câmeras..5 semanas.5semanas.8 semanas 6. semanas (94) (95) (96) (97) Os estados em uma Cadeia de Markov odem ser classificados, de maneira análoga a classificação na seção., em função do Temo de rimeira assagem, como: Notas de Aula - Fernando Nogueira 8

29 Um estado é Transiente se Um estado é Recorrente se n n f f ( n) jj < ( n) jj, que imlica que jj.. Um estado recorrente é Nulo se jj e Não-Nulo ou ositivo se jj <. Um estado é Ergódico se é não-nulo e aeriódico. Considerações matemáticas: Uma analogia interessante que ode ser feita com a exressão (9) é: T f (98) onde: T é eríodo; f é freqüência. A interretação da exressão (9) como a exressão (98) é ossível orque jj é o eríodo (temo) eserado de recorrência. Com isso ode-se concluir que as robabilidades de estados estáveis j odem ser entendidas também como freqüências dadas em ciclos/unidade de temo. A unidade de temo no caso de Cadeia de Markov em temo discreto é asso, assim a freqüência eserada de recorrência dos estados é dada em ciclos/asso. Uma vez que o menor eríodo de recorrência ara um estado é (devido a consideração de temo discreto), a maior freqüência ossível é ciclo/asso. Exemlo: uma Cadeia de Markov originou o seguinte vetor de distribuição de robabilidades a longo eríodo: [ ] [.5...] (99) ossui uma freqüência eserada de recorrência igual a.5 ciclo/asso e conseqüentemente, um eríodo eserado de recorrência assos. ossui uma freqüência eserada de recorrência igual a. ciclo/asso e conseqüentemente, um eríodo eserado de recorrência.... assos. ossui uma freqüência eserada de recorrência igual a. ciclo/asso e conseqüentemente, um eríodo eserado de recorrência 5 assos. ossui uma freqüência eserada de recorrência igual a. ciclo/asso e conseqüentemente, um eríodo eserado de recorrência assos. Notas de Aula - Fernando Nogueira 9

30 Observação: a unidade Hertz (Hz) corresonde a ciclos/segundo, sendo adequado seu uso aenas quando um asso na Cadeia de Markov corresonde a um segundo..8 Estados Absorventes Como já visto na seção.., um estado k é dito ser absorvente se a robabilidade de transição kk. Desta maneira, uma vez que o rocesso visita o estado k, este irá ermanecer neste estado indefinidamente. Se k é um estado absorvente e o rocesso inicia no estado i, a robabilidade de semre ir ara o estado k é denominada de robabilidade de absorção ara o estado k dado que o sistema iniciou no estado i, denotada or f ik. Quando há dois ou mais estados absorventes em uma Cadeia de Markov, é óbvio que o rocesso será absorvido ara um destes estados e, ortanto, é desejável encontrar estas robabilidades de absorção. Seja k um estado absorvente, então o conjunto de robabilidades de absorção f ik satisfaz o seguinte sistema de equações: M j fik f jk ara i,,...,m () sujeito as condições: f kk f ik se i é um estado recorrente e i k () Exemlo: Considere a seguinte matriz de transição : Estado 4 4 () A matriz de transição acima é um exemlo de matriz de transição de uma Cadeia de Markov esecífica denominada Random Walk (caminhada randômica). Este rocesso estocástico ossui a roriedade que o rocesso estando no estado i, na róxima transição o rocesso estará em um dos dois estados imediatamente adjacentes ao estado i (com exceção dos estados e 4, obviamente). Dada a matriz acima, verifica-se facilmente que existem dois estados absorventes: e 4. Os demais estados são todos transientes. ode-se determinar, or exemlo, qual a robabilidade de absorção ara o estado a artir do estado, denominada f? ara isto, através da exressão (), ode-se escrever que: f + () f + f + f + f 4f 4 Notas de Aula - Fernando Nogueira

31 Através da exressão () verifica-se que f e f 4, uma vez que o estado 4 é um estado absorvente, que or sua vez é um caso esecífico de estado recorrente. Devido a estas verificações a exressão () degenera-se em: f + (4) + f + f f Nota-se em (4) que se tem uma equação e três incógnitas (f, f, f ). orém, ode-se escrever o seguinte sistema: f f + f + f + f + 4f 4 (5) f f + f + f + f + 4f 4 f f + f + f + f + 4f 4 Atribuindo valores ara f e f 4, como em (4), o sistema fica: f + f + f + f (6) f + f + f + f f + f + f + f Tem-se então um sistema com três equações e três incógnitas. Resolvendo este sistema, obtém-se o valor de 4 f 5, ou seja, a robabilidade do rocesso estagnar no estado a artir do estado. Conseqüentemente, a robabilidade do rocesso estagnar no estado 4 a artir do estado é f 4 5. Tais robabilidades também odem ser verificadas elevando a matriz a valores de otência grandes (com um alto custo comutacional). ara este exemlo, calculou-se e verificou-se, or indução que ( ) é: Estado ( ) (7) Os valores nesta matriz indicam as robabilidades de absorção ara os estados e 4..9 Cadeias de Markov em Temo Contínuo Este item não será abordado nestas notas de aula. FONTE: Hiller & Lieberman, CA. 6 Notas de Aula - Fernando Nogueira

32 Notas de Aula - Fernando Nogueira

33 Exercícios - Cadeias de Markov qualquer erro, favor enviar ara fernando.nogueira@ufjf.edu.br ) A Distribuição de oisson dada abaixo reresenta um rocesso estocástico? t ( r) ( λt) r e r! λt ) Exlique as equações de Chaman-Kolmogorov. Qual a sua imortância? ( n) ( n) ) Exlique orque f ode ser <? Qual a classificação do estado i se n 4) Seja uma matriz de transição dada or: ii n f <? Qual é ( )? 5) A matriz de transição abaixo ertence a uma Cadeia de Markov que reresenta o rocesso de um cliente que comrou uma das 4 marcas ossíveis de cerveja (,,, ) no instante n e irá comrar cada uma das marcas no instante n + sob a condição que realmente em cada etaa de transição ele irá comrar o roduto ( ) 6 a) O que significa? Qual o seu valor? b) Quais as robabilidades de Estado-Estável da Cadeia de Markov dada? Quais interretações são ossíveis sobre tais robabilidades? 6) Seja uma matriz de transição dada or: ( 5) Calcule f, e 7) Classifique os estados das Cadeias de Markov abaixo, de acordo com as suas resectivas Matrizes de Transição. Notas de Aula - Fernando Nogueira

34 a) Estado b) Estado c) Estado 8) O setor de vendas de Whisky de uma loja vendeu 6. caixas no trimestre assado. Existem no mercado as firmas X, Y, Z e Outras que venderam resectivamente 4., 8.,. e 6. caixas. A emresa Z resolve lançar uma nova marca de Whisky com um reço aroximadamente igual ao dos concorrentes acomanhada de uma forte divulgação que irá custar L milhões de $ e que irá roduzir a seguinte matriz de transição ara um eríodo de meses. Estado X Y Z Outras X Y Z Outras Se o aumento de % na articiação no mercado reresenta um lucro líquido de k milhões de $ or eríodo, qual deve ser o valor de k em função de L ara justificar esse lançamento e divulgação se essa matriz de transição vale ara um ano? Faça a análise aenas ara esses 4 eríodos trimestrais. 9) Uma máquina de uma linha de rodução ode assumir os seguintes estados: Notas de Aula - Fernando Nogueira 4

35 Através de dados históricos, a matriz de transição (mês a mês) ara esta maquina é: Estado De acordo com o estado da máquina, algumas decisões odem ser tomadas com resectivos custos: Substituir a máquina or uma outra nova demanda semana ara ser realizada esta oeração e a rodução é erdida neste eríodo a um custo de $., e o custo da máquina nova é $4.,. Quando a máquina oera no estado, há um custo de $., e quando a máquina oera no estado, há um custo de $.,, ambos devido à rodução de itens defeituosos. Realizar manutenção na máquina não é viável quando esta se encontra no estado. A manutenção não melhora em nada a caacidade de oeração da máquina quando esta se encontra nos estados e. A manutenção da máquina faz com que esta retorne ao estado, quando esta está oerando no estado a um custo de $., e a rodução é erdida or semana. Não é ermitido manter a máquina no estado. Qual a olítica ótima de manutenção desta máquina? Utilize o método de enumeração exaustiva. Obs: a resolução deste exercício exige os conceitos tratados em rocessos Markovianos de Decisão (não consta nestas notas de aula). ) Formule o exercício 9 como um roblema de rogramação Linear Resostas Estado Condição oeração normal (máxima rodução) oeração com baixa erda de rodução oeração com alta erda de rodução inoerante ) Sim, orque t (r) reresenta uma coleção de variáveis randômicas indexadas or um arâmetro t, dentre outros. Notas de Aula - Fernando Nogueira 5

36 ) De acordo com o texto. ( n) ) Se existe a robabilidade do estado i nunca alcançar o estado j, então f < n. Neste ( n) caso, f não ode ser tido como a distribuição de robabilidade ara a variável randômica ii < n ( n) Temo de rimeira assagem. Se f o estado i é transiente. 4) Uma vez que é uma matriz dulamente estocástica, então: Notas de Aula - Fernando Nogueira 6

37 ( ) ( ) 5.a) 6.57 é a robabilidade de um consumidor sendo comrador da marca ser comrador da marca aós 6 assos. 5.b) [ ] j é a robabilidade de encontrar o rocesso no estado j a longo eríodo. ode também ser interretada como a fração do temo em que o rocesso ermanece no estado j. ( ) 6) f a) Todos estados Ergódicos 7.b) Todos os estados são recorrentes, eriódicos (eríodo m ) e não-nulos. 7.c) Todos os estados são comunicantes e a cadeia é irredutível. rocesso eriódico com eríodo m. 8) ( ) [.4...] ( ) ( ) [ ] ( ) ( ) [ ] ( ) ( ) [ ] ( 4 ) ( ) [ ] A quantidade vendida da marca Z em cada trimestre foi: Trimestre >.55 * Trimestre >.99 * Trimestre >.44 * Trimestre 4 >.64 * Total nos 4 trimestres: Se não tivesse tido o incremento, o total da marca Z vendida seria: Trimestre >. * 6.. Trimestre >. * 6.. Trimestre >. * 6.. Notas de Aula - Fernando Nogueira 7

38 Trimestre 4 >. * 6.. Total nos 4 trimestres: Incremento: caixas Cada % de 6. reresenta k milhões, ou seja, cada 6. caixas (% de 6.) reresenta k milhões. Assim, 7.6/6. 45.k milhões. Outra maneira de resonder é: O aumento de vendas de Whisky da marca Z ara estes 4 trimestres é: Z Z Z Z ( ) % ( ) % ( ) % ( 4) % Se % resulta em lucro or trimestre de k milhões de $, então tem-se ara o ano todo um acréscimo no lucro de 45.k milhões de $. Conclusão Se 45.k - L > Se 45.k - L < Se 45.k L o lançamento deve ser feito. o lançamento não deve ser feito. indiferença 9) Decisão Ação Estado s Não fazer nada Custo Eserado devido rodução de itens com defeito Custo manutenção Custo de erda da rodução Custo total or semana,,,,.,,,.,.,,,., Manutenção,.,., 4., Substituir, 4.,., 6.,, 4.,., 6.,, 4.,., 6., Notas de Aula - Fernando Nogueira 8

39 Notas de Aula - Fernando Nogueira 9 olítica Descrição Verbal d (R) d (R) d (R) d (R) R a substituir no estado R b substituir no estado, manutenção no estado R c substituir no estado e R d substituir no estado, e R a Estado R b Estado R c Estado R d Estado Decisão Estado C jk (em milhares de $)

40 olítica R a R b R c R d robabilidades de Estado-Estável (,, ), 7, 5,, 7,,, E[C] (em milhares de $) 5 [ ( ) + 7( ) + ( ) + ( 6) ] $.9, [ ( ) + 5 ( ) + ( 4 ) + ( 6 ) ] $.667, 7,,, [ ( ) + 7 ( ) + ( 6 ) + ( 6 ) ] $.77,, 7 6,, [ 6( ) + 4( 6) + ( 6) + ( 6) ] $., Com isso, a olítica ótima é R b que é: substituir no estado, manutenção no estado. ) Minimize Sujeito a : Z.y + 6.y +.y + 4.y + 6.y + 6.y y y y y y y ik + y + y + y + y ( y + y + y ) + y + y 7 + y y + y + y y + y y + y + y 6 8 y + y + y 6 8 Notas de Aula - Fernando Nogueira 4