Classificação de estados em uma cadeia de Markov. Professora Eliana Carvalho

Transcrição

1 Classificação de estados em uma cadeia de Markov Professora Eliana Carvalho

2 Classificação de estados em uma cadeia de Markov Os estados de uma cadeia de Markov podem ser classificados com base na probabilidade de transição P ij de P. 1) Um estado j é absorvente se retornar para ele mesmo, com certeza em uma transição de P ij = 1.

3 Classificação de estados em uma cadeia de Markov 2) Um estado j é transiente ou transitório se puder alcançar outro estado mas não puder voltar ao mesmo estado em que estava com base em outro estado. Isso acontecerá se lim n P ij n = 0 para todo i. 3) Um estado j é recorrente se a probabilidade de voltar ao estado em que estava com base em outros estado é 1, se e somente se o estado não for transiente. 0 e 1 são transientes enquanto os estados 2 e 3 são recorrentes

4 Classificação de estados em uma cadeia de Markov 4) Um estado j é periódico com períodos t > 1 se um retorno só for possível em t, 2t, 3t, etapas. Isso significa que sempre que n não for divisível por t. 0, ,30 1

5 Classificação de estados em uma cadeia de Markov 4) Um estado periódico exemplo: P = 0 0,6 0, ,6 0,4 0 P 2 = 0,24 0, ,76 0,24 P 3 = 0 0,904 0, ,144 0,856 0 P 2 = 0,0576 0, ,9424 0,0576 P 5 = 0 0, , , ,

6 Classificação de estados em uma cadeia de Markov P = ,3 0,4 0 0,7 0,6 Estados 1 e 2 são transientes Estados 3 e 4 juntos desempenham o papel de absorventes conjunto fechado (se comunicam ou são comunicantes)

7 Cadeia Ergótica Uma cadeia de Markov fechada é Ergótica se todos os seus estados forem recorrente e aperiódicos. 1 0, ,75

8 Estados absorvente e transientes Exemplo do agricultor, sem fertilizantes P = 0,2 0,5 0,3 0 0,5 0, Os estados 1 e 2 são transientes porque alcançam o estado 3 mas não podem voltar ao estado anterior. O estado 3 é absorvente porque P 33 = 1. lim n P ij n = 0 P 100 =

9 Cadeia irredutível Cadeia é chamada de irredutível, se tem só uma classe de equivalência. Definimos também μ i = n n=1 nf ii, Onde µ i indica o número médio de etapas necessárias para retornar ao estado inicial i. µ i é chamado tempo médio de recorrência.

10 Probabilidades Estacionárias Em uma Cadeia de Markov irredutível e Ergódica decorrido um número muito elevado de períodos de tempo n, a probabilidade de o processo estar no estado j é constante e independente do estado inicial i P 16 = B W B W 0,6677 0,3323 0,6644 0,3356 A probabilidade chama-se probabilidade estacionária do estado j e representado por π i. (pelas equações de Chapman-Kolmogorov) P n+1 ij pode ser escrito como o produto [linha i x P n ] x [coluna j de P], então para n muito grande, podemos escrever π j = π coluna j de P, sendo π o vetor linha [π 1, π 2, π 3,, π s ].

11 Probabilidades Estacionárias Probabilidade de estado no equilíbrio, ou Probabilidade do Estado Estável, ou Propriedade duradouras da cadeia de Markov, e Tempos médios de retorno de Cadeias Ergótica: [Probabilidade de uma transição saindo do estado j] = = [Probabilidade de uma transição para o estado j] O que significa que a longo prazo a permanência em cada estado é dada pelo vetor π, independentemente do estado inicial.

12 Probabilidades Estacionárias sistema de equações (π = πp) número de equações é igual ao número de variáveis, sistema é indeterminado, equações é redundante; π j = i π j p ij (1) j π j = 1 (2) π B π W = π B π W 0,90 0,10 0,20 0,80 no exemplo do whisky, quais as probabilidades estacionárias? π B = 0,90π B + 0,20π W π W = 0,10π B + 0,80π W π B + π W = 1 π B = 0,6666 π W = 0,3333

13 Tempo médio de retorno ou Tempo médio de recorrência Duas medidas quantitativas de interesse para cadeias de Markov Ergódicas são: Número médio de passos para retornar a um determinado estado; Número médio de passos para ir de um estado para outro.

14 Tempo médio de retorno ou Tempo médio de recorrência valor esperado E t ij = μ ij tempo esperado de transição. o número esperado de períodos será igual a μ ij = 1 + k j p ik x μ kj No exemplo do whisky P = 0,90 0,10 0,20 0,80 μ BB = 1 + 0,10μ WB μ BB = 1,5 μ BW = 1 + 0,90μ BW μ BW = 10 μ WB = 1 + 0,80μ WB μ WB = 5 μ WW = 1 + 0,20μ BW μ WW = 3 períodos

15 Tempo médio de retorno ou tempo médio de recorrência μ ij = 1 π j j = 1,2,, n no exemplo do whisky, quais as probabilidades estacionárias? π B = 0,6666 π W = 0,3333 μ BB = 1 0,6666 μ WW = 1 0,3333 μ BB = 1,5 μ WW = 3

16 Exemplo do agricultor π 1 π 2 π 3 = π 1 π 2 π 3 0,1 0,6 0,3 0,3 0,6 0,1 0,05 0,4 0,55 π 1 = 0,3π 1 + 0,1π 2 + 0,05π 3 π 2 = 0,6π 1 + 0,6π 2 + 0,4π 3 π 3 = 0,1π 1 + 0,3π 2 + 0,55π 3 π 1 + π 2 + π 3 = 1 π 1 = 0, 1017, π 2 = 0, 5254 e π 3 = 0, 3729 No longo prazo, a condição do solo será boa aproximadamente 10% das vezes, razoável 52% das vezes e ruim 37% das vezes.

17 Exemplo do agricultor π 1 π 2 π 3 = π 1 π 2 π 3 0,1 0,6 0,3 0,3 0,6 0,1 0,05 0,4 0,55 π 1 = 0, 1017, π 2 = 0, 5254 e π 3 = 0, 3729 Os tempos médio do primeiro retorno são calculados por: μ 11 = 1 0,1017 = 9, 83 μ 22 = 1 0,5254 = 1, 9 e μ 33 = 1 0,3729 = 2, 68 Isso significa que dependendo do estado atual do solo, levará aproximadamente 10 estações de plantio para o solo voltar ao estado bom, 2 estações para voltar ao estado razoável e 3 estações para voltar ao estado ruim.

18 Considerando o problema do agricultor. Suponha que o custo do fertilizante seja R$ 50,00 por saco e que o terreno precise de dois sacos se o solo estiver bom. A quantidade de fertilizante é 25% maior se o solo estiver razoável e 60% maior se o solo estiver ruim. O agricultor estima que o rendimento anual será R$ 250,00 se não for utilizado fertilizantes e R$ 420,00 se ele for aplicado. Vale a pena usar fertilizante? Custo anual esperado do fertilizante = 2 x 50 x π 1 + (1,25 x 2) x 50 x π 2 + (1,60 x 2) x 50 x π 3 = 100 x 0, x x 0,3729 = R$ 135,51 Aumento no valor anual do rendimento = = 170 A média, a utilização de fertilizante dá um rendimento líquido de ,51 = 34,49 Portanto a fertilização é recomendada

19 Exemplo 7 (cadeia de montagem) Os produtos finais de uma cadeia de montagem, após uma supervisão à que são submetidas, podem ser consideradas defeituosos ou não. Segue uma matriz estocástica de; P = 0,8 0,2 0,6 0,4 a) Calcular as probabilidade estacionarias das peças com defeito e sem defeito. b) Calcular os tempos médios de retornos de cada um dos estados.