3. CADEIA DE MARKOV EM TEMPO DISCRETO

Transcrição

1 3. CADEIA DE MARKOV EM TEMPO DISCRETO 3. Definição Uma Cadeia de Markov em Tempo Discreto é um processo estocástico em que a variável t representa intervalos de tempo, { }e que segue a propriedade de Markov, ou seja, a probabilidade de estar no estado j no próximo período depende apenas do estado presente. { } { } (3.) Consideraremos Cadeia de Markov os processos estocásticos com as características: ) O espaço de estados x é contável (estado discreto). 2) As probabilidades de transição entre estados são constantes no tempo (cadeia de Markov estacionária) { } { } (3.2) 2.. Representação Uma Cadeia de Markov em tempo discreto é definida no caso de estado em que e as probabilidades de transição entre os estados * + em um período. Existem duas formas de representação: graficamente, através do diagrama de transições, ou através da matriz quadrada P, ou matriz de transição, que contém as probabilidades de transição em um período. Em um diagrama de transição cada estado é representado por um vértice, e cada arco orientado ligando dois vértices representa uma transição possível entre dois estados em um período, a qual tem uma certa probabilidade de ocorrência (o coeficiente associado ao arco). Na matriz P, cada linha i representa o estado atual e cada coluna j representa o estado futuro (a ordem dos estados atuais deve ser igual â dos estados futuros, respectivamente, nas linhas e nas colunas de P). Deste modo, o elemento da matriz representa a probabilidade de ocorrência da transição do estado i para o estado j em um período. A matriz P estocástica, pois sendo os seus elementos probabilidades, e contendo cada linha ima distribuição de probabilidade. A probabilidade condicional (3.) é chamada probabilidade de transição. Vamos restringir o nosso estudo às cadeias de Markov homogênes, istoé, cadeias nas quais (3.) não depende do tempo n (3.2). Logo, é a probabilidade de passar em qualquer instante do estado i ao estado j. É comum arranjar as probabilidades de transição numa matriz de transição. Se E é finito, por exemplo * +, então: transições do estado 0 aos estados 0,,...,N

2 [ ] Definição A matriz é uma matriz estocástica se ( i ) para todo i,j ϵ E ( ii ) para todo i ϵ E (somatório de cada linha da matriz é igual a um) Exemplo 4: Na Escócia, ainda hoje, existem duas famílias integrantes da família real europeia, fabricantes dos melhores Whisky, a família de Windsor( Shivas Regal ) e Bourbon. As duas famílias primam pela qualidade da água utilizada na produção do seu whisky, mesmo sendo a pureza da água encontrada na Escócia o que determina o auto nível de qualidade do whisky escocês. A família Bourbon capta a água nas límpidas corredeiras que descem do degelo dos alpes escoceses, fazendo do seu whisky o mais apreciado no mundo. O que garante os Bourbons 90% de probabilidade de uma pessoa que compre o seu whisky comprá-lo novamente em uma segunda compra. Já a família de Windsor utiliza a água de uma nascente em sua propriedade, o que influencia uma pessoa que tenha comprado seu whisky uma probabilidade de 80% de que o próximo whisky continue sendo o Windsor. Com base nestes dados, pretende-se construir uma cadeia de Markov que represente a situação descrita. Se representa o tipo de whisky comprado por uma pessoa na sua t-ésima compra, então a cadeia de Markov limita-se a assumir um dos dois valores seguinte B (último whisky comprado foi o Bourbon) ou W (último whisky comprado foi o de Windsor), O espaço de estado será, deste modo X = { B,W }. A cadeia de Markov será escrita pela seguinte matriz (estocástica) de transição: [ ] Outra forma de representar a cadeia é através do grafos de transição: 0,90 B 0,0 W 0,80 0,20 OBS.: As setas entre os estados correspondem às transições, e o grafo é chamado de topologia da cadeia Probabilidades de Transição O conhecimento das probabilidade de transição entre os estados é de grande importância nas cadeias de Markov. Conforme foi referido anteriormente, as probabilidades de transição em um período fazem parte da definição da cadeia de Markov. É igualmente importante conhecer as probabilidades de transição em n períodos ou passos. Define-se a probabilidade de transição em n passos como: 2

3 { } { } Uma das formas de obter o valor de é calcular as probabilidades de cada um dos caminhos que, partindo do estado i, conduzem ao estado j em n passos, e somá-las. Apesar da aparente simplicidade deste método, à medida que n aumenta também aumenta a possibilidade de esquecimento de caminhos alternativos e o cálculo da probabilidade torna-se mais complexo. Alternativamente pode-se calcular o elemento (i j) da matriz P n, com mais eficiência. Para demonstrar a equivalência dos dois métodos, retornaremos o exemplo anterior. Suponhamos que se pretende conhecer a probabilidade de a terceira compra futura de uma pessoa ser whisky de Windsor, sabendo que no momento presente, comprou o Bourbon, ou seja Uma hipótese seria calcular as propriedades de todas as sequências de compras, de forma que a transição BW ocorra em três aquisições ou passos. Assim, verifica-se que só há quatro sequências diferentes de transições em três passos tais que, partindo do estado B, se acaba no estado W: ) B W W W 2) B B W W 3) B B B W 4) B W B W Relembrando que, se A e B forem independentes, P{A e B}= P{A} x P{B}, podemos então calcular a probabilidade de cada sequência:. ) P {B W e W W e W W} = 0, x 0,8 x 0,8 = 0,064 2) P {B B e B W e W W} = 0,9 x 0, x 0,8 = 0,072 3) P {B B e B B e B W} = 0,9 x 0,9 x0, = 0,08 4) P {B W e W B e B W} = 0, x 0,2 x 0, = 0,002 Do mesmo modo, P{A ou B} = P{A} + P{B}, pelo que Houve aqui a aplicação das equações de Chaman-Kolmogorov: Assumindo q= e m=2 aquisições. * + * + * + * +???? Este resultado pode ser obtido de outra forma, elemento da linha que corresponde ao estado B (estado atual) e da coluna que corresponde ao estado W (estado futuro) da matriz P 3, é exatamente 0,29, como se poderá ver seguidamente. [ ] Na verdade, a forma usada para calcular o valor anterior (somar a probabilidades de caminhos alternativos) corresponde exatamente a operação de multiplicação de matrizes que nos conduz a P3, tendo correspondência direta às equações de Chapman-Kolmogorov. 3

4 É importante referir que se P for matriz estocástica, então qualquer potência de P também é, pois [ ], sendo e 2.3. Classificação dos Estados Um caminho do estado i para o estado j é uma sequência de transição com probabilidades de ocorrência positivas que ligam os dois estados (do exemplo anterior: (B W B W). Não existe qualquer limite ao número de transições nem há obrigação de a sequência ser a mais curta entre os dois estados. Definição 2.??? Dizemos que i ϵ E e escrevemos i j se comunicam-se, o escrevemos i j se somente se i j e j i. para algum n. Dizemos que i e j Verificamos a transitividade. Suponhamos i j e j k. Ou seja Ǝ q e m tais que e Esta relação de equivalência divide o espaço de estados em classes de equivalência. Então o estado j é atingido a partir do estado i se e somente se houver pelo menos um caminho de i para j. Dois estados i e j se comunicam se somente se existir uma transitividade entre i e j. Sair de i para j ou sair de j para i. Definição Uma Cadeia é chamada de irredutível, se tem só uma classe de equivalência. Definimos também, Onde µ i indica o número médio de etapas necessárias para retornar ao estado inicial i. µ i é chamado tempo médio de recorrência. Dizemos que uma Cadeia de Markov é irredutível se e somente se qualquer estado j for atingido a partir de estados i. Isto é se todos os estados se comunicarem. Definição: Um estado recorrente é chamado recorrente nulo (recorrente positivo) se ( ). Teorema: Um estado i ϵ E é recorrente ou transitório de acordo com que Um estado é recorrente ou transitório se existir um estado k que seja atingido pelo estado j, mas sendo j atingido a partir de k. Em outras palavras se j for recorrente ou transitório não há a garantia de que saindo do estado j volte ao estado j. Um estado j é chamado de recorrente se não for transitório, isto é se for sempre possível retornar a j. No próximo exemplo os estados 0 e são transitórios, enquanto os estados 2 e 3 são recorrentes 4

5 0 0, ,40 Definição Um estado j ϵ E é chamado absorvente se. Um estado é chamado absorvente se houver uma finalização de transição. Em que em um estado existe o processo de chegadas e não tem nenhuma saídas. 0 0,30 2 0,40 0,70 0,60 Um estado recorrente j diz-se periódico com período k > se k for o menor inteiro tal que todos as trajetórias de j para j tiverem um comportamento múltiplo de k ( ou seja, ké o máximo divisor comum dos comprimentos de todos os caminhos do estado j para o estado j). No exemplo seguinte os estados 0 e têm período k = 2. 0, ,30 Um estado recorrente diz-se aperiódico de k =. Uma cadeia de Markov diz-se ergódica se todos os estados forem recorrentes, aperiódicos e se comunicam. A cadeia seguinte é argódica. 0 0,25 0, Probabilidade Estacionárias Em uma Cadeia de Markov irredutível e ergódica decorrido um número muito elevado de períodos de tempo, a probabilidade de o processo estar no estado j é constante e independente do estado inicial i, como se pode observar através da matriz P 6, que contém as probabilidade de transição dos dezesseis períodos: [ ] A probabilidade chama-se probabilidade estacionária do estado j e representado por. Em outras palavras, 5

6 Tendo esta característica presente, e como (pelas equações de Chapman-Kolmogorov) como o produto pode ser escrito [linha i x P n ] x [coluna j de P], então para n muito grande, podemos escrever, -, sendo π o vetor linha, -. (π = πp) em que o número de equações é igual ao número de variáveis, sendo ambos iguais ao número de estados. No entanto este sistema é indeterminado, pois uma das equações é redundante; a indeterminação é resolvida acrescentando a equação que garante que a solução seja uma distribuição de probabilidades. Assim, para conhecer as probabilidades estacionárias resolve-se o sistema () (2) Subtraindo a ambos os membros das equações () do sistema elas podem ser reescrita da seguinte forma, Tendo a seguinte interpretação: [Probabilidade de uma transição saindo do estado j] = = [Probabilidade de uma transição para o estado j] Relembrando o exemplo do whisky, quais as probabilidades estacionárias? O que estes valores significam é que, depois de bastante tempo, cerca de dois terços das pessoas, em média, comprarão o whisky da família Bourbon enquanto que só um terço delas irá comprar o whisky da família Windsor. Deste modo as probabilidades estacionárias podem ser usadas como indicadores das quotas de mercado de cada marca e úteis no processo de tomada de decisão. Conhecendo a sua fatia de mercado, a família Windsor poderá aumentar o grau de fidelização dos seus clientes, aumentando a sua participação mercadológica, servindo o modelo estudado para quantificar estes aumentos Tempos de Transição O tempo (medido em números de períodos) que decorre até que o processo, partindo do estado i, atingir o estado j pela primeira vez, é chamado tempo de transição. Se o estado final coincidir com o estado inicial ( j = j ), este tempo é chamado de tempo de recorrência para o estado j. O tempo de transição do estado i para o estado j é representado por. Trata-se de uma variável aleatória, uma vez que assumirá diferentes valores. Conhecer a distribuição de probabilidade das variáveis não é fácil. Porém é possível conhecer o valor esperado ( [ ] ), tempo esperado de transição. Para calcular o tempo esperado da transição de i para j, para qualquer que seja a cadeia de Markov, é feita em um período com probabilidade, e em todos os outros casos ( k j ) o número esperado de períodos será igual a com probabilidade. O que leva à 6

7 , A qual depois de simplificada origem ao seguinte sistema de equações lineares: Voltamos novamente ao exemplo do whisky: No caso dos tempos médios de recorrência verifica-se que. No exemplo considerado, significa que uma pessoa que compre o Bourbon demora, em média, 0 períodos até passar a comprar o whisky da família Windsor. 7