MAE5709 - GABARITO DA LISTA - 04/0/06 Exercício.7.5. Primeira Parte Seja P uma matriz de transição sobre um espaço de estados finito S. Mostre que uma distribuição π é invariante para P se e somente se π(i P + A) = a, onde I é a matriz identidade, A = (a ij : i, j S), onde a ij = e a = (a i : i S) e a i =. Demonstração. A primeira coisa a notar é que soluções de π(i P + A) = a NÃO necessariamente são distribuições de probabilidade (mas o serão se P for irredutível). Como contra-exemplo, considere: P = ( 0 0 ) π = ( ) Nessas condições π não é um vetor de probabilidades e vale que π(i P +A) = a. Primeiro vamos mostrar que se π é uma probabilidade invariante, então π(i P + A) = a. Como π é um vetor de probabilidades, então πa = a (a soma de suas entradas tem que dar ), e como ele é invariante, π = πp. Assim: π(i P + A) = πi πp + πa = π π + a = a. Agora suponha que π é um vetor de probabilidade e que π(i P + A) = a. Vamos mostrar que π é invariante para P. Como π é um vetor de probabilidades, = a, de onde deduzimos que: π πp + πa = a π πp + a = a π = πp, de onde concluímos que π é invariante para P.
. Segunda parte Deduza que se P é uma matriz irredutível, então I P + A é inversível. Demonstração. Seja π o único vetor de probabilidades invariante para P e seja x um vetor que é solução de x(i P + A) = a, vamos mostrar que x = π. Depois de demostrado esse fato, seguirá que π é a única solução do sistema de equações x(i P + A) = a, de onde seguirá que I P + A é inversível. Fixe um i S. Pela equação dada, temos que: x i x k p ki + x k =, portanto : ( x i x k p ki + ) x k = S i S S x k = S x k = Assim vale que xa = a, e portanto, como x(i P + A) = a, também vale que x = xp. Note que ainda não afirmamos que todas as entradas são não negativas. Seja m x = min i S x i e m π = min i S π i. Como P é irredutível, então m π > 0. Tome α > mx m π, daí teremos que απ +x será um vetor com todas as entradas positivas. Ao normalizar esse vetor obtemos constantes β e γ, ambas diferentes de zero tais que βπ +γx é um vetor de probabilidades. Denotemos µ = βπ +γx. Note que µp = (βπ + γx)p = βπp + γxp = βπ + γx = µ. Assim µ é um vetor de probabilidades invariante. Como P é irredutível, existe apenas uma distribuição de probabilidades invariante. Assim µ = π. Portanto: βπ + γx = π (β )π + γx = 0 x = β π, γ Assim x é um múltiplo de π. Como a soma das coordenadas de ambos vale, segue que x = π. Exercício.8.4 A cada manhã, um estudante pega um de seus 3 livros da estante. A probabilidade de que ele escolha o livro i é 0 < α i <, com i =,, 3, e a cada dia essa escolha é feita de maneira independente das demais.
Ao final do dia ele devolve o livro retirado, colocando-o sempre à esquerda dos demais livros. Denote por p n a probabilidade de que depois de n dias nós encontremos na prateleira os livros na ordem,, 3, da esquerda para a direita. Mostre que p n converge quando n e calcule o limite. Resolução. Considere (X n ) n N uma cadeia de markov, onde o espaço de estados são as permutações de (,, 3), que representam as posições dos livros na estante, da esquerda para a direita, com matriz de transição como a descrita no enunciado. Tome (a, b, c) uma permutação de (,, 3). Se retirarmos o livro c no primeiro dia, o livro b no segundo e o a no terceiro, a estante ficará na posição (a, b, c), independente da posição inicial de cada livro. Assim de qualquer estado eu consigo alcançar qualquer estado com probabilidade positiva, assim a cadeia é irredutível. Como o espaço de estados é finito, ela também é recorrente positiva, assim ela tem uma medida invariante. Note ainda que se estamos num estado (a, b, c), então nós continuamos no mesmo estado com probabilidade α a. Assim a cadeia é aperiódica. Portanto pelo teorema.8.3 do livro do Norris, P (X n = ) converge para π( ), onde π é a única medida invariante do processo. Fazendo contas é possível mostrar que a medida invariante é: Portanto p n converge à: α b α b π(a, b, c) = α a = α a α b + α c α a π(,, 3) = α α α + α 3 = α α α 3 Exercício.8.5 Sejam Y, Y,... variáveis i.i.d, com média finita, que assumem valores em {,,...}. Suponha ainda que o conjunto dos inteiros {n : P (Y = n) > 0} tem maior divisor comum. Considere µ = E(Y ) Mostre que o processo: X n = inf {m n : m = Y +... + Y k para algum k 0} n é uma cadeia de Markov. Calcule: Mostre que: lim P (X n = 0) n lim n P (n = Y +... + Y k para algum k 0) = µ 3
Resolução. Seja M := inf{n N : P (Y >= n) = 0}, com a convenção de que inf =. O espaço de estados será o conjunto S = {n N : n < M}. Mostrar que (X n ) é uma cadeia de Markov pode ser feito calculando explicitamente P (X n+ = x n X 0 = x 0,... X n = x n ) e mostrar que essa quantidade não depende de x 0,..., x n. Note que um estado i alcança o estado 0 em exatamente i passos com probabilidade. Agora vamos mostrar que, saindo do 0, temos uma probabilidade positiva de alcançar um estado i. Fixe um j i tal que P (Y = j) > 0. Tal j existe pela nossa contrução do espaço de estados. Assim p (j i+) (0, i) P (Y = j) > 0. Como do 0 eu posso alcançar qualquer estado, e de qualquer estado eu posso alcançar o 0, a cadeia é irredutível. Note que E(T 0 0 ) = E(Y ) = µ. Assim o 0 é um estado recorrente positivo. Como a cadeia é irredutível, todos os estados são recorrentes positivos. Assim existe uma probabilidade invariante π, e ela satisfaz, usando o lema de Kǎc, π(0) = E(T 0 0 ) = µ. Ainda temos que {n N : p (n) (0, 0) > 0} = {n N : P (Y = n) > 0}, esse conjunto tem m.d.c. igual a. Portanto o estado 0 é aperiódico. Como a cadeia é irredutível, então todos os estados são aperiódicos. Como estamos com uma cadeia irredutível aperiódica, que tem uma distribuição invariante π, então podemos calcular: Agora note que o evento lim n P (X n = 0) = π(0) = µ {n = Y +... + Y k } = {inf{m n : m = Y +... + Y k } = n} = {inf{m n : m = Y +... + Y k } n = 0}. Dessa maneira e portanto: {n = Y +... + Y k para algum k 0} = {X n = 0}, lim P (n = Y +... + Y k para algum k 0) = n µ. 4 Exercício.9. Duas partículas, X e Y, realizam passeios aleatórios no grafo do diagrama do livro. Estando em um vértice do grafo, uma partícula escolhe o próximo vértice com igual probabilidade entre os vizinhos. Encontre a probabilidade de que X e Y eventualmente se encontrem nos seguintes casos: 4
. X inicia em A e Y em B. Resolução. Elas nunca se encontram. As cadeias são periódicas, de período, e A e B são vizinhos.. X inicia em A e Y em E. Resolução. Elas se encontram com probabilidade. Se considerarmos (X, Y ) como uma única cadeia de Markov, veremos que o estado (A, E) está na mesma classe fechada que todos os estados da forma (I, I). Assim, como essa classe é finita, todos os estados dela são recorrentes. Assim o tempo para alcançar qualquer estado, como por exemplo um estado da forma (I, I), será finito. Denote por M I o valor esperado do tempo para que, com as duas cadeias iniciando em I, ambas retornem à I ao mesmo tempo. Mostre que 9M D = 6M B. Resolução. Seja S o conjunto de vértices do grafo dado, que também é o espaço de estados das cadeias X e Y. Como já comentado, Z n = (X n, Y n ) é uma cadeia de markov em S, com probabilidade de transição dada por: q((a, b), (c, d)) = p(a, c)p(b, d), onde p(, ) denota a probabilidade de transição das cadeias X e Y. Tome C 0 e C a partição de S, conforme o teorema.8.4 de Norris aplicado para a cadeia (X n ) (ou (Y n )). Com a cadeia (Z n ), teremos classes de comunicação fechadas, que denotaremos por K 0 e K, onde: K 0 = (C 0 C 0 ) (C C ) K = (C 0 C ) (C C 0 ) Como o espaço de estados é finito, e não temos nenhuma classe de comunicação aberta, então todos os estados são recorrentes positivos. Não é difícil verificar que uma medida invariante de (Z n ) é dada por µ(a, b) = π(a)π(b). Onde π é a única probabilidade invariante das cadeias (X n ) e (Y n ). Como estamos realizando um passeio aleatório, teremos que π(a) = d(a) b d(b), onde d(i) é o número de vizinhos do vértice I no grafo. Usando o Lema de Kǎc, teremos que, para I S: M I = P µ(τ (I,I) < ). µ(i, I) 5
Como (I, I) K 0 I S, temos que P µ (τ (I,I) < ) = µ(a, b), (a,b) K 0 portanto P µ (τ (D,D) < ) = P µ (τ (B,B) < ). M D = P µ(τ (D,D) < ) µ(b, B) M B µ(d, D) P µ (τ (B,B) < ) µ(b, B) = µ(d, D) = π(b)π(b) π(d)π(d) = d(b)d(b) d(d)d(d) = 6 9 5 Exercício 0.4 Uma cantora de ópera vai atuar em uma longa série de concertos. Ela tem um temperamento complicado, e assim pode amarelar cada noite com probabilidade. Uma vez que isso aconteça ela não vai voltar a atuar até que o produtor a convença do contrário. Ele faz isso enviando um buque de flores para ela a cada dia que ela não queira atuar. Ele compra um buque por x mil libras, 0 x, e isso a convence a atuar com probabilidade x. O produtor pretende ter um lucro de 750 libras por concerto bem sucedido. Supondo que as decisões de cada dia sejam independentes, quanto ele deve gastar em flores? Resolução. Podemos representar o estado da cantora em um espaço de estados S = {0, }, onde 0 representa que ela não vai cantar naquela noite e que ela vai cantar. Se X n for o estado dela na n-ésima noite, então (X n ) será uma cadeia de Markov, com matriz de transição dada por: ( x x P = Vamos denotar por f : S R o lucro obtido em um dia, em milhares de libras, de acordo com o estado da cantora. Assim f(0) = x e f() = 0, 75. Suponha que vamos tentar realizar M + concertos, que denotamos por X 0,..., X M. Uma quantidade de interesse é o lucro total, dada por: L(M) := M f(x i ) i=0 Vamos primeiramente supor que x > 0. Nesse caso a cadeia é irredutível e recorrente positiva. Ainda nossa função f é limitada. Assim o teorema ergódico diz que L(M) M M+ f = i S π if(i), onde π é a única probabilidade invariante da nossa cadeia. ). 6
No caso x = 0, temos que lim M L(M) é quase certamente finito (assim que ela parar de cantar, nunca mais cantará). Assim se encontrarmos um valor de x onde f seja positivo, esse é preferível, já que nesse caso L(M) ficará cada vez maior quanto maior for o M (e estamos supondo que o M é bem grande). Podemos calcular: ( π = x+ x x+ f = 0, 75 x x + x x + ) Assim uma estratégia possível é maximizar f, o que acontece quando x = 0, 5. Assim devemos gastar 50 libras. 7