Colectânea de Exercícios. Capítulo 4 Cadeias de Markov em Tempo Discreto

Transcrição

1 Licenciatura em Matemática Aplicada e Computação PROCESSOS ESTOCÁSTICOS 2002/03 Colectânea de Exercícios Capítulo 4 Cadeias de Markov em Tempo Discreto Exercício 41 Considere a cadeia de Markov {X n, n 0} com espaço de estados {0, 1, 2} e matriz de probabilidades de transição P = Calcule P (X 8 = 2 X 0 = 0) e P (X 4 = 2, X 8 = 2 X 0 = 0) Exercício 42 O Evaristo pode encontrar-se num de três estados de espírito: 1- radiante; 2- assim-assim; 3-macambúzio Caso hoje esteja radiante, o seu estado amanhã será 1, 2 ou 3 com probabilidades 05, 04 e 01, respectivamente Se num dia estiver assim-assim, no dia seguinte estará radiante, assim-assim ou macambúzio com probabilidades 03, 04 e 03 Por fim, caso hoje esteja macambúzio, amanhã encontrar-se-á nos estados 1, 2 ou 3 com probabilidades 02, 03 e 05 (a) Considerando que X n representa o estado de espírito do Evaristo no dia n, identifique a matriz de probabilidades de transição da cadeia de Markov {X n, n 0} (b) Obtenha a probabilidade do Evaristo se encontrar radiante dois dias após ter estado macambúzio (c) Qual é a probabilidade do Evaristo não estar radiante daqui a 4 dias, sabendo que hoje se encontra assim-assim? Exercício 43 Especifique as classes comunicantes das cadeias de Markov com as seguintes matrizes de probabilidades de transição e determine se as mesmas são transientes ou recorrentes: P 1 = P 2 = P 3 = P 4 =

2 P 5 = P 6 = P 7 = Exercício 44 Considere uma cadeia de Markov {X n, n 0} genérica com espaço de estados S e matriz de probabilidades de transição P e seja, para k IN, com P i () = P ( X 0 = i) f (k) ij = P i (X 1 j, X 2 j,, X k 1 j, X k = j), i, j S (a) Mostre que a recorrência positiva e a recorrência nula são propriedades de classe (b) Prove que se S é finito, então {X n, n 0} não possui estados recorrentes nulos e nem todos os estados são transientes (c) Mostre que se #S = M (< ) e o estado j pode ser alcançado a partir do estado i, então j pode ser alcançado a partir de i em M passos ou menos (d) Conclua que p (n) ij = n k=1 f (k) ij p (n k) jj, n IN (e) Use resultado anterior para concluir que se f ii < 1 e f jj < 1, então: n=1 p (n) ij < e f ij = n=1 p(n) ij 1 + n=1 p(n) jj (f) Justifique que se p ii > 0, então o tempo que decorre até à saída do estado i η i = (inf {n 1 : X n i} X 0 = i) possui distribuição gemétrica e identifique o respectivo parâmetro Exercício 45 A Polícia da cidade-natal do Evaristo identificou seis estados associados aos hábitos televisivos dos seus habitantes: 1 habitante que se recusa a ver TV; 2 vê somente a SIQUE; 3 vê TV com alguma frequência; 4 habitante viciado em TV; 5 habitante sofrendo modificações comportamentais; 6 habitante em coma profundo As transições de um estado para outro podem ser modeladas por uma cadeia de Markov com a seguinte matriz de probabilidades de transição: P / /3 1/

3 (a) Identifique os estados transientes e recorrentes (b) Partindo do estado 2, obtenha uma expressão para a probabilidade de se atingir o estado 6 antes de atingir o estado 1; ie, a probabilidade de um telespectador da SIQUE vir a entrar em estado de coma Exercício 46 Seja X 0 uma variável aleatória assumindo valores inteiros e {Z n, n 1} uma sucessão de variáveis aleatórias independentes e identicamente distribuídas a Z, com P (Z = 1) = p = 1 P (Z = 1) = q, 0 < p < 1 A cadeia de Markov {X n, n 0} definida por: n X n = X 0 + Z k, n 0, k=1 é passeio aleatório simples de parâmetro p com posição inicial X 0 (a) Identifique o espaço de estados do passeio aleatório simples e classifique, em termos de recorrência, os estados (b) Seja R n o número de retornos à origem ocorridos até ao instante n: n R n = 1 {Xk =0}, n 1 k=1 Conclua que se p = 1/2 então E [R 2n ] = 2n n ( ) 2n 1 n e que E (R n ) é assintoticamente proporcional a n Sugestão: Use a aproximação de Stirling (n! 2π e n n n+1/2, quando n ) Assumindo que X 0 assume um valor fixo no conjunto {0, 1,, K}, considere a variável aleatória N definida por: N = inf{n 0 : X n = 0 X n = K} e o processo estocástico {Y n, n 0} definido por X n Y n = X N n N n > N Para efeitos de interpretação considere-se que Z n é o ganho do jogador A (ao jogador B) na n-ésima partida de um jogo que termina assim que um dos jogadores arruina o outro A variável aleatória N representa então a duração do jogo na situação em que as fortunas iniciais dos jogadores A e B são respectivamente X 0 e K X 0, K é a soma das fortunas dos jogadores A e B (fortuna total) e Y n é a fortuna do jogador A após n jogadas (eventuais) (c) Justifique que {Y n, n 0} é uma cadeia de Markov e obtenha a respectiva matriz de probabilidades de transição P 3

4 (d) Conclua que P (N < Y 0 = i) = 1, para i = 0, 1,, K Seja ρ = q/p e τ i a probabilidade de ruína do jogador A condicional à sua fortuna inicial ser i: τ i = P (Y N = 0 Y 0 = i), i = 0, 1,, K (e) Justifique que τ 0 = 1, τ K = 0 e τ i+1 τ i = ρ (τ i τ i 1 ), 1 i K 1 (f) Use o resultado da alínea anterior para concluir que τ i = ρi ρ K 1 ρ K, 0 i K (g) Conclua que, para i = 1, 2,, K 1, p ( 1 ρ i+1) / ( 1 ρ i) p 1 2 P (Y 1 = i + 1 Y 0 = i, Y N = K) = (i + 1)/(2i) p = 1 2 Exercício 47 Considere uma cadeia de Markov {Y n, n 0} com espaço de estados IN 0 e matriz de probabilidades de transição q 1 0 p P = 0 q 2 0 p q 3 0 p 3 0 com 0 < p i < 1 e q i = 1 p i, para i IN, e defina-se N = inf{n 0 : Y n = 0} Se p i p e usando a mesma interpretação que no Exercício 46, o estado 0 pode ser interpretado como o estado de ruína de um jogador que defronta um oponente infinitamente rico e N como o instante em que o jogador atinge o estado de ruína (a) Assumindo p i p, conclua que, para i IN 0, 1 p 1/2 P (N < Y 0 = i) = ρ i p > 1/2 com ρ = (1 p)/p (b) Conclua que, para i IN, p ( 1 ρ i+1) / ( 1 ρ i) p 1 2 P (Y 1 = i + 1 Y 0 = i, N < ) = (i + 1)/(2i) p = 1 2 4

5 (c) Como se relacionam os resultados das alíneas (b) e (c) com os resultados obtidos nas alíneas (f) e (g) do Exercício 46? Exercício 48 Dois medicamentos foram desenvolvidos para tratar determinada doença probabilidade do medicamento i curar um paciente é p i, i = 1, 2, sendo as duas probabilidades de cura desconhecidas mas pertencentes ao intervalo (0, 1) Com o fim de indicar qual é o medicamento que deve ser administrado futuramente no tratamento da referida doença, é importante decidir se p 1 p 2 ou, pelo contrário, p 2 > p 1 Com este objectivo em mente, estuda-se o efeito da administração dos medicamentos 1 e 2 numa série de pacientes com escolha do medicamento a administrar a cada paciente efectuada ao acaso Os resultados dessa experiência são sintetizados em variáveis X i (Y i ) que assumem valor: 1, se o i-ésimo paciente a que é administrado o medicamento 1 (2) fica curado, e 0, no caso contrário A experiência é terminada assim que haja uma diferença do número de curas obtidas usando os dois medicamentos de valor igual a M, com M IN fixo, para igual número de pacientes tratados por cada um dos medicamentos, e decide-se que: p 1 p 2 p 2 > p 1 N i=1 (X i Y i ) = M N i=1 (X i Y i ) = M com 2N sendo o número total de pacientes cujas reacções aos medicamentos 1 ou 2 são usadas para a tomada de decisão: { } n N = inf n 1 : (X i Y i ) = M i=1 Considerando q i = 1 p i, i = 1, 2, e ρ = (p 1 q 2 )/(p 2 q 1 ), conclua (eg, relacionando este problema com o da ruína do jogador e usando a equação de Wald) que: (a) A probabilidade de cometer um erro de decisão é igual a 1/(1 + ρ M ) (a) Se p 1 > p 2, o número esperado de pares observados até a tomada de decisão é E(N) = M ρ M 1 (p 1 p 2 ) (ρ M + 1) Exercício 49 O Evaristo tem um restaurante onde, nas noites de 6 a A feira, se realiza um espectáculo em que participam somente artistas amadores As apresentações são classificadas pela clientela extremamente exigente desse mesmo restaurante numa escala de 1 a 5: a classificação 1 é atribuída a uma apresentação muito boa, enquanto que a classificação 5 é atribuída a qualquer espectáculo de tal modo atroz que pode desencadear distúrbios físicos violentos A probabilidade da actuação de um artista da classe 5 ser seguida por uma cena de pancadaria é igual a 03 Uma vez arrefecidos os ânimos retomam-se as apresentações - the show must go on Considere que a sucessão de estados nas noites de 6 a feira pode ser modelada por uma cadeia de Markov com 6 estados: o estado 6 representa uma cena de pancadaria e o estado i uma actuação de um artista da classe i, para 1 i 5; a respectiva matriz de probabilidades de 5

6 transição é P = Jogando sempre pelo seguro, o Evaristo inicia o espectáculo com um artista que ele sabe ser da classe 2 (a) Qual é a probabilidade de uma estrela - artista da classe 1 - ser descoberta antes de se iniciar uma cena de pancadaria? (b) Determine o número esperado de actuações que precedem a primeira cena de pancadaria da noite Exercício 410 O Evaristo possui um outro restaurante cujas finanças anuais podem encontrarse num dos seguintes estados: 1 - falência; 2 - quase-falência; 3 - solvência A matriz de probabilidades de transição associada à cadeia de Markov que modela o estado financeiro anual do referido restaurante é P = [ ] (a) Calcule, para n IN, o vector f (n) 13 f (n) 23 f (n) 33 Note-se que, para i = 1, 2, 3, f (n) i3 é a probabilidade de, tendo partido do estado i, o estado de solvência ser atingido (a partir do primeiro ano) pela primeira vez ao fim de n anos (b) Calcule o número esperado de anos que o Evaristo aguentará até à falência assumindo que se encontrava inicialmente no estado de solvência Exercício 411 As finanças anuais da Casa do Dámouro podem ser modeladas por uma cadeia de Markov com espaço de estados {0, 1, 2} (0 falência; 1 quase-falência; 2 solvência) com matriz de probabilidades de transição P = sendo que a transição que ocorre após ser atingido o estado de falência se deve à injecção de dinheiro que o Estado efectua na Casa do Dámouro (a) A cadeia de Markov descrita é irredutível? É aperiódica? (b) Determine o número esperado de anos que decorrem entre injecções de dinheiro pelo Estado (c) Calcule o número esperado de anos que decorrem até haver injecção de dinheiro pelo Estado partindo do estado de quase-falência 6

7 (d) Partindo do estado de solvência, calcule a probabilidade de não demorar mais de três anos a ocorrer a primeira injecção de dinheiro pelo Estado Exercício 412 Uma urna contém bolas azuis e/ou bolas brancas, num total de K bolas Em cada instante, uma bola escolhida ao acaso é retirada da urna Se a bola retirada for azul, é colocada novamente na urna; se for branca, é substituída por uma bola azul retirada de um saco com bolas azuis Seja X n o número de bola azuis na urna depois de a operação anterior ter sido efectuada n vezes, n 0, e µ n = E[X n ] Para 0 i, j K, defina-se: T ij = inf{n 0 : X n = j X 0 = i} (a) Derive a recursão: e conclua que: µ n+1 = (1 1/K) µ n + 1, n 0, µ n = K (1 1/K) n [K µ 0 ] (b) Justifique que, para 0 i < K, E[T i,i+1 ] = (1 i/k) 1 (c) Calcule, para 0 i < K, E[T i,k ] (d) Será que existe uma distribuição limite para X n? Em caso afirmativo, determine-a Exercício 413 O Evaristo Jr, o filho mais problemático do Evaristo, pode encontrar-se em 4 estados de espírito No estado 1 ele manifesta tendências suicidas, enquanto que no estado 4 procura ajuda psiquiátrica Os estados 2 e 3 correspondem a estados depressivos As mudanças de estado de espírito do Evaristo Jr são modeladas por uma cadeia de Markov com matriz de probabilidades de transição P = (a) Calcule as probabilidades do Evaristo Jr cometer suicídio partindo dos estados depressivos 2 e 3 (b) Calcule os números esperados de mudanças de estado de espírito, partindo dos estados depressivos 2 e 3, necessárias para que o Evaristo Jr procure ajuda psiquiátrica Exercício 414 O Evaristo tem uma pequena vinha numa região onde as condições atmosféricas diárias podem ser modeladas por uma cadeia de Markov com quatro estados (1 dia soalheiro; 2 dia fresco; 3 dia nublado; e 4 dia chuvoso) e com matriz de probabilidades de transição P =

8 O Evaristo sabe que as uvas ainda não estão prontas para a apanha: um pouco mais de sol tornálas-ia deliciosas, ao passo que um dia chuvoso arruiná-las-ia De forma a ajudá-lo a decidir se deverá ou não iniciar a vindima hoje e sabendo que o dia está nublado: (a) Calcule a probabilidade de a vinha vir a ter um dia soalheiro antes de um dia de chuva (b) Recorrendo eventualmente ao facto de = calcule o número esperado de dias que antecedem um dia chuvoso Exercício 415 Uma aranha caça uma mosca movendo-se do compartimento 1 para o compartimento 2, e vice-versa, de acordo com uma cadeia de Markov com matriz de probabilidades de transição A, enquanto que a mosca, sem se aperceber da presença da aranha, desloca-se de um compartimento para o outro de acordo com uma cadeia de Markov com matriz de probabilidades de transição M, sendo [ ] [ ] A = e M = A aranha apanha imediatamente a mosca desde que os dois insectos se encontrem no mesmo compartimento, terminando assim a caçada (a) Mostre que, ignorando o número do compartimento em que termina a caçada, o progresso da caçada pode ser descrito à custa de uma cadeia de Markov com três estados e obtenha a matriz de probabilidades de transição dessa mesma cadeia (b) Determine a probabilidade de a aranha e a mosca se encontrarem no instante n (assumindo, obviamente, que no instante 0 a aranha e a mosca se encontram em compartimentos opostos) (c) Determine a duração esperada da caçada Exercício 416 Considere uma cadeia de Markov {X n, n 0} com espaço de estado IN 0 e matriz de probabilidades de transição P, sendo que o estado 0 é absorvente e os restantes transientes Seja N = inf{n 0 : X n = 0} e defina-se, para i, n IN 0, m i = E(N X 0 = i) e σ i (n) = P (N > n X 0 = i) (a) Mostre que os valores esperados do tempo que decorre até absorção partindo do estado i (m i ), i 1, satisfazem o seguinte sistema linear de equações: m i = 1 + p ij m j j=1 8

9 (b) Deduza, para n 0, uma fórmula que lhe permita obter σ i (n + 1), i 1, à custa de {σ j (n), j 1} Exercício 417 Considere um processo de ramificação {X n, n 0} em que o número de descendentes por indivíduo possui valor esperado µ (> 0), variância σ 2 (< ), função massa de probabilidade {p k, k 0} e função geradora de probabilidades P (s), 0 s 1 Para n IN 0, seja P n (s), 0 s 1, a função geradora de probabilidades do tamanho da população iniciada por um único indivíduo na n-ésima geração (X n X 0 = 1) e considerem-se a probabilidade de a população iniciada por um indivíduo estar extinta na n-ésima geração, π n = P (X n = 0 X 0 = 1) = P n (0), e a probabilidade de extinção da população iniciada por um indivíduo, π = P (inf{n 1 : X n = 0} < X 0 = 1) Assuma-se ainda que E[X 0 ] > 0 e Var[X 0 ] < (a) Mostre que, para n IN 0, E[X n ] = E[X 0 ] µ n e µ 1 E[X k ] = E[X 0 ]/(1 µ) µ < 1 k=0 Que consequência tem o resultado descrito em relação à probabilidade de extinção da população? (b) Mostre que, para n IN 0, Var[X n ] = µ 2n Var[X 0 ] + E[X 0 ] σ 2 µ n 1 µn 1 µ 1 µ 1 nσ 2 µ = 1 (c) Conclua que {π n, n 0} é uma sucessão não-decrescente de probabilidades e que π = lim n P n(0) = lim n π n (d) Conclua que as funções geradoras de probabilidades P n, n 0, satisfazem a recursão com P 0 (s) = s, 0 s 1 P n+1 (s) = P n (P (s)) = P (P n (s)), 0 s 1 (e) Baseando-se nos resultados das alíneas (c) e (d), conclua que π é a menor solução da equação no intervalo [0, 1] s = P (s) (f) Conclua que se p 0 + p 1 = 1, então: p 0 + p 1 s p 1 < 1 P (s) = s p 1 = 1 1 p 1 < 1 e π = 0 p 1 = 1 9

10 (g) Conclua que se p 0 + p 1 < 1, então P (s) é uma função contínua, estritamente crescente e estritamente convexa no intervalo [0, 1] e verifica: µ 1 lim s 1 P (s) 1 (h) A partir dos resultados das 3 alíneas anteriores, conclua que se p 1 1, então π < 1 µ > 1 (i) Calcule o valor de π nos casos em que: p 0 p 1 p 2 1/2 = 1/4, 1/4 1/4 1/12, 2/3 1/4 1/2 1/4 (j) Justifique que P (extinção da população) = P ( ) inf X n = 0 = E ( π X ) 0 n 0 Exercício 418 Seja {X n, n 0} um processo de ramificação em que o número de descendentes directos de um indivíduo possui distribuição Binomial (2, p) (a) Calcule a probabilidade de um indivíduo não possuir qualquer descendente ao fim de 3 gerações (b) Conclua que a probabilidade de extinção da população iniciada por um indivíduo é: 1 p 1 2 π = ( ) 2 1 p p p > 1 2 (c) Conclua que se X 0 Poisson (λ), então a probabilidade de extinção da população é: ( ) P inf X 1 p 1 n = 0 = ( ) 2 n 0 exp λ 2p 1 p > 1 p 2 2 Exercício 419 Uma corrente fraca de electrões pode ser amplificada por utilização de um aparelho constituído por diversas placas Ao embater numa placa, cada electrão dá origem a um número aleatório de outros electrões, que por sua vez, ao embaterem na próxima placa, geram outros electrões, e assim sucessivamente Suponha que o número de electrões a que cada electrão dá origem por embate tem distribuição Poisson (λ) (a) Determine o valor esperado e a variância da amplificação de um único electrão inicial na n-ésima placa (b) Determine uma expressão para a probabilidade de ocorrência de amplificação num número infinito de placas, supondo que λ =

11 Exercício 420 Considere uma cadeia de Markov com dois estados e cuja matriz de probabilidades de transição é, com 0 p 1: [ ] p 1 p P = 1 p p (a) Determine, em função do valor de p, as classes comunicantes da cadeia de Markov (b) Mostre por indução matemática que: [ 1 P n = 2 + (2p 1)n (2p 1)n (2p 1)n (2p 1)n 2 ] Suponha que o Sr Stressado tem dois caminhos, A e B, para ir de casa ao emprego, e vice-versa Sempre que demora mais de 30 minutos em fila usando um dos caminhos, o Sr Stressado utiliza o caminho contrário na viagem seguinte A probabilidade de o Sr Stressado demorar mais de 30 minutos em fila é em cada viagem, independentemente das restantes, 07 Suponha que na 1 a viagem o Sr Stressado utiliza o caminho A (c) Calcule a probabilidade de o Sr Stressado utilizar o caminho A na sua 3 a viagem (d) A longo-prazo, que fração de vezes utiliza o Sr Stressado o caminha A? Exercício 421 Admita que no país-natal do Evaristo a mobilidade entre as classes sociais baixa (1), média (2) e alta (3) de uma geração para outra é descrita por uma cadeia de Markov com matriz de probabilidades de transição P = Qual é a percentagem, a longo-prazo, de habitantes em cada uma das três classes sociais? Exercício 422 Uma matriz de probabilidades de transição P é duplamente estocástica se as somas por coluna são iguais a 1; ie p ij = 1, i (a) Conclua que se uma cadeia de Markov {X n, n 0} com espaço de estados finito, S, e matriz de probabilidades de transição duplamente estocástica é irredutível e aperiódica, então possui probabilidades limite j P j = lim n P (X n = j) = 1 #S, j S (b) Seja Y n a soma do número de pontos obtidos em n lançamentos independentes de um dado perfeito Determine, recorrendo eventualmente ao resultado da alínea anterior, lim P (mod(y n, 4) = j), j = 0, 1, 2, 3 n 11

12 Exercício 423 Uma partícula desloca-se sobre uma circunferência parando em cinco pontos previamente marcados no sentido dos ponteiros do relógio: 0, 1, 2, 3 e 4 Em cada passo a partícula desloca-se no sentido dos ponteiros do relógio com probabilidade p, e no sentido contrário com probabilidade 1 p, com 0 < p < 1 Seja, para n IN 0, X n a posição da partícula no instante n (a) Justifique que {X n, n 0} é uma cadeia de Markov e determine a respectiva matriz de probabilidades de transição P (b) Será que {X n, n 0} possui uma distribuição limite? Se assim for, determine as probabilidades limite dos estados da cadeia de Markov e interprete-as Exercício 424 Um indivíduo possui r guarda-chuvas que usa nos trajectos entre a casa e o escritório Se ao sair de casa ou do escritório não estiver a chover, ele não transporta nenhum guarda-chuva com ele; mas, se estiver a chover e houver algum guarda-chuva nesse local, ele usa um desses guarda-chuvas no trajecto para o outro local Assuma que, independentemente do passado, chove com probabilidade p, 0 < p < 1, em cada trajecto que o indivíduo efectua (a) Defina uma cadeia de Markov que ajude a determinar a proporção de vezes que o indivíduo se molha nos trajectos casa-escritório e escritório-casa (b) Mostre que as probabilidades estacionárias do indivíduo possuir i, 0 i r, guarda-chuvas em casa (ou no escritório) são dadas por: 1 p r+1 p i = 0 P i = 1 i = 1, 2,, r r+1 p (c) A longo-prazo, qual é a fracção de vezes que o indivíduo se molha? (d) Para r = 3, que valor de p maximiza a fracção de vezes que o indivíduo se molha? Exercício 425 O Evaristo faz 30 minutos de jogging todas as manhãs, saindo pela porta da frente ou pela das traseiras com igual probabilidade À saída de casa calça um par de tennis ou, caso não haja nenhum par de tennis à porta que escolheu para a saída, faz jogging descalço Finda a sessão de jogging o Evaristo volta a casa, entrando pela porta da frente ou pela das traseiras com igual probabilidade Caso não tenha corrido descalço, deixa os tennis utilizados à porta que escolheu para a entrada Supondo que o Evaristo possui no total K pares de tennis, qual é, a longo-prazo, a proporção de vezes que o Evaristo corre descalço? Exercício 426 O nosso herói, o Evaristo, é jogador de uma equipa de basquetebol semiprofissional O número de pontos que ele marca em cada jogo flutua entre três estados: 1 - zero ou um ponto; 2 - de dois a quatro pontos; 3 - cinco ou mais pontos Para mal da equipa, quando o Evaristo marca muitos pontos num certo jogo, os seus companheiros de equipa recusam-se a passar-lhe a bola na partida seguinte e, inevitavelmente, o Evaristo não marca pontos A estatística da equipa, Dra M Aliha Cunha, depois de ter observado as transições entre estados, concluiu que essas transições podem ser modeladas por por uma cadeia de Markov com 12

13 matriz de probabilidades de transição 0 1/3 2/3 P = 1/3 0 2/ Os salários dos jogadores da equipa dependem da pontuação marcada em cada jogo Assim, o Evaristo recebe 40, 30 e 20 euros por jogo, se a pontuação pertencer aos estados 3, 2 e 1, respectivamente (a) Qual é a proporção de jogos, a longo-prazo, em que o número de pontos marcados pelo Evaristo é superior a 4? (b) Qual é, a longo-prazo, o ganho médio do Evaristo por jogo? Exercício 427 O Evaristo, como qualquer paciente que se preze pelos seus dentes, vai ao dentista de seis em seis meses No entanto, por ser extremamente guloso e adorar chocolates, o estado dos dentes do Evaristo varia, de uma visita para a seguinte, de acordo com uma cadeia de Markov com quatro estados que requerem as seguintes intervenções por parte do dentista: 1 - nenhuma; 2 - destartarização; 3 - obturação; 4 - limpeza de um canal A conta do dentista é de 20, 30, 50 e 300 euros se os dentes do Evaristo estiverem nos estados 1, 2, 3 e 4, respectivamente As transições de um estado para outro são regidas pela seguinte matriz de probabilidades de transição P = (a) Qual é, aproximadamente, a percentagem de visitas em que o Evaristo paga pelo menos 50 euros? (b) Determine, aproximadamente, o custo anual médio de manutenção dos dentes do Evaristo Exercício 428 O modelo que se descreve a seguir foi proposto pelos físicos P e T Ehrenfest para descrever a divisão de moléculas de ar em duas câmaras de igual dimensão e forma, ligadas por um pequeno canal de comunicação, e é conhecido por modelo de Ehrenfest Em duas câmaras (1 e 2) de igual dimensão e forma, ligadas por um pequeno canal de comunicação, há, no total, M moléculas de ar Em cada instante, cada uma das M moléculas tem igual probabilidade de ser aquela que passa da câmara em que se encontra para a outra câmara Seja, para n IN, X n o número de moléculas de ar que se encontram na câmara 1 (a) Justifique que o processo {X n, n 0} constitui uma cadeia de Markov em tempo discreto (b) Obtenha a matriz de probabilidades de transição de {X n, n 0} (c) Classifique os estados de {X n, n 0}; nomeadamente, identifique as classes de estados e classifique-os quanto à recorrência/transiência 13

14 (d) Caso seja possível, determine as probabilidades limite de {X n, n 0} e interprete-as Exercício 429 Suponha que um conjunto de M bolas é distribuído por m urnas, numeradas de 1 a m, sendo inicialmente (instante 0) colocadas todas as bolas na urna 1 Em cada instante n, n = 1, 2,, é escolhida ao acaso uma bola, a qual é retirada da urna em que se encontra e colocada numa urna seleccionada ao acaso Sejam para n IN 0 : X n = número de bolas na urna 1 no instante n Y n = número de urnas com bolas no instante n (a) Mostre que {X n, n 0} é uma cadeia de Markov irredutível e recorrente positiva, e que a respectiva matriz de probabilidades de transição P é, para i = 0, 1,, M, dada por: ( ) 1 i 1 M m j = i + 1 p ij = i m 1 M m j = i 1 1 p i,j 1 p i,j+1 j = i (b) Usando a identidade E[Z] = E[E[Z W ]], mostre que: E[X n+1 ] = 1 ( m ) E[X n ], n IN 0 M (c) Use a relação anterior para concluir que o número esperado de bolas na urna 1 no instante n tende para M/m, à medida que n tende para infinito (d) Use (a) para concluir que a distribuição limite de {X n, n 0} é binomial e identifique os respectivos parâmetros (pode começar por esta parte) Que distribuição deve ter X 0 para que {X n, n 0} seja uma sucessão de variáveis aleatórias identicamente distribuídas? (e) Diga, justificando, se {Y n, n 0} é uma cadeia de Markov Exercício 430 Considere que M bolas são distribuídas por m urnas Em cada instante uma bola é escolhida ao acaso, retirada da urna em que se encontra e colocada ao acaso numa das outras (m 1) urnas (a) Tente adivinhar a probabilidade estacionária de haver n i bolas na urna i, para i = 1, 2,, m, e confirme o resultado usando a teoria das cadeias de Markov (b) Compare o resultado obtido na alínea anterior no caso de duas urnas (m = 2) com os obtidos na alínea (d) do Exercício 428 (referente ao modelo de Ehrenfest) e na alínea (d) do Exercício 429 Exercício 431 Considere uma cadeia de Markov com espaço de estados {0, 1,, M} e matriz de probabilidades de transição P com α i i < M, j = i + 1 com 0 < α i < 1, 0 i M α M i = j = M p ij = 1 α i i > 0, j = i 1 1 α 0 i = j = 0 0 cc 14

15 (a) Prove que esta cadeia de Markov é reversível no tempo e determine as suas probabilidades limite (b) Particularize as probabilidades limite calculadas na alínea (a) ao caso em que α i α Exercício 432 Uma urna contém duas bolas vermelhas antes de ser iniciado o processo que se descreve a seguir Em cada instante n, n IN, retira-se uma bola da urna e substitui-se esta por uma bola vermelha, com probabilidade p, ou por uma bola azul, com probabilidade 1 p, sendo 0 < p < 1 Sejam, para n IN, X n o número de bolas vermelhas na urna no instante n (depois de ter sido efectuada a troca de bolas); e 1 se a bola colocada na urna no instante n é vermelha Y n = 0 cc (a) Será que existe uma variável aleatória X tal que X n a distribuição de X d X? Em caso afirmativo determine (b) Será que existe uma constante k verificando n 1 n i=1 Y p i k? Caso ela exista, indique o seu valor Exercício 433 Seja G um grafo conexo arbitrário com custo c ij associado à aresta que liga os vértices i e j probabilidade Considere que uma partícula se desloca do vértice i para o vértice j com p ij = c ij / k c ik onde c ik = 0 caso não exista aresta ligando os vértices i e k Defina uma cadeia de Markov que descreva o movimento da partícula e demonstre que a referida cadeia é reversível no tempo Exercício 434 Seja {X n, n 0} uma cadeia de Markov com espaço de estados IN 0, irredutível, aperiódica, recorrente positiva e com probabilidades limites {π n, n 0} Considere um novo processo estocástico {Y k, k 0} onde Y k é o k-ésimo valor da cadeia de Markov {X n, n 0} que pertence ao conjunto {0, 1,, N}; por exemplo, se N = 3 e X 1 = 1, X 2 = 3, X 3 = 5, X 4 = 6 e X 5 = 2, então Y 1 = 1, Y 2 = 3 e Y 3 = 2 (a) Justifique que {Y k, k 0} é uma cadeia de Markov (b) Qual é, a longo-prazo, a proporção de tempo que {Y k, k 0} passa em cada um dos estados? (c) A reversibilidade no tempo da cadeia de Markov original implica a reversibilidade no tempo de {Y n, n 0}? Considere agora a cadeia de Markov {Z n, n 0}, resultante da truncagem de {X n, n 0} a {0, 1,, N}, com espaço de estados {0, 1,, N} e com matriz de probabilidades de transição P p ij / N k=0 p ij = p ik 0 i, j N 0 cc 15

16 (d) Conclua que se {X n, n 0} é reversível no tempo, então {Z n, n 0} também é reversível no tempo e determine as suas probabilidades limite Exercício 435 O táxi do Evaristo passa alternadamente por três locais Quando chega ao local 1, dirige-se de imediato para os restantes locais com igual probabilidade Ao chegar ao local 2, dirige-se imediatamente para o local 1 com probabilidade 1/3 ou para o local 3 com probabilidade 2/3 Do local 3 dirige-se sempre para o local 1 Os tempos esperados das deslocações do local i para o local j, t ij, são iguais a: t 12 = 20, t 13 = 30, t 23 = 30, (t ij = t ji ) (a) Qual é a probabilidade limite do local de paragem do Evaristo ser o local i, i = 1, 2, 3? (b) Determine a probabilidade limite do táxi estar a dirigir-se para o local 2 lim P (no instante t o táxi estar a dirigir-se para o local 2) t (c) Calcule a fracção de tempo, a longo-prazo, que o Evaristo dispende a viajar do local 2 para o local 3 Exercício 436 Uma máquina da oficina do Evaristo pode encontrar-se num de três estados: 1 em funcionamento perfeito; 2 em condições aceitáveis; e 3 em reparação Suponha que a máquina: permanece no estado 1 durante um tempo com valor esperado µ 1, e desse estado transita para os estados 2 e 3 com probabilidades 3/4 e 1/4, respectivamente; permanece no estado 2 durante um tempo com valor esperado µ 2, necessitando a seguir reparação; e permanece no estado 3 durante um tempo com valor esperado µ 3, transitando de seguida para os estados 1 e 2 com probabilidades iguais a 2/3 e 1/3, respectivamente A longo-prazo, que proporção de tempo permanece a máquina em cada um dos estados? Exercício 437 O estado de um sistema de segurança é descrito por um processo semi-markoviano com espaço de estados {1, 2, 3}, tempo esperado de permanência no estado i igual a i, i = 1, 2, 3, e matriz de probabilidades de transição tal que p 12 = 1, p 21 = p 23 = 05 e p 31 = 1 (a) Qual é, a longo-prazo, a proporção de transições que conduzem o sistema ao estado 1? (b) A longo-prazo, que proporção de tempo fica o sistema em cada um dos estados? Exercício 438 Sejam X (i) = {X n (i), n 0}, i = 1, 2, dois processos de ramificação com função de probabilidade do número de descendentes por indivíduo {p (i) j, j 0}, i = 1, 2 Mostre que se X (1) 0 = X (2) 0 = 1 e j=k p (1) j j=k p (2) j, k 0 então X (1) st X (2) e a probabilidade de extinção é maior para X (1) que para X (2) 16

17 Exercício 439 Sejam X (i) = {X (i) n, n 0}, i = 1, 2, dois passeios aleatórios em IN 0, com probabilidades de transição p (i) 0,0 = 1, p(i) j,j+1 = p(i) j = 1 p (i) j,j 1, i = 1, 2 e j 1 Mostre que se X (1) 0 X (2) 0 e p (1) j p (2) j, para j 1, então X (1) st X (2) Será que podemos ( tirar alguma conclusão se o estado 0 passar a ser reflector ie, p (1) 0,1 = p(2) 0,1 )? = 1 Exercício 440 Uma máquina produz artigos segundo um processo de Poisson {N(t), t 0} de taxa λ Um empregado embala os artigos pela ordem com que são produzidos Os tempos de embalagem dos artigos são independentes e possuem distribuição Exponencial de parâmetro µ Seja, para n 0, X n o número de artigos que estão por embalar imediatamente após a terminação da embalagem do n-ésimo artigo e p 0 p 1 p 2 p 3 p 0 p 1 p 2 p 3 P = 0 p 0 p 1 p p 0 p 1 (a) Justifique que {X n, n 0} é uma cadeia de Markov em {0, 1, } com matriz de probabilidades de transição P e explicite o significado de p k, k 0 (b) Conclua que {p k } GeomMod (µ/(µ + λ)) (c) Mostre que {X n, n 0} cresce estocasticamente com λ e com µ 1 Sugestão: Use o facto de l k p il ser função não decrescente de i (d) Nas condições da alínea anterior e com λ = µ, mostre que {X n, n 0} não possui distribuição limite (e) Conclua que, para λ < µ, a cadeia de Markov {X n, n 0} não é reversível no tempo e determine a respectiva distribuição limite 17