Cadeias de Markov. o Teorema Central do Limite. Markov é lembrado pelo seu estudo de Cadeias de Markov

Transcrição

1 Capítulo Cadeias de Markov Neste capítulo vamos estudar uma classe de processos aleatórios ou estocásticos que possuem uma determinada característica que pode, grosseiramente, ser descrita como perda de memória. Estes processos aparecem em inúmeras aplicações, incluindo sistemas de filas, redes de comunicação de computadores, sistemas biológicos e uma grande variedade de outras aplicações. Aplicações de Cadeias de Markov em medicina são bastante comuns e se tornaram uma ferramenta importante de tomada de decisão médica. Como resultado da sua ocorrência frequente, estes processos têm sido estudados extensivamente obtendo-se uma teoria rica a qual permite resolver os problemas relacionados com estes processos. Um processo estocástico é um modelo matemático que evolui ao longo do tempo de forma probabilística e aqui vamos estudar um tipo especial de processo estocástico, chamado de Cadeia de Markov, onde o resultado de um experimento depende apenas do resultado do experimento anterior. Em outras palavras, o estado seguinte do sistema depende apenas do estado atual e não dos estados anteriores. As Cadeias de Markov foram assim nomeados após os estudos do matemático russo Andrei A. Markov, que começou a teoria de processos estocásticos. Referências clássicas como Ross (996), Hoel, Port & Stone (972) e Kemeny & Snell (976) foram consultadas para redigirmos este texto.. Introdução Sequências de variáveis aleatórias que evoluem de alguma maneira no tempo servem como descrição informal do conceito de processo estocástico. Apresentamos a seguir a definição formal. Definição. Um processo aleatório é uma família {X t } t T de variáveis aleatórias, definidas no mesmo espaço de probabilidade, indexadas pelo conjunto T. Os processos estocástico podem ser classificados de diversas maneiras. Aqui estamos interessados em duas dessas classificações: a primeira é segundo as variáveis que o compõem, sejam discretas ou contínuas, identificando os processos estocásticos como discretos ou contínuos, respectivamente. Uma outra classificação é segundo o conjunto de índices. Caso o conjunto T seja um subconjunto dos números inteiros ou naturais, chamamos o processo estocástico de processo a tempo discreto em outras situações chama-se de processo a tempo contínuo, por exemplo, estamos no caso de processos a tempo contínuo quando T = R ou T = [0, + ). Em qualquer caso, Andrei Andreyevich Markov ( ) foi um matemático russo. Realizou numerosos estudos na teoria da probabilidade. Provou o Teorema Central do Limite. Markov é lembrado pelo seu estudo de Cadeias de Markov

2 2 CAPÍTULO. CADEIAS DE MARKOV pensamos em um processo estocástico como uma família de variáveis aleatórias que evoluem com o tempo. Estas variáveis podem mesmo ser independentes, o qual seria um caso muito especial e de pouco interesse. Pelo contrário, estamos preocupados com uma situação geral, e esperamos realista, de modelos para a evolução aleatória. Um destes modelos satisfaz a seguinte propriedade: condicionado em seus valores no n-ésimo instante, seus valores futuros não dependem de seus valores anteriores. Esta propriedade provou ser muito útil na sua análise e é a teoria geral dos processos com essa propriedade à qual voltamos nossa atenção agora. Considere um processo estocástico discreto {X n } com espaço amostral S, finito ou infinito enumerável. Pensemos X 0, X,, X n como o passado, X n como o presente e X n+, X n+2, como o futuro do processo em relação ao tempo n. A lei de evolução de um processo estocástico é frequentemente pensada em termos da distribuição condicional do futuro, dado o presente e os estados anteriores do processo. Uma vez que estamos interessados em sistemas não-determinísticos, pensamos {X n } como variáveis aleatórias definidas em um espaço de probabilidade comum. Pouco pode ser dito sobre essas variáveis aleatórias, a menos que alguma estrutura adicional seja imposta a eles. Uma propriedade útil dos processos estocásticos, que nos permite obter facilmente as probabilidades conjuntas é a propriedade de Markov. Basicamente, um processo estocástico é dito ser Markoviano se o futuro do processo, dado o presente, é independente do passado. Definição.2 (Propriedade de Markov) Seja {X n } um processo estocástico discreto com espaço amostral S, finito ou infinito enumerável. Dizemos que {X n } satisfaz a propriedade de Markov se dado o estado atual, os estados passados não têm influência sobre o futuro. A propriedade de Markov é definida precisamente pela exigência de que P (X n+ = x n+ X 0 = x 0,, X n = x n ) = P (X n+ = x n+ X n = x n ), (.) para qualquer seja a escolha do número natural n e os números x 0, x,, x n+ S. O espaço amostral S, de um processo estocástico discreto a tempo discreto, é chamado de espaço de estados. Andrei Markov obteve os primeiros resultados para processos estocásticos discretos finitos em 906. Uma generalização para espaços de estados infinitos enumeráveis foi dada por Kolmogorov 2 em 936. A definição desta propriedade, também chamada de memória Markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido. Definição.3 Um processo estocástico {X n } discreto satisfaz a propriedade de Markov se, para cada n e m, a distribuição condicional de X n+,, X n+m dado X 0, X,, X n é a mesma que a sua distribuição condicional dado X n. Isto quer dizer que, um processo estocástico satisfazendo a propriedade de Markov satisfaz que P (X n+,, X n+m X 0, X,, X n ) = P (X n+,, X n+m X n ) 2 Andrei Nikolaevich Kolmogorov ( ) foi um matemático soviético. Kolmogorov participou das principais descobertas científicas do século XX nas áreas de probabilidade e estatística e na teoria da informação.

3 .. INTRODUÇÃO 3 Definição.4 (Cadeia de Markov) Um processo estocástico {X n } que satisfaz a propriedade de Markov é chamado de processo de Markov. Se, além disso, o processo estocástico for a tempo discreto e formado por variáveis aleatórias discretas o processo de Markov é chamado Cadeia de Markov. Observemos que ao definirmos Cadeia de Markov nada é dito acerca do espaço de estados. Agora, como as variáveis aleatórias X 0, X,, X n, que formam a Cadeia de Markov são discretas, então o espaço de estados S é finito ou infinito enumerável. O estudo das Cadeias de Markov é válido a partir de dois pontos de vista. Em primeiro lugar, existe uma ampla teoria desenvolvida e, em segundo lugar, há um grande número de sistemas que surgem na prática que podem ser modelados desta forma, de modo existirem muitas aplicações... Cadeias de Markov Começando o estudo de tais sistemas, podemos perceber que a propriedade de Markov é muito importante e reduz a probabilidade condicional a uma única transição, como pode ser observado em (.). Isso permitirá encontrar propriedades estudando o conceito de probabilidade de transição. Definição.5 Seja {X n } uma Cadeia de Markov com espaço de estados S e sejam x, y S. A probabilidade P (X n+ = y X n = x), (.2) se conhece como probabilidade de transição em um passo ou simplesmente probabilidade de transição. Também denotado como p x,y (n, n + ), o qual representa a probabilidade de transição do estado x no tempo n ao estado y no tempo n +. Podemos encontrar processos nos quais as probabilidades de transição variam com o tempo e, portanto, necessitam ser explicitamente escritas como uma função do tempo t, por exemplo, p x,y (t), mas não consideraremos tais processos no presente texto e doravante, presume-se que a probabilidade de transição é independente do tempo. Definição.6 Uma Cadeia de Markov {X n } é dita ser homogênea ou estacionária se as probabilidades de transição não dependem do tempo. Desta maneira, no caso de Cadeias de Markov estacionárias, a probabilidade de transição em (.2) se reduz a P (X n+ = y X n = x) = P (X = y X 0 = x), e, portanto, em p x,y (n, n + ) não faz mais sentido escrever o instante de observação da cadeia, a qual se reduz a simplesmente p x,y. Exemplo. (Cadeia com dois estados) Uma Cadeia de Markov com dois estados é um processo de Markov para um sistema que pode assumir somente

4 4 CAPÍTULO. CADEIAS DE MARKOV Figura.: Grafo das probabilidades de transição na cadeia com dois estados. dois valores, por exemplo, 0 e. Podemos observar um gráfico representativo na Figura.. Partindo do estado 0, permanece nele com probabilidade α e assume valor com probabilidade α. Da mesma forma, se o estado atual é, permanece nele com probabilidade β e muda para 0 com probabilidade β. Para um exemplo de uma Cadeia de Markov tendo dois estados considere uma máquina que, no início de um dia em particular será classificada como em perfeitas condições ou com falhas de operação. Suponhamos que, se a máquina for classificada no início do dia n com falhas, com probabilidade α vai ser reparada com êxito e estará em condições de funcionamento no início do (n + )-ésimo dia. Considere-se também que, se a máquina está em perfeitas condições de funcionamento, no início do dia n, com probabilidade β vai ter uma falha causando mau funcionamento e será classificada assim, no início da (n + )-ésimo dia. Finalmente, seja π 0 (0) a probabilidade de que a máquina esteja com falhas de funcionamento inicialmente, isto é, no início do dia 0. Seja 0 estado que corresponde à máquina com falhas de funcionamento e seja o estado que corresponde à máquina em perfeitas condições de funcionamento. Seja X n a variável aleatória denotando o estado da máquina no tempo n. De acordo com a descrição acima e Dado que há somente dois estados 0 e, segue que P (X n+ = X n = 0) = α, P (X n+ = 0 X n = ) = β, P (X 0 = 0) = π 0 (0) P (X n+ = 0 X n = 0) = α, P (X n+ = X n = ) = β, e que a probabilidade π 0 (), de estar inicialmente no estado é dada por π 0 () = P (X 0 = ) = π 0 (0) A partir desta informação, podemos facilmente calcular P (X n = 0) e P (X n = ). Observamos que Agora P (X 0 = 0) = π 0 (0), então P (X n+ = 0) = P (X n = 0, X n+ = 0) + P (X n =, X n+ = 0) = P (X n = 0)P (X n+ = 0 X n = 0) +P (X n = )P (X n+ = 0 X n = ) = ( α)p (X n = 0) + βp (X n = ) = ( α)p (X n = 0) + β[ P (X n = 0)] = ( α β)p (X n = 0) + β P (X = 0) = ( α β)π 0 (0) + β

5 .. INTRODUÇÃO 5 e P (X 2 = 0) = ( α β)p (X = 0) + β = ( α β) 2 π 0 (0) + β[ + ( α β)] Não é difícil perceber que, repetindo este procedimento n vezes n P (X n = 0) = ( α β) n π 0 (0) + q ( α β) k (.3) No caso trivial de α = β = 0 é claro que para todo n k=0 P (X n = 0) = π 0 (0) e P (X n = ) = π 0 () (.4) Suponhamos agora que α + β > 0. Então, pela fórmula da soma de uma progressão geométrica, n ( α β) k = k=0 ( α β)n α + β Concluímos de (.4) que P (X n = 0) = β [ + ( α + β)n π 0 (0) β ], (.5) α + β α + β e por consequência que P (X n = ) = α [ + ( α + β)n π 0 () α ] (.6) α + β α + β Suponha agora α e β não sejam ambas zero nem ambas um. Então, 0 < α + β < 2, o qual implica que α β <. Neste caso, podemos fazer n nas expressões em (.5) e (.6) e concluímos que lim n P (X n = 0) = β α + β e lim P (X n = ) = n α α + β (.7) β Podemos também encontrar as probabilidades limite α + β e α por um procedimento diferente. Suponha α + β que queremos escolher π 0 (0) e π 0 () de maneira que P (X n = 0) e P (X n = ) não dependam de n. Das expressões (.5) e (.6) para obtermos isso devemos escolher π 0 (0) = β α + β e π 0 () = α α + β Então, se a cadeia {X n } têm como distribuição inicial P (X 0 = 0) = β α + β e P (X 0 = ) = α α + β, temos, para todo n, que P (X n = 0) = β α + β e P (X n = ) = α α + β A descrição do processo é vaga porque ela realmente não disse quando {X n } satisfaz a propriedade de Markov. Suponhamos, porém, que a propriedade de Markov se sustenta. Podemos usar essa informação adicional para calcular a distribuição conjunta de X 0, X,, X n.

6 6 CAPÍTULO. CADEIAS DE MARKOV Por exemplo, seja n = 2 e sejam x 0, x,, x n cada um igual a 0 ou. Então P (X 0 = x 0, X = x, X 2 = x 2 ) = P (X 0 = x 0, X = x )P (X 2 = x 2 X 0 = x 0, X = x ) = P (X 0 = x 0 )P (X = x X 0 = x 0 )P (X 2 = x 2 X 0 = x 0, X = x ) Agora P (X 0 = x 0 ) e P (X = x X 0 = x 0 ) são determinados por α, β e π 0 (0) só que, sem a propriedade de Markov valendo não podemos expressar P (X 2 = x 2 X 0 = x 0, X = x ) em termos de α, β e π 0 (0). Se a propriedade de Markov é satisfeita, contudo, então a qual é determinada por α e β. Neste caso P (X 2 = x 2 X 0 = x 0, X = x ) = P (X 2 = x 2 X = x ), P (X 0 = x 0, X = x, X 2 = x 2 ) = P (X 0 = x 0 )P (X = x X 0 = x 0 )P (X 2 = x 2 X = x ) Na Tabela. apresentamos a distribuição conjunta das variáveis X 0, X e X 2 segundo os valores de x 0, x e x 2. x 0 x x 2 P (X 0 = x 0, X = x, X 2 = x 2 ) π 0 (0)( α) π 0 (0)( α)β 0 0 π 0 (0)αβ 0 π 0 (0)α( β) 0 0 [ π 0 (0)]α( β) 0 [ π 0 (0)]αβ 0 [ π 0 (0)]( β)β [ π 0 (0)]( β) 2 Tabela.: Probabilidade conjunta de X 0, X, X 2 no Exemplo.. Os resultados que serão apresentados neste texto referem-se à situação de Cadeias de Markov homogêneas ou estacionárias...2 Características das Cadeias de Markov Esta seção dedica-se ao estudo de três características importantes das Cadeias de Markov: a função de transição, a distribuição inicial e a matriz de transição. Toda vez que lidemos com situações que possam ser modeladas

7 .. INTRODUÇÃO 7 desta maneira, estaremos interessados em identificar estas características. Mais ainda, estas características serão importantes para encontrar propriedades das Cadeias de Markov. Função de transição Pela Definição.5 podemos perceber que a probabilidade de transição, numa Cadeia de Markov estacionária, é uma função dos estados e não mais do instantes de tempo. Dedicaremos especial atenção a esta função a qual permitirá deduzir propriedades destes modelos. Definição.7 Seja {X n } uma Cadeia de Markov estacionária com espaço de estados S. A função p, definida como p x,y = P (X = y X 0 = x), x, y S, (.8) é chamada de função de transição da cadeia. Em particular, dado que a cadeia satisfaz as exigências da Definição.6, de cadeia estacionária, podemos escrever que P (X n+ = y X n = x) = p x,y, n (.9) Agora, pela propriedade Markoviana, temos que P (X n+ = y X 0 = x 0,, X n = x n, X n = x) = p x,y (.0) Em outras palavras, se a Cadeia de Markov está no estado x no tempo n, então não importa como ela chegou a x, ela tem probabilidade p x,y de estar no estado y no passo seguinte. Por esta razão os números p x,y são chamados também de probabilidades de transição de uma etapa da Cadeia de Markov. Esta função, a qual é uma probabilidade condicional, satisfaz propriedades básicas da função de probabilidade resumidas no seguinte teorema. Teorema. Seja {X n } uma Cadeia de Markov estacionária com espaço de estados S e função de transição p. Então p x,y 0, x, y S (.) e p x,y =, x S (.2) y S Demonstração : Exercício. Observe que na propriedade em (.2) o estado inicial x é fixo, nada afirma-se acerca da probabilidade x S p x,y. Exemplo.2 (Cadeia com dois estados) Continuando com o exemplo. percebemos que a função de transição, segundo a descrição no texto é p 0,0 = α, p 0, = α, p,0 = β, p, = β

8 8 CAPÍTULO. CADEIAS DE MARKOV Observemos que pelo fato de tanto α quanto β serem probabilidades todas as probabilidades de transição são maiores ou iguais a zero. Ainda vemos que p 0,0 + p 0, = e p,0 + p, =, como enunciado pelo Teorema.. Distribuição inicial Um vetor que consiste de números não negativos que somam é chamado de vetor de probabilidade. Um vetor de probabilidades cujas coordenadas especificam as probabilidades de que uma Cadeia de Markov esteja em cada um dos seus estados no tempo inicial é chamado a distribuição inicial da cadeia ou o vetor de probabilidade inicial. Definição.8 Seja {X n } uma Cadeia de Markov estacionária com espaço de estados S. A função π 0 (x), x S, definida por π 0 (x) = P (X 0 = x) x S, (.3) é chamada de probabilidade inicial da cadeia. e Fica implícito que a dimensão do vetor π 0 é igual ao número de estados ou elementos em S. Como toda função de probabilidade, a distribuição inicial satisfaz que π 0 (x) 0, x S (.4) π 0 (x) = (.5) x S A distribuição conjunta de {X 0, X, X 2 } pode ser facilmente expressa em termos da função de transição e da distribuição inicial. Por exemplo, P (X 0 = x 0, X = x ) = P (X 0 = x 0 )P (X = x X 0 = x 0 ) = π 0 (x 0 )p x0,x Também P (X 0 = x 0, X = x, X 2 = x 2 ) = P (X 0 = x 0, X = x )P (X 2 = x 2 X 0 = x 0, X = x ) = π 0 (x 0 )p x0,x P (X 2 = x 2 X 0 = x 0, X = x ) Dado que {X 0, X, X 2 } satisfaz a propriedade de Markov e tem distribuição de transição estacionária, isto é, satisfaz Definição.6, vemos que Então P (X 2 = x 2 X 0 = x 0, X = x ) = P (X 2 = x 2 X = x ) = P (X = x 2 X 0 = x ) = p x,x 2 P (X 0 = x 0, X = x, X 2 = x 2 ) = π 0 (x 0 )p x0,x p x,x 2 (.6) Em situações gerais se consegue escrever a probabilidade conjunta em termos da distribuição inicial e da função de transição como no teorema a seguir.

9 .. INTRODUÇÃO 9 Teorema.2 Seja {X n } uma Cadeia de Markov em S com função de transição p. Então, podemos escrever a função de probabilidade conjunta de X 0, X,, X n como P (X 0 = x 0,, X n = x n ) = π 0 (x 0 )p x0,x p xn,x n (.7) Demonstração : Para n = 2 provamos em (.6) que a expressão da probabilidade conjunta em (.7) é válida. Por indução percebemos que também esta expressão é válida para qualquer n. É geralmente mais conveniente, no entanto, inverter a ordem de nossas definições. Diz-se que p x,y, x, y S é uma função de transição se satisfizer (.) e (.2) e dizemos que π 0 (x), x S, é a probabilidade inicial da cadeia se satisfaz (.4) e (.5). Pode ser mostrado que, dado qualquer função de transição p e qualquer distribuição inicial π 0, existe um espaço de probabilidade e variáveis aleatórias {X n }, definidas nele, satisfazendo a relação em (.7) (Doob, 953). Logo, demonstra-se também que essas variáveis aleatórias formam uma Cadeia de Markov com a função de transição p e distribuição inicial π 0. O leitor pode estar incomodado com a possibilidade de que algumas das probabilidades condicionais que discutimos podem não estar bem definidas. Por exemplo, o lado esquerdo em (.) não está bem definida, se P (X 0 = x 0,, X n = x n ) = 0 Essa dificuldade é facilmente resolvida. As equações (.), (.2), (.4) e (.5) que definem a função de transição e a distribuição inicial estão bem definidas assim como a equação (.7), que descreve a distribuição conjunta de X 0,, X n, também está bem definida. Não é difícil mostrar que, se (.7) se satisfaz então (.), (.8), (.9) e (.0) são válidas sempre que as probabilidades condicionais nas respectivas equações estejam bem definidas. O mesmo será válido para a qualificação de outras equações envolvendo probabilidades condicionais que serão obtidas posteriormente. Em breve será evidente que a função de transição de uma Cadeia de Markov tem um papel muito maior na descrição de suas propriedades do que o da distribuição inicial. Por esta razão, costuma-se estudar simultaneamente toda a Cadeia de Markov com uma dada função de transição. Na verdade, nós aderimos à convenção usual de que, por uma Cadeia de Markov com a função de transição p, o que realmente queremos dizer é que nos referimos à família de todas as Cadeias de Markov com função de transição p. Matriz de transição Suponha uma Cadeia de Markov estacionária com espaço de estados S finito. Em situações como esta é conveniente definir a probabilidade de transição como a matriz P = 0 2 d 0 p 0,0 p 0, p 0,2 p 0,d p,0 p, p,2 p,d 2 p 2,0 p 2, p 2,2 p 2,d..... d p d,0 p d, p d,2 p d,d (.8) de elementos as probabilidades de transição entre os estados, escritas como p x,y = P (X = y X 0 = x), x, y S (.9)

10 0 CAPÍTULO. CADEIAS DE MARKOV Definição.9 Seja {X n }, uma Cadeia de Markov estacionária com espaço de estados S = {0,, 2,, d} finito. Então a matriz quadrada P, dada em (.8), é conhecida como a matriz de probabilidades de transição. Os elementos desta matriz foram definidos em (.8). Exemplo.3 (Cadeia com dois estados. Continuação) No exemplo., a matriz de transição de probabilidades no caso de uma cadeia com dois estados é da forma P = ( 0 ) 0 α α β β Teorema.3 Seja {X n } uma Cadeia de Markov estacionária com espaço de estados S = {0,,, d}. A matriz P = (p x,y ), de probabilidades de transição, satisfaz as seguintes propriedades: (a) p x,y 0, (b) y S p x,y =. Demonstração : A primeira propriedade é evidente pelo fato de cada p x,y ser uma probabilidade. Para a segunda propriedade observemos que para qualquer estado i S e qualquer inteiro n 0 temos que P (X n+ S) = P (X n+ S X n = x) =, e dado que os eventos {X n+ = 0}, {X n+ = },, {X n+ = y}, são disjuntos podemos escrever d P (X n+ S X n = x) = P (X n+ = y X n = x) = y=0 d P (X n+ = y X n = x) = y=0 Este último resultado significa que a partir de qualquer estado x, com probabilidade finita, uma cadeia assume necessariamente algum elemento do espaço de estado na próxima vez. Geralmente uma matriz quadrada satisfazendo estas duas propriedades se disse que é uma matriz estocástica. Devido à propriedade de Markov, esta matriz capta a essência do processo, e determina o comportamento da cadeia em qualquer momento no futuro. Se a matriz também satisfaz a condição por colunas, isto é, quando a soma das colunas também é, então se disse que a cadeia é duplamente estocástica...3 Exemplos de Cadeias de Markov Vamos rever a seguir alguns exemplos clássicos de Cadeias de Markov e alguns outros para ilustrar os conceitos e resultados da teoria geral.

11 .. INTRODUÇÃO Exemplo.4 (Cadeia com dois estados) Uma Cadeia de Markov com dois estados é um modelo de Markov para um sistema que pode assumir somente dois valores, por exemplo, 0 e. Partindo do estado 0, permanece nele com probabilidade α e assume valor com probabilidade α. Da mesma forma, se o estado atual é, permanece nele com probabilidade β e muda para 0 com probabilidade β. Se X n é a função indicadora de atividade no n-ésimo instante de tempo, então {X n } é uma Cadeia de Markov com dois estados com o diagrama de transição de estados ilustrado na Figura.2 e matriz de probabilidades de transição ( 0 ) 0 α α P = β β Figura.2: Grafo das probabilidades de transição na cadeia com dois estados. Embora simples, esta cadeia é suscetível a muitas aplicações devido ser comum encontrar situações em que a dualidade ser ou não ser, estar ou não estar, ter ou não ter está presente, sempre em uma alternância constante entre um estado e outro. No caso particular α = β, as variáveis X, X 2, são independentes e identicamente distribuídas com P (X n = 0) = α e P (X n = ) = α, para cada n. Quando α β, X n depende X n. Exemplo.5 (Variáveis aleatórias independentes) A estrutura mais simples possível é a de variáveis aleatórias independentes. Este seria um bom modelo para sistemas com experimentos repetidos, nos quais os estados futuros do sistema são independentes dos estados passados e do estado presente. Em muitos sistemas que surgem na prática, no entanto, os estados passados e o presente exercem influencia nos estados futuros. Vejamos como construir tais sistemas com variáveis aleatórias independentes. Seja ξ 0, ξ, ξ 2, uma sequência de variáveis aleatórias independentes, com valores no conjunto {0,, }, identicamente distribuídas com probabilidades dadas por α 0, α,. Definiremos várias Cadeias de Markov a partir desta sequência: a) A sequência X n = ξ n é uma Cadeia de Markov com probabilidades de transição P (X n+ = x n+ X n = x n ) = P (X n = x n ) = α n, recordemos que as variáveis são independentes, isto é, a matriz de probabilidades de transição é da forma P = α 0 α α 2 α 0 α α Esta cadeia tem como propriedade passar de um estado a um outro qualquer sempre com a mesma

12 2 CAPÍTULO. CADEIAS DE MARKOV probabilidade, sem importar o estado de partida. lançamentos de uma moeda. Pode-se modelar, por exemplo, uma sequência de b) A sequência X n = máx{ξ, ξ 2,, ξ n } é uma Cadeia de Markov com matriz de transição P = α 0 α α 2 α 3 0 α 0 + α α 2 α α 0 + α + α 2 α Observemos, por exemplo, que P (X n+ = 0 X n = 0) = P (máx{ξ,, ξ n+ } = 0 X n = 0), dado que X n+ = máx{ξ,, ξ n+ } = máx{x n, ξ n+ }, temos então que P (máx{x n, ξ n+ } = 0 X n = 0) = P (ξ n+ = 0) = α 0 c) O processo X n = ξ + ξ ξ n é uma Cadeia de Markov com matriz de transição P = α 0 α α 2 0 α 0 α α Uma situação particular desta cadeia é conhecido como passeio aleatório simples e é muitas vezes utilizado por físicos como um modelo aproximado das flutuações na posição de uma molécula relativamente grande. Exemplo.6 (Fast food) Suponha que cada vez que uma criança adquire uma refeição de criança em seu restaurante fast food favorito, ele recebe uma das quatro figuras de super-heróis. Naturalmente, a criança quer coletar todas as quatro figuras de ação e assim ele come regularmente no restaurante para completar a coleção. Este processo pode ser descrito por uma Cadeia de Markov e a matriz de probabilidades de transição é da forma: P = /4 3/ /2 / /4 / O grafo correspondente a esta matriz é mostrado na Figura.3. Vamos explicar agora o procedimento para encontrarmos esta matriz. Neste caso, seja S = {0,, 2, 3, 4} o espaço de estados, ou seja, o número das diferentes figuras de superheróis que a criança tem recolhido após a compra de k refeições. Supondo que cada refeição contém um dos quatro super-heróis, com igual probabilidade, e que a matriz de transição em qualquer refeição é independente do que está contido em todas as refeições anteriores ou futuras, então a matriz de probabilidade de transição é P mostrada anteriormente.

13 .. INTRODUÇÃO 3 Inicialmente, quer dizer, antes de todas as refeições serem compradas, o processo começa em 0, estado no qual a criança não tem figuras de super-heróis. Quando a primeira refeição é comprada, a Cadeia de Markov deve passar para o estado um, uma vez, não importa qual figura de ação está contido na refeição, a criança terá agora um super-herói. Assim, p 0, =, e p 0,j = 0 para todo j. Se a criança tem uma figura de ação, quando ele compra a próxima refeição, ele tem uma chance de 25% de receber um duplicado e 75% de chance de conseguir uma nova figura de super-herói. Assim, p, = /4, p,2 = 3/4 e p,j = 0 para a j, 2. Lógica semelhante é usada para completar o restante da matriz. A criança pode estar interessada em saber o número médio de refeições que ela precisa comprar até que sua coleção esteja completa. Ou, talvez a criança salvou-se apenas o dinheiro suficiente para comprar 0 almoços e quer saber quais suas chances de completar o conjunto antes de ficar sem dinheiro. Vamos desenvolver a teoria necessária para responder a essas perguntas. Figura.3: Grafo das probabilidades de transição. Um outro exemplo de Cadeia de Markov, desta vez famoso, é o mecanismo de busca ou motor de busca de informações na Internet. Os motores de busca são sistemas de software projetados para encontrar informações armazenadas em um sistema computacional a partir de palavras-chave indicadas pelo utilizador, reduzindo o tempo necessário para encontrar informações. Exemplo.7 (Cadeia de Ehrenfest) O seguinte é um modelo simples de intercambio de calor ou de moléculas de gás entre dois corpos isolados. Suponha que temos duas caixas, identificadas como e 2, e d bolas rotulados, 2,, d. Inicialmente, algumas dessas bolas estão na caixa e as restantes estão na caixa 2. Um inteiro é escolhido aleatoriamente a partir de, 2,, d e a bola rotulada por esse inteiro é removida da sua caixa e colocada na caixa oposta. Este procedimento é repetido indefinidamente com seleções independente de uma tentativa para outra. Seja X n o número de bolas na caixa após a n-ésima tentativa. Então {X n } é uma Cadeia de Markov em S = {0,, 2,, d}. A função de transição desta Cadeia de Markov é calculada supondo que há bolas x na caixa no tempo n. Em seguida, com probabilidade x/d a bola escolhida na (n + )-ésima tentativa será retirada da caixa e transferida para a caixa 2. Neste caso, restarão x bolas na caixa no instante de tempo n +. Da mesma forma, com probabilidade (d x)/d a bola escolhida na tentativa (n+)-ésima sairá da caixa 2 e será transferida para a caixa, resultando em x + bolas na caixa no tempo n +. Assim, a função de transição desta Cadeia de Markov é dada por x d, y = x, p x,y = x d, y = x +, 0, caso contrário Note-se que esta cadeia somente pode ir, em uma transição, de x para x ou x+ com probabilidade positiva.

14 4 CAPÍTULO. CADEIAS DE MARKOV Exemplo.8 (Google) Os motores de busca surgiram logo após o aparecimento da Internet, com a intenção de prestar um serviço extremamente importante: a busca de qualquer informação na rede, apresentando os resultados de uma forma organizada, e também com a proposta de fazer isto de uma maneira rápida e eficiente. A partir deste preceito básico, diversas empresas se desenvolveram, chegando algumas a valer milhões de dólares. Entre as maiores empresas encontram-se Google, Yahoo, Lycos, Cadê e outras. Os buscadores se mostraram imprescindíveis para o fluxo de acesso e a conquista de novos visitantes. A matriz de probabilidades de transição para a Cadeia de Markov cujo grafo é apresentado na Figura.4 (a) é: /2 / /5 /5 /5 /5 /5 P = 3 /3 /3 0 / /2 /2 0 Suponha que o internauta navega por páginas da Web em um universo de cinco páginas, como mostrado na Figura.4 (a), sendo cada página os elementos do espaço de estados S = {, 2, 3, 4, 5}. O internauta escolhe a próxima página para ver selecionando com igual probabilidade a partir das páginas apontadas pela página atual. Se uma página não tem qualquer ligação de saída (por exemplo, página 2), em seguida, o interessado seleciona qualquer uma das páginas do universo, com igual probabilidade. Poderíamos estar interessados em encontrar a probabilidade de que o internauta veja a i-ésima página. O comportamento de visualização pode ser modelado por uma Cadeia de Markov em que o estado representa a página atualmente visualizada. Se a página atual aponta para k páginas, então a próxima página é selecionado a partir desse grupo com probabilidade /k. Se a página atual não aponta para nenhuma página, então a próxima página pode ser qualquer uma das cinco páginas com probabilidade de transição /5. Figura.4: Grafo das probabilidades de transição num buscador. O modelo markoviano de internauta aleatório constitui a base para o algoritmo PageRank, que foi introduzido pelo Google para classificar a importância de uma página na Web. O ranking de uma página é dado pela chamada distribuição estacionária da Cadeia de Markov (ver Seção.4). O tamanho do espaço de estados nessa Cadeia de Markov é de bilhões de páginas! 3 e no Exemplo.8 mostramos a abordagem básica para a atribuição do ranking de páginas Web segundo uma Cadeia de Markov. Esta estratégia resolve de maneira simples o caso em que os usuários ficam presos em uma página sem links de saída, ou seja, página 2 na Figura.4 (a). O método, no entanto, não é suficiente para assegurar que a Cadeia de Markov é irredutível (Seção.3.3) e aperiódica (Seção.4.5). Por exemplo, na Figura.4 (b) os usuários também podem tornar-se presos na classe 3 Para maiores informações acerca do algoritmo PageRank ver o livro Langville, A.M. and Meyer, C.D.(2006). Google s PageRank and Beyond: The Science of Search Engine Rankings. Princeton University Press.

15 .. INTRODUÇÃO 5 periódica. Isto coloca um problema para o algoritmo de classificação que usa o poder da matriz de probabilidade de transição para obter a distribuição estacionária (Seção.4). Para lidar com este problema, o algoritmo PageRank também assume a chamada classificação apropriada. Maiores informações podem ser encontradas no artigo Page, Brin, Motwani & Winograd (998) e mais recentemente no livro Langville & Meyer (20), dentre outros. Aplicações diversas são apresentadas nos exemplos seguintes. Figura.5: A geração que segue {Aa, Aa}. Exemplo.9 (Experiência de criação de plantas) Um botânico está estudando uma certa variedade de plantas que é monóica (tem órgãos masculinos e femininos em flores separadas em uma única planta). Ele começa com duas plantas I e II e poliniza-as transversalmente atravessando o macho I com a fêmea II e a fêmea I com o macho II para produzir dois descendentes. As plantas originais são destruídas e o processo é repetido assim que a nova geração estiver madura. Várias replicações do estudo são executadas simultaneamente. O botânico pode estar interessado na proporção de plantas em qualquer geração que tenham cada um dos vários genótipos possíveis para um gene específico. Suponha que o gene tenha dois alelos, A e a. O genótipo de um indivíduo será uma das três combinações AA, Aa ou aa. Quando um novo indivíduo nasce, obtém um dos dois alelos (com probabilidade /2 cada) de um dos pais e ele obtém de forma independente um dos dois alelos do outro pai. Os dois descendentes obtêm seus genótipos independentemente uns dos outros. Por exemplo, se os pais têm genótipos AA e Aa, então uma descendência receberá A com certeza do primeiro pai e receberá A ou a do segundo pai com uma probabilidade de /2 cada. Considere os estados desta população serem o conjunto de genótipos dos dois membros da população atual. Não vamos distinguir o conjunto {AA, Aa} de {Aa, AA}. Existem então seis estados: {AA, AA}, {AA, Aa}, {AA, aa}, {Aa, Aa}, {Aa, aa} e {aa, aa}. Para cada estado, podemos calcular a probabilidade de que a próxima geração esteja em cada um dos seis estados. Por exemplo, se o estado for {AA, AA} ou {aa, aa}, a próxima geração estará no mesmo estado com probabilidade. Se o estado for {AA, aa}, a próxima geração estará no estado {Aa, Aa} com probabilidade. Os outros três estados têm transições mais complicadas. Se o estado atual é {Aa, Aa}, então todos os seis estados são possíveis para a próxima geração. Para calcular a distribuição de transição, ajuda a calcular primeiro a probabilidade de uma prole dada ter cada um dos três genótipos. A Figura.5 ilustra a possível prole neste estado. Cada seta que vai para baixo na Figura.5 é uma possível herança de um alelo, e cada combinação de setas que termina em um genótipo tem probabilidade de /4. Segue-se que a probabilidade de AA e aa são ambas /4, enquanto a probabilidade de Aa é /2, porque duas combinações diferentes de flechas levam a essa prole. Para que o próximo estado seja {AA, AA}, ambos os descendentes devem ser AA independentemente, então a probabilidade dessa transição é /6. O mesmo argumento implica que a probabilidade de uma transição para {aa, aa} é /6. Uma transição para {AA, Aa} exige que uma prole seja AA (probabilidade /4) e a outra seja Aa (probabilidade /2). Mas os dois genótipos diferentes podem ocorrer em qualquer ordem, então toda a probabilidade de tal transição é 2 (/4) (/2) =

16 6 CAPÍTULO. CADEIAS DE MARKOV /4. Um argumento semelhante mostra que uma transição para {Aa, aa} também tem probabilidade /4. Uma transição para {AA, aa} exige que uma prole seja AA (probabilidade /4) e a outra seja aa (probabilidade /4). Mais uma vez, estes podem ocorrer em duas ordens, então toda a probabilidade é 2 /4 /4 = /8. Por subtração, a probabilidade de uma transição para {Aa, Aa} deve ser /6 /6 /4 /4 /8 = /4. Aqui está a matriz de transição, que pode ser verificada de forma semelhante àquela que acabamos de fazer. P = {AA, AA} {AA, Aa} {AA, aa} {Aa, Aa} {Aa, aa} {aa, aa} {AA, AA} {Aa, AA} {AA, aa} {Aa, Aa} {Aa, aa} {aa, aa} Exemplo.0 (Problema de gerenciamento) Em uma indústria, a produção de um determinado produto é regulada de acordo com o estoque existente no final do dia. Ou seja, se existirem pedidos insatisfeitos ou se o estoque é zero, a produção do próximo dia abrange as ordens insatisfeitas mais duas a mais unidades métricas (u.m.). Pelo contrário, se existe um estoque não zero, não há produção para o dia seguinte. Sabemos ainda que a demanda dos consumidores pelo produto é de u.m. por dia com probabilidade de 60%, ou 2 u.m. por dia com probabilidade de 40%. Queremos saber, por exemplo, qual é a probabilidade de ter ordens insatisfeitas no longo prazo. Uma vez que a demanda máxima do produto é de 2 u.m., a produção da fábrica no primeiro dia de sua função deve ser de 2 u.m. e, portanto, no final do dia, o estoque é zero ou u.m.. No primeiro caso, o processo é repetido da mesma maneira. No último caso, a produção do dia seguinte é zero e, portanto, no final deste dia, o estoque é zero (neste caso o processo é repetido da mesma maneira) ou há ordens insatisfeitas de u.m.. No último caso, a produção do dia seguinte é de 3 u.m. ou seja, u.m. para cobrir as ordens insatisfeitas do dia anterior mais 2 u.m., e assim por diante. Torna-se, portanto, evidente que, de acordo com o ritmo de produção acima mencionado, há três situações possíveis no final de cada dia: ordens insatisfeitas de u.m., estoque zero e estoque de u.m.. Evidentemente, nosso problema pode ser descrito com uma Cadeia de Markov tendo como matriz de probabilidades de transição P = Ordens insatisfeitas Estoque zero Estoque de u.m. Ordens insatisfeitas Estoque zero Estoque de u.m Exercícios. Mostre que o seguinte processo auto-regressivo é um processo Markov: Y n = ρy n + X n, Y 0 = 0, onde X,, X n são variáveis aleatórias independentes e igualmente distribuídas. 2. Cinco pontos são marcados sobre um círculo. Um processo se move a partir de um determinado ponto a seus vizinhos, com uma probabilidade de /2 para cada vizinho. Encontre a matriz de transição da Cadeia de Markov resultante. 3. Sejam {X n } e {Y n } duas Cadeias de Markov com espaço de estados S = Z. É necessariamente {X n + Y n } uma Cadeia de Markov?

17 .. INTRODUÇÃO 7 4. Seja {X n } a sequência das médias amostrais calculadas a partir de X, X 2,, uma sequência de variáveis aleatórias independentes e identicamente distribuídas, isto é, a) É {X n} um processo de Markov? X n = X + + X n n b) Se a resposta à primeira parte é sim, encontrar a probabilidade de transição P (X n = x X n = y). 5. Seja {X n } uma Cadeia de Markov. Prove que para todo < r < n, P (X x = x X i = x i, i =, 2,, r, r +,, n) = = P (X r = x X r = x r, X r+ = x r+ ) 6. Realizamos uma sequência de experimentos da seguinte forma: primeiro uma moeda honesta é lançada. Em seguida, se no experimento n sai cara, jogamos uma moeda honesta; se nele sai coroa lançamos uma moeda que tem probabilidade de /n de obter cara. Quais são as probabilidades de transição? É este um processo estacionário? 7. Uma urna contém inicialmente cinco bolas pretas e cinco bolas brancas. A seguinte experiência é repetida indefinidamente: Uma bola é retirada da urna; se a bola for branca, ela é colocada de volta na urna, caso contrário ele é deixada de fora. Considere X n o número de bolas pretas restantes na urna após a n-ésima retirada da urna. a) É {X n} um processo de Markov? Se assim for, encontrar as probabilidades de transição adequados e faça o grafo correspondente. b) Será que as probabilidades de transição dependem de n? 8. Mostrar que qualquer sequência de variáveis aleatórias independentes que assumem valores em um conjunto enumerável S é uma Cadeia de Markov. Em qual condição essa cadeia é homogênea? 9. Demonstrar o Teorema. 0. Suponha que Joâo está atirando cestas no ginásio da escola e está muito interessado no número de cestos ele é capaz de acertar em sequência. Suponha que cada tiro vai entrar no cesto com uma probabilidade α (0, ) e que o sucesso ou fracasso de cada tiro é independente de todos os outros tiros. Considere X n ser o número de disparos que ele acertou após n tiros. Assim, por exemplo, X 0 = 0 e X {0, }, dependendo se ele acertou ou não o primeiro tiro. É razoável modelar X n como uma cadeia de Markov? Qual é o espaço de estado? Qual é a matriz de transição?. Para uma Cadeia de Markov {X n }, prove que qualquer sejam n < n 2 < < n k < n. P (X n = j X n = i,, X nk = i k ) = P (X n = j X nk = i k ), 2. Prove as expressões das matrizes de transição no Exemplo.5 b) e c). 3. Suponha que um aluno vai chegar na hora ou atrasado para uma determinada classe e que os eventos de que ele está na hora ou atrasado para a aula, em dias sucessivos, formam uma cadeia de Markov com matriz de probabilidades de transição estacionária. Suponhamos também que, se ele está atrasado em um determinado dia, então a probabilidade de que ele vai chegar na hora certa no dia seguinte é de 0,8. Além disso, se ele chega em tempo em um determinado dia, então a probabilidade de que ele chegará tarde no dia seguinte é de 0,5. a) Se o aluno está atrasado em um determinado dia, qual é a probabilidade de que ele vai estar na hora em cada um dos próximos três dias? b) Se o aluno está no tempo em um determinado dia, qual é a probabilidade de que ele chegará tarde em cada um dos próximos três dias? 4. Suponha que a profissão de um homem pode ser classificada como profissional, trabalhador qualificado ou operário não qualificado. Suponha que, dos filhos de homens profissionais, 80 por cento são profissionais, 0 por cento são trabalhadores qualificados e 0 por cento são trabalhadores não qualificados. No caso dos filhos de operários especializados, 60 por cento são hábeis trabalhadores qualificados, 20 por cento são profissionais e 20 por cento são trabalhadores não qualificados. Finalmente, no caso de trabalhadores não qualificados, 50 por cento dos filhos são trabalhadores não qualificados e 25 por cento em cada um são as outras duas categorias. Suponha que cada homem tem pelo menos um filho e que seguindo a profissão de um filho escolhido aleatoriamente de uma determinada família através de várias gerações temos definida uma Cadeia de Markov. Configure a matriz de probabilidades de transição. Encontre a probabilidade de que um neto escolhido aleatoriamente de um trabalhador não qualificado seja um homem profissional.

18 8 CAPÍTULO. CADEIAS DE MARKOV 5. No Exercício 4 assumimos que todo homem tem pelo menos um filho. Suponha que, ao invés disso a probabilidade de que um homem tenha pelo menos um filho é 0,8. Formar uma cadeia de Markov com quatro estados. Se um homem tem pelo menos um filho, a probabilidade de que o filho está em uma profissão específica é o mesmo que no Exercício. O quarto estado seria o caso de não houver filho e, portanto, não existir continuidade na linha masculina. Encontre a matriz de probabilidades de transição e encontrar a probabilidade de que um neto escolhido aleatoriamente de um trabalhador não qualificado seja um homem profissional. 6. Considere um passeio aleatório, isto é, uma Cadeia de Markov com espaço de estado o conjunto S = {0,,, M} e probabilidades de transição p 0, =, p M,M =, e para x =,, M Desenhe o grafo da matriz de transição de probabilidades. p x,x = α, p x,x+ = α com 0 < α < 7. Uma máquina é constituída por duas partes que não são reparados de forma independente. A parte operante falha durante qualquer dia com probabilidade α. Uma parte que não está funcionando é reparado no dia seguinte com probabilidade β. Defina X n como o número de peças trabalhando no n-ésimo dia. Mostre que {X n } é uma Cadeia de Markov com três estados e apresentar sua matriz de probabilidades de transição. 8. Seja {X n : n 0} uma Cadeia de Markov. Mostre que P (X 0 = x 0 X = x,, X n = x n ) = P (X 0 = x 0 X = x )

19 .2. CÁLCULOS COM A FUNÇÃO DE TRANSIÇÃO 9.2 Cálculos com a função de transição Seja {X n } uma Cadeia de Markov com espaço de estados S e função de transição p. Nesta seção vamos mostrar como diversas probabilidades condicionais podem ser expressas em termos de p e definiremos também a função de transição em m passos da Cadeia de Markov. Teorema.4 Seja {X n } uma Cadeia de Markov em S com matriz de transição P = (p x,y ). Então, P (X n+ = x n+,, X n+m = x n+m X 0 = x 0,, X n = x n ) = p xn,xn+ p xn+m,x n+m (.20) Demonstração : Para demonstrar a relação em (.20), utilizamos a definição de probabilidade condicional na parte esquerda como P (X 0 = x 0,, X n+m = x n+m ) P (X 0 = x 0,, X n = x n ) Pela propriedade em (.7) este quociente é igual a do qual deduzimos a expressão à direita em (.20). π 0 (x 0 )p x0,x p xn+m,x n+m π 0 (x 0 )p x0,x p xn,x n, Escrevendo convenientemente o resultado do Teorema.4 temos, da expressão em (.20), que P (X n+ = y,, X n+m = y m X 0 = x 0,, X n = x n, X n = x) = p x,y p y,y 2 p ym,y m (.2) Utilizemos este resultado para provar uma propriedade mais geral. Consideremos A 0, A,, A n subconjuntos do espaço de estados S. Segue então, da expressão em (.2) que P (X n+ = y,, X n+m = y m X 0 A 0,, X n A n, X n = x) Mais ainda, se B,, B m são subconjuntos de S, segue de (.22) que = p x,y p y,y 2 p ym,y m (.22) P (X n+ B,, X n+m B m X 0 A 0,, X n A n, X n = x) = p x,y p y,y 2 p ym,y m (.23) y B y m B m Definição.0 Seja {X n } uma Cadeia de Markov em S com matriz de transição P = (p x,y ). A função de transição em m-passos p (m) x,y, a qual fornece a probabilidade de transição do estado x ao estado y em m-passos, define-se como p (m) x,y = p x,y p y,y 2 p ym 2,y m p ym,y, (.24) y y m para m 2, como p () x,y = p x,y e como p (0) x,y = { se x = y 0 caso contrário

20 20 CAPÍTULO. CADEIAS DE MARKOV Exemplo. (Fila de servidor único) Um gerente normalmente verifica o vendedor em sua loja a cada 5 minutos para ver se está ocupado ou não. Ele modela o estado do vendedor como se está ocupado ou 2 caso não esteja ocupado. Consideremos a sequência de estados resultantes nas verificações como uma Cadeia de Markov com dois estados possíveis e função de transição estacionária dada pela seguinte matriz: P = Ocupado Não ocupado ( ) Ocupado Não ocupado O gerente percebe que, no final do dia, estará afastado por 0 minutos e vai perder uma vistoria do vendedor. Ele quer calcular a distribuição condicional dois períodos de tempo no futuro dado cada um dos estados possíveis. O raciocínio é da seguinte forma: se X n =, por exemplo, o estado terá que ser ou 2 no tempo n+, mesmo que ele não se importe agora sobre o estado no tempo n +. Mas, se ele calcula a distribuição condicional conjunta de X n+ e X n+2 dado X n =, ele pode somar sobre os possíveis valores de X n+ para obter a distribuição condicional de X n+2 dado X n =. Em símbolos, Pelo Teorema.4 temos que Similarmente Segue que e, portanto, De maneira similar, se X n = 2, e P (X n+2 = X n = ) = P (X n+ =, X n+2 = X n = ) P (X n+ =, X n+2 = X n = ) = P (X n+ = 2, X n+2 = X n = ) = +P (X n+ = 2, X n+2 = X n = ) = P (X n+ = X n = )P (X n+2 = X n+ = ) = = 0.8 = P (X n+ = 2 X n = )P (X n+2 = X n+ = 2) = = 0.06 P (X n+2 = X n = ) = = 0.87 P (X n+2 = 2 X n = ) = 0.87 = 0.3 P (X n+2 = X n = 2) = = 0.78 P (X n+2 = 2 X n = 2) = 0.78 = 0.22 Estes cálculos podem ser feitos também utilizando a Definição.0. Assim, e p (2),2 = p, p,2 + p,2 p 2,2 = 0, 9 0, + 0, 0, 4 = 0, , 04 = 0, 3 p (2) 2,2 = p 2, p,2 + p 2,2 p 2,2 = 0, 6 0, + 0, 4 0, 4 = 0, , 6 = 0, 22 Podemos utilizar a expressão (.23) para esclarecer ainda o conceito de função de transição em m-passos. Escolhendo B,, B m = S e B m = {y} segue, pela expressão mencionada, que P (X n+m = y X 0 A 0,, X n A n, X n = x) = p (m) x,y (.25)

21 .2. CÁLCULOS COM A FUNÇÃO DE TRANSIÇÃO 2 Em particular, assumindo A 0,, A n = S, vemos que P (X n+m = y X n = x) = p (m) x,y (.26) Teorema.5 Seja {X n } uma Cadeia de Markov em S com matriz de transição P = (p x,y ). Então, a probabilidade de transição em n + m-passos pode ser escrita em termos das probabilidades de transição em n-passos e m-passos como p (n+m) x,y = z S p (n) x,zp (m) z,y (.27) Demonstração : Observemos que, da expressão (.25), segue que P (X n+m = y X 0 = x, X n = z) = p (m) z,y (.28) Dado que p (n+m) x,y = P (X n+m = y X 0 = x) = z S P (X n = z X 0 = x)p (X n+m = y X 0 = 0, X n = z) = z S p (n) x,zp (X n+m = y X 0 = x, X n = z), da expressão anterior e do resultado em (.28) concluímos a demonstração. E em termos da distribuição inicial? como escrever a distribuição de X n em termos da distribuição inicial π 0 e da probabilidade em n-passos? A resposta é fornecida pelo seguinte teorema. Teorema.6 Seja {X n } uma Cadeia de Markov em S com matriz de transição P = (p x,y ) e distribuição inicial π 0. Então, podemos escrever a distribuição de X n da seguinte maneira P (X n = y) = x S π 0 (x)p (n) x,y (.29) Demonstração : Dado que então P (X n = y) = x S P (X 0 = x, X n = y), P (X n = y) = x S P (X 0 = x)p (X n = y X 0 = x) Um método alternativo de calcularmos a distribuição de X n é obtido da seguinte maneira. Observe que P (X n+ = y) = x S P (X n = x, X n+ = y) = x S P (X n = x)p (X n+ = y X n = x),

22 22 do qual obtemos que CAPÍTULO. CADEIAS DE MARKOV P (X n+ = y) = x S P (X n = x)p x,y (.30) Se conhecemos a distribuição de X 0, podemos usar o resultado em (.30) para encontrar a distribuição de X. Em seguida, sabendo a distribuição de X, utilizamos (.30) novamente para encontrar a distribuição de X 2. Da mesma forma, podemos encontrar a distribuição de X n aplicando n vezes a relação encontrada em (.30). Generalizando os cálculos no Exemplo. a três ou mais transições pode parecer entediante. No entanto, quando se examinam os cálculos com cuidado, vê-se um padrão que vai permitir um cálculo compacto das probabilidades de transição para várias etapas. Considere uma Cadeia de Markov estacionária com N estados possíveis,, N e matriz de transição P. Assumindo-se que a cadeia está em estado i num determinado momento n, vamos agora determinar a probabilidade de que a cadeia irá estar no estado j no tempo n + 2. Em outras palavras, vamos determinar a probabilidade condicional de X n + 2 = j dado X n = i. A notação para esta probabilidade é p (2) i,j Ȧrgumentamos o que o gerente fez no Exemplo.. Seja r o valor de X n+ que não é de interesse primordial, mas é útil para o cálculo. Depois p (2) i,j = P (X n+2 = j X n = i) N = P (X n+ = r, X n+2 = j X n = i) = = = r= N P (X n+ = r X n = i)p (X n+2 = j X n+ = r, X n = i) r= N P (X n+ = r X n = i)p (X n+2 = j X n+ = r) r= N p i,r p r,j, r= em que a terceira igualdade segue do Teorema.4 e a quarta igualdade seguinte a partir da definição de uma Cadeia de Markov. O valor de p (2) i,j pode ser determinado da seguinte maneira: se a matriz de transição P é elevada ao quadrado, ou seja, se a matriz P 2 = P P for calculada, o elemento da fila i e coluna j da matriz P 2 será N r= p i,rp r,j. Portanto, p (2) i,j será o elemento da fila i e a coluna j de P2. Por um argumento semelhante, a probabilidade de que a cadeia vai passar do estado i para o estado j em três etapas ou p (3) i,j = P (X n+3 = j X n = i), pode ser encontrada através da construção a matriz P 3 = P 2 P. A probabilidade p (3) i,j será o elemento da fila i com a coluna j da matriz P 3. Em geral, temos o seguinte resultado. Teorema.7 Seja P a matriz de transição de uma Cadeia de Markov estacionária com espaço de estados finito. Para cada m = 2, 3, a m-ésima potência P m da matriz P tem na linha i e coluna j a probabilidade p (m) i,j, a probabilidade da cadeia passar do estado i para o estado j em m passos. Demonstração : Exercício. Em resumo, a linha i da matriz de transição em m-passos dá a distribuição condicional de X n+m X n = i para todo i =,, N e todos n, m =, 2,.