SOBRE A CONVERGÊNCIA DAS CADEIAS DE MARKOV

Transcrição

1 SOBRE A CONVERGÊNCIA DAS CADEIAS DE MARKOV F. S. BATISTA C. C. SANTOS L. ANDRADE J. C. ARAÚJO R. G. MÁRQUEZ 2 Resumo As cadeias de Maov são epesentadas po matizes quadadas P ij de odem e indicam a pobabilidade de tansição do estado e j paa o estado e i. O objetivo deste atigo é pova o teoema da convegência de matizes estocásticas egulaes usando tão somente o poduto maticial e conhecimentos elementaes de análise eal, em paticula o uso de desigualdades na eta. Uma aplicação pática é apesentada a luz dos tês métodos utilizados nesse estudo paa a obtenção do veto estacionáio.. Intodução A modelagem matemática utiliza equações matemáticas com vistas a estuda o compotamento do sistema físico analisado. Um sistema físico pode muda com o tempo de um estado a outo de tal modo que, sua modelagem pode se tona uma taefa difícil, ou até mesmo impaticável. Caso o estado desse sistema em qualque obsevação não pude se pedito com ceteza, mas se fo possível peve a sua pobabilidade de ocoe unicamente a pati do conhecimento do estado do sistema na obsevação pecedente, então, esse pocesso de mudança (pobabilística) de um estado paa o outo, é conhecido po cadeia (ou pocesso) de Maov. Váias são as aplicações das cadeias de Maov, ente as quais estão a Física, que utiliza os sistemas Maovianos em temodinâmica e mecânica e a Ciência da Infomação que também utiliza a cadeia de Maov em todo o pocessamento da infomação. A Cadeia de Maov também é bastante utilizada na Economia paa estuda difeentes fenômenos, como peços ativos e falhas no mecado [5]. Cetamente, um esultado impotante nessa teoia, é a convegência dessas cadeias. Recentemente, Silva e Rota [7] analisaam esse poblema com modificações em elação ao desenvolvimento descito po [2] e [4] paa calculaem T n v (em vez de vt n ), onde T epesenta uma matiz quadada de odem de vetoes de pobabilidade, como fizeam os autoes epotados anteiomente. Entetanto, a demonstação apesentada po [7] mostou-se, no nosso entendimento, demasiadamente oneada. Deve se obsevado que o desenvolvimento poposto po [2] foi apesentado de foma concisa, isto é, omitindo passagens de cucial impotância no desenvolvimento de sua demonstação. Nesse sentido, é apesentada uma demonstação detalhada do teoema da convegência da cadeia de Maov com as Palavas-chave: Matiz de tansição; Veto de Estado Estacionáio; Convegência. FFP-UERJ, fabiana_s_b_@hotmail.com; cis_camposs@hotmail.com; loene.alc@hotmail.com 2 DMAT/FFP-UERJ, jcaaujo_55@yahoo.com.b; osagmaquez@yahoo.com.b DOI: /cadmat

2 36 Cadenos do IME - Séie Matemática N. (online) (207) alteações necessáias em elação ao desenvolvimento descito po [2] paa se adaptada ao poduto T n v. Uma aplicação é poposta e discutida à luz dos difeentes métodos paa a obtenção do veto de estado estacionáio. 2. Método Sejam X, X 2,..., X n, n N vaiáveis aleatóias discetas de pobabilidade definidas em um conjunto E = {e,..., e }, onde e i, i =,, são os estados pobabilísticos possíveis de um evento ε. Uma cadeia de Maov é definida pela pobabilidade condicional dada po: P(X n = x n X n = x n ) = P(X n = x n X n = x n,..., X 0 = x 0 ). () A pobabilidade de o sistema esta no estado i (ou e i ) em qualque obsevação, se na obsevação pecedente estava no estado j (ou e j ), é denotada po P ij, e é chamada a pobabilidade de tansição do estado e j ao estado e i. A equação () indica que tudo que acontece no futuo dependeá do último estado pesente e não do passado [6]. A matiz quadada P = (P ij ), de odem, com P ij 0 e i= P ij =, paa j =,..., é chamada matiz de tansição ou matiz estocástica da cadeia de Maov. A matiz de tansição P é egula se existe n N, tal que, P ij n > 0, paa todo i, j =,,, isto é P n tem todas as entadas estitamente positivas. 2.. Fomulação analítica Poposição O poduto de matizes estocásticas é estocástica. Demonstação: Sejam A e B matizes estocásticas de odem. Do poduto maticial [], um elemento genéico (AB) ij desse poduto é dado po (AB) ij = = A i B j, (2) onde, A i e B j são espectivamente a i-ésima linha de A e a j-ésima coluna de B. Queemos pova que a soma dos elementos de cada coluna da matiz AB é igual a um, isto é, i= (AB) ij =. (AB) ij = ( A i B j ) i= i= = ( A i B j ) = i= = = ( A i ) B j = i= = (). B j =. = DOI: /cadmat

3 F. S. Batista, C.C. Santos, L. Andade, Sobe a Convegência das Cadeias de Maov 37 J. C. Aaújo, R. G. Máquez Essa poposição, apaentemente ingênua, mosta que se P é egula, P n é também estocástica paa algum n natual. De fato, sendo P uma matiz de tansição egula, P é uma matiz estocástica e existe n natual, tal que P ij n > 0, paa todo i, j =,...,. Daí, e da poposição anteio, esulta que a matiz P ij n é estocástica. O póximo Teoema nos pemitiá demonsta o Teoema de Convegência de Matizes Regulaes (tais teoemas foam adaptados paa o poduto Px em vez de xp, como desenvolvido po [2]). Teoema Seja P uma matiz de tansição de odem não tendo entadas nulas. Sejam min P e x um i,j,..., veto linha com m min x e M maxx. Analogamente, sejam m min xp e M maxxp Então, o i,..., i o i,..., i j,..., ij. j,..., M M 0, m m 0, (3) M m ( 2ε)(M 0 m 0 ). (4) Demonstação: Seja x o veto linha obtido de x onde todas as suas componentes foam substituídas po M 0, exceto uma que continuou com m 0. Sem peda de genealidade, podemos supo que o m 0 ocupe a pimeia coodenada de x e que P j a. Assim, a j-ésima componente de x P, é dada pelo poduto do veto x com a j-ésima coluna da matiz P, indicada po P(., j). ou (x P) j = x P(., j) = am 0 + i=2 M 0 P ij = am 0 + M 0 i=2 P ij. (5) Como P, tem-se que P a. Daí, j ij j2 ij (x P) j = am 0 + M 0 ( a) = M 0 a(m 0 m 0 ). (6) Desde que a ε, pois a P, obtemos: a (M 0 m 0 ) ε (M 0 m 0 ) (7) (x P) j M 0 ε (M 0 m 0 ). (8) Em paticula, como M é a maio das coodenadas do veto x P satisfaz a desigualdade M M 0 ε (M 0 m 0 ). (9) Como, ε (M 0 m 0 ) > 0, temos que M M 0. (0) Se o veto linha x fo multiplicado po, a desigualdade (9) fica na foma: m m 0 ε (M 0 m 0 ). ()

4 38 Cadenos do IME - Séie Matemática N. (online) (207) Paa veifica a desigualdade (), basta usa a desigualdade (9) obsevando que: max i,..., max j,..., min i,..., min x m " M " o xp m " M " x M " m " o xp M " m " j,...,. o o ou Da desigualdade () obtemos m m 0. (2) Adicionando m às desigualdades (9) e (0), temos: M m M 0 ε(m 0 m 0 ) m 0 ε( m 0 + M 0 ) M m ( 2ε) (M 0 m 0 ). (3) Além disso, como M 0 M e m 0 m, tem-se Desse modo, Da desigualdade (4) esulta: M m M 0 m M 0 m 0. (4) M 0 m 0 M 0 m. (5) M m M 0 m 0. (6) Da desigualdade (3) tem-se 2ε 0 e como ε > 0 segue de (6) que Logo, 0 < M m M 0 m 0 2ε <. 0 < 2ε <. (7) O Teoema é uma extensão do lema 4 de Silva e Rota [7] no sentido dos esultados adicionais (0), (2) e (7) obtidos. Também a demonstação aqui apesentada paa a desigualdade (3) possui difeenças significativas em elação à ealizada pelos efeidos autoes. Po exemplo, a igualdade (6) não foi demonstada claamente em [2] e [7] e, a desigualdade () foi povada usando uma metodologia difeente da adotada po [7]. Além disso, a desigualdade (7) foi ealizada de foma dieta em [7], quando no nosso entendimento, haveia de se exigi que 2. DOI: /cadmat

5 F. S. Batista, C.C. Santos, L. Andade, Sobe a Convegência das Cadeias de Maov 39 J. C. Aaújo, R. G. Máquez Teoema 2 Se P é uma matiz de tansição egula, então P n A, sendo A uma matiz de pobabilidade de odem, onde cada coluna é fomada pelo mesmo veto de pobabilidade a = (a, a 2,, a ) T. Demonstação: Suponhamos pimeiamente que P ij 0, paa todo i, j =,, e que ε = min (P i.j ). Seja e j = (0, 0,..., 0,, 0,..., 0), com a unidade na j-ésima posição. Seja n j,..., j M n max e P n m min e P, n. Isto é, M n e m n são espectivamente a máxima e a mínima componentes do veto linha e j P n = P n (j,. ), onde e j P n = (e j P n )P. Dos esultados (3) e (4) do teoema anteio, tem-se a cadeia não cescente M M 2 e não decescente m m 2... de modo que usando (3) no estágio n tem-se M n m n ( 2ε)(M n m n ) ou M n m n ( 2ε) n (M 0 m 0 ). (8) Seja d n = M n m n, n. Como 0 d 0 tem-se ( 2ε) n d 0 ( 2ε) n. Daí, e de (8) esulta: 0 d n ( 2ε) n d 0 ( 2ε) n. j,..., j n e d n 0 quando n, logo M n m n Assim, a máxima componente do veto linha, e j P n é igual à mínima componente deste mesmo veto linha, digamos que a j seja esse valo em comum, logo a linha e j P n = (a j a j ). ou Repetindo sucessivas vezes o cálculo, e j P n, j = i,,, tem-se e P n = (a,, a ), e 2 P n = (a 2,, a 2 ),, e P n = (a,, a ) a a P n a 2 a 2 = A = [ ], (9) a a isto é, P n tende a uma matiz A cujas colunas são todas iguais ao veto a = (a, a 2,, a ) T. Como a j é o valo comum atavés da apoximação ente m n e M n, é clao que Em paticula, m n a j M n, paa todo n. 0 < m a j M <.

6 40 Cadenos do IME - Séie Matemática N. (online) (207) Então cada componente a j é positiva. Como P n é estocástica, a. Caso P seja egula, existe N N, tal que P N ij > 0, daí e usando a pova ealizada paa o caso do Teoema, em que P ij 0, tem-se uma sequência não cescente 0 d N ( 2ε ) onde d N 0, e P n A, n, onde cada coluna de A é um mesmo veto de pobabilidade. O Teoema 2, é equivalente ao Teoema 5, itens (i, ii) de Silva e Rota [7]. Entetanto, a pova dos efeidos autoes envolveu o lema 4 e também o lema 3 não utilizado nesse estudo. Além disso, a metodologia adotada fez uso de limite de sequências de vetoes, enquanto a descita nesse atigo baseou-se tão somente nas desigualdades (3), (4) e em (3), todas decoentes do Teoema. Nesse sentido, aceditamos que nossa abodagem ficou mais detalhada quando compaada com [2] e [7]. O póximo teoema mostaá que P n x 0 se apoxima do veto estacionáio a independente do veto de pobabilidade inicial x 0, e que a é único no sentido de satisfaze a equação, P n a = a. Além disso, a matiz P comuta com A. Teoema 3 j j Se P é uma matiz de tansição egula e A e a são dados como no teoema 2, então: (a) Paa qualque veto de pobabilidade x 0, P n x 0 tende a a quando n tende ao infinito. (b) O veto a é o único veto de pobabilidade tal que Pa = a. (c) PA = AP. Demonstação: Como P é egula, pelo teoema 2, P n A quando n. P T n x Ax a xi, a xi,...,a x i, i i i onde, x 0 = (x, x 2,, x ) T. Como x 0 é um veto de pobabilidade, x. Daí, P n x 0 = Ax 0 = a. Seja β um veto de pobabilidade tal que, Pβ = β, então usando o item (a), P n β = a quando n tende a infinito. Po outo lado, P 2 β = P(Pβ) = β,, P n β = β. Logo, β = a. P n+ = P n P = AP, quando n tende ao infinito. Mas PA = PP n, logo AP = PA. O Teoema 3 é equivalente ao Teoema 5, itens (iii e iv) de Silva e Rota [7], mas a pova que fizemos paa o item (b) que coesponde ao item (iv) de [7] não fez uso do teoema da unicidade do limite Aplicação A segui veemos uma aplicação da cadeia de Maov baseada no poblema poposto po [] e aqui ampliada, utilizando tês difeentes métodos paa a obtenção do veto estacionáio. Um guada de tansito é designado paa contola o tafego nos oito cuzamentos indicados na Figua. Ele é instuído a pemanece em cada cuzamento po uma hoa e, em seguida, ou pemanece no mesmo cuzamento ou segui paa um cuzamento adjacente. i i DOI: /cadmat

7 F. S. Batista, C.C. Santos, L. Andade, Sobe a Convegência das Cadeias de Maov 4 J. C. Aaújo, R. G. Máquez Figua. Diagama do cuzamento de uas e posição inicial do guada. Fonte: Os autoes (207). Paa evita que ele estabeleça um padão, ele deve escolhe o novo cuzamento de maneia aleatóia, com qualque escolha igualmente povável. Po exemplo, se ele está no cuzamento 5, seu póximo cuzamento pode se 2, 4, 5 ou 8, cada um com igual pobabilidade 4. Cada dia ele ecomeça no cuzamento em que paou no dia anteio. A matiz de tansição desta cadeia de Maov com o guada iniciando seu tabalho na posição 5 é dada abaixo po: Podemos epesenta as pobabilidades de tansição utilizando a epesentação po gafo, que paa este fim é denominado como Diagama de Tansição de Estado. Neste os sentidos das flechas indicam a pobabilidade de tansição de um estado i paa um estado j. Paa a matiz de tansição P dada acima o diagama fica da seguinte foma confome pode se visto na Figua 2.

8 42 Cadenos do IME - Séie Matemática N. (online) (207) Figua 2. Diagama de tansição de estado da matiz P. Nota a posição 5 pintada de azul indicado a posição inicial. Fonte: Os autoes (207). Pimeio Método: Utilizando a equação maticial x (n+) = Px (n) decoente do Teoema 3 item (a). Supondo que o guada inicialmente começa no cuzamento 5, suas pováveis localizações, hoa à hoa, são dadas pelos vetoes epesentados pelas colunas da Tabela. Paa todos os valoes de n maioes do que 8, todos os vetoes-estado são iguais a x (8) até tês casas decimais. Assim, os vetoes-estado convegem a um veto fixo à medida que n cesce. Esse veto fixo é o veto estacionáio que coesponde ao veto pobabilidade. a = [ ] T, Tabela. Vetoes esultantes desde x (0), indicando a posição inicial 5, até o veto o veto estacionáio x (8), indicando a convegência a pati dele. Iteação (n) Veto (n) x x 2 (n) x 3 (n) x 4 (n) x 5 (n) x 6 (n) x 7 (n) x 8 (n) DOI: /cadmat

9 F. S. Batista, C.C. Santos, L. Andade, Sobe a Convegência das Cadeias de Maov 43 J. C. Aaújo, R. G. Máquez Segundo Método: Usando a equação P (n) A, decoente do Teoema 2, obtivemos as matizes abaixo. Paa todos os valoes de n maioes do que 9, todos os vetoes-estado são iguais a P (9) até tês casas decimais. Assim, os vetoes-estado de cada coluna da matiz convegem a um veto fixo à medida que n cesce, esultando numa matiz estacionáia w. Esse veto fixo é o veto estacionáio a = [ ] T, que coesponde ao veto pobabilidade. Note que neste caso não foi necessáio uma posição inicial x P = [ ] P = [ ] P = [ ] Teceio Método: Usando o item (b) do Teoema 3, tem-se a equação Pw = w, que é equivalente a esolve o sistema linea (P I)w = 0.

10 44 Cadenos do IME - Séie Matemática N. (online) (207) Resolvendo (P I)w = 0, chegamos à matiz ampliada usando o método da eliminação de Gauss completo [] na foma [ ] onde x = x 8, x 2 = x 8, x 3 = x 8, x 4 = 5 3 x 8, x 5 = 4 3 x 8, x 6 = x 8, x 7 = 4 3 x 8 e x 8 é a vaiável live. Escolhemos x 8 = 3 paa obtemos uma base simples, sem fações. Assim, w = [ ] T. Multiplicando o veto estacionáio w pelo escala 28, onde o denominado é obtido somando as coodenas de w, obtemos o veto pobabilidade estacionáio a = [ ] T. O denominado do escala, 28 pode se obtido somando as coodenadas de w. 3. Resultados e Discussões A Tabela 2 mosta o veto estacionáio calculado pelos tês pocedimentos descitos anteiomente. As pequenas vaiações podem se ceditadas aos eos de aedondamento e tuncamento ealizados pela máquina. No teceio método não é possível obseva os estados pobabilísticos da tansição da cadeia de Maov. Além do mais, devido à facilidade de pogamação dos métodos e 2 eles devem se pefeíveis devido a sua paticidade em elação ao método 3 de caacteística mais algébica. DOI: /cadmat

11 F. S. Batista, C.C. Santos, L. Andade, Sobe a Convegência das Cadeias de Maov 45 J. C. Aaújo, R. G. Máquez Tabela 2. Veto estacionáio esultante de cada método. Em e 2, n epesenta o númeo da iteação na qual ocoeu a convegência. Métodos Veto pobabilidade (a) x (n+) = Px (n) [ ] T 2 Px (n) = w [ ] T 3 Pw = w [ ] T Retomando a análise do poblema poposto, as coodenadas desses vetoes expõem a pobabilidade da posição do guada após passadas 9 hoas, tendo como início a posição 5. Utilizando os esultados do pimeio método, e consideando aedondamentos da máquina, temos a seguinte epesentação de pobabilidade das posições em pocentagem: Figua 3. Repesentação dos cuzamentos das uas com as espectivas pobabilidades em pocentagem da posição do guada de pois de 9 hoas. Fonte: Os autoes (207). Consideamos também uma análise geal utilizando o pimeio método, que nos pemite melho obseva os estados pobabilísticos da tansição da convegência da cadeia de Maov, consideando o guada em cada um dos outos sete cuzamentos ampliando desse modo, o pojeto da aplicação poposto em []. Os esultados mostaam pequenas vaiações no númeo de inteações paa alcança a convegência, poém os vetoes estacionáios esultante de cada posição inicial mostaam atingi pobabilidades concodantes ente eles como mosta a Tabela 3, o que ea de se espea, visto que todos patiam da mesma matiz de tansição P. Novamente, as pequenas vaiações nas coodenadas do veto estacionáio pelos difeentes métodos podem se ceditadas aos eos de aedondamento e tuncamento ealizados pela máquina.

12 46 Cadenos do IME - Séie Matemática N. (online) (207) Tabela 3. Vetoes estacionáios esultantes utilizando o Método de cada posição inicial do guada e o númeo de iteações (hoas) necessáias paa a convegência. Posição inicial Númeo de iteações Veto pobabilidade 20 [ ] T 2 2 [ ] T 3 9 [ ] T 4 9 [ ] T 5 8 [ ] T 6 2 [ ] T 7 8 [ ] T 8 2 [ ] T Nosso objetivo foi, potanto, segui exclusivamente os passos de [2], adaptando-os paa o caso de modo que, os pincipais esultados fossem demonstados de foma mais compeensível do que a vesão sucinta encontada em [2] e desse modo, pudessem se acessíveis a um público mais geal. A descição de tês métodos paa obte o veto estacionáio de uma cadeia de Maov foi aqui detalhada e utilizada em uma aplicação pática. Refeências [] ANTON, H.; RORRES, C. Álgeba Linea com Aplicações, tad. Claus Ivo Doeing. 8. ed. Poto Alege: Booman, 200. [2] KEMENY, J. G.; SNELL, J. L. Finite Maov chains. New Yo: Spinge-Velag, 960. [3] LAY, D. C. Álgeba Linea e Suas Aplicações. 2. ed. Editoa LTC, 997. [4] MANOEL, M. R. Cadeias de Maov: uma abodagem voltada paa o ensino médio f. Dissetação (Mestado Pofissional) - Instituto de Matemática, Estatística e Computação Científica, Univesidade Estadual de Campinas. Campinas, 206. [5] PRASAD, N. R.; ENDER, R. C.; REILY S. T. e NESGOS G. IEEE Confeence Publications: Allocation of esouces on a minimized cost basis, 974 IEEE Confeence on Decision and including the 3 th Symposium on Adaptive Pocesses. [6] RUFFINO, P. R. C. Uma iniciação aos sistemas dinâmicos estocásticos. 2. ed. Rio de Janeio: IMPA, [7] SILVA, F. B.; ROTA, I. S. Convegência de matizes estocásticas egulaes. C.Q.D. Revista Eletônica Paulista de Matemática, Bauu, v. 8, p. 4-4, dez Edição Iniciação Científica. T n v DOI: /cadmat