Cadeias Markov Moduladas

Transcrição

1 Actas do XI Congresso Anual da SPE 1 Cadeias Markov Moduladas Cláudia Nunes, António Pacheco Instituto Superior Técnico, Departamento de Matemática e CEMAT. Resumo: Uma sequência bivariada (K, X) = {(K n, X n ), n IN} é uma cadeia Markov modulada (CMM) se (K, X) for uma cadeia de Markov em tempo discreto cuja distribuição condicional do estado no instante (n + 1), dado o estado no instante n, depende unicamente da componente K. Segue-se da denição de CMM que K é também uma cadeia de Markov. Uma maneira de interpretar uma CMM é ver K como o ambiente e X como sendo um processo estocástico regido pelas transições de K. Por esta razão o processo K é designado por cadeia moduladora e X por sequência modulada. No artigo é proposto um estudo sistemático desta classe de modelos. Em particular são apresentadas probabilidades de transição a vários passos, equações de Chapman- Kolmogorov, probabilidades tabu e restritas, tempos de primeira de passagem e funções geradoras de probabilidades para CMMs. Seguidamente consideram-se propriedades de estado da cadeia moduladora K que são herdadas pela CMM (K, X). Com excepção da reversibilidade, todas as restantes propriedades da cadeia moduladora (e.g., recorrência/transiência, periodicidade, irreducibilidade, existência de distribuições estacionárias, etc) são herdadas pela CMM sob condições adicionais de fácil vericação. Palavraschave: cadeias de Markov, cadeias Markov moduladas, comportamento limite, equações de Chapman-Kolmogorov, kernel de transição, periodicidade, recorrência, transiência. Abstract: A bivariate sequence (K, X) = {(K n, X n), n IN} is a Markov modulated chain if (K, X) is a discrete time Markov chain (DTMC) whose conditional distribution of the state at time n + 1, given the state at time n, depend only on K n. It follows from the denition that K is also a DTMC and therefore we can see K as ruling a (random) environment and X as a stochastic process whose dynamics depend on the transitions of the environment K. In this work we propose a study of this class of models, presenting, in particular, a classical treatment of a DTMC, incluing for instance transition probabilities, Chapman-Kolmogorov equations and taboo probabilities. We also study the inheritance of state and class properties of K by the bivariate process (K, X). Keywords: Chapman-Kolmogorov equations, discrete-time Markov chains, limit behaviour, Markov modulated chains, periodicity, recurrence, transience, transition kernel.

2 2 C. Nunes, A. Pacheco / Cadeias de Markov Moduladas 1 Introdução A análise de um modelo estocástico que descreva, realisticamente, uma situação prática é um desao muitas vezes intransponível, em particular porque os fenómenos reais exibem várias dependências. Coloca-se então um dilema: a incorporação de dependências no modelo que o tornem mais adequado à descrição da realidade versus a complexidade daí resultante. Neste contexto os modelos markovianos desempenham um papel fundamental, uma vez que permitem uma solução de compromisso. A razão do seu sucesso reside na propriedade markoviana: a estrutura probabilística do futuro não depende de toda a história do processo mas apenas do presente. Informalmente, um processo Markov modulado é um processo markoviano bivariado (J, Y ), tal que a componente markoviana, J, rege a estrutura probabilística da componente eventualmente não markoviana, Y. Nas aplicações mais correntes J designa um processo estocástico que descreve a sequência de estados de um ambiente enquanto que Y é a sequência modulada ou processo de nível [4]. Como exemplo desta interpretação considere-se uma la de espera em que o processo de chegadas ocorre em grupos de dimensão aleatória, e é gerado por um conjunto de fontes tal que em cada instante uma e uma só fonte está activa. Nesta situação J n designa qual a fonte activa no instante n e Y n é a dimensão do grupo gerado no instante n. Existem vários tipos de processos markovianos modulados, quer em tempo discreto quer em tempo contínuo. A popularidade destes modelos deve-se à sua utilidade em diversos tipos de situações, em particular na modelação de sistemas reais em diferentes domínios como as telecomunicações, sistemas de gestão, mercado nanceiro, etc [1, 10]. De seguida destacamos alguns dos modelos desta classe. Uma vez que não tem cabimento neste trabalho uma lista exaustiva de modelos, resultados e publicações, deixamos apenas indicação de alguns dos processos e publicações que consideramos mais relevantes. Um dos processos markovianos modulado mais popular é o processo de Poisson Markov modulado, quer em tempo contínuo (vulgo MMPP) [2, 11], quer em tempo discreto (vulgo DMMPP) [13]. (J, Y ) é um MMPP (DMMPP) se J for uma cadeia de Markov em tempo contínuo (em tempo discreto) e Y for um processo de Poisson cuja taxa depende do estado do processo J (que, no caso discreto, tem incrementos apenas em instantes discretos). Um caso particular de um MMPP em tempo contínuo é o processo de Poisson interrompido (IPP) [6, 7]. de Outro exemplo de um processo Markov modulado é o processo markoviano de chegadas (vulgo MAP ou BMAP, consoante as chegadas sejam simples ou em grupo, DBMAP se ocorrerem em tempo discreto) [5, 8]. Um BMAP (DB- MAP) generaliza um MMPP (DMMPP), uma vez que os eventos de Y podem ter uma distribuição arbitrária, com parâmetros eventualmente dependentes do processo modulador J. Neste trabalho apresentamos uma classe de processos Markov modulados em tempo discreto, que designamos por cadeia Markov modulada (CMM). Consideramos a seguinte denição de CMM.

3 Actas do XI Congresso Anual da SPE 3 Denition 1 A sequência (K, X) é uma CMM se (K, X) for uma cadeia de Markov em tempo discreto cuja distribuição condicional de (K n+1, X n+1 ), dado (K n, X n ), não depende de X n, para todo o n IN. Decorre da denição de CMM que o processo marginal K = {K n, n IN} é uma cadeia de Markov em tempo discreto (CMTD) e que a função de probabilidade de X = {X n, n IN}, a componente eventualmente não-markoviana, é determinada pelas transições de K. Note-se porém que a denição permite ainda considerar situações em que as componentes K n e X n surgem conjuntamente, não sendo nesse caso natural interpretar marginalmente K como sendo o ambiente aleatório. Neste trabalho estudamos propriedades do processo bivariado (K, X), relacionando, sempre que possível, com as propriedades do processo marginal K. Uma CMM é, em primeiro lugar, uma CMTD, pelo que toda a panóplia de resultados existentes para CMTDs pode ser utilizada na análise de uma CMM. Porém, como se mostrará neste trabalho, a propriedade de modulação markoviana confere-lhe um carácter especial, permitindo ir um pouco mais longe na sua caracterização do que aquilo que é prática usual nas CMTDs. O trabalho está organizado da seguinte forma. Na Section 2 denimos probabilidades de transição a um e a vários passos; consideramos ainda probabilidades restritas e deduzimos equações Chapman-Kolmogorov para as diferentes probabilidades de transição. Na Section 3 estudamos quais as propriedades de estado e em que condições são herdadas do processo marginal K pelo processo bivariado (K, X), enquanto que na Section 4 indagamos a mesma questão para as propriedades de classe. Na Section 5 questionamos o comportamento limite do processo bivariado (K, X) em função do processo marginal K e nalmente na Section 6 apontamos as conclusões gerais deste trabalho. Dadas as restrições de espaço, são omitidas demonstrações de resultados, podendo estas ser consultadas em [9]. Terminamos esta secção com alguma notação que utilizamos ao longo do trabalho. I designa a matriz identidade, cuja dimensão se deduz sempre a partir do contexto. Se A = [a ij ] i L0,j L 1 e B = [b ij ] i L0,j L 1, então A B designa o produto de Schur de duas matrizes, i.e., [A B] ij = a ij b ij para i L 0, j L 1. Finalmente 1 {a} designa a função indicatriz da proposição a. 2 Probabilidades de transição Nesta secção denem-se probabilidades de transição a um passo e a vários passos, adoptando o tratamento usual de CMTDs. Seja então (K, X) uma CMM homogénea que toma valores num espaço contável S. Seja ainda S K (S X ) o espaço de estados de K (X). Note-se que S S K S X. As probabilidades de transição a um passo de (K, X) são h ij (x) = IP (K n+1 = j, X n+1 = x K n = i) (1)

4 4 C. Nunes, A. Pacheco / Cadeias de Markov Moduladas para i S K e (j, x) S, com h ij (x) = 0 se i, j S K mas (j, x) / S, de forma que h ij (x) está bem denido para qualquer i, j S K e x S X. O kernel de transição de (K, X) é H = {H(x), x S X }, com H(x) = [h ij (x)] i,j SK. Por razões de simplicidade de notação, consideramos a extensão canónica de H a 2 S2 K S X. Assim, para A S 2 K S X e x S X, seja I A (x) = [I A (x)] i,j SK, com [I A (x)] i,j = 1 {(i,j,x) A}. Então denimos H(A) como sendo H(A) = x S X [H(x) I A (x)]. (2) O próximo resultado mostra que a componente K da CMM (K, X) é ela própria uma CMTD. Theorem 2 O processo marginal K é uma CMTD com matriz de probabilidades de transição P = [p ij ] i,j SK, com p ij = IP (K n+1 = j K n = i) = Além disso H(A) P, A S 2 K S X. x S X h ij (x). (3) De acordo com o Theorem 2, designamos K por cadeia moduladora e X por sequência modulada. Seja agora G = {G(x), x S X }, com G(x) = [g ij (x)] i,j SK dada por { hij(x) g ij (x) = IP (X n+1 = x K n = i, K n+1 = j) = p ij 0 p ij > 0 p ij = 0. (4) Se p ij for positivo, então g ij (x) é a probabilidade condicional de X n+1 ser igual a x dado que do instante n para o instante n + 1 ocorreu uma transição do estado i para o estado j na cadeia moduladora K. Designamos G por kernel de transição condicional, uma vez que descreve a estrutura probabilística da sequência modulada em função das transições da cadeia moduladora. Considerase ainda a extensão canónica de G a 2 S2 K S X de forma similar à considerada para a extensão canónica de H. De seguida denem-se probabilidades de transição da CMM a vários passos. Seja H (n) = {H (n) (x), x S X }, onde [ H (n) (x) = h (n) ij ]i,j S (x) = [IP (K n = j, X n = x K 0 = i)] i,j SK (5) K designa o kernel de transição a n passos da CMM (K, X), para n IN, com H (1) (x) = H(x), para todo o x S X. O resultado seguinte é uma aplicação das equações Chapman-Kolmogorov (CK) para CMMs.

5 Actas do XI Congresso Anual da SPE 5 Theorem 3 (Equações CK para CMMs) Para m IN, n IN 0 e x S X H (n+m) (x) = P n H (m) (x). (6) O resultado seguinte provém do Theorem 3 e da denição de kernel de transição condicional, dada em (4). Corollary 4 Para A S 2 K S X e n IN, Para B S e n IN seja H(A) = P G(A) (7) H (n) (A) = P n 1 H(A) = P n 1 [P G(A)] P n. (8) h (n) ibj (x) = IP ((K n, X n ) = (j, x), (K m, X m ) B, m = 1, 2,..., n 1 K 0 = i) a qual é designada por probabilidade de transição do estado i S K para o estado (j, x) S a n passos restrita a B, i.e., h (n) ibj (x) designa a probabilidade de que, partindo do estado i, a CMM (K, X) visite o estado (j, x) no instante n, passando apenas por estados intermédios pertencentes ao conjunto B. Probabilidades de transição restritas são semelhantes a probabilidades tabu [3, 4], sendo porém denidas de forma mais construtiva, de que resulta uma análise um pouco distinta. O teorema que se segue é uma extensão das equações CK para probabilidades restritas em CMMs. Theorem 5 Para A S K, B, C S e m IN, n IN 0 onde H (n+m) ABC = H(n) ABB H(m) B K BC (9) B K = {j S K : x S X tal que (j, x) B}. (10) Corollary 6 Para A S K, B, C S e n 2 3 Propriedades de estado H (n) ABC = H(A B)H(n 2) B K BB H(B K C). (11) De seguida derivam-se condições que garantem que as propriedades de estado da cadeia moduladora são herdadas pela CMM. Note-se que a estrutura de uma CMM (K, X) pode ser bem mais complexa que a da cadeia moduladora, pelo que pode ser relevante estudar as propriedades do processo conjunto (K, X) à custa das propriedades do processo marginal K. Nesta secção focamos, com especial ênfase, relações de comunicação entre estados. Sugere-se, por exemplo,

6 6 C. Nunes, A. Pacheco / Cadeias de Markov Moduladas [12] para consulta sobre denições e resultados essenciais sobre a relação de comunicação entre estados de uma CMTD. Considere-se a seguinte notação: se i e j são dois estados de uma cadeia de Markov Y com espaço de estados S Y e se j é acessível a partir de i, então escrevemos i Y j. De forma similar, se i e j comunicam, então escrevemos que i Y j. Seja ainda Ci Y = {j S Y : i Y j} (12) i.e., Ci Y é o conjunto de estados que comunicam com i. Um subconjunto C de S Y é uma classe comunicante (de Y ) se todos os seus estados comunicam entre si e se C contém todos os estados que comunicam com algum elemento do conjunto. Cj Y é fechada se i j implica que j Ci Y. Consideram-se os seguintes conjuntos: E ij = {x S X : h ij (x) > 0} e E j = i C K j E ij (13) para i, j S K. Reciprocamente, para x S X, tome-se T (x) = {(i, j) S 2 K : h ij (x) > 0} (14) como sendo o conjunto de transições admissíveis para K para as quais a sequência modulada X pode tomar o valor x. Note-se que se p ij = 0 então E ij = ; adicionalmente, (i, j) T (x) x E ij (15) para i, j S K e x S X. Seguidamente consideram-se condições necessárias e sucientes para a acessibilidade e comunicação entre estados de uma CMM (K, X) em termos da acessibilidade e comunicação entre estados da cadeia moduladora K. Theorem 7 Se (i, x), (k, y) S, então (i, x) (K,X) (k, y) (i, x) = (k, y) ( j S K : i K j, (j, k) T (y)) (16) (i, x) = (k, y) ( j S K : i K j, h jk (y) > 0). (17) Consequentemente, (i, x) (K,X) (k, y) se e só se (i, x) = (k, y) ( j, l S K :i K j, k K l, (j, k) T (y), (l, i) T (x)) (18) ou, equivalentemete, (i, x) = (k, y) ( j, l S K :i K j, k K l, h jk (y) > 0, h li (x) > 0). (19) Logo (k, y) é acessível a partir de (i, x) se e só se existir j S K tal que o estado j é acessível a partir de i K e y E jk. O resultado seguinte é consequência deste facto.

7 Actas do XI Congresso Anual da SPE 7 Corollary 8 Se (i, x), (k, y) S, então pelo que (i, x) (K,X) (k, y) = i K k (20) (i, x) (K,X) (k, y) = i K k. (21) Note-se que (20) decorre igualmente da denição de acessibilidade entre estados de CMTD e de (8). Além disso, se K retorna ao estado i, então todos os estados visitados por K até ao retorno a i comunicam com i. O resultado seguinte incorpora informação sobre as classes comunicantes da cadeia moduladora K, permitindo assim uma expressão alternativa para as probabilidades de transição da CMM (K, X) dadas no Theorem 3. Por facilidade de notação, quando dizemos Ci K (C (K,X) (i,x) ) é fechada queremos dizer Ci K (C (K,X) (i,x) ) é K-fechada ((K, X)-fechada). Corollary 9 Se C K i é fechada, então IP (K n = k, X n = x K 0 = i) = h (n) ik (x) = para (k, x) S, n IN e m {1, 2,..., n}. j C K i p (n m) ij h (m) jk (x) (22) Note-se que se k = i em (22), então o Corollary 9 implica que IP (K n = i, X n = x K 0 = i) = h (n) ii (x) = p (n m) ij h (m) ji (x) (23) j Ci K para (i, x) S, n IN e m {1, 2,..., n}. De notar que (22) reforça a relação (6) quando C K i é fechada. Se C K i for fechada então: em todos os instantes em que o estado (i, x) for visitado, a cadeia moduladora K só pode visitar estados que comuniquem com i. Seja agora Y uma CMTD arbitrária. De seguida apresentamos um lema, o qual permite incorporar informação sobre as classes comunicantes de Y, fornecendo uma expressão alternativa para as equações CK. Lemma 10 Para i S Y, n IN 0 e m {0, 1,..., n}, IP (Y n = i Y 0 = i) = e, além disso, j C Y i IP (Y m = j Y 0 = i) IP (Y n m = i Y 0 = j) (24) C Y i é fechada = n IN : IP (Y n = i Y 0 = i) > 0. (25)

8 8 C. Nunes, A. Pacheco / Cadeias de Markov Moduladas No próximo teorema relacionamos as classes fechadas de (K, X) com as classes fechadas de K. Theorem 11 Para (i, x) S, pelo que C (K,X) (i,x) é fechada = C K i é fechada (26) C (K,X) (i,x) é fechada = l C K i : h li (x) > 0. (27) Note-se que o inverso de (26) não é, em geral, verdadeiro, i.e, o facto de Ci K ser fechado não implica necessariamente que C (K,X) (i,x) seja fechado. Por exemplo, seja (K, X) uma CMM que toma valores em {0, 1} {a, b}, tal que p ij > 0 para todo o i, j {0, 1}, mas g 01 (a) = g 11 (a) = 0, pelo que (1, a) é um estado transiente da CMM (K, X). Então C1 K é fechada (pois K é irredutível) mas C (K,X) (1,a) não é fechada. De seguida derivamos um resultado que caracteriza as classes de comunicação fechadas da CMM (K, X) em termos das classes de comunicação fechadas da classe moduladora K. Theorem 12 B é uma classe de comunicação fechada da CMM (K, X) se e só se para alguma classe de comunicação fechada A de K B = i,j A ({j} E ij ). O teorema anterior permite-nos relacionar a decomposição do espaço de estados da CMM (K, X) em termos das classes comunicantes fechadas e da união de todas as classes abertas com a decomposição respeitante ao espaço de estados da cadeia moduladora K. Se A for uma classe comunicante fechada de K, então a respectiva classe comunicante de (K, X) é dada por B(A) = i,j A ({j} E ij ). (28) Seja S K = ( n A n ) O, com os A n 's sendo classes comunicantes fechadas (disjuntas) de K e seja O a união de todas as classes aberta de K. Da teoria das CMTDs resulta que: se S K for innito pode acontecer que S K = O; se S K for nito então K tem pelo menos uma classe comunicante fechada. Logo o espaço de estados correspondente à CMM (K, X) pode ser decomposto da seguinte forma: S = ( n B(A n )) [S \ n B(A n )] (29) sendo os B(A n )'s classes comunicantes fechadas de (K, X). Em face de (29) resulta que: Corollary 13 (K, X) é irredutível K é irredutível. (30)

9 Actas do XI Congresso Anual da SPE 9 4 Propriedades de classe Nesta secção classicamos os estados de uma CMM de acordo com o seu carácter recorrente/transiente e periódico/aperiódico. Começamos por introduzir um conjunto que desempenha um papel importante na classicação de um estado (i, x) S. Dado i S K, seja D(i) o conjunto de valores que X pode assumir quando a cadeia moduladora K transita para o estado i vinda de um estado de K pertencente à classe comunicante de i, i.e., D(i) = {x S X : h li (x) > 0 para algum l Ci K } (31) = x S X : h li (x) > 0. (32) l C K i O resultado que se segue é útil para derivar condições necessárias e sucientes para um estado (i, x) de uma CMM (K, X) ser recorrente e/ou periódico com base na recorrência e/ou periodicidade do estado i da cadeia moduladora K. Lemma 14 Para i S K, D(i) = {x S X : n IN tal que h (n) ii (x) > 0} = Além disso, se (i, x) S, então { x S X : n IN h (n) ii (x) > 0 (i, x) é (K, X) recorrente = x D(i). (33) No teorema que se segue damos condições necessárias e sucientes para os estados da CMM (K, X) serem recorrentes, transientes, recorrentes positivos, recorrentes nulos, aperiódicos ou periódicos. Theorem 15 Para (i, x) S, (i, x) é (K, X) recorrente i é K recorrente e x D(i) (34) (i, x) é (K, X) transiente i é K transiente ou x / D(i) (35) (i, x) é (K, X) recorrente positivo i ék recorrente positivo e x D(i) (36) (i, x) é (K, X) recorrente nulo i é K recorrente nulo e x D(i) (37) (i, x) é (K, X) aperiódico i é K aperiódico ou x / D(i) (38) d (K,X) (i, x) = d > 1 d K (i) = d > 1 e x D(i). (39) O teorema anterior permite relacionar a decomposição canónica do espaço de estados da CMM (K, X) em termos das suas classes comunicantes recorrentes (e, consequentemente, fechadas) e da união de todas as suas classes transientes com a decomposição canónica do espaço de estados da cadeia moduladora K. }.

10 10 C. Nunes, A. Pacheco / Cadeias de Markov Moduladas Seja S K = O ( n A n), onde A n são classes recorrentes de K e O é a união de todas as classes transientes de K. Para um subconjunto A não vazio de S K seja R(A) = {(i, x) S : i A, x D(i)}. (40) A correspondente decomposição canónica do espaço de estados da CMM (K, X) é, em face de (34), S = [S \ n R(A n)] ( n R(A n)) (41) onde R(A n) são as classes recorrentes de (K, X) e [S \ n R(A n)] é o conjunto de todos os estados transientes de (K, X). Tomando em linha de conta Corollary 13 e Theorem 15, temos o seguinte resultado. Theorem 16 (K, X) é recorrente positiva K é recorrente positiva (42) (K, X) é recorrente nula K é recorrente nula (43) (K, X) é transiente K é transiente (44) (K, X) é aperiódica K é aperiódica (45) (K, X) tem período d K tem período d (46) (K, X) é ergódica K é ergódica. (47) 5 Estacionaridade, comportamento limite e reversibilidade Sejam D K e D (K,X) as famílias de distribuições estacionárias de K e (K, X), respectivamente. Da teoria das CMTDs sabemos que D K pode ser vazia, ter um único elemento ou um número innito, não numerável, de elementos. No teorema que se segue estabelecemos uma relação bijectivam entre distribuições estacionárias de K e distribuições estacionárias de (K, X). Theorem 17 Se π K = [π i ] i SK D K, então existe uma e uma só distribuição π (K,X) = [ π (j,x) ](j,x) S D(K,X) tal que π (j,x) = para todo o (j, x) S, ou, equivalentemente, para todo o j S K. π j = i S K π i h ij (x) (48) x S X π (j,x) (49)

11 Actas do XI Congresso Anual da SPE 11 Note-se que se para x S X, π(x) = [ π (j,x) ]j S K, então (48) é equivalente a π(x) = π K H(x) (50) para x S X. Suponhamos doravante que K e (K, X) são recorrentes positivas e que ambas possuem distribuições estacionárias únicas π K and π (K,X), respectivamente, relacionadas de acordo com (48)-(49). Finalmente estudamos a reversibilidade da CMM (K, X). Decorre da denição de reversibilidade para cadeias de Markov em tempo discreto que a CMM (K, X) é reversível se e só se para todo o (i, x), (j, y) S. π (i,x) h ij (y) = π (j,y) h ji (x) (51) Theorem 18 Se (K, X) for reversível então K é também reversível. O contrário de Theorem 18 não é verdadeiro: se K for reversível não podemos, em geral, garantir que (K, X) seja também reversível. Só é possível enunciar resultados sobre reversibilidade para instâncias particulares de CMMs. Por exemplo, a CMM resultante das transições de estado de uma cadeia de Markov reversível não é em geral reversível, tal como armamos no teorema que se segue. Theorem 19 A CMM resultante das transições de uma cadeia de Markov K é reversível no tempo se e só se uma das duas condições seguintes for vericada: (i) K tem um único estado. (ii) K tem dois estados, e a sua matriz de probabilidades de transição é da seguinte forma: [ ] 0 1. (52) Comentários nais Neste trabalho foi feita uma caracterização de uma classe particular de processos Markov modulados em tempo discreto. Para esta classe de modelos - que designámos por Cadeias Markov moduladas - estabelecemos resultados respeitantes a probabilidades de transição, propriedades de estado, propriedades de classe e características limite, seguindo o tratamento usual de processos markovianos. Ressalta do trabalho que a estrutura particular de uma CMM (K, X) permite estabelecer relações interessantes entre as características do processo marginal K - o qual, recorde-se, é o processo que dita a estrutura markoviana - e as

12 12 C. Nunes, A. Pacheco / Cadeias de Markov Moduladas características do processo bivariado (K, X). Na verdade quase todas as características do processo markoviano K são herdadas pelo processo bivariado, à excepção da reversibilidade, sob a validade de condições fáceis de vericar. A análise aqui apresentada contempla apenas processos homogéneos, mas o caso não-homogéneo pode ser tratado de forma semelhante, considerando as devidas alterações a nível da notação, como ilustrado em [9]. Referências [1] F. Cheng e J. Song. (2001). Optimal policies for multiechelon inventory problems with Markov-modulated demand. Operations Research, Vol. 49, p [2] W. Fisher e K. Meier-Hellstern. (1993). The Markov-modulated Ppoisson process (MMPP) cookbook. Performance Evaluation, Vol. 18, p [3] M. Kijima. (1997). Markov Processes for Stochastic Modeling. Chapman and Hall, Londres. [4] G. Latouche e V. Ramaswami. (1999). Introduction to Matrix Analytic Methods in Stochastic Modeling. Society for Industrial and Applied Mathematics, Philadelphia, PA. [5] D.M. Lucantoni. (1991). New results on the single server queue with a batch Markovian arrival process. Stochastic Models, Vol. 7, p [6] I.L. Mitrany e B. Avi-Itzhac. (1968). A many-server queue with service interruptions. Operations Research, Vol. 16, p [7] M.F. Neuts. (1971). A queue subject to extraneous phase changes. Advances in Applied Probability, Vol. 3, p [8] M.F. Neuts. (1979). A versatile Markovian point process. Journal of Applied Probability, Vol. 16, p [9] C. Nunes. (2002). Markov Modulated Chains. Tese de Doutoramento. Instituto Superior Técnico. Universidade Técnica de Lisboa. Lisboa. [10] A. Pacheco e N.U. Prabhu (1996). A Markovian storage model. The Annals of Applied Probability, Vol. 6, p [11] P. Purdue. (1974). The M/M/1 queue in a Markovian environment. Operations Research, Vol. 22, p [12] S. Resnick. (1992). Adventures in Stochastic Processes. Birkhäuser, Boston, MA. [13] R. Salvador, P. Valadas e A. Pacheco. (2001). Multiscale Fitting Procedure Using Markov Modulated Poisson Processes. Telecommunication Systems. Vol. 23. p