MODELO MARKOVIANO DE DECISÃO COM INFORMAÇÃO PARCIAL PARA OTIMIZAÇÃO DE UM SISTEMA DE FILAS MMPP/PH/c/N

Transcrição

1 MODELO MARKOVIANO DE DECISÃO COM INFORMAÇÃO PARCIAL PARA OTIMIZAÇÃO DE UM SISTEMA DE FILAS MMPP/PH/c/N Solon Venâncio de Carvalho Rita de Cássia Meneses Rodrigues Laboratório Associado de Computação e Matemática Aplicada Instituto Nacional de Pesquisas Espaciais INPE/LAC Caixa Postal São José dos Campos, SP, Brasil {solon, rita}@lac.inpe.br Resumo: Considera-se um sistema de filas cujas chegadas são representadas por um processo de Poisson modulado por um processo de Markov (MMPP) e os tempos de serviço dos servidores são independentes e seguem uma distribuição tipo fase com representação de Cox. O sistema tem capacidade finita, desta forma, clientes que chegam ao sistema quando este está cheio são rejeitados. Nos instantes de decisão, que são os instantes de chegada e os instantes de final de fase de serviço, deve-se decidir manter, aumentar ou diminuir o número de servidores ativos. Este sistema é modelado como um processo markoviano de decisão com informação parcial. O objetivo é minimizar o custo esperado médio a longo prazo do sistema. Palavras-chaves: processos estocásticos, processos markovianos de decisão, teoria de filas. Abstract: We study a queueing system where customers arrive acoording to a Markov-modulated Poisson process (MMPP), and the service times have phase type distribution with Cox configurations. The system has a finite capacity, so customers that arrive when the system is full are rejected. The decision instants are arrival instants and the end of a service phase. At these instants, we must decide whether to remain, increase or decrease the number of actived servers. This system is modeled as a Markov decision process with partial information. We want to minimize the long-run expected average cost of the system. Key-words: stochastic processes, Markov decision process, queueing theory. 1. Introdução Neste trabalho, estuda-se um sistema de filas com capacidade limitada onde os clientes chegam em rajadas e os tempos entre chegadas são independentes e representados por um processo de Poisson modelado por um processo de Markov (MMPP). O MMPP é uma generalização do processo de Poisson e tem sido usado na modelagem de tráfego de internet (ver Carvalho et al., 2004 ). Neste trabalho considera-se um MMPP com dois estados: ON e OFF, como mostrado na Figura 1. Enquanto o processo está no estado ON, o tempo entre chegadas de clientes segue uma distribuição exponencial negativa com parâmetro λ. No estado OFF não há chegadas de clientes. Os tempos de permanência nos estados ON e OFF são exponencialmente distribuídos com parâmetros α e β, respectivamente.

2 tempo sessão de dados (chegada de pacotes) tempo de leitura final de uma sessão taxa α on off chegada de pacotes taxa λ início de uma sessão taxa β Figura 1 MMPP com dois estados Quando os clientes chegam, eles entram em uma fila com disciplina FIFO (first in, first out). O número máximo de clientes no sistema (incluindo o cliente sendo atendido) é N. Clientes que chegam quando o sistema está cheio são rejeitados. Para atender os clientes que chegam ao sistema, existem s = {0,1,...,S} servidores iguais e independentes. O tempo de serviço de cada servidor tem distribuição do tipo fase com configuração de Cox de ordem n s com taxas {μ f, f = 1, 2,..., F} e probabilidades {p f,, f = 1, 2,..., F}, onde f a fase de serviço. Assim, se o sistema é observado na final da fase de serviço f, com probabilidade 1 p f termina-se o atendimento ao cliente e com probabilidade p f o cliente passa para a fase de serviço seguinte. O custo do sistema é composto por um custo de espera à taxa h.n incorrido quando existem n clientes no sistema, um custo de serviço à taxa c s. k quando existem k servidores executando um serviço, um custo fixo de ativação do servidor, um custo fixo de rejeição r incorrido quando um cliente que chega no sistema e não é aceito devido à sua restrição de capacidade e um custo de manter o servidor ativado à taxa c m. s quando existem s servidores ativos. O objetivo deste trabalho é obter uma política de controle que determine manter ativado, ativar ou desativar os servidores, em função do estado do sistema, de maneira a minimizar o custo médio a longo prazo por unidade de tempo do sistema. Este sistema é representado por um Processo Markoviano de Decisão com Informação Parcial (modelo com informação parcial), no qual considerase que o estado do processo de chegadas e a fase corrente das distribuições do tipo fase não são observáveis. Para obter uma política de custo mínimo utiliza-se o Algoritmo HL (Hordijk e Loeve, 1994). 2. Formulação do modelo Modela-se o sistema em estudo por um Processo Markoviano de Decisão a Tempo Contínuo, neste modelo, em cada instante de decisão o exato estado do sistema é conhecido. O estado do sistema é definido pelo conjunto de valores (n, s, ev, ec, s 1, s 2,...s F ) que são, respectivamente, o número de clientes no sistema (incluindo os clientes que estão sendo atendidos), o número de servidores ativos (incluindo aqueles que estão ativos mas ociosos por não existirem clientes no sistema para serem atendidos), o último evento, o estado do processo de chegada e o número de servidores em cada fase de serviço. Assume-se que o sistema tem capacidade finita e N denota o número máximo de clientes no sistema. Assume-se, também, que o número de servidores que podem ser ativados no sistema é limitado em S. Clientes que chegam quando o sistema está completo são rejeitados. Se o último evento que ocorrer no sistema for uma mudança no estado do processo de chegada ou uma mudança na fase de serviço atribui-se à variável ev o valor zero ; se o último evento for uma chegada, atribui-se à variável ev o valor um e se o último evento for o término de um serviço atribui-se à ev o valor dois. Se o estado do processo de chegadas for ON, atribui-se à variável ec o valor um, se for OFF, atribui-se à variável ec o valor dois. Se s = 0, ou seja, se 800

3 nenhum servidor está ativo, então o último evento não pode ser o final de um reparo, pois não existem servidores ativos executando o serviço. Se n = N, ou seja, se o sistema está com sua capacidade preenchida, então o último evento não pode ser o final de um serviço, porque, neste caso, o cliente cujo serviço terminou teria deixado o sistema. Se n = 0 o último evento não pode ser uma chegada, porque neste caso o sistema não estaria vazio. Se ev = 1 então o estado de chegada tem que ser igual a um (ON). Define-se a variável s w como o número de servidores trabalhando no sistema, que é dada pela soma do número de servidores em cada fase de serviço, ou seja, s w = s 1+ s s F. Se o último evento não é o final de um serviço existem duas possibilidades: se n < s então s w tem que ser igual a n (existem servidores ociosos), caso contrário, s w tem que ser igual a s (não existem servidores ociosos). Se ev = 2 então existem duas possibilidades: se n < s-1 (como um servidor acabou o serviço, tem um servidor a menos trabalhando) então s w tem que ser igual a n, caso contrário, s w é igual s-1. Se ev = 1 então s w tem que ser menor que n e o número de servidores na fase um de serviço tem que ser diferente de zero. Então, O espaço de estados do modelo é definido por: E = { (n, s, ev, ec, s 1, s 2,...s F ) / n {0, 1,..., N}, s {0, 1,..., S}, ev {0, 1,2}, ec {1,2}, s f {0, 1,..., S}, f { 1,..., F}, s w = s 1+ s s F, se s = 0 então ev 2, se n = N então ev 2, se n = 0 então ev 1, se ev = 1 então ec = 1, se ev 2 e se n < s então s w = n, se ev 2 e se n s então s w = s, se ev = 2 e n < s-1 então s w = n,, se ev = 2 e n s-1 então s w = s-1, se ev = 1 então s w < n e s 1 0 }. Nos instantes de decisão, que são os instantes de mudança de estado, se o servidor está no estado i = (n,, s, ev, ec, s 1,.s 2,,...,s F ), i E, deve-se escolher uma ação pertencente ao conjunto A = {NA,INC,DEC}, onde a ação a = NA determina manter o mesmo número de servidores ativos, a ação a = INC determina ativar mais um servidor e a ação a = DEC determina desativar um servidor. No modelo proposto, considera-se que, se ocorre uma chegada, não é possível diminuir o número de servidores ativos. Para controlar o sistema, consideram-se políticas estacionárias, ou seja, políticas que escolhem o tipo de serviço levando em conta o estado do sistema no presente e não se importando com seu comportamento no passado. Logo, uma política estacionária é uma função l : E A(i) tal que, se o estado observado na época de decisão é (n, s, ev, ec, s 1, s 2,...s F ) E, então uma única ação l(n, s, ev, ec, s 1, s 2,,...,s F ) A é escolhida. Como o tempo entre chegadas e o tempo de serviço do cliente são construídos a partir de variáveis aleatórias exponencialmente distribuídas, pode-se modelar o sistema de manutenção em estudo como um Processo Markoviano de Decisão a Tempo Contínuo. Para estes processos, dado que em um instante de decisão o sistema está no estado i E e uma ação a A(i) é escolhida, tem-se: τ i (a) como o tempo esperado até o próximo instante de decisão, P ij (a) a probabilidade que no próximo instante de decisão o estado será i E, e C i (,a) o custo esperado incorrido até o próximo instante de decisão. A partir das taxas de transição Λ ij (a) obtém-se facilmente a taxa total de saída de cada estado dada por Λ i (a) = j i Λ ij (a) e, então, as probabilidades de transição são dadas por p ij (a) = Λ ij (a)/λ i (a) e o tempo esperado entre transições é dado por τ i (a) = 1/Λ i (a). Abaixo, apresenta-se um caso particular que ilustra o raciocínio usado no cálculo das taxas de transição. 801

4 Se, em um instante de decisão, o sistema está no estado i = (n, s, 1, 1, s 1, s 2,...,s F ) com n < N, s < S, s w < n isto significa que o sistema não está cheio, que nem todos os servidores estão ativados e que existem clientes esperando para serem atendidos. Como o sistema não está cheio um cliente pode chegar e ser aceito. Se a = INC então imediatamente aumenta-se o número de servidores ativos e aumenta-se o número de servidores na fase 1 de serviço e, conseqüentemente, aumenta-se de um o valor de s w. Incrementa-se o número de clientes no sistema, atribui-se à variável ec o valor um (ON) e atribui-se à variável ev o valor um (último evento igual a uma chegada). O novo estado passar a ser j = (n+1,s+1,1,1,s 1+1,s 2,...,s F ) com taxa de transição Λ ij (a) = λ. O custo C i (a) é dividido em quatro parcelas: C i (a) = C S (i,a) + C h (i,a) + C T (i,a) + C R (i,a) + C M (i,a), onde C S (i,a), C h (i,a), C T (i,a), C R (i,a) e C M (i,a) são, respectivamente, os custos esperados de serviço, de espera no sistema, de ativação do servidor, de rejeição e de manter o servidor ativado incorridos até o próximo instante de decisão dado que o sistema está no estado i = (n, s, ev, ec, s 1, s 2,...s F ) E e a ação a A(i) foi adotada. O custo médio de espera no sistema é igual ao produto da taxa de espera no sistema, o número de clientes presentes no sistema (incluindo os clientes que estão sendo atendidos) e o tempo esperado até o próximo instante de decisão. É claro que se não existem clientes no sistema, o custo de espera é zero. Assim, tem-se que: h.n. τ a ) se n > 0 Ch( i,a ) = 0 se n = 0 Se o último evento é uma chegada de cliente e a ação escolhida é a = INC, ou seja, incrementa-se o número de servidores, existem duas possibilidades: se existe servidor ocioso - o custo de serviço é dado pelo produto entre a taxa de serviço, o número de servidores trabalhando aumentado de um e o tempo esperado até o próximo instante de decisão; se não existe servidor ocioso - o custo de serviço é dado pelo produto entre a taxa de serviço, o número de servidores trabalhando e o tempo esperado até o próximo instante de decisão. Se a ação escolhida é manter o mesmo número de clientes trabalhando, ou seja, a = NA, o custo de serviço é dado pelo produto entre a taxa de serviço, o número de servidores trabalhando e o tempo esperado até o próximo instante de decisão. Se o último evento é o final de um serviço e a ação escolhida é diminuir o número de servidores ativos, os seja, a = DEC, o custo de serviço é dado pelo produto entre a taxa de serviço, o número de servidores trabalhando e o tempo esperado até o próximo instante de decisão. Se o último evento é o final de um serviço, a DEC, ou seja, não se diminui o número de servidores ativos, o servidor que terminou o serviço passar a atender um novo cliente, o custo de serviço é dado pelo produto entre a taxa de serviço, o número de servidores trabalhando aumentado de um e o tempo esperado até o próximo instante de decisão. Em todos os outros casos, o custo de serviço é zero. Então: cs.( sw + 1). τ a ) se ev 0 e sw < n e a = INC CS ( i,a ) = cs.s w. τ a ) se ev = 0 ou sw = n ou a INC 0 caso contrário O custo de ativação C T (i,a) assume o valor fixo c t se o evento é uma chegada e escolheu-se a ação a = INC. Então: ct se ev = 1 e a = INC CT ( i,a ) = 0 caso contrário 802

5 Se a capacidade do sistema não está esgotada, ou seja, se n < N, o custo de rejeição de clientes é zero. Mas se n = N e um cliente chega ao sistema, ele não poderá ser atendido, neste caso, tem-se que o custo de rejeição é dado pelo produto entre a constante de custo, c R, e a probabilidade de uma chegada antes da ocorrência de qualquer outro evento, que é a taxa de chegada de cliente λ. Assim, tem-se que: cr. λ. τ a ), se n = N CR( i,a ) = 0, caso contrário Se o último evento é uma chegada de cliente e a ação escolhida é a = INC, ou seja, incrementa-se o número de servidores, o custo de manter os servidores ativados é dado pelo produto entre a taxa de manter os servidores ativados, o número de servidores ativos aumentado de um e o tempo esperado até o próximo instante de decisão. Se a ação escolhida é manter o mesmo número de clientes trabalhando, ou seja, a = NA, o custo de manter os servidores ativados é dado pelo produto entre a taxa de manter os servidores ativados, o número de servidores ativos e o tempo esperado até o próximo instante de decisão. Se o último evento é o final de um serviço e a ação escolhida é diminuir o número de servidores ativos, os seja, a = DEC, o custo de manter os servidores ativados é dado pelo produto entre a taxa do custo de manter os servidores ativados, o número de servidores ativos diminuído de um e o tempo esperado até o próximo instante de decisão. Então: cm.( s + 1). τ a ) se ev = 1 e a = INC cm.( s 1). τ a ) se ev = 2 e a = DEC CM ( i,a ) = cm.s. τ a ) se a = NA 0 caso contrário Com os valores de τ i (a), p ij (a) e C i (a) definidos acima, pode-se utilizar os algoritmos de iteração de valores e o algoritmo HL. Por uma análise pós-otimalidade, medidas de desempenho do sistema podem ser obtidas. 3 Modelo com informação parcial No modelo proposto neste trabalho com informação parcial - só existem três informações disponíveis no instante de decisão: o número de clientes presentes no sistema, o número de servidores ativos e o último evento. Não se tem nenhuma informação sobre o estado do processo de chegada e as fases de serviço. Portanto, o espaço de estados E é particionado em subconjuntos E (n,s,ev), onde n {0, 1,..., N}, s {0, 1,..., S}, ev {1,2} tal que: E (n,s,ev) = { (n, s, ev, ec, s 1, s 2,...s F ) /ec {1,2}, s f {0, 1,..., S}, f {0, 1,..., F} s w = s 1+ s s F, se s = 0 então ev 2, se n = N então ev 2, se n = 0 então ev 1, se ev = 1 então ec = 1, se ev 2 e se n < s então s w = n, se ev 2 e se n s então s w = s, se ev = 2 e n < s-1 então s w = n,, se ev = 2 e n s-1 então s w = s-1, se ev = 1 então s w < n e s 1 0 }. Para controlar este sistema, consideram-se somente políticas admissíveis. Sob estas políticas, observa-se o subconjunto E (n,s,ev), e escolhe-se uma ação, o que significa que em todos os estados do subconjunto E (n,s,ev) observado, a mesma ação deve ser tomada. Isto segue para todos os subconjuntos da partição. Estas políticas podem ser estacionárias (periódicas com período 1) ou periódicas. A 803

6 política R é chamada periódica se l k k + L = l, para um fixo L e todo k, e denotada por 1 2 L 1 L ( l, l,..., l, l ), onde L é o período da política, l k é uma regra de decisão admissível e k = 1, 2,..., L é denominado passo do período L. Considera-se um algoritmo desenvolvido por Hordijk e Loeve (1994) para obtenção da melhor política admissível. Este algoritmo é baseado no Algoritmo de Iteração de Valores (Tijms, 1990) e foi desenvolvido para otimizar os Processos Markovianos de Decisão com Informação Parcial. Para estes processos não se pode assegurar que existe uma política markoviana de custo mínimo visto que, como estes processos são um caso particular dos Processos Markovianos de Decisão Parcialmente Observáveis, a política ótima pode depender de toda a história do processo. Portanto, este algoritmo procura por uma boa política dentro da classe de políticas admissíveis. Neste artigo, este algoritmo será denominado Algoritmo HL. Rodrigues (1998) detectou problemas quando políticas periódicas foram consideradas para o tempo contínuo e propôs a seguinte heurística para obtenção de uma política estacionária a partir da política periódica obtida pelo Algoritmo HL. 1 2 L 1 L Seja R = ( l, l,..., l, l ) a política periódica obtida pelo Algoritmo HL: extraem-se todas as políticas estacionárias possíveis a partir das regras de decisão da política periódica obtida, ou seja, l 1, l 2,..., l L-1, l L ; calcula-se o custo de cada uma destas políticas estacionárias; comparam-se os custos e escolhe-se a política estacionária caracterizada pela regra de decisão de menor custo. A política assim obtida é admissível e adotada como uma solução sub-ótima para o problema. 4. Resultados Numéricos Nesta seção analisa-se o modelos descrito 3 considerando-se os seguintes parâmetros para o sistema modelado: Número máximo de clientes no sistema (N): 10 Número máximo de servidores ativos (S): 5 Processo de Chegada - taxa média de chegada = 2 λ= 20 α = 1 β= 9 Número de fases de serviço: 2 - média = 4 e coeficiente de variação ao quadrado: μ 1 = 0, μ 2 = 0, p 1 = 0, c x =2 constantes de custo: h = 5 c s = 15 c T = 20 c R = 100 c m = 5 Considerando-se os dados anteriores, o custo médio do sistema a longo prazo foi de 73,3749 sob a política apresentada na Tabela

7 Tabela 1 - Política de controle para o modelo ev = 1 (chegada) ev = 2 (término de um serviço) s n NA NA DEC DEC DEC 1 INC NA NA NA NA NA NA NA DEC DEC DEC 2 INC INC NA NA NA NA NA NA NA DEC DEC 3 INC INC NA NA NA NA NA NA NA NA DEC 4 INC INC INC NA NA NA NA NA NA NA NA 5 INC INC INC INC NA NA NA NA NA NA NA 6 INC INC INC INC NA NA NA NA NA NA NA 7 INC INC INC INC INC NA NA NA NA NA NA 8 INC INC INC INC INC NA NA NA NA NA NA 9 INC INC INC INC INC NA NA NA NA NA NA 10 INC INC INC INC INC NA Na Tabela 2 apresentam-se as medidas de desempenho obtidas sob as políticas apresentadas nas Tabelas 1. Tabela 2 - Medidas de desempenho dos modelos Parâmetros Valores médios Número de clientes 3,12 Número de servidores ativos 3,1 Número de servidores 2,65 trabalhando Número de servidores ociosos 0,45 Custo de espera 15,62 Custo de manter o servidor 15,5 ativado Custo de serviço 39,73 Custo de ativação do servidor 2,08 Custo de rejeição 0,44 CUSTO TOTAL 73,37 5. Comentários Finais O processo de Poisson modulado por um processo de Markov tem sido amplamente utilizado na modelagem de tráfego na internet. Neste trabalho generalizou-se o modelo PH/PH/1/N apresentado em Rodrigues & Carvalho (2001) admitindo-se o processo de chegada como um MMPP. Deve-se notar que este processo é mais geral que o anteriormente considerado. Por outro lado, considerou-se que os tempos de serviço são distribuídos como uma distribuição tipo fase com representação de Cox. Esta consideração é interessante por permitir a introdução, em modelos markovianos, de tempos que não podem ser bem modelados por variáveis aleatórias exponenciais negativas. Tais hipóteses permitiram a modelagem do sistema em estudo como um processo markoviano de decisão a tempo contínuo com informação parcial e então a obtenção de uma boa política de controle em termos de custo médio a longo prazo (a abordagem utilizada não garante a otimalidade). 805

8 6. Referências Carvalho, G.H.S.; Carvalho, S.V.; Rodrigues, R.C.M.; Francês, C.R.L.; Costa, J.C.W.A. Modelagem markoviana da alocação de recursos em redes móveis celulares hierárquicas GSM/GPRS. XXXVI SBPO, de novembro de 2004, São João Del Rei, MG. Hordijk, A., Loeve, J.A., Undiscounted Markov decision chain with partial information: an algorithm for computing a locally optimal periodic policy. ZOR-Mathematical Methods of Operations Research 40, Rodrigues, R.C.M. (1998). Inserção de distribuições do tipo fase em modelos markovianos de decisão. Tese de doutorado INPE-6840-TDI/648, Instituto Nacional de Pesquisas Espaciais (INPE). Rodrigues, R. C. M., Carvalho, S. V., Optimization of a PH/PH/1/N queue with controllable service time and partial information. International Transactions in Operational Research 8 (2),