ALGORITMOS PARA PROGRAMAÇÃO DINÂMICA BASEADOS EM FAMÍLIAS INVARIANTES

Transcrição

1 ALGORITMOS PARA PROGRAMAÇÃO DINÂMICA BASEADOS EM FAMÍLIAS INVARIANTES Rodrigo Tomás Nogueira Cardoso Doutorado em Engenharia Elétrica - Universidade Federal de Minas Gerais Av. Antônio Carlos, 6627 Belo Horizonte MG CEP: rodrigoc@cpdee.ufmg.br Ricardo Hiroshi Caldeira Takahashi Departamento de Matemática - Universidade Federal de Minas Gerais Av. Antônio Carlos, 6627 Belo Horizonte MG CEP: taka@mat.ufmg.br Resumo A maneira tradicional de se resolver um problema de programação dinâmica com variáveis discretas consiste em montar a árvore de possibilidades e procurar nela um caminho mínimo - este é o algoritmo ótimo, baseado no princípio da otimalidade de Bellman. Tal algoritmo é de complexidade exponencial. Este trabalho propõe um método para tratar uma classe de problemas de programação dinâmica linear com variáveis discretas utilizando uma relaxação contínua nas variáveis, obtendo soluções aproximadas, com custo computacional equivalente ao da solução de um problema de programação linear estática com dimensão igual a (n + p.n), onde (n) é o número de variáveis de estado em um dos estágios, (p) é o número de variáveis de decisão, e (N) é o número de estágios do processo de decisão. O método proposto se baseia na idéia de iterar, através do sistema dinâmico, um conjunto fechado com estrutura paramétrica invariante a essa iteração (um conjunto invariante). A otimização é feita com as variáveis de estado em apenas um dos estágios, restritas a tal conjunto, sendo utilizada a linearidade do sistema dinâmico para produzir uma composição da otimização nas variáveis de decisão com a otimização no vetor de estados. Palavras-chave: programação matemática, programação dinâmica, programação linear. Abstract The traditional way of solving a dynamic programming problem with discrete variables consists in building the possibility tree, in which a minimal path is determined - this is the optimal algorithm, based on Bellman's optimality principle. Such algorithm has exponential complexity. This work proposes a method for dealing with a class of linear dynamic programming problems with discrete variables, employing a continuous relaxation that leads to approximate solutions with computational cost equivalent to the cost of solving a linear programming problem with dimension (n+p.n), in which (n) is the number of state variables in one stage, (p) is the number of decision variables, and (N) is the number of stages of the decision process. The proposed method is based on the idea of iterating, through the dynamic system, a closed set with a parametric structure that is invariant under such iteration (an invariant set). The optimization is performed with the state variables just in one stage, constrained to such set, and the linearity of the dynamic system is employed in order to allow the composition of the optimization on the state variables with the optimization on the decision variables. Keywords: mathematic programming, dynamic programming, linear programming. Área: PM (Programação Matemática) 1. Programação dinâmica e sistemas dinâmicos

2 Segundo Chen (1999) [1], podemos definir sistema dinâmico como uma função, cuja saída do tempo atual depende, além da entrada do tempo atual, da saída do tempo passado (consideramos, sem perda de generalidade, o parâmetro como tempo). A entrada u(t) é chamada também de controle, a saída é denotada por y(t) e o estado x(t) é a informação que, juntamente com a entrada, determina a saída do sistema. O sistema dinâmico é discreto quando o tempo é discreto, ou seja, variáveis inteiras. Então, há um período T tal que: u[k]=u(kt), x[k]=x(kt) e y[k]=y(kt). Neste caso, cada instante de tempo (kt) é considerado um estágio do problema. Um sistema dinâmico é linear quando obedece ao princípio da superposição. Este princípio diz que a resposta do sistema à entrada pode ser estudada separadamente da resposta do sistema ao estado. Podemos descrever um sistema dinâmico linear, discreto, de parâmetros concentrados, invariante com o tempo, com a ação do controle como: x[k+1] = Ax[k] + Bu[k] y[k+1] = Cx[k] + Du[k] k = 0, 1,..., N-1, para um sistema com (p) entradas, (q) saídas e (n) estados, u, y e x são vetores de dimensão (p), (q) e (n), respectivamente. Então, as matrizes A, B, C e D têm dimensão (n) x (n), (n) x (p), (q) x (n) e (q) x (p), respectivamente. A matriz A é chamada matriz de transição do sistema dinâmico. A programação dinâmica trabalha quando as decisões podem ser tomadas em estágios e a decisão tomada em cada estágio tem uma influência na decisão do estágio seguinte. Assim, otimizar uma função objetivo ou função custo restrita a um sistema dinâmico é resolver um problema de programação dinâmica. A meta de programação é o ponto (vetor) onde se quer chegar após (N) iterações do sistema dinâmico ao final dos estágios do problema. Para cada estágio (k), associamos uma função g(x[k]), que representa o custo de transição do estado x[k] para o estado x[k+1] sob o controle u[k] esta função pode ser pensada como a saída y do sistema dinâmico. Um ranking baseado na soma dos custos em cada estágio aponta para a solução ótima. Este é o princípio da otimalidade de Bellman. Quando as variáveis do problema são números inteiros, o algoritmo consiste em: 1.listar todos os estados em todos os estágios sob todos os controles admissíveis. 2.montar a árvore das possibilidades do problema: um grafo cujos estados são os nodos e os controles são os arcos com seus respectivos custos. 3.encontrar o caminho mínimo nesta árvore entre o nodo inicial e o nodo final. Mascó (2001) [3] mostra que o custo computacional para se montar a árvore das possibilidades é exponencial em função das variáveis de estado e estágios. Assim, o problema sofre da chamada maldição da dimensionalidade, ou seja, sua solução fica impraticável se houverem muitos estados e estágios. Neste trabalho, propomos um método que evita a montagem desta árvore. É um método de relaxação contínua nas variáveis do problema: as variáveis inteiras devem ser tratadas como números reais. Os resultados obtidos são limitantes inferiores para a solução ótima inteira, mas podem representar boas aproximações para esta, dependendo do problema. A metodologia proposta irá permitir que montemos um problema equivalente de otimização estática em apenas um estágio, restrito à pré-imagem da meta de programação (ou de uma relaxação desta meta construída com conjuntos que são parametricamente invariantes em torno da meta de programação). 2. Famílias invariantes Num sistema dinâmico com a ação do controle, cada iteração pelo sistema é uma transformação afim: uma transformação linear composta com uma translação. Pelo princípio da superposição, podemos estudar a transformação linear (sem ação do controle) separadamente da translação (ação do controle). Assim, vamos definir o conceito de famílias invariantes (somente) por uma transformação linear. 1893

3 Uma família F de conjuntos é invariante por uma transformação linear A, ou apenas é uma família invariante, quando a iteração por A de cada conjunto V pertencente a F é um conjunto W pertencente a F. Vamos considerar dois exemplos simples de famílias invariantes: a família de elipsóides e a família de politopos. Sabemos que todo o elipsóide iterado por qualquer transformação linear ainda é um elipsóide (se a matriz for singular será um elipsóide degenerado) e que todo politopo iterado por qualquer transformação linear ainda é um politopo (pois a transformação linear leva hiperplanos e hiperplanos e regiões convexas em regiões convexas). Estas demonstrações estão em Cardoso (2005) [2]. Seja B uma bola (uma bola é um elipsóide) no estágio (N) com raio (ε) e centro em x*- uma meta de programação. A equação desta bola é: x[n] x* < ε, cuja norma. é a euclidiana. Seja um ponto p tal que (A^N)p = x*. A pré-imagem da bola acima no estágio inicial 0 é o elipsóide de equação: (x[0] - p) (A^{N}) A^N (x[0]-p) < ε^2. Figura 1: Pré-imagem de uma boa em torno da meta de programação. Seja P um hipercubo (sabemos que um hipercubo é um politopo) no estágio (N) com raio (ε) e centro em x* - uma meta de programação. A equação deste hipercubo é: x[n] x* < ε, cuja norma. é a do máximo. Seja e_i, o (i)-ésimo vetor da base canônica. A pré-imagem do hipercubo acima no estágio inicial (0) é o politopo de equações: e_i (A^Nx[0]-(x*+ ε e_i)) < 0, para cada i -e_i (A^Nx[0]-(x*- ε e_i )) > 0, para cada i. Figura 2: Pré-imagem de um hipercubo em torno da meta de programação. 3. Algoritmos propostos Propomos, neste trabalho, colocar a dinâmica do sistema na iteração de conjuntos em vez de colocá-la nos arcos de um grafo, como tradicionalmente é feito. Assim, estamos olhando para o problema de programação dinâmica com um uma ótica geométrica. Se as variáveis do problema forem números inteiros, propomos uma relaxação contínua, ou seja, considerá-las como números reais. A solução do problema relaxado será, nesse caso, um limitante inferior da solução exata do problema original. Propomos também a relaxação na meta de programação: substituí-la por um conjunto que pertença a uma família invariante (de tamanho admissível) ao seu redor. Se a matriz A do sistema dinâmico tiver raio espectral menor ou igual a 1, a pré-imagem deste conjunto será maior ou igual ao conjunto, ou seja: estaremos aumentando a região 1894

4 factível e possivelmente reduzindo a função custo, apenas com uma pequena perda na meta de programação. A idéia dos algoritmos aqui propostos é muito simples. Consideremos o estágio inicial do problema: propomos considerar a pré-imagem da meta de programação (ou do conjunto pertencente à família invariante ao redor da meta de programação), bem como as pré-imagens de toda a seqüência de ações de controle neste estágio. Como o sistema é linear, vale o princípio da superposição : podemos fazer separadamente a iteração dos estados (correspondente ao sistema sem a ação de controle), e a iteração da seqüência de ações de controle ótimas. Obtemos as pré-imagens dos estados, reescrevendo cada estado x[k] em função de x[0], e da seqüência de controles ótimas, pela igualdade abaixo, demonstrada em Cardoso (2005) [2] : x[k] = (A^k)x[0] + Bu[k-1] + (K=1 até k-1) (A^k)Bu[N-K-1]. iteração sem a ação de controle iteração da seqüência de ações de controle O algoritmo proposto para a otimização com a ação de controle é: 1.permitir uma relaxação na meta de programação (no estágio final N), substituindo-a por um conjunto que pertença a uma família invariante ao seu redor. 2.fazer a iteração no tempo deste conjunto e de cada ação de controle para somente um dos estágios (o estágio inicial). 3.somar as pré-imagens das ações de controle em cada estágio com a pré-imagem do conjunto pertencente à família invariante (isto é permitido, pois o sistema é linear). 4.fazer a otimização (linear ou não-linear, isenta da limitação dinâmica) somente neste estágio, restrita ao conjunto encontrado na etapa (3). Vamos considerar também a função custo como função apenas do estado inicial e da seqüência de ações de controle ótimas, substituindo formalmente na função custo o valor de cada x[k] como proposto acima. Seja h[k](u[k]) o custo da decisão ótima no estágio (k). Então a função custo total é: J = g(x[0]) + (k=0 até N-1) h[k](u[k]). Seja x*, a meta de programação do problema, ou seja, queremos que ao final de (N) estágios e para todo estado inicial x[0], tenhamos x[n] = x*. Propomos aqui apenas duas formulações: otimizar na pré-imagem da meta de programação e na pré-imagem de um hipercubo em torno da meta de programação (um conjunto pertencente a uma família invariante). Formulação 1: otimizar restrito à pré-imagem da meta de programação min g(x[0]) + (k=0 até N-1) h[k](u[k]) sujeito a: (A^N)x[0] + Bu[N-1] + (K=1 até N-1) (A^k)Bu[N-K-1] = x* Formulação 2: otimizar restrito à pré-imagem de um hipercubo em torno da meta min g(x[0]) + (k=0 até N-1) h[k](u[k]) sujeito a: e_i (A^Nx[0]-(x*+ ε e_i)) + Bu[N-1] + (K=1 até N-1) (A^k)Bu[N-K-1] < 0, para cada i -e_i (A^Nx[0]-(x*- ε e_i )) + Bu[N-1] + (K=1 até N-1) (A^k)Bu[N-K-1] > 0, para cada i. Repare que na formulação (2) aplicamos novamente o princípio da superposição (a região factível é a soma da pré-imagem do hipercubo sem a ação de controle com a pré-imagem da seqüência das ações de controle). Se as funções custo forem lineares: g(x[0]) = c x[0] e h[k](u[k]) = d[k] u[k], com c e d[k] vetores, então estas formulações nos levam a problemas de programação linear estáticos. Podemos resolvê-los, por exemplo, por métodos de pontos interiores, a um custo computacional polinomial, referente a um problema com dimensão igual a (n + p.n), onde (n) é o número de variáveis de estado no estágio inicial a dimensão de x[0], (p) é o número de variáveis de controle a dimensão da cada u[k], e (N) é o número total de estágios do processo de decisão. Como comentado, as formulações propostas não mais possuem a complexidade exponencial dos métodos enumerativos, como era nossa intenção, pois evitam a formação da árvore de possibilidades. 1895

5 Se o problema tiver outras restrições além da restrição dinâmica, basta usar a mesma idéia já explicada: substituir formalmente nas variáveis de estado x[k] em cada estágio (k) a relação do sistema dinâmico, de modo que cada restrição seja uma função apenas do estado no estágio inicial x[0] e da seqüência de ações de controle. Observamos também que com estas formulações, podemos otimizar facilmente as variáveis de controle limitadas por valores máximos e/ou mínimos, apenas acrescentando as devidas restrições. As formulações aqui propostas continuariam válidas para problemas com variáveis inteiras tomadas enquanto tais: bastaria acrescentar nas formulações acima a restrição de integralidade, e resolver como um problema de programação (linear ou não-linear) inteira. Evidentemente, nesses casos não se preservaria a complexidade polinomial dos algoritmos para solução desses problemas. 4. Estudo de caso: evolução de um rebanho de gado no tempo com ação de controle Vamos apresentar um estudo de caso mostrando a eficácia das formulações aqui propostas. A evolução de um rebanho de gado no tempo pode ser modelada como um sistema dinâmico discreto linear. Através deste modelo, vamos procurar a política ótima que tenha o mínimo custo inicial para aquisição do rebanho e o máximo aproveitamento dos recursos da fazenda. Este estudo de caso foi inspirado em Takahashi et al (1997) [4] e está mais detalhado em Cardoso (2005) [3]. As variáveis do problema são vetores com 8 coordenadas, cada uma relacionada com um sexo e com uma faixa etária como abaixo: 1: fêmeas entre 0 e 1 ano 2: fêmeas entre 1 e 2 anos 3: fêmeas entre 2 e 3 anos 4: fêmeas acima de 3 anos com bezerros 5: fêmeas acima de 3 anos sem bezerros 6: machos entre 0 e 1 ano 7: machos entre 1 e 2 anos 8: machos entre 2 e 3 anos As variáveis do problema, claro, devem ser números inteiros. Mas, em vista da metodologia apresentada, vamos considerar todas as variáveis como números reais (relaxação contínua). Observese que quanto maior for o número de cabeças de gado do rebanho que estiver sendo estudado, melhor será a aproximação obtida pelo método aqui proposto. Em contraste, quanto maior o número de cabeças de gado, mais difícil fica a solução do problema pelos métodos tradicionais de montagem da árvore de possibilidades problema que não se manifesta para o método aqui proposto até dimensões muito grandes. A variável de estado no estágio (k), x[k], corresponde à quantidade de indivíduos neste estágio, com cada coordenada representando uma classe, como especificado acima. A variável de controle no estágio (k), u[k], corresponde à quantidade de cabeças a serem negociadas neste estágio, sendo que u[k] positivo quer dizer compra e u[k] negativo quer dizer venda. O sistema dinâmico com a ação de controle pode dado pelo sistema de equações: x[k+1] = Ax[k] + Bu[k], cuja matriz A depende da taxa de mortalidade de cada faixa etária (m_1, m_2 e m_3), da taxa de fecundidade das fêmeas (f e f_3) e de um parâmetro que torne o sistema estável: uma taxa anual de descarte das fêmeas (R), e cuja matriz B tem as colunas da matriz identidade referentes às coordenadas que se quer fazer o controle e tem as colunas nulas referentes às coordenadas em que não se quer negociar. Quando a matriz A for estável, o seu maior autovalor será 1, associado a um autovetor x* que será a meta de programação (escolhido de modo que cx* seja L). Observe que como x* é um ponto de estabilidade, então A^kx* = x*, para todo (k). A matriz A deste modelo está abaixo: 1896

6 Figura 3: Matriz A do sistema dinâmico. Considere c um vetor linha de 8 posições que associa aos indivíduos associados à posição x_i o tamanho médio c_i ocupado por cada um e d_k vetores linha também com 8 coordenadas com os mesmos valores do vetor c nas coordenadas que se quer negociar e zero nas demais. A função objetivo do problema consiste em minimizar o total de indivíduos a serem comprados (no momento inicial e nos demais) e pode ser escrita como: min c x[0] + (k=0 até N-1) d_k u[k]. As restrições do problema são: 1.coordenadas do vetor x[k] não-negativas em cada estágio (k): x[k] 0, para cada estágio (k). 2.limitação no espaço da fazenda, que tem uma capacidade (L): c x[k] L, para cada estágio (k). 3.estado de estabilidade do rebanho após (N) anos: x[n] - x* < ε, onde. é uma norma qualquer (esta norma será a euclidiana, se quisermos a pré-imagem de uma bola, ou a norma do máximo, se quisermos a pré-imagem de um hipercubo e consideraremos o caso da igualdade x[n] = x*, se quisermos a pré-imagem da meta). 4.pode-se negociar o rebanho, em cada estágio, apenas entre um valor mínimo e um valor máximo por classe: min u(i)[k] max, para todo (i), para todo (k). Os dados deste exemplo são de um típico rebanho de gado de corte zebu da região de Minas Gerais. Os parâmetros da matriz A são: m_1 = 0,95, m_2 = 0,97, m_3 = 0,98, m_4 = 0,98, f = 0,7, f_3 = 0,628. O parâmetro de estabilidade (calculado para os parâmetros acima) é R = 0,1781. O tempo necessário para que o sistema adquira a estabilidade é N = 7 anos e o erro admissível após (N) anos é ε = 0,01. O tamanho da fazenda é de L = 1000 cabeças de gado. Os vetores c e d_k são vetores unitários. Cada variável de controle u_i[k] pode variar entre -10 e 10. Vamos considerar o controle em todas as coordenadas de u[k], ou seja, a matriz B será a matriz identidade. Vamos apresentar os dados já fazendo o arredondamento do número real encontrado para número inteiro. O vetor de estados no estágio inicial (resultado da otimização) x[0] encontrada pela formulação (1), o vetor de estados no estágio final (calculado pelo sistema dinâmico a partir do estado inicial encontrado) x[7], bem como a meta de programação x*, estão na tabela (1), abaixo. O gráfico com a evolução do rebanho a cada ano aparece na figura (4), em seguida. Tabela 1: Vetor de estados para a formulação (1) do problema da evolução do rebanho de gado com controle. Figura 4: Evolução do rebanho para a formulação (1) do problema da evolução do rebanho de gado com controle 1897

7 O resultado da função custo já com o arredondamento é 456 cabeças, ou seja, além das 426 cabeças na aquisição inicial devemos comprar mais 30 cabeças ao longo do processo. O vetor de estados no estágio inicial (resultado da otimização) x[0] encontrada pela formulação (2), o vetor de estados no estágio final (calculado pelo sistema dinâmico a partir do estado inicial encontrado) x[7], bem como a meta de programação x*, estão na tabela (2), abaixo. O gráfico com a evolução do rebanho a cada ano aparece na figura (5), em seguida. Tabela 2: Vetor de estados para a formulação (2) do problema da evolução do rebanho de gado com controle. Figura 5: Evolução do rebanho para a formulação (2) do problema da evolução do rebanho de gado com controle. O resultado da função custo também é 455 cabeças, ou seja, além das 424 cabeças na aquisição inicial devemos comprar mais 31 cabeças ao longo do processo. A tabela (3) apresenta uma comparação entre o valor inicial e o tempo gasto (em segundos) nos dois processos: - (A): resolução considerando a formulação (1); - (B): resolução considerando a formulação (2). Tabela 3: Comparação entre o valor inicial e o tempo gasto nos dois processos. Os dois processos obtiveram praticamente o mesmo resultado, mostrando que resolvem o problema, sendo que a formulação (2) resolveu na metade do tempo da formulação (1). É notável nos dois processos o fato das coordenadas x_3 e x_4 (respectivamente, número de fêmeas entre 2 e 3 anos e número de fêmeas acima de 3 anos) serem nulas no estágio inicial. Isto proporciona uma redução significativa no custo de aquisição do rebanho (custo inicial). 6. Conclusões Propomos neste trabalho, uma metodologia de relaxação contínua para problemas de programação dinâmica de variáveis inteiras quando os sistemas forem discretos, lineares, de 1898

8 parâmetros concentrados, invariantes com o tempo. O problema relaxado se reduz à otimização em apenas um estágio, restrito à pré-imagem do conjunto invariante considerado ao redor da meta de programação. No caso de problemas em que o vetor de estados inicial é parte das variáveis de decisão, isso reduz o problema original a um problema linear com (n + N.p) variáveis. Se a matriz de transição do sistema dinâmico tiver raio espectral menor ou igual a 1, a pré-imagem no estágio inicial de um conjunto por esta matriz será maior ou igual a este conjunto no estágio final. Neste caso, é útil fazer uma relaxação na meta de programação, substituindo-a por um conjunto pertencente a uma família invariante ao seu redor. A vantagem é que, fazendo a relaxação na meta, aumentaremos a região factível do problema e, em muitos casos, encontraremos um resultado de função objetivo consideravelmente melhor, para um erro em relação à meta ainda admissível. A região factível no estágio inicial (em cada coordenada) será tão maior quanto menor for o módulo do autovalor da matriz de transição correspondente à coordenada. Observe-se que quanto maior for o número de valores possíveis para as variáveis de estado do problema, melhor será a aproximação obtida pelo método aqui proposto, em comparação com a solução exata. O método exato de solução, baseado na montagem da árvore de possibilidades, tornase rapidamente inviável à medida que ocorre tal aumento do número de possibilidades associadas às variáveis. O método aqui proposto, por outro lado, é insensível a tal aumento, sob o ponto de vista da complexidade computacional. Isso indica que para a classe de problemas com essas características o método proposto pode vir a constituir uma boa alternativa. Vale ressaltar que, portanto, este método também é uma boa alternativa quando as variáveis do problema já forem números reais (número infinito de valores possíveis para as variáveis de estado). Referências bibliográficas [1] BERTSEKAS, D. P., Dynamic Programming and optimal control, volume 1, Athena Scientific, [2] CARDOSO, R. T. N., Algoritmos para programação dinâmica baseados em famílias invariantes. Dissertação de mestrado, Departamento de Matemática, Universidade Federal de Minas Ferais, [3] MASCÓ, R. 0., Introducción da la Programacion Dinamica (apuntes de clase). Escuela de Ingeniería Industrial, Facultad de Cs. Es., Ingeniería y Agrimensura, Universidad Nacional de Rosario, [4] TAKAHASHI, R. H. C., CALDEIRA, C. P. & PERES, P. L. D., A linear dynamic system approach for cattle herd optimal shaping. Internacional Journal of Systems Science, volume 28, number 9, pages ,