OPTIMIZAÇÃO NÃO LINEAR EM REDES

OPTIMIZAÇÃO NÃO LINEAR EM REDES Luis Ernesto Torres Guardia Departamento de Engenharia de Produção Universidade Federal Fluminense Rua Passo da Pátria 156, São Domingos 24210-240, Niterói, R.J., Brasil tepletg@vm.uff.br Resumo Neste trabalho, a solução de um problema de otimização convexa não linear com restrições lineares é estudada. A técnica de solução usada é baseada no algoritmo do gradiente espectral devido a sua eficiência computacional principalmente para problemas de grande porte. O algoritmo em menção requer em cada iteração a solução de um subproblema convexo de programação quadrática com restrições lineares. Este problema é resolvido usando o algoritmo de pontos interiores primal-dual. Como ilustração, o algoritmo espectral é aplicado em modelos de fluxo em redes. Experimentos numéricos são apresentados. Palavras-chave: Programação não linear.gradiente espectral. Fluxo em redes. Abstract In this work, the solution of large-scale linearly-constrained nonlinear optimization with convex costs is studied. For solving this problem, we use the spectral gradient method because of the performance for solving very large problems is quite impressive. At each iteration, a strictly quadratic subproblem with linearly constraints is solved using the primal-dual interior point methods. As an illustration, the spectral gradient is applied on a nonlinear network flow problems. Numerical experiments are presented. Keywords: Nonlinear programming. Spectral gradient. Network flow. 1.Introdução Problemas de otimização não linear convexa de grande porte, com restrições lineares onde usualmente tem um número grande de variáveis e de restrições, aparecem em uma ampla variedade de aplicações como por exemplo em planejamento de rede de transporte, ver Nagurney [1984], ou em rede de telecomunicações, ver Ouorou, et al. [2000]. Este trabalho apresenta modelos de otimização não linear convexa com restrições lineares, e como caso particular quando as restrições são de conservação de fluxo em uma rede. Em princípio, o problema geral de otimização pode ser resolvido usando técnicas apropriadas da programação não linear. Devido à estrutura especial de nosso problema de rede, apresentamos o método da gradiente espectral baseado no trabalho de Birgin et al. [2003], e cuja eficiência é mostrado numericamente para problemas de grande porte. Basicamente o método requer a resolução de um subproblema quadrático para determinar uma direção de busca e o cálculo do tamanho de passo nessa direção de busca. Na seção 2, o algoritmo do gradiente espectral é apresentado seguindo o trabalho de Birgin et al. [2003]. A solução do subproblema quadrático é apresentada nesta seção usando o algoritmo de pontos interiores primal-dual. Na seção 3, o algoritmo espectral é aplicado para modelos de rede de um único produto e experiência numérica é realizada para algumas funções não lineares. Também é usada uma modificação da matriz Hessian (quando disponível) da função não linear. Finalmente algumas conclusões são dadas na seção 4. 2.Algoritmo Geral Consideremos o seguinte problema de otimização não linear convexa sujeito a restrições lineares dado da seguinte forma:

minimizar f(x) (1) sujeito a: x Ω (2) onde Ω = { x R n / A x = b, x 0}, e A uma matriz de posto completo de linha em R m x n, b um vetor em R m, e f uma função contínua e diferenciável em Ω. O problema (1) (2) é um problema clássico na teoria da otimização, e assim pode ser resolvido usando as diversas técnicas disponíveis da programação não linear. O livro de Nocedal e Wright [1999] apresenta em detalhe essas técnicas de solução. Recentemente Birgin et al. [2003] apresentam o algoritmo do gradiente espectral projetado, apropriado para nosso problema de otimização acima (1) (2). Os autores afirmam a eficiência desse método especialmente quando aplicado a problemas de grande porte devido a seu espaço de armazenamento ser reduzido. Os autores também mostram que dito algoritmo é bem definido. O algoritmo em menção é reproduzido a continuação: Seja η (0, 1], γ (0,1), 0 < σ 1 < σ 2 < 1, M um número inteiro positivo. Seja x o Ω um ponto inicial. Determinar g k = g(x k ) = f (x k ) para todo k, k = 0,1,2,..., e B k uma matriz definida positiva. Passo 1. Calcular a direção de busca: minimizar Q k (d) (3) sujeito a x k + d Ω onde Q k (d) = ½ d t B k d + g t k d e seja d k a solução exata de (3). Seja d k tal que x k + d k Ω e Q k (d k ) η Q k ( d k ) Se d k = 0 parar, x k é um ponto estacionário, isto é, g t k d k 0. Passo 2. Calcular o tamanho do passo: (4) Fazer α = 1 e f max = max { f(x k-j+1 ) / 1 j min {k+1,m}}. Se f (x k + α d k ) f max + γ α g k t d k fazer α k = α, x k+1 = x k + α k d k e terminar a iteração. Caso contrário, escolher α novo [ σ 1 α, σ 2 α ], fazer α = α novo e repetir o teste (4). Bergin et al. [2003] usam uma matriz B k baseada na gradiente espectral dada por: onde B k = λ 1 spg k I (5) λ k spg = min(λ max, max(λ min, s k t s k /s k t y k )), se s k t y k > 0, = λ max, caso contrário, onde s k = x k x k-1 e y k = g k g k-1. O valor espectral inicial λ 0 [ λ min, λ max ] é calculado segundo o processo anterior (5), onde s = y - x 0, y = g(x 0 ) g(x 0 ), x = x 0 t peq f(x 0 ), t peq é um número definido como t peq = max ( rel x, abs ) onde ε rel é um número pequeno relativo e ε abs é um número pequeno absoluto, para λ min e λ max conhecidos. 1951

Uma outra possibilidade para a escolha de B k é usar a diagonal da matriz do Hessian da função f(x), de tal modo que essa matriz B k continue sendo diagonal no problema quadrático e assim este pode ser resolvido facilmente. A continuação, a solução do problema quadrático (3) é apresentada. Este problema toma a seguinte forma geral, denominada de primal: minimizar c t v+ ½ v t Qv (6) sujeito a: Av = b v 0, onde A é uma matriz m x n e de posto completo, c um vetor em R n, Q uma matriz simétrica e semidefinida positiva, b um vetor em R m e v um vetor de decisão em R n. Existem diversos métodos para resolver o problema quadrático (6), ver por exemplo Nocedal e Wright [1999]. Para nosso caso, o método de solução desse problema quadrático é o algoritmo de pontos interiores primal dual, inicialmente aplicados a programas lineares e depois se transformou em um dos mais elegantes e poderosos algoritmos, superando inclusive a outros métodos de pontos interiores, e mostrou esse potencial para problemas práticos de grande porte. Para uma consulta detalhada deste método, pode-se consultar o livro de Wright [1997]. O dual do programa quadrático (6) é dado por : maximizar b t y ½ v t Qv (7) sujeito a: A t y + z Qv = c v, z 0, onde y é o vetor dual em R m e z um vetor de folga em R n. O algoritmo de pontos interiores é um método iterativo que procura satisfazer as condições de otimalidade de Karush-Kuhn-Tucker (KKT) para o problema primal (6) e o problema dual (7) e dadas respectivamente por: Av = b (8) A t y + z Qv = c (9) Vz = 0 (10) (v, z) 0 onde V é uma matriz diagonal dada por V = diagonal(v 1, v 2,..., v n ). O método de pontos interiores primal-dual gera uma seqüência de iterações no espaço primal e dual (v k, y k, z k ), k = 0,1,2,... com a condição que seja estritamente positivo, isto é, (v k, z k ) > 0 e a condição de viabilidade primal (8) e dual (9) e a condição de complementaridade (10) sejam alcançadas quando k. A transformação usual nos métodos de pontos interiores primal-dual consiste em substituir as restrições de desigualdades do problema (6) na função logarítmica barreira para obter: n minimizar c t v + ½ v t Qv - µ ln v j j = 1 sujeito a: Av = b, onde µ 0 é o parâmetro barreira. A função de Lagrange associada com o problema anterior tem a seguinte forma: n L(v,y,µ) = c t v + ½ v t Qv y t (Av b) - µ ln v j j = 1 e as condições para determinar um ponto estacionário são: v L(v,y,µ) = c A t y - µv -1 e + Qv = 0 y L(v,y,µ) = Av b = 0. 1952

Denota-se z = µv -1 e ou seja Vze = µe, sendo Z uma matriz diagonal de ordem n dada por Z = diagonal(z 1,z 2,...,z n ) e e = (1,1,...,1) t um vetor em R n. As condições de otimalidade de primeiro ordem para o problema barreira são: Av = b, (11) A t y + z Qv = c, (12) VZe = µe. (13) (v,z) 0. Observe-se que a equação do sistema anterior (13) transforma-se na condição de complementaridade (10) para µ = 0, e com as condições de viabilidade (11) e (12) obtêm-se as condições de otimalidade dadas em (8) (9). Uma iteração do algoritmo primal-dual é um passo do método de Newton aplicado às primeiras condições de otimalidade (11) (13) para um µ dado. O algoritmo termina quando a viabilidade é alcançada e o gap de complementaridade seja reduzida a uma tolerância pré-determinada. Para o par v e z em R m + e y em R m, a direção de Newton é obtida resolvendo o seguinte sistema de equações lineares: (14) onde A Q Z ρ = b Av σ = c A t y z + Qv φ = µe VZe. 0 t A 0 0 dv I dy = V dz ρ σ φ Os resíduos ρ, σ são denominados de violações das condições de otimalidade de primeira ordem do primal e do dual, sendo φ o gap de complementaridade. O sistema acima (14) pode ser reduzido na seguinte forma, ver Yang e Zenios [1997]: Resolver o sistema para dy : ( A θ A t ) dy = ψ (15) onde θ = ( Q + ZV -1 ) -1, ψ = ρ + A θ ( σ - V -1 φ ). Resolver o sistema para dv: dv = - θ ( σ - V -1 φ - A t dy ) (16) e o sistema para dz : dz = V -1 ( φ - Z dv ) (17) Uma vez determinado (v k, y k, z k ), o tamanho de passo máximo no espaço primal α P e no espaço dual α D são determinados de tal modo que a não negatividade das variáveis sejam preservadas. Para isso definimos α = δ min ( α P, α D ), onde 0< δ < 1, sendo um valor típico para δ = 0,9995. Uma nova iteração é então calculada. O algoritmo primal-dual para resolver o problema quadrático (6) pode ser descrito como segue: 1. Seja um ponto inicial (v 0, y 0, z 0 ). 2. k = 0 um contador. 3. Parar se o critério de parada for satisfeito. 4. Calcular o parâmetro de barreira µ: 1953

µ = ( z k ) t v k / 10n. 5. Seja V = diag (v k i ) Z = diag ( z k i ). 6. Determinar: (a) dy usando (15) (b) dv usando (16) (c) dz usando (17) 7. Calcular o tamanho do passo Seja α P = min {v k i /-(dv) i : (dv) i < 0, i = 1,...,n } α D = min {z k i /-(dz) i : (dz) i < 0, i = 1,,n} α = δ min ( α P, α D ). 8. Atualizar as variáveis primais e duais: v k+1 = v k + α dv, y k+1 = y k + α dy, z k+1 = z k + α dz, k = k + 1. Ir ao passo (3). O maior esforço computacional requerido no algoritmo primal-dual é a resolução do sistema linear simétrico de equações no passo (6a), isto é: ( A θ A t ) dy = ψ (18) Entre os métodos diretos que determinam a solução exata do sistema (18) temos os métodos de decomposição da matriz ( A θ A t ) na forma LDL t, sendo L uma matriz triangular e D uma matriz diagonal, ver Altman e Gondzio [1999]. Entre os métodos indiretos temos os algoritmos de direções conjugadas, em especial o gradiente conjugado, ver por exemplo Nocedal e Wright [1999], os quais são fáceis de ser implementados já que requerem simplesmente o produto de matrizes e vetores. Lembre-se que para nosso caso a matriz θ = ( Q + ZV -1 ) -1 é diagonal já que a matriz Q é diagonal o mesmo a matriz Z e V, portanto podemos perfeitamente aplicar sem nenhum problema o processo iterativo do gradiente conjugado. 3.Experiência Numérica A continuação apresentaremos o problema não linear de fluxo em uma rede para um único produto definido em um grafo dirigido ( N,A ) com n nós e m arcos, e N é o conjunto de nós e A é o conjunto de arcos. Para cada nó i N um escalar s i é dado, onde s i representa a quantidade disponível ou a demanda, e para cada arco ( i, j ) A, uma função f ij de R em R convexa, contínua e diferenciável é dada. Vamos supor que a função f( x ) é uma função separável, assim o problema não linear de fluxo em rede pode ser formulado da seguinte forma: (19) (20) (21) minimizar f( x ) = sujeito a: f ij ( x ij ) ( i, j) A x ij x ji = s i, i N { j:( i, j) A} { j:( j, i) A} x ij 0, (i,j) A. A função objetiva (19) é uma função não linear e separável. A equação (20) é denominada de conservação de fluxo da rede e a restrição (21) é a condição de não negatividade dos fluxos. 1954

Entre os métodos existentes que resolvem o problemas de fluxo na rede (19) (21) podemos mencionar o trabalho de Marín [1995], Bertsekas et al. [1997], de Ouorou [2002] e Ouorou et al. [2000], de Beraldi et al. [2001], e outros tantos disponíveis nas referências bibliográficas nesses trabalhos mencionados. Para ilustrar o algoritmo do gradiente espectral e da matriz diagonal do Hessian da função não linear, consideremos a rede da figura 1, p. 197 do artigo de García et al. [2003] e a rede figura 1, p. 476 do trabalho de Nagurney [1984]. A rede apresentada em García consiste de 22 nós e 120 arcos. A rede apresentada em Nagurney consiste de 20 nós e 28 arcos. A solução do sistema linear de equações (18) é usando o algoritmo do gradiente conjugado, de modo que podemos explorar a estrutura da rede sem precisar armazenar a matriz ( A θ A t ) nem a matriz A, portanto o algoritmo apresentado pode ser aplicado para problemas de grande porte. O algoritmo, usando a gradiente espectral e da matriz diagonal do Hessian da função de custo, foi codificado em linguagem FORTRAN e executado em um PC Duron com 512 MB de RAM e 1600 Mhz de freqüência. As funções de custo estudadas são: i) f ij (x ij ) = x ij ln (x ij ) para todo (i,j) A. ii) f ij (x ij ) = x ij /(c ij x ij ), x ij < c ij, c ij >0, para todo (i,j) A. iii) f ij (x ij ) = d ij (x ij ) q ij, d ij > 0, q ij >1, x ij 0, para todo (i,j) A. Os resultados computacionais para a função f ij (x ij ) = x ij ln x ij são mostrados na tabela 1. f ij (x ij ) = x ij ln x ij Gradiente Espectral 460,5170 7 Diagonal do Hessian 460,5170 6 Tabela 1a. Rede em García et al. f ij (x ij ) = x ij ln x ij Gradiente Espectral 3814,9919 18 Diagonal do Hessian 3814,9354 4 Tabela 1b. Rede em Nagurney Os resultados computacionais para a função f ij (x ij ) = x ij / (c ij x ij ) são mostrados na tabela 2. f ij (x ij ) = x ij /(c ij - x ij ) Gradiente Espectral 29,8392 5 Diagonal do Hessian 29,8350 4 Tabela 2. Rede em García et al. Os resultados computacionais para a função f ij (x ij ) = d ij (x ij ) q ij são mostrados na tabela 3. f ij (x ij ) = d ij (x ij ) q ij Gradiente Espectral 1218716,7651 12 Diagonal do Hessian 1218716,3856 5 1955

Tabela 3. Rede em Nagurney O ponto inicial é o mesmo para o algoritmo espectral e para a matriz diagonal do Hessian,, isto é, para cada função de custo e cada rede respectivamente. Em geral, o algoritmo de solução do programa não linear usando a matriz diagonal do Hessian da função não linear, devido a que a função de custo depende só da variável nesse arco, obtêm os melhores resultados se comparado com o algoritmo espectral (isso em relação ao número de iterações). 4.Conclusões O problema não linear de fluxo em redes, pela sua estrutura, é um problema de grande porte. Um algoritmo que possa explorar tal estrutura de rede é o método do gradiente espectral ou de uma aproximação do Hessian da função de custo, digamos da diagonal de essa matriz Hessian. Podemos observar, como era esperado, se obtemos a matriz Hessian, neste caso a diagonal, já que a função de custo é separável, os melhores resultados são obtidos usando esta informação se comparamos com o algoritmo espectral (em número de iterações). Mas para isso, precisamos calcular essa diagonal da matriz Hessian, que nem sempre está disponível, enquanto que o algoritmo espectral só precisa calcular a gradiente da função não linear. Outra possibilidade é determinar a matriz total do Hessian, quando a função de custo é geral, mas nesse caso o problema quadrático tal vez não seja fácil de ser resolvido. 5.Referência Bibliográfica Altman, A. e J. Gondzio, (1999), Regularized Symmetric Indefinite Systems in Interior Point Methods for Linear and Quadratic Optimization, Optimization Methods and Software, v. 11/12, p. 275 302. Beraldi, P., F. Guerriero e R. Musmanno, (2001), Parallel Algorithms for Solving the Convex Minimum Cost Flow Problem, Computational Optimization and Applications, v. 18, no. 2, p. 175 190. Bertsekas, D., L. Polymenakos e P. Tseng, (1997), An ε-relaxations Method for Convex Network Optimization Problems, SIAM Journal on Optimization, v. 7, p. 853 870. Birgin, E., J. Martínez e M. Raydan, (2003), Inexact Spectral Project Gradient Methods on Convex Sets, IMA Journal of Numerical Analysis, v. 23, p. 539 559. García, R., A. Marín e M. Patriksson, (2003), Column Generation Algorithms for Nonlinear Optimization, I: Convergence Analysis, Optimization, v. 52, no. 2, p. 171 200. Marín, Angel, (1995), Restricted Simplicial Decomposition with Side Constraints, Networks, vol 26, p. 199-215. Nagurney, Anna, (1984), Comparative Tests of Multimodal Traffic Equilibrium Methods, Transportation Research, v. 18B, no.6, p. 469 485. Nocedal, J. e S. Wright, (1999), Numerical Optimization, Springer. Ouorou, A., (2000), A Primal-Dual Algorithm for Monotropic Programming and its Application to Network Optimization, Computational Optimization and Applications, v. 125, p. 125 143. Ouorou, A., P. Mahey e J.-Ph. Vial, (2000), A Survey of Algorithms for Convex Multicommodity Flow Problems, v. 46, no. 1, p. 126 147. Yang, D. e S. Zenios, (1997), A Scalable Parallel Interior Point Algorithm for Stochastic Linear Programming and Robust Optimization, Computational Optimization and Applications, v. 7, p.143 158. Wright, S., (1997), Primal Dual Interior Point Methods, SIAM, Philadelphia, PA. 1956