UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE AUTOMAÇÃO E SISTEMAS. TEORIA E PRÁTICA Versão preliminar. Eduardo Camponogara

Transcrição

1 UNIVERSIDADE FEDERAL DE SANTA CATARINA DEPARTAMENTO DE AUTOMAÇÃO E SISTEMAS MÉTODOS DE OTIMIZAÇÃO: TEORIA E PRÁTICA Versão preliminar Eduardo Camponogara Florianópolis, Setembro de 2006

2 Agradecimentos Agradeço sinceramente o apoio recebido dos alunos Alberto X. Pavim, Agustinho Plucênio, Martín Pomar, Maurício Serra e Rodrigo Carlson na preparação da versão eletrônica das notas de aula em L A TEX. i

3 ii

4 Sumário 1 As Subáreas da Otimização Conceitos Fundamentais Modelagem de Problemas Elementos de um Problema de Otimização Duas Exceções à Formulação Geral Programação Linear Problema Exemplo Programação Linear Inteira Problema Exemplo Programação Quadrática Mínimos Quadrados Não-Linear Mínimos Quadrados (Linear) Exemplo Ilustrativo O Problema de Mínimos Quadrados Ajuste de Curvas Equações Não-Lineares Aplicação em Sistemas de Controle Otimização Não-Linear sem Restrições Problema Exemplo Otimização Não-Linear com Limites Superiores/Inferiores Otimização Não-Linear com Restrições Problema Exemplo Programação Semi-Definida Exemplo Referências Exercícios Minimização de Funções com o Método de Descenso Problemas de Interesse Fundamentos de Otimização Irrestrita O que é uma solução para P 1? Reconhecendo Um Mínimo Local O Algoritmo de Descenso O Algoritmo de Descenso em Detalhes Direção de Busca Encontrando a Direção de Busca iii 22

5 2.3.4 Encontrando o Passo Redução Suficiente e Retrocesso Convergência do Método de Descenso Taxa de Convergência do Método de Descenso Íngreme Referências Exercícios Método de Newton: Solução de Equações Não-Lineares e Minimização de Funções Problemas de Interesse O Método de Newton em uma Variável Exemplo O Método de Newton para Minimização em uma Variável Exemplo O Método de Newton em Múltiplas Variáveis Minimização Irrestrita Convergência Convergência Linear Convergência Quadrática Convergência do Método de Newton Métodos de Região de Confiança Otimização de Funções Sujeito a Igualdades Referências Exercícios Otimização Não-Diferenciável Otimização Black-Box Algoritmo Genético (AG) Genética e Evolução Adaptação Biológica Hereditariedade com Evolução Simulada Popularidade do Algoritmo Genético Algoritmo Genético em Detalhes Operador Genético Cross-Over Exemplo de Aplicação Questões Práticas Schema Theorem Simulated Annealing O Processo de Annealing O Algoritmo de Metropolis Exemplo: O Problema do Caixeiro Viajante Referências Exercícios iv 59

6 5 Treinamento de Redes Neurais: Um Problema de Otimização Elementos Básicos das Redes Neurais O Problema de Treinamento ALVINN: Um Exemplo de Aplicação Problemas Apropriados para Redes Neurais Perceptron: A Primeira Unidade Neural Treinando um Perceptron Regra Delta Treinando uma Unidade Delta A Unidade Sigmoid Referências Exercícios Programação Linear Problema Exemplo: Gerenciamento de Uma Unidade de Produção Gerente de Produção Otimista Gerente de Produção Pessimista O Problema de Programação Linear Algoritmo Simplex Exemplo Algoritmo Simplex em detalhes Inicialização Dualidade Motivação O Problema Dual O Teorema Fraco da Dualidade O Teorema Forte da Dualidade Folga Complementar Algoritmo Simplex em Notação Matricial Dicionário em Forma Matricial Referências Exercícios Teoria dos Jogos Introdução Jogos Matriciais O Jogo da Tesoura, Pedra e Papel Um Jogo Menos Trivial Formalização Estratégia Ótima para o Agente Coluna Estratégia Ótima para o Agente Linha Relação entre os Problemas P x e P y Teorema Minimax Jogos Quadráticos Exemplo Referências v

7 7.10 Exercícios Fluxo em Redes Dois Problemas Clássicos O Problema de Transporte O Problema de Alocação O Problema de Fluxo Máximo Fluxos e Cortes Algoritmo de Caminhos Aumentantes Implicações Combinatórias do Problema de Fluxo Máximo O Problema de Fluxo de Custo Mínimo Transformações Um Exemplo Redes Residuais Algoritmo de Cancelamento de Circuitos Negativos Matrizes Totalmente Unimodulares Referências Exercícios Linguagens de Modelagem Linguagem Mosel Qual Interface Devemos Utilizar? Resolvendo um Problema Indo Mais Longe Trabalhando com o Optimizer Construindo um Primeiro Modelo Usando Cadeias de Caracteres como Índices Modelagem Versátil Linguagem AMPL Modelo AMPL do Problema da Mochila Comentários Estudo de Caso: Alocação de Rotas em Redes de Computadores Formulação do Problema Formulação em MOSEL Formulação em AMPL Referências Exercícios Fundamentos de Programação Inteira Introdução Escalonamento de Trens Airline Crew Scheduling O Que É um Problema Inteiro? Problema (Linear) Inteiro Misto Problema (Linear) Inteiro Problema Linear Binário vi

8 Problema de Otimização Combinatória Programação Linear e Arredondamento Formulação de PIs e PIBs Exemplo 1: Formulando o Problema de Alocação Exemplo 2: O Problema da Mochila Exemplo 3: O Problema de Cobertura por Conjuntos Exemplo 4: O Problema do Caixeiro Viajante (PCV) Explosão Combinatória Formulação de Problemas Inteiros Mistos (PIMS) Exemplo 1: Modelando Custos Fixos Exemplo 2: Localização de Depósitos sem Limites de Capacidade Alternativas Discretas e Disjuntas Formulações Alternativas Formulações Equivalentes para o Problema da Mochila Localização de Depósitos sem Limites de Capacidade Formulações Apertadas e Ideais Formulações Equivalentes para o Problema da Mochila Formulação para o Problema de Localização de Depósitos Referências Exercícios Programação Inteira: Relaxações e Algoritmo Branch-and-Bound Condições de Otimalidade Limite Primal Limite Dual Relaxação Baseada em PL (Relaxação Linear) Relaxação Combinatória O Problema do Caixeiro Viajante O Problema da Mochila Relaxação Lagrangeana Algoritmo Branch-and-Bound Estratégia de Divisão e Conquista Enumeração Implícita Algoritmo Branch-and-Bound (B&B) Referências Exercícios Algoritmos de Planos de Corte e Desigualdades Fortes Introdução a Planos de Corte Exemplos de Desigualdades Válidas Um conjunto 0-1 puro Um Conjunto 0-1 Misto Um Conjunto Inteiro Misto Conjunto Combinatório Arredondamento Inteiro Arredondamento Inteiro Misto vii

9 12.3 Teoria de Desigualdades Válidas Desigualdades Válidas para Problemas Lineares Desigualdades Válidas para Problemas Inteiros Procedimento Chvátal-Gomory para Geração de Desigualdades Válidas O Algoritmo de Planos de Corte Algoritmo de Planos de Corte Usando Cortes de Gomory Fracionários Exemplo Desigualdades Disjuntivas Exemplo Desigualdades Disjuntivas para Problemas Exercícios Programação com Restrições Lógicas Programação Dinâmica: Domínio Discreto Um Exemplo de Programação Dinâmica Calculando Números de Fibonacci Programação Dinâmica para o Problema da Mochila Complexidade do Algoritmo Elementos de um Algoritmo DP: Sequência Crescente Mais Longa Construindo um Algoritmo Edição Automática de Cadeias de Símbolos ( Approximate String Matching ) Projeto de um Algoritmo DP Exercícios Programação Dinâmica: Domínio Contínuo Introdução Exemplo: Controle de Inventário Distinção Entre Otimização Open-Loop e Closed-Loop O Problema Básico de Programação Dinâmica O Valor da Informação O Algoritmo de Programação Dinâmica Princípio da Otimalidade O Algoritmo de Programação Dinâmica Sistemas Lineares com Custo Quadrático Aplicando o Algoritmo de Programação Dinâmica A Equação de Riccati e seu Comportamento Assintótico Exercícios Programação Não-Linear Restrita: Fundamentos e Condições de Otimalidade Teoria da Otimização Não-Linear sob Restrições Solução Local Solução Global Suavidade das Funções viii

10 16.2 Exemplos Uma Restrição de Igualdade Uma Restrição de Desigualdade Duas Desigualdades Condições de Otimalidade de Primeira Ordem Exemplo Exercícios Programação Não-Linear: Fundamentos de Algoritmos Categorizando Algoritmos de Otimização O Método da Função Penalidade O Método de Barreiras O Método Lagrangeano Aumentado Método Seqüencial Linear Programação Quadrática Seqüencial Eliminação de Variáveis Exemplo: Problemas Que Podem Surgir Eliminação de Restrições Lineares Os Efeitos das Desigualdades Programação Quadrática Exemplo: Otimização de Portofolio Propriedades de Problemas Quadráticos com Apenas Restrições de Igualdade Resolvendo o Sistema KKT Problemas Quadráticos Sob Restrições Condições de Otimalidade O Método de Conjunto Ativo para Problemas Quadráticos Convexos Exemplo Exercícios Programação Não-Linear sob Restrições: Algoritmos Algoritmos O Método de Barreira Logarítmica Propriedades das Funções de Barreira Logarítmica Algoritmo Baseado na Função Barreira Logarítmica Propriedades da Função Log-Barrier e Algoritmo Geral Manipulando Restrições de Igualdade Método Lagrangeano Aumentado Motivação e Estrutura do Algoritmo Exemplo Extensão para Restrições de Desigualdade Propriedades do Lagrangeano Aumentado Programação Linear Sequencial Programação Quadrática Sequencial O método SQP Local ix

11 Linhas Gerais do Método SQP Restrições de desigualdade Implementação de SQP Exercícios A Exercícios Resolvidos 287 A.1 Introdução à Otimização A.2 Minimização de Funções com o Método de Descenso A.3 Método de Newton A.4 Otimização Black-Box A.5 Treinamento de Redes Neurais A.6 Programação Linear A.7 Teoria dos Jogos A.8 Fluxo em Redes A.9 Linguagens de Modelagem A.10 Programação Inteira: Fundamentos A.11 Programação Inteira: Relaxações e Algoritmo Branch-and-Bound A.12 Algoritmos de Planos de Corte e Desigualdades Fortes A.13 Programação Lógica A.14 Programação Dinâmica: Domínio Discreto A.15 Programação Dinâmica: Domínio Contínuo A.16 Programação Não-Linear Sob Restrições: Fundamentos A.17 Programação Não-Linear Sob Restrições: Fundamentos de Algoritmos. 345 A.18 Programação Quadrática A.19 Programação Não-Linear sob Restrições: Algoritmos x

12 Lista de Figuras 1.1 Predição peso com base na altura Instância do problema de localização de central telefônica Exemplo de função com um número infinito de ótimos locais Ilustração do gradiente de uma função, f(x k ), que assume a direção ortogonal à curva de nível que passa por x k Ilustração de passo satisfatório Ilustração das condições de Armijo e de curvatura Ilustração do processo iterativo de Newton Função cos(x) Modelo mecânico. O modelo consiste de um tabuleiro com um furo perfuradoacadapontoy k. Atravésdacadaburaco,umfioépassadocom o correspondente peso w k preso a sua ponta. Os outros extremos dos fios são amarrados com um nó. Na ausência de fricção e fios entrelaçados, as forças atingem um equilíbrio no ponto do nó quando este está localizado na solução ótima x Operador cross-over de um ponto Operador cross-over de dois pontos Fenômeno de crowding Empacotamento de componentes eletrônicos em circuitos integrados Ilustração do processo de annealing Comportamento típico do nível de energia conforme processo de annealing Probabilidade de transição com a queda de temperatura Exemplo de rota para uma instância particular Ilustração dos operadores de perturbação Exemplo de topologia de redes neurais Unidade de processamento neural Rede neural com camadas intermediárias Rede neural do sistema ALVINN Perceptron Conjuntos separáveis e não separáveis linearmente Unidade delta Função sigmoid Sistema neural para reconhecimento de palavras Topologia da rede neural xi 71

13 6.1 Exemplo de problema infactível. As regiões achuradas indicam as regiões factíveis para cada uma das restrições. Observe que a interseção das regiões achuradas é vazia Exemplo de problema ilimitado. Podemos avançar dentro da região factível de maneira a crescer o valor da função objetivo sem limites. Por exemplo, ao longo da direção (x 1,0) podemos avançar sem limites, fazendo o valor da função objetivo aumentar Método simplex como um processo iterativo Curvas de nível, conjuntos reativos, solução Nash e pontos Pareto de um jogo quadrático entre dois agentes Problema de transporte Alocação balanceada de tarefas em dois processadores como um problema de corte mínimo. A alocação ótima consiste em processar os módulos 1, 2 e 4 no processador 1, deixando os módulos 3 e 5 no processador 2. O custo de processamento dos módulos é igual 15 enquanto que o custo de comunicação é 3, perfazendo um custo total de 18 unidades. O custo total é a capacidade do corte s-t mínimo como indicado na figura Exemplo de rede residual G(x) obtida a partir de uma rede G e fluxo x Rede residual G(x 0 ) para fluxo x 0 nulo Rede residual G(x 1 ) para fluxo x Rede residual G(x 2 ) para fluxo x Rede residual G(x 3 ) para fluxo x Transformação de arestas em arcos Remoção de limite inferior nos arcos Eliminando capacidade de arcos Exemplo de problema de fluxo de custo mínimo. As linhas tracejadas correspondem ao fluxo ótimo Exemplo de rede residual Exemplo de rede residual Primeira iteração do algoritmo de cancelamento de circuito negativo. A figura mostra a rede residual G(x 0 ), o circuito com custo negativo em linhas tracejadas e o fluxo x 0. O circuito é dado por w 0 = ((4,2),(2,3),(3,4)) que tem custo c(w 0 ) = 1 e capacidade máxima δ(w 0 ) = Segunda iteração do algoritmo de cancelamento de circuito negativo. A figura mostra a rede residual G(x 1 ), o ciclo w 1 = ((3,2),(2,1),(1,3)) com custo c(w 1 ) = 1 e capacidade máxima δ(w 1 ) = 1, e o fluxo x Terceira iteração do algoritmo de cancelamento de circuito negativo. Na figura é dada a rede residual G(x 2 ) e o respectivo fluxo x 2. Também é indicado o circuito w 2 = ((2,3),(3,4),(4,2)) com custo c(w 2 ) = 3 e capacidade δ(w 2 ) = Fluxo ótimo x 3 e rede residual G(x 3 ). Não há ciclo de custo negativo xii

14 8.18 Propriedade de unimodularidade das matrizes de incidência de grafos. Um arco sem nó de origem indica fluxo injetado no nó destino, enquanto que um arco sem nó de destino indica fluxo consumido pelo nó origem Grafo G = (V,A) com a especificação do problema de fluxo em rede Rede exemplo do problema de alocação de rotas Ilustração da solução obtida através de arredondamento Ilustração da restrição de conectividade Função com custo fixo Região factível não convexa Formulações equivalentes alternativas Formulações alternativas Formulações apertadas Grafo da instância do problema do caixeiro viajante Rede de abastecimento Árvore de enumeração Árvore de enumeração Árvore de enumeração completa, explícita Eliminação por otimalidade Eliminação por limite Nenhum ramo da árvore pode ser eliminado Quebra do primeiro nó da árvore de enumeração B&B Dividindo S 1 em S 11 e S Cortando o nó S 12 por meio da condição de otimalidade Espaço de soluções factíveis e desigualdade válida x 14 4(2 y) Desigualdades disjuntivas Árvore de recursão do algoritmo recursivo para cálculo do número de Fibonacci Valores D[i,j] calculados pelo algoritmo DP ao calcular a distância de edição mínima entre o padrão P = abcdefghijkl e o texto T = bcdeffghixkl Hierarquia da empresa XYZ Estrutura do sistema linear com controle ótimo de realimentação Sistema de fornos para aquecimento de materiais Pêndulo invertido Fronteiras não suaves Espaço de soluções Direções de descenso Restrição de desigualdade Região de descenso não vazia Região de descenso vazia Meio disco xiii

15 16.8 Região de descenso vazia Ambas as restrições Região factível Curvas de nível das funções x 2 +y 2 e y 2 = (x 1) Região factível e curvas de nível da função objetivo Seqüência de iterandos Curvas de nível da função P(x,µ) = x µlogx µlog(1 x) para µ {0.01,0.1,0.4,1} Curvas de nível da função P(x,µ) = (x )2 + (x )2 µ(logx 1 +log(1 x 1 )+logx 2 +log(1 x 2 )) para µ {22,5,2} Curvas de nível da função L A (x, 0.4,50) Elipsóide A.1 Soluções do sistema de equações não-lineares A.2 Exemplo de problema de fluxo em redes A.3 Ilustração da redução do problema de caminhos mínimos com pedágio ao problema de fluxo de custo mínimo através da operação de quebra de vértices A.4 Rede de abastecimento A.5 Árvore branch-and-bound parcial A.6 Árvore branch-and-bound parcial A.7 Árvore branch-and-bound parcial A.8 Árvore branch-and-bound parcial A.9 Árvore branch-and-bound parcial A.10 Árvore branch-and-bound parcial A.11 Árvore branch-and-bound parcial A.12 Árvore branch-and-bound parcial A.13 Exemplo de execução do algoritmo de programação dinâmica para subsequência mais longa de duas cadeias de caracteres A.14 Grafo para cômputo de todos os possíveis emparelhamentos de subcadeias mais longas A.15 Processo Markoviando do jogo par-ímpar A.16 Trajetória de iterandos produzida pelo algoritmo de barreiras xiv

16 Lista de Tabelas 1.1 Dados amostrais Iterações do método de Newton População inicial Amostras para treinamento da rede neural Capacidade de produção dos fornecedores Demanda dos clientes Custo unitário de transporte Custo de processamento Custo de comunicação Dados do problema da mochila Sequenciamento de tarefas Número de soluções em função do tamanho do problema Crescimento de funções Tabelas DP para o Problema da Mochila Tabelas DP para o Problema de Subseqüência Mais Longa A.1 Tabela D[i,j] para emparelhamento perfeito A.2 Tabela D[i,j] para emparelhamento flutuante A.3 Resolução das recorrências do algoritmo de programação dinâmica A.4 Jogos dos palitos A.5 Jogos dos palitos xv

17 xvi

18 Notação xvii

19 xviii

20 Capítulo 1 As Subáreas da Otimização Otimização é a área da Matemática Aplicada que se preocupa em calcular e computar valores ótimos para variáveis de decisão que induzem desempenho ótimo, ao mesmo tempo que satisfazem restrições, de um modelo matemático. 1.1 Conceitos Fundamentais Modelagem de Problemas A representação da realidade é uma necessidade da sociedade moderna, seja pela impossibilidade de lidar diretamente com a realidade, seja por aspectos econômicos, seja pela complexidade. Assim, busca-se a representação da realidade por meio de modelos que sejam bem estruturados e representativos desta realidade. Modelos são representações simplificadas da realidade que preservam, para determinadas situações e enfoques, uma equivalência adequada. Dentre as características de um modelo se destacam a sua capacidade representativa e a capacidade de simplificação da realidade. A capacidade representativa de um modelo deve ser validada por meio de experimentação, análise numérica, ensaios ou qualquer outro método que verifique a acurácia das predições obtidas com o modelo. A modelagem de um problema complexo não é uma tarefa trivial. Invariavelmente depende de fatores subjetivos como intuição, experiência, criatividade e poder de síntese. A formulação consiste em traduzir o modelo em uma linguagem formal, normalmente expressa em notação matemática e compreendendo variáveis, equações, desigualdades e fórmulas. Os processos de formulação e validação são iterativos, pois envolvem múltiplas etapas de tentativa e erro, e interativos à medida que o modelador deve intervir continuamente objetivando refinar o modelo. Uma abordagem freqüentemente empregada na formulação e resolução de problemas consiste no emprego de modelos de otimização, os quais visam maximizar (minimizar) um critério de desempenho como, por exemplo, a produção de um dado insumo, sujeito a restrições que descrevem as condições operacionais. A linguagem utilizada pela otimização para expressar os problemas de uma forma declarativa é conhecida universalmente por programação matemática. No que segue, apresentamos a linguagem

21 2 1. As Subáreas da Otimização de programação matemática e exemplificamos o seu uso em uma série de problemas ilustrativos e de interesse geral Elementos de um Problema de Otimização Tipicamente, um problema de otimização tem três elementos constituintes: 1) Variáveis de Decisão: Parâmetros cujos valores definem uma solução para o problema. Em um sistema de produção, esses parâmetros podem definir as quantidades produzidas e os recursos utilizados. 2) Função Objetivo: Uma função das variáveis de decisão a ser minimizada ou maximizada. No sistema de manufatura, podemos estar interessados em minimizar custos, reduzir o número de homens-hora e conseqüentemente aumentar a produtividade. 3) Restrições: Um conjunto de funções que define o espaço factível de soluções. No sistema de manufatura, as restrições estabelecem limites para os recursos utilizados, restrições operacionais do processo de produção, bem como limitações físicas e tecnológicas. Formulação do Problema de Otimização Generalizado O problema geral de otimização é expresso em programação matemática como: Minimize f(x) Sujeito a : g(x) 0 h(x) = 0 x R n (1.1) onde: f : R n R é a função objetivo; g : R n R p e h : R n R q são restrições que limitam o espaço de soluções factíveis; e x é o vetor com as variáveis de decisão Duas Exceções à Formulação Geral São duas as classes principais de exceções à formulação geral do problema de otimização. 1) Problemas sem função objetivo: O usuário deseja apenas encontrar um conjunto de decisões que sejam viáveis, isto é, encontre x R n tal que: g(x) 0 h(x) = 0 2) Problemas com múltiplos objetivos: Em problemas reais não é incomum procurar otimizar mais do que um objetivo. No problema de manufatura o usuário pode desejar maximizar o lucro, maximizar a qualidade dos itens manufaturados e ainda minimizar o tempo de produção. Usualmente, estes problemas são

22 1. As Subáreas da Otimização 3 reduzidos a problemas envolvendo apenas um objetivo (combinando-se múltiplos objetivos em apenas um ou, alternativamente, escolhendo-se um objetivo e introduzindo restrições). Tais problemas são transcritos em programação matemática como: Minimize f 1 (x) 1.2 Programação Linear. Minimize f k (x) x R n Sujeito a : g(x) 0 h(x) = 0 O problema de programa linear é um caso particular de (1.1) cuja função objetivo e restrições são todas lineares. Matematicamente, f(x) = c T x, g(x) = Ax a e h(x) = Bx b sendo c, a e b vetores e A e B matrizes com dimensões apropriadas. O problema e os algoritmos de programação linear são amplamente empregados tendo inúmeras aplicações. No que segue apresentamos uma aplicação e a formulação geral Problema Exemplo Um atleta deseja encontrar uma dieta otimizada, ou seja, um programa alimentar com tipos e quantidades de alimentos que atendam às suas necessidades mínimas. Os alimentos devem ser escolhidos de forma a minimizar o preço total. Os dados do problema são: N alimentos, tais como arroz, feijão, alface, etc; M tipos de substâncias alimentares, como proteínas, lipídios, etc; c n é o preço unitário do alimento n; a m,n é a quantidade de substância m contida em cada unidade de alimento n; e b m é a quantidade mínima de substância m a ser ingerida pelo atleta. Exercício: modele o problema em programação matemática. 1) Variáveis: x n é quantidade de alimento n a ser comprada e ingerida, n = 1,...,N. 2) Restrições: a 1,1 x 1 + a 1,2 x a 1,N x N b 1 a 2,1 x 1 + a 2,2 x a 2,N x N b a M,1 x 1 + a M,2 x a M,N x N b M onde x 1,x 2,...,x N 0.

23 4 1. As Subáreas da Otimização 3) Função objetivo: f = c 1 x 1 +c 2 x c N x N 4) Formulação compacta: Minimize c T x x R N Sujeito a : Ax b x 0 (1.2) 1.3 Programação Linear Inteira Uma variedade de problemas reais podem ser formulados com o emprego de variáveis discretas. Dentre eles, citamos o problema de agendamento de trens, o problema de agendamento de tripulações de aviões e o problema de alocação em sistemas de telecomunicações. Todos estes problemas têm uma característica em comum: fazem uso de variáveis inteiras ou discretas. Não se pode por exemplo dividir um vagão de trem em frações; não se pode alocar meio piloto a uma aeronave; e não se pode instalar uma fração de um servidor de telecomunicações. Estes e muitos outros problemas fazem parte do universo da programação linear inteira, que engloba problemas da forma: Problema Exemplo Minimize c T x Sujeito a : Ax b Cx = d x 0 x Z n Aqui ilustramos uma aplicação do problema de programação inteira que envolve a instalação de depósitos e unidades produtoras de aço que venham a suprir as demandas de clientes, ao mesmo tempo que os custos de instalação e transportes sejam minimizados. Temos que decidir, dentre um conjunto de locais pré-selecionados, onde instalar as unidades produtoras e quais unidades instaladas serão responsáveis pela demanda de cada cliente. 1) Dados do Problema: os dados abaixo constituem uma instância do problema: i. um número m de possíveis locais para instalação de depósitos e siderúrgicas; ii. um número n de clientes; iii. d i é a demanda de aço do cliente i e esta deve ser suprida por precisamente um depósito ou siderúrgica; iv. u j é a capacidade de um possível depósito a ser instalado no local j; v. o custo de transporte do depósito j para o cliente i é c i,j ; e vi. o custo de instalação do depósito j é f j.

24 1. As Subáreas da Otimização 5 2) Tarefa: Formule o problema de definir quais depósitos devem ser instalados de maneira a suprir a demanda e, ao mesmo tempo, minimizar o custo total de instalação e transporte. 3) Variáveis: as variáveis de decisão são: i. x ij = 1 se o cliente i é atendido pelo depósito j, x ij = 0 caso contrário; e ii. y j = 1 se o depósito j é instalado, y j = 0 caso contrário. 4) Formulação: Minimize Sujeito a : n m c ij x ij + m f j y j i=1 j=1 j=1 n d i x ij u j y j j = 1,...,m m x ij = 1 i = 1,...,n i=1 j=1 x ij B y j B i = 1,...,n j = 1,...,m j = 1,...,m sendo B = {0,1}. 1.4 Programação Quadrática O problema geral de programação quadrática é formulado como segue: Minimize 1 2 xt Qx+c T x Sujeito a : Ax b Cx = d onde Q é uma matriz simétrica. Programação quadrática tem aplicações em identificação de parâmetros para modelos de processos, modelos estruturais e sistemas de controle, e em algoritmos como SQP (Sequential Quadratic Programming). A dificuldade de se resolver tais problemas depende da natureza da matriz Q. Quais características de Q tornam o problema difícil? Se Q 0 (positiva semi-definida) 1 ou Q > 0 (positiva definida) o problema é relativamente fácil de ser resolvido (ou seja, encontrar a solução ótima global). Se Q é indefinida (ou negativa semi-definida ou definida) então o problema é muito difícil. 1 Q R n n é dita positiva semi-definida se x T Qx 0 para todo x R n. A matriz é dita positiva definida se a desigualdade é estrita para todo x 0. Se Q = Q T, então Q é positiva semi-definida se e somente se os autovalores de Q são não negativos. Note que os autovalores de matrizes simétricas são números reais. A matriz Q é dita indefinida se existe x,y R n tal que x T Qx > 0 e y T Qy < 0.

25 6 1. As Subáreas da Otimização 1.5 Mínimos Quadrados Não-Linear O problema dos mínimos quadrados não-linear consiste de um problema da seguinte forma: 1 Minimize 2 f(x) 2 x R n onde corresponde à norma Euclidiana e f(x) : R n R m é uma função qualquer, contínua e diferenciável. Tais problemas têm aplicações no casamento de modelos com dados experimentais, tipicamente encontrados em estudos econômicos, aprendizagem automática e engenharia. Seja {(y k,z k ) : k = 1,...,K} um conjunto de pares entrada-saída de uma função z = h(y) desconhecida, y k R p e z k R q. Suponha que uma função g x (y) com parâmetros dado pelo vetor x R n é sugerida como aproximação de h(y). Existe, portanto, uma família F = {g x : x R n } de aproximadores. O problema então encontrar a função g x que minimiza o erro de aproximação: K e = (g x (y k ) z k ) 2 k=1 Definindo f(x) = [f 1 (x),...,f K (x)] tal que f k (x) = g x (y k ) z k, temos que o problema de encontrar o aproximador de menor erro se reduz a um problema de mínimos quadrados não-linear. Uma aplicação do problema de mínimos quadrados não-linear é o treinamento de redes neurais. Dado uma série de exemplos de treinamento (pares entrada-saída), o problema de treinar uma rede neural a aproximar a função descrita pelos pares entradasaída se reduz a um problema de mínimos quadrados não-linear. 1.6 Mínimos Quadrados (Linear) Vários problemas encontrados na prática como, por exemplo, o problema de ajuste de curvas e de identificação de sistemas, podem ser expressos como um problema de encontrar os parâmetros de uma função linear nos parâmetros que aproxime os dados observados. Abaixo ilustramos uma aplicação do problema de mínimos quadrados (linear) ao problema de encontrar uma função de predição do peso de pessoas em função da altura com base em exemplos amostrais. Na seqüência formalizamos o problema de mínimos quadrados e finalizamos com uma aplicação ao problema de ajuste de curvas generalizado Exemplo Ilustrativo Seja w(h) um modelo que descreve a relação entre a altura e o peso médio das pessoas do sexo feminino. Suponha que o modelo escolhido é um polinômio da forma: w(h) = x 3 h 3 +x 2 h 2 +x 1 h+x 0, ou seja, w(h) é um polinômio de terceira ordem que modela o peso como uma função da altura. Os dados amostrais são dados na Tabela 1.1

26 1. As Subáreas da Otimização 7 Tabela 1.1: Dados amostrais Amostra (i) Altura (h i ) Peso (w i ) Problema Exemplo Encontre os parâmetros x 3, x 2, x 1 e x 0 que minimizam a função erro, a qual consiste na soma dos quadrados dos erros de predição: Minimize 1 2 x 0,x 1,x 2,x 3 n w(h i ) w i 2 i=1 A solução ótima para o problema acima, tomando como dados as entradas da Tabela 1.1, é: x 0 = x 1 = x 2 = x 3 = A Figura 1.1 ilustra os dados amostrais juntamente com a curva de aproximação w(h) dada pelo polinômio w(h) = x 3 h 3 +x 2 h 2 +x 1 h+x O Problema de Mínimos Quadrados Consideremos inicialmente um sistema linear com mais equações do que variáveis: a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b 2 a 31 x 1 + a 32 x a 3n x n = b 3. a m1 x 1 + a m2 x a mn x n = b m

27 8 1. As Subáreas da Otimização w(h) (Peso) Aproximacao 60 Valores Amostrais h (altura) Figura 1.1: Predição peso com base na altura o qual pode ser colocado na forma mais compacta Ax = b onde A R m n, x R n 1 e b R m 1. Vamos assumir que não existe solução x tal que Ax = b, o que ocorre quando posto(a) < posto([a b]). O problema de encontrar uma solução aproximada para Ax = b pode ser colocado em programação matemática como um problema de mínimos quadrados linear: P MQ : Minimize Ax b x R n onde r = Ax b é chamado de resíduo. A solução x para P MQ com menor erro residual r é dita solução de mínimos quadrados. O problema P MQ pode ser colocado na forma equivalente P MQ : P MQ : Minimize Ax b 2 = (Ax b) T (Ax b) = m (a T i x b i ) 2 x R n onde a T i é a i-ésima linha de A Ajuste de Curvas O problema geral de ajuste de curvas pode ser colocado como segue. Ajuste a curva dada pela função g(t) = x 1 g 1 (t)+x 2 g 2 (t)+...+x n g n (t) i=1

28 1. As Subáreas da Otimização 9 aos dados (t 1,y 1 ),...,(t m,y m ), ou seja, gostaríamos que: g(t 1 ) = y 1 g(t 2 ) = y 2. =. g(t m ) = y m onde g i (t) : R R, i = 1,...,n, são funções quaisquer mas conhecidas; tais funções são ditas bases. Note que as variáveis do problema são x 1,x 2,...,x n e tipicamente m >> n. Podemos colocar o problema de ajuste de curvas como um problema mínimos quadrados, o qual assume a forma: Minimize f = m [g(t i ) y i ] 2 i=1 = m [x 1 g 1 (t)+x 2 g 2 (t)+...+x n g n (t) y i ] 2 que, por sua vez, pode ser expresso em forma matricial: i=1 Minimize Ax b 2 x R n onde: A = g 1 (t 1 ) g 2 (t 1 )... g n (t 1 ) g 1 (t 2 ) g 2 (t 2 )... g n (t 2 ).... g 1 (t m ) g 2 (t m )... g n (t m ) e b = y 1 y 2. y m 1.7 Equações Não-Lineares Sistemas de equações não-lineares aparecem em problemas de otimização, mas também em equações diferenciais e suas formas discretizadas, jogos dinâmicos e processos iterativos. Seja f(x) : R n R m uma função contínua e diferenciável, o problema de interesse é definido como segue: Encontre x tal que f(x ) = 0 Alguns algoritmos transformam este problema em um problema de otimização irrestrita: Minimize f(x) 2 x R n onde é uma norma vetorial.

29 10 1. As Subáreas da Otimização Aplicação em Sistemas de Controle Dado um sistema de equações diferenciais, encontre um ponto de equilíbrio. Considere o sistema de equações diferenciais abaixo: ẋ 1 = x 1 1 ẋ 2 = 2x 1 x 2 2 2x 1 +2x sin(x 2 2) ẋ 3 = 2x De uma forma mais compacta, o sistema acima pode ser escrito como ẋ = f(x) onde x = [x 1,x 2,x 3 ]. Um problema típico no domínio de controle não linear é a busca de um ponto de operação ou de equilíbrio, i.e., um ponto x tal que ẋ = 0. O problema de encontrar um ponto de equilíbrio pode ser reduzido à solução de um sistema de equações não lineares: f(x) = 0. Para o exemplo acima, um ponto de equilíbrio é x = [ 1, 2,x 3 ]. 1.8 Otimização Não-Linear sem Restrições Otimização irrestrita (sem restrições) constitui um bloco fundamental no desenvolvimento de software. Algoritmos para solução de problemas de otimização restrita fazem uso de otimização irrestrita. O problema de otimização irrestrita é definido como: Minimize f(x) x R n Tipicamente procura-se um ótimo local x, ou seja, x tal que f(x ) f(x) para todo x B(x,δ) = {x : x x δ} e δ > 0. Otimização global se preocupa em encontrar um vetor x cujo valor f(x ) f(x) para todo x R n Problema Exemplo Seja z = (x, y) a coordenada onde será instalada uma central telefônica. Suponha que as chamadas são recebidas de um conjunto S = {z 1 = (x 1,y 1 ),...,z m = (x m,y m )} de localidades com probabilidade uniforme. Seja Z a variável randômica associada com o local das chamadas. Portanto, Z assume valores do conjunto S tal que a probabilidade de uma chamada vir do local k é Pr{Z = z k } = 1/m, para k = 1,...,m. Tarefa Qual deve ser a localização da central telefônica para que E[ Z z 2 ] seja minimizado? Em outras palavras, desejamos minimizar o quadrado da distância da central telefônica aos locais das chamadas. E[f(Z)] é o valor esperado da função f(z) da variável aleatória Z 2. 2 Quando a variável aleatória Z assume valores z k {z 1,...,z m }, onde a probabilidade de Z = z k é conhecida e dada por p k, então o valor esperado de uma função f(z) é definido por E[f(Z)] = m k=1 f(z k)p k.

30 1. As Subáreas da Otimização 11 Solução Desenvolvendo a expressão do valor esperado, deduzimos: E[ Z z 2 ] = = m z k z 2 Pr{Z = z k } k=1 m (x k,y k ) (x,y) 2 /m k=1 Assim, o problema pode ser reduzido a um problema de mínimos quadrados, que é um caso particular de otimização irrestrita. Exemplo Numérico Para o problema de localizar a central telefônica na região dada pela Figura 1.2 que indica os locais de possíveis chamadas. A chamadas podem ser originadas dos seguintes locais: z 1 = ( 5,12), z 2 = ( 8,8), z 3 = ( 4,9), z 4 = ( 11,2), z 5 = ( 11, 4), z 6 = ( 2, 9), z 7 = (5, 4), z 8 = (15, 8), z 9 = (17,4), z 10 = (12,8), z 11 = (17,13), z 12 = (12,13) e z 13 = (7,11). Para a situação onde as chamadas são equiprováveis, a localização ótima da central telefônica é (3.3846, ). y 16 z z 13 z 12 z 11 z z 10 z 4 z Central z x z 5 z 7 z 8 z 6 Figura 1.2: Instância do problema de localização de central telefônica.

31 12 1. As Subáreas da Otimização 1.9 Otimização Não-Linear com Limites Superiores/Inferiores Esta classe de problemas é dada pela formulação a seguir: Minimize f(x) x R n Sujeito a : l x u onde f é uma função contínua e diferenciável. Estes modelos têm aplicações em engenharia e na identificação de modelos físicos, onde as grandezas e parâmetros são sujeitos a limites. Alguns algoritmos de otimização restrita resolvem sequências de problemas com limites superiores e inferiores Otimização Não-Linear com Restrições Os problemas de otimização não-linear com restrições consistem em minimizar uma função não-linear sujeita a restrições não-lineares. O problema geral é da forma: Minimize f(x) Sujeito a : g(x) 0 h(x) = 0 onde f : R n R m, g : R n R p e h : R n R q são funções contínuas e diferenciáveis. Os modelos de otimização não-linear restritos são os mais gerais no domínio da otimização contínua Problema Exemplo Desejamos instalar uma estação de bombeiros de forma que a mesma esteja dentro de um raio r (km) de um conjunto S = {(x 1,y 1 ),...,(x p,y p )} de prédios nas proximidades da unidade dos bombeiros. Além disso, desejamos localizá-la o mais afastado possível de um conjunto T = {( x 1,ỹ 1 ),...,( x q,ỹ q )} de estações de bombeiros vizinhas. Tarefa Formule este problema em linguagem de otimização. Formulação Maximize d Sujeito a : (x,y) (x j,y j ) r (x,y) ( x j,ỹ j ) d j = 1,...,p j = 1,...,q

32 1. As Subáreas da Otimização 13 Observações: d min{ (x,y) ( x j,ỹ j ) : j = 1,...,q} r max{ (x,y) (x j,y j ) : j = 1,...,p} 1.11 Programação Semi-Definida Esta classe compreende problemas com função objetivo linear e restrições envolvendo matrizes e suas propriedades(tais como matriz positiva definida e semi-definida). Tipicamente, umamatrizf i (x)édefinidacomoumafunçãoafimcomparâmetrosdados pelo vetor x. Mais precisamente: F i (x) = F i,0 +F i,1 x F i,n x n onde F ij R n n é uma matriz simétrica, ou seja, F i,j = F T i,j. Os problemas são expressos na forma a seguir: Minimize c T x Sujeito a : F i (x) 0 i = 1,...,m onde F i (x) 0 significa que a matriz F i (x) deve ser positiva semi-definida (linear matrix inequality) Exemplo Considere o seguinte sistema dinâmico ẋ = Ax Uma condição suficiente para que o sistema convirja para x = 0 à medida que t, a partir de qualquer estado inicial x(0), é a existência de uma função V(x) com as seguintes propriedades: V(x) é positiva definida, ou seja, para todo x 0 tem-se V(x) > 0 e V(0) = 0 V(x) < 0 para x 0. Tal função é conhecida como função Lyapunov. Como encontrar tal função? Seja V(x) = x T Px para P > 0. Neste caso V(x) satisfaz a condição de ser positiva definida. Como fazer para satisfazer a segunda condição? d dt V = d dt (xt Px) = ẋ T Px+x T Pẋ = (x T A T )Px+x T P(Ax) = x T (A T P +PA)x