O objetivo deste trabalho consiste na aplicação de métodos de pontos interiores ao problema de regressão

Transcrição

1 A pesquisa Opeacional e os Recusos Renováveis 4 a 7 de novembo de 3, Natal-RN O MÉTODO DE PONTOS INTERIORES PRIMAL-DUAL BARREIRA LOARÍTMICA APLICADO AO PROBLEMA DE RERESSÃO PELA NORMA LP Auelio Ribeio Leite de Oliveia Instituto de Matemática, Estatística e de Ciência da Computação, UNICAMP, Paça Ségio Buaque de Holanda, 651, , Campinas, SP auelio@ime.unicamp.b, Daniela Renata Cantane Instituto de Ciências Matemáticas e de Computação, USP, Av. Tabalhado São Calense, 4, , São Calos, SP dcantane@icmc.usp.b. Resumo Os métodos de pontos inteioes pimais-duais são desenvolvidos paa o poblema de egessão pela noma 74 étutuaam aticial4 sultaint é exploada bjetivando um e

2 de petubações são necessáias paa obte um método pimal-dual eficiente [, 3]. De foma análoga, desenvolve-se uma das vaiantes mais impotantes do método pimal-dual, o método pedito-coeto [1]. A etapa seguinte desta abodagem consiste na exploação eficiente da estutua maticial do poblema. É sempe impotante lemba que a esolução de um sistema linea, em geal simético, consiste no passo mais cao, em temos computacionais, de cada iteação dos métodos de pontos inteioes. Desta foma, a exploação da estutua maticial pode leva a métodos de pontos inteioes mais eficientes que os métodos genéicos aplicados a um poblema paticula. É possível também que as idéias desenvolvidas em [15, 16] paa os poblemas de egessão e possam se adaptadas a este poblema devido à semelhança das estutuas maticiais com o poblema. O método IRLS iteatively eweighted least-squaes [13] foi po muito tempo a única altenativa pática paa a esolução deste poblema. Mais ecentemente este método foi apefeiçoado, no que diz espeito a obustez, atavés da inclusão de uma busca linea [9]. No mesmo tabalho, foi também poposto um novo método que apesenta caacteísticas similaes aos métodos de pontos inteioes. Este método apesentou esultados computacionais supeioes ao IRLS. Ambos métodos apesentados em [9] têm uma impotante desvantagem: a busca linea é computacionalmente caa. Isto nos leva a acedita que os métodos de pontos inteioes aplicados a este poblema podem obte esultados computacionais supeioes, epetindo o desempenho obtido na minimização pelas nomas e em [15, 16], espectivamente.. O Poblema de Regessão pela Noma O poblema de egessão onde, e, tem inúmeas aplicações em divesas áeas de ciências e engenhaias. As nomas mais utilizadas são as noma 1, e. A noma- é muito popula ente outos motivos po pemiti uma solução dieta. Po sua vez a noma-1 pemite diminui o efeito de pontos discepantes enquanto que a noma- gaante poteção conta o pio caso. Os dois últimos poblemas podem se fomulados po pogamação linea e os métodos de pontos inteioes aplicados a estes poblemas pemitem a exploação da estutua maticial do poblema de foma bastante eficiente [15, 16]. (1) O poblema é teoicamente inteessante pois é uma extensão de um poblema de minimização difeenciável po pates quando, de um poblema de minimização difeenciável de 1ª odem (mas não difeenciável de ª odem) quando e até um poblema difeenciável de ª odem quando. O objetivo deste tabalho consiste na aplicação de métodos de pontos inteioes ao poblema de egessão () onde. Este poblema pode combina as popiedades de egessão das nomas 1 e de foma apopiada paa cada aplicação. Definindo u-v, podemos eesceve o poblema () da seguinte foma: 6

3 (3) pois sempe uma solução ótima tal que ou. Com este modelo não é necessáio tabalha com valoes absolutos e, potanto, temos uma função cuja pimeia deivada é definida paa qualque ponto. Além disso, quando temos exatamente o modelo de egessão esultando em um poblema de otimização linea..1 Método NCS Vamos agoa apesenta o esumo do método desenvolvido em [9] paa o poblema de egessão pela noma. O método é efeido como NCS, é um método de Newton globalizado que usa as condições de folgas complementaes paa o poblema da noma. O conteúdo e as notações desta seção estão de acodo com o atigo [9]. Dado o ponto inicial com e. Passo 1: Calcule onde,, e Sejam,. Defina ; Passo : Calcule a dieção po Atualize : Passo 3: Calcule Use o pocedimento de busca linea descito a segui. Atualize,. Vá paa o passo Pocedimento de Busca Linea Desceveemos agoa o pocedimento de busca linea utilizado pelo método NCS. Dados,,,,, (p.ex. ) e definido po Passo 1: Seja com. Se (4) 7

4 onde é satisfeito com, seja e defina e etona; caso contáio, continua; Passo : Se (4) não é satisfeito com, continua paa o póximo passo. Caso contáio, estabeleça onde, etona; Passo 3: Seja.1. Citéio de Convegência O citéio de convegência utilizado é dado po: 3. Métodos de Pontos Inteioes Aplicados ao Poblema de Regessão pela Noma O poblema (3) também pode se escito como (5) A função objetivo é denotada em temos de e po, o gadiente é denotado po onde é uma matiz diagonal denotada po. Utilizando o Método Pimal-Dual Baeia Logaítmica [3, 6, 1], temos onde é o paâmeto baeia. A Lagangiana é dada po onde é o multiplicado de Lagange. 8

5 9 Aplicando as condições de otimalidade [, 3],obtemos onde e são matizes diagonais cujos elementos diagonais são e espectivamente. Utilizando o Método de Newton [3, 1, 3], chegamos a onde Resolvendo (7), obtemos as dieções. Assim, temos o sistema Atavés de eliminação de vaiáveis o sistema (8) se eduz a onde (7), dv du dy dx V I U I I I A A t (8) ) ( ) ( dv V du dy dv du U dy dv du Adx dy A t { (6) 1 1 ),,, ( y V g y U g b v u Ax y A L t v u y x J

6 Agoa, vamos calcula o passo, onde e pemaneçam estitamente positivas [3]: po Conhecendo as dieções e os passos, todas as vaiáveis do poblema podem se atualizadas A atualização do paâmeto baeia é dada po Apesentamos agoa o esumo do método de pontos inteioes paa o poblema. Dados e tal que, e Paa faça Até convegi. 3.1 Citéio de Convegência 1

7 O citéio de convegência é baseado nas condições de otimalidade (6): 3. Pontos Iniciais Os pontos iniciais são calculados baseados nas idéias desenvolvidas em [5]: De fato, em [5] e não são definidos. Foi poposto em [16] esta escolha paa eles de modo que satisfaça a elação. Assim, se é, ambos e são da mesma odem de. Lembamos que, po definição,. Estabelecemos. 3.3 Algumas Consideações Na maioia dos métodos de pontos inteioes o passo mais cao em temos computacionais é a solução do sistema linea com uma matiz do tipo, onde é uma matiz diagonal. O sistema linea obtido em nosso tabalho é simético e definido negativo e assim pode se esolvido pela decomposição de Cholesky. Obtemos, então, um sistema muito meno que o sistema oiginal [7] e da mesma dimensão dos sistemas esolvidos pelo método do Y. Li [9]. 4. Resultados Computacionais Apoximamos, calculado em, po um polinômio de gau : tal que as nomas são minimizadas. As duas funções testes utilizadas são as mesmas funções utilizadas em [9] e são dadas po f z) 1 z, 1 ( f ( z) e z 5, se,1 < z <,,, caso contáio. O método de pontos inteioes pimal-dual baeia logaítmica, efeido como MPINLp e o método de convegência NCS foam implementados em Matlab 5.3, com o sistema opeacional Windows Mileniun, pocessado Intel Celeon 6MHz. 11

8 Pimeiamente, utilizando a função, obtemos A tabela a segui mosta os esultados obtidos pelos pogamas métodos de pontos inteioes e NCS espectivamente. P It Flops It Flops , , , , , , , , , , Tabela 1: MPINLp e NCS Agoa, utilizando a função, obtemos A tabela a segui mosta os esultados obtidos pelos pogamas métodos de pontos inteioes e NCS espectivamente. 1

9 P It Flops It Flops , , , , , , , , , , Tabela : MPINLp e NCS 5. Conclusões Compaando os dois métodos podemos veifica que, tanto em elação as iteações quanto em elação ao númeo de flops, nossos esultados apesentaam-se melho que os esultados do método NCS paa a função. Como os citéios de convegência utilizados em cada método são distintos, os valoes da função objetivo possuem uma difeença e desta foma não podemos tia conclusões definitivas dos esultados obtidos. Como esta é uma implementação pelimina, espeamos consegui um melho desempenho paa o nosso método de pontos inteioes. Faemos uma maio exploação da estutua maticial do nosso método obtendo assim uma implementação mais eficiente. Realizaemos também extensivos testes computacionais com exemplos gandes (caso no qual os métodos de pontos inteioes obtêm melhoes esultados) compaando as duas abodagens. Agadecimentos Este tabalho tem apoio pacial da FAPESP (Fundação de Ampao à Pesquisa do Estado de São Paulo) e CNPq (Conselho Nacional Basileio de Desenvolvimento Científico e Tecnológico). Refeências [1] I. ADLER, M.. C. RESENDE,. VEIA, AND N. KARMARKAR An Implementation of Kamaka s Algoithm fo Linea Pogamming, Mathematical Pogamming, 44 (1989), pp [] M. S. BAZARAA Linea pogamming and netwok flows, nd ed., John Wiley & Sons, 199. [3] M. S. BAZARAA, H. D. SHERALI AND C. M. SHETTY Nonlinea Pogamming: Theoy and Algoithms, John Wiley & Sons, [4] J. CASTRO, A Specialized Inteio-Point Algoithm fo Multcommodity Netwok Flows, 13

10 SIAM J. Optimization, 1 (), pp [5] T. F. COLEMAN and Y. LI, A globally and quadatically convegent affine scaling method fo linea poblems, Math. Pogamming, 56 (199), pp [6] A. S. El-BAKRY and R. A. TAPIA AND T. TSUCHIYA AND Y. ZHAN On the Fomulation and the Theoy of the Newton Inteio-Point Method fo Nonlinea Pogamming, Jounal of Optimization Theoy and Applications, 89 (1996), pp [7] J. ONDZIO, Multiple centality coections in a pimal-dual method fo linea pogamming, Computational Optimization and Applications, 6 (1996), pp [8] J. L. KENNINTON AND R. V. HELASON, Algoithms fo Netwok Pogamming, Wiley, New Yok, 198. [9] Y. LI, A globally convegent method fo poblems, SIAM J. Optimization, 3 (1993), pp [1] D.. LUENBERER, Linea and Nonlinea Pogamming, Second Edition, Addison- Wesley, [11] I. J. LUSTI, R.E. MARSTEN AND D. F. SHANNO, On implementing Mehota s pedicto-coecto inteio point method fo linea pogamming, SIAM J. Optimization, (199), pp [1] S. MEHROTRA, On the implementation of a Pimal-Dual Inteio Point Method, SIAM Jounal on Optimization, (199), pp [13]. MERLE AND H. SPÄTH, Computational expeience with discete appoximation, Computing, 1 (1974), pp [14] A. R. L. OLIVEIRA AND C. LYRA, Implementação de um método de pontos inteioes paa pogamação linea, Revista SBA: Contole & Automação, 3 (1991), pp [15], Inteio point methods fo the polynomial fitting poblems, Tabalho submetido ao Intenacional Tansactions in Opeational Reseach, (). [16] A. R. L. OLIVEIRA, M. A. NASCIMENTO AND C. LYRA, Efficient implementation and benchmak of inteio point methods fo the polynomial fitting poblems, Statistics & Data Analysis, 35 (), pp [17] A. R. L. OLIVEIRA, L. NEPOMUCENO AND S. SOARES, Optimal active powe dispatch combining netwok flow and inteio point appoaches, IEEE Tansactions on Powe Systems, (3). [18], Shot tem hydoelectic sheduling combining netwok flow and inteio point appoaches, Tabalho submetido à Electical Powe & Enegy Systems, (1). [19] A. R. L. OLIVEIRA AND S. SOARES, Métodos de pontos inteioes paa poblema de fluxo de potência ótimo, Anais do XIII Congesso Basileio de Automática, em CD-ROM, Floianópolis, SC, fica aceita paa publicação pela evista Contole & Automação na condição de atigo convidado, (), pp [] M.. C. RESENDE AND. VEIA, An efficient implementation of a netwok inteio point method, DIMACS Seies in Discete Mathematics and Theoetical Compute Science, 1 (1993), pp [1] R. A. TAPIA AND YIN ZHAN, Supelinea and Quadatic Convegence of Pimal-Dual Inteio Point Methods fo Linea Pogamming Revisited, Jounal of Optimization Theoy and Applications, 73 (199), pp [] R. J. VANDERBEI, Linea Pogamming - Foundations and Extensions, Kluwe Academics Publishes, Boston, USA, [3] S. J. WRIHT, Pimal-Dual Inteio-Point Methods, SIAM Publications, SIAM Philadelphia, PA, USA,