UMA ABORDAGEM DIDÁTICA DO SIMULATED ANNEALING USANDO O MODELO MARKOVIANO APLICADA AO PROBLEMA DO CAIXEIRO VIAJANTE

Transcrição

1 A pesquisa Operacional e os Recursos Renováveis 4 a 7 de novembro de 2003, Natal-RN UMA ABORDAGEM DIDÁTICA DO SIMULATED ANNEALING USANDO O MODELO MARKOVIANO APLICADA AO PROBLEMA DO CAIXEIRO VIAJANTE Iloneide Carlos de Oliveira Ramos Universidade Federal do Rio Grande do Norte DEst Natal Brasil iloneide@ufrnet.br Adrião Duarte Dória Neto Universidade Federal do Rio Grande do Norte DCA Natal Brasil adriao@dca.ufrn.br Fernando César de Miranda Universidade Federal do Rio Grande do Norte DEst Natal Brasil fcesar@ccet.ufrn.br Resumo Neste artigo, apresenta-se uma ferramenta didática para o estudo da solução do Problema do Caixeiro Viajante através do Algoritmo Simulated Annealing que possibilita a busca por boas soluções deste problema em instâncias de baixa e alta complexidade. Para fundamentar esse estudo, desenvolve-se uma análise comparativa entre o modelo teórico baseado no Processo Markoviano e a simulação de Monte Carlo a partir ao Algoritmo Metropolis. Palavras Chave: Problema do Caixeiro Viajante, Simulated Annealing, Processo Markoviano. Abstract This paper presents a didactic tool for studies of the solution of the traveling salesman problem through Simulated Annealing Algorithm, where it is possible to find out good solutions of this problem in several instances, from low to high complexity. A comparative analysis between the theoretical model based on Markov Process and the Monte Carlo simulation, through the Metropolis Algorithm, is realized in order to establish a mathematical foundation. Keywords: Traveling Salesman Problem, Simulated Annealing, Markov Process 1. Introdução Uma das áreas da engenharia de computação mais estudadas atualmente é a de sistemas inteligentes. Dentro dessa área, destacam-se os problemas de otimização combinatória devido a grande dificuldade na obtenção de soluções exatas para esses problemas. O Problema do Caixeiro Viajante, mais conhecido na literatura como Traveling Salesman Problem (TSP), é um problema clássico de otimização combinatória cuja solução ótima é determinada pelo menor percurso feito por n cidades retornando-se ao ponto de origem, onde cada cidade é visitada apenas uma vez. Devido à explosão combinatória, o TSP faz parte de uma classe de problemas que provavelmente não admitem solução em tempo polinomial (Goldberg, 1989), tendo sido considerado

2 como intratável por Garey e Jonhson (1979) e classificado por Karp (1975) como NP-árduo (ver Goldbarg, 2000). Devido a essa dificuldade, soluções aproximadas têm sido buscadas a partir de algoritmos heurísticos. O algoritmo Recozimento Simulado, mais conhecido na literatura como Simulated Annealing (Kirkpatrick et al., 1983), é um desses algoritmos. Seu objetivo principal é encontrar o mínimo global de uma função de custo que caracteriza sistemas grandes e complexos e é motivado por uma idéia simples: para otimizar um sistema muito grande e complexo em vez de sempre avançar no sentido descendente, procure prosseguir no sentido descendente na maior parte do tempo (Haykin, 2001). Ele foi idealizado a partir do algoritmo Metropolis (Metropolis et al., 1953) que, por sua vez, usa técnicas de Monte Carlo (Hamersley e Handscomd, 1964; Halton, 1970), para simular o Processo Markoviano inerente a esse algoritmo. O presente trabalho visa estabelecer uma ferramenta didática para o estudo do Simulated Annealing. Uma análise comparativa entre o Processo Markoviano (modelo teórico) e o método de Monte Carlo (simulação) aplicados ao Algoritmo Metropolis é desenvolvida. O trabalho foi desenvolvido num ambiente MATLAB tendo sido implementados três programas: o primeiro processa o Modelo de Markov aplicado ao Algoritmo Metroplolis usando um TSP gerado aleatoriamente; o segundo processa uma simulação deste modelo aplicada ao Algoritmo Metroplolis usando o mesmo TSP gerado para o primeiro programa; e o terceiro processa o algoritmo Simulated Annealing usando uma instância da TSPLIB uma biblioteca de instâncias do TSP disponível na Internet (Reinelt, 1995). Os resultados do processamento dos dois primeiros programas são apresentados em gráficos, a fim de facilitar a comparação entre as probabilidades estacionárias do Processo de Markov inerente ao algoritmo Metropolis e as freqüências percentuais obtidas com a simulação de Monte Carlo desse processo. Por último, são apresentados os resultados do processamento do algoritmo Simulated Annealing a fim de demonstrar a capacidade do mesmo na busca de boas soluções para o TSP. 2. O Algoritmo Metropolis O algoritmo Metropolis é fundamentado na mecânica estatística e é regido por uma distribuição de probabilidade denominada Distribuição de Gibbs (ver Figura 1). Ele foi idealizado para simular, de forma estocástica através do método de Monte Carlo, a evolução de um sistema físico para o equilíbrio térmico. Algumas adaptações foram feitas a partir do algoritmo original para a aplicação do mesmo em otimização combinatória (ver Haykin, 2001). Figura 1. Distribuição de Gibbs 1336

3 Uma descrição do algoritmo Metropolis é apresentada no Quadro 1, onde: T é um parâmetro definido pelo usuário; S representa o conjunto de todas as soluções do problema; i e j representam uma solução particular; V(i) representa o conjunto de vizinhos da solução i, dada uma determinada estrutura de vizinhança; f(i) representa a função custo da solução i; δ é a diferença entre a função custo de uma nova solução (j) e a função custo da solução escolhida no passo anterior (i); rand[0,1] é um valor pseudo-aleatório gerado entre zero e um, usado para simular uma probabilidade de ocorrência; e exp(-δ/t) determina a probabilidade de que uma solução pior seja aceita. início defina uma pseudotemperatura T selecione uma solução inicial i S repita escolha um vizinho j V(i) faça δ = f(j) f(i) se δ < 0 então faça i = j senão_se rand[0,1] < exp(-δ/t) então faça i = j até que critério_de_parada seja atendido fim Quadro 1. Algoritmo Metroplolis A Figura 1 apresenta a Distribuição de Gibbs adaptada para a solução de problemas combinatórios, dada por: δ i pi = exp T Essa distribuição é usada pelos algoritmos Metropolis e Simulated Annealing para determinar a probabilidade de que uma solução pior seja aceita em função de δ e do parâmetro T. Observa-se que, para T fixo, a probabilidade de aceitação de uma solução pior é baixa quando o δ é alto e vice-versa, isto é, uma solução bem pior do que a atual (δ alto) é aceita com baixa probabilidade e uma solução apenas um pouco pior (δ baixo) é aceita com alta probabilidade. O algoritmo Metropolis é regido por essa distribuição, i. e., usando um T fixo. Já o algoritmo Simulated Annealing, a ser abordado, usa o parâmetro T decrescendo a cada passo do algoritmo. Neste caso, observa-se que, para um δ fixo, a probabilidade de aceitação de uma solução pior é alta quando T é alto e é baixa quando T é baixo. 3. Processo Markoviano do Algoritmo Metropolis O algoritmo Metropolis é uma realização de um processo estocástico satisfazendo ao teorema da ergodicidade de uma cadeia de Markov. Considere um Processo Markoviano {X n, n = 1, 2, } onde X n é uma variável aleatória que assume valores num conjunto denominado espaço de estados do sistema em um determinado passo de tempo n. Seja P a matriz de transição da cadeia de Markov dada por: p11 p12 L p1 k = p21 p22 L p2k P M M M pk1 pk 2 L pkk onde pij = P( X n+ 1 = j / X n = i) representa a probabilidade de transição do estado i no tempo n para o estado j no tempo n+1. O sistema considerado aqui é uma instância do TSP. Dessa forma, o espaço de estados é o conjunto de soluções possíveis para essa instância do problema. Neste caso, a cardinalidade deste conjunto é dada por (n-1)!/2, onde n é o número de cidades da instância. 1337

4 Resumidamente, o teorema da ergodicidade para cadeias de Markov garante que, partindo de uma distribuição inicial arbitrária, as probabilidades de transição convergem para uma distribuição estacionária da seguinte forma (ver Haykin, 2001, para mais detalhes): π 1 π 2 L π k π π L n 1 π 2 π k = = π P lim n M M M M π 1 π 2 L π k π onde π é a distribuição estacionária relativa ao espaço de estados do sistema. A fim de desenvolver uma aplicação do modelo Markoviano inerente ao algoritmo Metropolis considerou-se uma instância do TSP gerada aleatoriamente objetiva-se calcular a distribuição estacionária π, isto é, as probabilidades (estáveis) de ocorrência de cada estado (percurso) quando o processo tende para um número infinito de realizações. Para isso, um programa foi implementado em MATLAB. Esse programa obtém, inicialmente, todas as soluções possíveis (percursos) de um TSP euclidiano (gerado aleatoriamente) para compor o espaço de estados. Em seguida, o programa calcula a função custo de cada uma dessas soluções. A partir daí, são calculadas as probabilidades de transição de um estado a outro considerando como vizinhos de um estado: o estado imediatamente anterior, o próprio estado e o estado imediatamente posterior. De posse das probabilidades de transição, calculase a distribuição estacionária da cadeia de Markov usando o teorema da ergodicidade. Inicialmente, a aplicação foi desenvolvida a partir de um TSP euclidiano gerado aleatoriamente, com apenas 4 cidades, a fim de possibilitar uma apresentação detalhada do cálculo das probabilidades envolvidas no processo. A Figura 2 apresenta as três soluções (percursos) possíveis para o TSP gerado e o gráfico da função custo para cada uma dessas soluções consideradas como estados da cadeia de Markov. Figura 2. Percursos de um TSP e Função Custo relativa aos Percursos No algoritmo Metropolis, considerando a estrutura de vizinhança aqui exposta, a transição de um estado para outro é feita da seguinte forma: um vizinho é selecionado com probabilidade 1/3 e, independentemente, a transição para esse vizinho é aceita com probabilidade exp(-δ / T). 1338

5 Assim, por exemplo, para qualquer passo de tempo do algoritmo, a transição do estado 1 para o estado 1, i.e., a permanência no estado 1 ocorre, se ocorrer uma das três situações a seguir: i) o estado vizinho 1 é selecionado e é aceito; ii) o estado vizinho 2 é selecionado e não é aceito, permanecendo, assim, no estado 1; iii) o estado vizinho 3 é selecionado e não é aceito, permanecendo, assim, no estado 1. Usando o teorema da probabilidade total, essa probabilidade de transição pode ser escrita como: P ( X n+ 1 = 1/ X n = 1) = P( V = 1; A = 1) + P( V = 2; A = 2) + P( V = 3; A = 3) = = P( V = 1) P( A = 1/ V = 1) + P( V = 2) P( A = 2 / V = 2) + P( V = 3) P( A = 3 / V = 3) onde V=i indica o evento o vizinho i é escolhido e A=i indica o evento aceita-se a transição para o vizinho i. Aplicando essa expressão no TSP gerado com 4 cidades tem-se: ( ) / 1 1,00 (1 1,00) (1 1,00) = 0,

6 probabilidade está associada ao estado onde se encontra o ótimo, isto é, o percurso que tem o menor custo 4,93 (ver Figura 2). 4. Processo Markoviano versus Método de Monte Carlo do Algoritmo Metropolis A fim de se proceder uma comparação entre o modelo teórico e o experimental, utilizou-se uma instância de tamanho 5 que fornece 12 percursos distintos um número conveniente para uma avaliação descritiva dos resultados. Para isso, foi gerada uma instância aleatória a partir de um TSP euclidiano. Os resultados foram obtidos a partir da execução de dois programas implementados em MATLAB. O primeiro programa forneceu a probabilidade teórica obtida através do Processo Markoviano do Algoritmo Metropolis para cada um dos 12 percursos possíveis da instância gerada e o segundo forneceu a freqüência relativa número de iterações que o algoritmo se manteve num determinado estado (percurso) em relação ao número total de iterações obtida a partir da simulação via Método de Monte Carlo do Algoritmo Metropolis para cada um desses percursos. A função custo e o percurso ótimo obtidos para essa instância estão apresentados na Figura 4 a seguir. No primeiro gráfico observa-se que o estado 4 é o que apresenta menor custo 7,48, seguido pelo estado 5 com custo igual a 7,72. Figura 4. Função Custo e Solução Ótima para uma Instância do TSP Euclidiano com 5 cidades Os gráficos da Figura 5 mostram a função custo obtida para alguns passos de tempo em duas execuções do Algoritmo Metropolis. No primeiro gráfico, pode-se verificar que o sistema permanece a maior parte do tempo visitando o estado 4 que tem o menor custo (7,48) e transitando mais facilmente para seu vizinho (estado 5) com custo 7,72, do que para o outro vizinho (estado 3) com custo mais elevado 11,10. Isto se deve ao fato de que a probabilidade de aceitar um novo estado vizinho depende de δ a diferença entre a função custo entre os dois vizinhos. Por outro lado, observa-se (no segundo gráfico da Figura 5) que o sistema pode permanecer uma boa parte do tempo visitando outros estados de baixo custo, mas, neste caso, as transições para outros estados vizinhos (e próximos) ocorrem mais facilmente. 1340

7 Figura 5. Função Custo em duas execuções do Algoritmo Metropolis para o TSP com 5 cidades Assim, à medida que o tempo aumenta, a distribuição de freqüência relativa do número de visitas aos estados tende (em termos probabilísticos) a ficar próxima da distribuição de probabilidade estacionária do processo Markoviano como pode ser observado na Figura 6 a seguir. Figura 6. Algoritmo Metropolis: Prob. Estacionária (Markov) e Freq. Relativa (Monte Carlo) Os resultados do processamento do programa que calcula as probabilidades de transição e a distribuição estacionária para esta instância do TSP estão no apresentados no Quadro 2: verifica-se que a diferença relativa a cada estado não ultrapassa 0,04. A freqüência relativa do número de visitas aos estados obtida na simulação de Monte Carlo foi gerada a partir de iterações do algoritmo. 1341

8 prob_estac = freq_relat = Quadro 2. Resultados: Prob. Estacionária (Markov) e Freq. Relativa (Monte Carlo) É importante lembrar que, devido ao caráter combinatório do TSP, as aplicações que permitem essa comparação devem contar com poucas cidades. Para se ter uma idéia da explosão que ocorre quando o número de cidades aumenta, admita uma instância para um TSP euclidiano com 9 cidades o número de percursos (estados) possíveis é igual a (8!/2). A Figura 7 mostra a função custo para os estados possíveis de uma instância desse tipo gerada aleatoriamente. Figura 7. Função Custo para uma Instância Aleatória do TSP com 9 cidades 5. O Algoritmo Simulated Annealing O algoritmo Simulated Annealing foi idealizado a partir do Algoritmo Metropolis com o 1342

9 início defina uma pseudotemperatura T selecione uma solução inicial i S repita contador = 0 enquanto contador < L escolha um vizinho j V(i) faça δ = f(j) f(i) se δ < 0 então faça i = j senão_se rand[0,1] < exp(-δ/t) então faça i = j contador = contador + 1 reduza a pseudotemperatura T até que critério_de_parada seja atendido fim Quadro 3. Algoritmo Simulated Annealing A estrutura de vizinhança adotada na implementação do algoritmo Simulated Annealing segue uma perturbação denominada 2-troca. Essa perturbação é realizada com a troca de posição entre duas cidades escolhidas aleatoriamente, a partir de uma determinada seqüência de cidades (percurso). Por exemplo: se é dado um percurso um percurso (vizinho) encontrado a partir de uma 2-troca pode ser o percurso , onde foram selecionadas as cidades 2 e 4 para realizar a troca. Os resultados obtidos no processamento do Simulated Annealing para a mesma instância do TSP gerada com 5 cidades permitem verificar que, a partir da iteração 600, o sistema se estabiliza na solução ótima (ver Figura 8). Uma comparação dessa figura com a Figura 5 permite verificar o caráter de estabilidade deste algoritmo em relação ao algoritmo Metropolis. Figura 8. Algoritmo Simulated Annealing: Função Custo x Tempo para o TSP com 5 cidades Para apresentar uma aplicação de um TSP da biblioteca TSPLIB, adotou-se a instância berlin52.tsp. O Quadro 4 e as figuras 9 e 10 apresentam os resultados do processamento do Simulated Annealing para esta instância do TSP. O mínimo global para esta instância é informado no TSPLIB com um custo de para o seguinte percurso:

10 A solução obtida aqui tem um custo de bem próximo ao mínimo global. rota = Columns 1 through Columns 27 through fobj = 7698 Quadro 4. Resultados do Simulated Annealing para a Instância do TSPLIB berlin52.tsp Figura 9. Algoritmo Simulated Annealing: Função Custo x Tempo para berlin52.tsp do TSPLIB Figura 10. Simulated Annealing: Solução obtida para berlin52.tsp ( iterações) 6. Conclusões 1344

11 A abordagem didática desenvolvida neste trabalho permite observar que o Algoritmo Metropolis é muito bem ajustado ao modelo do Processo Markoviano. Essa observação foi evidenciada a partir de uma análise descritiva realizada com a comparação entre a distribuição de freqüências relativas para o número de visitas ao estado obtida com os resultados da execução do algoritmo e os resultados obtidos a partir da distribuição de probabilidades estacionária do Modelo de Markov. O Algoritmo Simulated Annealing é capaz de produzir boas soluções para problemas de otimização combinatória, seja de baixa ou alta complexidade, como em algumas instâncias do TSP. Com pouco esforço computacional obteve-se uma boa solução para a instância berlin52 da TSPLIB. 7. Bibliografia Goldbarg, M.C., e H.P.L. Luna, 2000, Otimização Combinatória e Programação Linear: Modelos e Algoritmos, Campus, Rio de Janeiro. Goldberg, D.E., 1989, Genetic Algorithms in Search, Optimization, and Machin Learning, Addison- Wesley Publishing Company, Inc., Massachusetts. Halton, J.H., 1970, A Retrospective and Prospective Survey of the Monte Carlo Method, SIAM Review, 12, Hamersley, J.M., e D.C. Handscomb, 1964, Monte Carlo Method, Merthuen, Londres. Haykin, S., 2001, Redes Neurais: Princípios e Prática, Traduzido por P. M. Engel, Bookman, Porto Alegre. Papoulis, A., 1984, Probability, Random Variables, and Stochastic Process, McGraw-Hill, Inc., Singapore. Reinelt, G., 1995, comopt/software/tsplib95/. Silva Neto, P.S. et al., 1997, Uma Abordagem Heurística para o PQA Usando o Simulated Annealing, RT 022DE/97, Departamento de Engenharia de Sistemas, IME. 1345