Resolução Para o Problema n-rainhas Utilizando ACO

Transcrição

1 Resolução Para o Problema n-rainhas Utilizando ACO Carolina Moreira Oliveira Programa de Pós-Graduação em Informática Universidade Federal do Paraná Curitiba, Brasil cmoliveira@inf.ufpr.pr Aurora Trinidad Ramirez Pozo Programa de Pós-Graduação em Informática Universidade Federal do Paraná Curitiba, Brasil aurora@inf.ufpr.br Resumo Este artigo estuda a utilização da meta-heurística de colônia de formigas para resolver problemas com restrições. Especificamente, neste artigo se analisa o problema das n- rainhas, que consiste em uma generalização do problema das 8- rainhas, intratável para grandes valores de n, e então pertencente à classe de complexidade NP. A abordagem consiste em utilizar formigas artificiais para controlar as áreas promissoras do espaço de busca, pelo depósito de feromônios em trilhas. Tal informação é usada para orientar a busca, como uma heurística para a escolha das posições no tabuleiro. Pesquisas anteriores apresentam particularidades difíceis de serem deduzidas em artigos científicos, principalmente quanto às características de implementação. Assim, a contribuição deste trabalho reside no detalhamento didático da abordagem do problema das n-rainhas pela Colônia de Formigas. As explicações e exemplos ao longo do texto são instanciados no problema das 8-rainhas. Palavras-chave n-rainhas, 8-rainhas, colônia de formigas, problemas de satisfação de restrições. I. INTRODUÇÃO Um Problema de Satisfação de Restrições (Constraint Satisfaction Problem, CSP) [4, 9] é constituído por um conjunto de variáveis que precisam assumir valores específicos, satisfazendo um conjunto de restrições estabelecidas. Nestes termos, existem inúmeros problemas complexos, nos âmbitos acadêmico e corporativo, que se resumem à satisfação de restrições. Assim, as principais técnicas, algoritmos e métodos resultantes do progresso nessa linha de pesquisa têm sido aplicados a problemas reais, com nível de complexidade crescente. Destaca-se que um obstáculo crítico na satisfação de restrições é o crescimento exponencial dos recursos computacionais exigidos para resolver problemas reais. Exemplos de aplicações são o agendamento de recursos, a otimização de mão-de-obra, a coloração de mapas, a elaboração de grades de horários, entre outros. O problema das n-rainhas [2] é um exemplo canônico na satisfação de restrições. Embora de caráter didático, os resultados de pesquisa nele apresentados são extensíveis a problemas reais. Trata-se do desafio de posicionar n rainhas em um tabuleiro de xadrez, com dimensão n x n, de maneira que nenhuma delas ataque qualquer outra. O ataque é determinado pelos movimentos possíveis à rainha, ou seja, em linha, coluna e diagonais, sendo a peça mais poderosa do jogo de xadrez. O problema é intratável para grandes valores de n e não pode ser resolvido em tempo polinomial. Assumindo o problema das 8-rainhas, isto é, de alocar oito rainhas em um tabuleiro comum de xadrez, tem-se arranjos possíveis. Destes, apenas 92 atendem às restrições do problema, sendo soluções corretas. Recentemente, a meta-heurística da colônia de formigas tem sido explorada para resolver o problema das n-rainhas [1]. Os resultados promissores tidos até então motivaram o estudo mais detalhado por este estudo. O presente artigo estuda o emprego da meta-heurística de colônia de formigas para resolver problemas com restrições. O enfoque é dado no problema das n-rainhas, sendo que as explicações e exemplos ao longo do texto são instanciados no problema das 8-rainhas. Os experimentos documentam a abordagem para até 200 rainhas. Na sequência desta introdução, revisam- se os trabalhos correlatos à pesquisa (Seção I). Depois, na Seção II, a meta-heurística da Colônia de Formigas é introduzida. A Seção III aborda aspectos da solução proposta. Cabe à Seção IV apresentar os resultados das simulações realizadas. As considerações finais e a perspectiva de trabalhos futuros (Seção V) encerram o artigo. II. TRABALHOS CORRELATOS Inúmeras pesquisas já abordaram, com diferentes escopos, o problema das n-rainhas. Com foco mais próximo a esta pesquisa, o problema foi tratado inicialmente por Gambardella e M. Dorigo [5]. Mais recentemente, Solnon [3] emprega a otimização por colônia de formigas para resolver problemas de satisfação de restrições. A avaliação da abordagem de Solnon utiliza o problema das n-rainhas. Convém ressaltar que este último estudo ainda se encontra em andamento. Gonzales-Pardo e Camacho [1], também trataram da resolução de problemas de satisfação de restrições utilizando A C O (Ant Colony Optimization). No estudo citado, propuseram uma nova heurística, denominada taxa de esquecimento (oblivion rate), com a intenção de contribuir para o estado da arte da aplicação de ACOs para problemas com tais características. A nova heurística é utilizada para reduzir a quantidade de feromônios no sistema, além da conhecida taxa de evaporação. O estudo de caso foi feito sobre o problema das n-rainhas.

2 A pesquisa de Khan et. al [8], que também propôs uma abordagem para o problema das n-rainhas, utilizando ACO, teve especial contribuição para o presente artigo. A preocupação maior dessa pesquisa foi tratar grandes valores de n, partindo do princípio que problema das n-rainhas é uma generalização daquele de 8-rainhas. Assim, há relato de uma quantidade considerável de experimentos, que auxiliaram na decisão de parâmetros como: número de iterações, tamanho da colônia, valores de α e β. Tais parâmetros serão abordados na Seção III. Portanto, frente aos trabalhos correlatos, enfatiza-se que não há originalidade na aplicação de ACO ao problema das n- rainhas. Todavia, foi observado que essas pesquisas apresentam particularidades difíceis de serem deduzidas, principalmente quanto à implementação. Assim, buscou-se, como contribuição, desenvolver uma abordagem mais detalhada e didática para o referido problema. Tomando a ACO como meta-heurística para resolver o pr o b l e m a da s n-rainhas, primeiramente foi necessário organizar o espaço de busca e analisar possíveis modificações em alguns parâmetros. O detalhamento da implementação é fornecido nas seções subsequentes. III. ALGORITMO BÁSICO DE COLÔNIA DE FORMIGAS A otimização por colônia de formigas (ACO, do inglês Ant Colony Optimization) é uma meta-heurística inspirada no comportamento inteligente das formigas. O primeiro algoritmo utilizando as colônias de formigas foi desenvolvido por Marco Dorigo, em sua tese de doutorado [7]. Melhorias no algoritmo foram feitas em [5, 6]. O ACO consiste em uma heurística baseada em probabilidades, criada para solução de problemas de otimização. Nesse sentido, trata-se de um sistema multiagente, onde o comportamento das formigas descreve o comportamento dos agentes no sistema. Na natureza, inicialmente as formigas andam sem rumo até encontrarem comida, após o encontro, retornam às suas colônias deixando um rastro de feromônio. Se outras formigas encontram um desses rastros, elas deixam de seguir caminhos aleatórios, e passam a seguir as trilhas de feromônio encontradas, se acharem alimentos, também enfatizam a trilha. Com o passar do tempo, as trilhas de feromônio começam a evaporar, reduzindo assim sua força atrativa. Quanto mais formigas passarem por um caminho predeterminado, mais tempo será necessário para o feromônio da trilha evaporar. As formigas tendem a escolher os caminhos mais curtos, o que implica no aumento da densidade do feromônio depositado, antes que ele comece a evaporar. A evaporação do feromônio agrega a vantagem de evitar a convergência para uma solução ótima local. Caso não ocorresse a evaporação, todos os caminhos escolhidos pelas primeiras formigas tornariam-se excessivamente atrativos para as outras, e assim, a exploração do espaço de solução seria limitado. O feromônio é usado na comunicação indireta entre as formigas, a fim de orientá-las a encontrar o caminho mais curto do seu ninho para um lugar que possua alimentos. Com o tempo, se existirem vários caminhos para um lugar com alimentos, as formigas tendem a escolher aquele com maior concentração de feromônio. Na Figura 1, apresenta-se um exemplo de como um caminho mais curto terá maior concentração de feromônio. Assim, a maioria das formigas que utilizam esse caminho voltarão rapidamente. Fig. 1. Formigas encontrando o caminho mais curto. a) Nenhum obstáculo. b) Com um obstáculo colocado. c) A maioria das formigas no caminho mais curto e algumas sobre o mais longo. d) As formigas descobriram o caminho mais curto [7]. A meta-heurística colônia de formigas pode ser usada para encontrar o caminho mais curto entre um nó de origem V s e um nó destino V d em um grafo G. Sendo G = (V, E) um grafo conexo, onde V mostra o número total de vértices e E número de arestas no grafo [9]. O comprimento do percurso é dado pelo número de nós no caminho, ou a soma dos valores de custo nas bordas que compõem o caminho. Cada aresta (i,j) E do grafo ligando os nós V i e V j tem uma quantidade de feromônio, que é modificada pelas formigas, quando elas visitam os vértices [8]. Quando uma formiga decide se mover de um vértice para outro, ela utiliza dois parâmetros para calcular a probabilidade de se movimentar para um vértice particular. Primeiro, a heurística que influencia na escolha do próximo vértice e, segundo, a quantidade de feromônio na ponta da ligação. A probabilidade de que a formiga escolha j como o próximo vértice depois de chegar ao vértice i, é calculada pela Equação 1: [ τ i, j ] α.[ η i, j ] β p i, j = (1) k S[ τ i, j ] α.[ η i, j ] β Onde τ i,j é o valor de feromônios na aresta (i, j) e η i,j é um valor heurístico. Os parâmetros α e β são fatores de influência dos valores de feromônio e heurístico. Apenas a melhor solução das formigas da colônia alterará os valores de feromônio. IV. COLÔNIA DE FORMIGAS APLICADA AO PROBLEMA DAS N-RAINHAS O objetivo do problema das n-rainhas é posicionar n rainhas em um tabuleiro de xadrez de tal forma que nenhuma rainha ataque qualquer outra. Uma rainha ataca quando situada na mesma linha, coluna ou diagonal. A Figura 2 mostra uma tentativa de solução que falhou, pois a rainha na coluna mais à direita é atacada pela rainha do canto superior esquerdo.

3 (linha e coluna). À direita, na mesma figura, propõe-se, como critério de implementação, uma alternativa para a representação interna do grafo citado, simplificada a uma matriz inteira de n 2 linhas por n colunas. Evidencia-se que, a partir do espaço de busca detalhado, a modelagem é facilmente extensível ao problema das n-rainhas. Fig. 2. Uma quase solução para o problema das 8- rainhas [9] A. Espaço de Busca Algumas restrições foram adicionadas ao ACO básico, a fim de resolver o problema das n-rainhas. Além disso, as equações utilizadas também tiveram alterações. Os núcleos dessas soluções incluem a formação do espaço de busca e o cálculo do valor heurístico. Na Figura 3, a formação do espaço de busca é detalhada, procurando tornar a busca mais eficiente e rápida: Fig. 3. Espaço de busca Os vértices no espaço de busca são organizados como um grafo disposto em n 2 linhas por n colunas. Cada vértice de uma coluna está ligada a todos os vértices da coluna ao lado através de arestas orientadas (exceto aqueles da última coluna). O rótulo de cada vértice corresponde à posição no tabuleiro de xadrez, sequencialmente. Assim, o rótulo 1 representa a célula [0, 0] do tabuleiro; o rótulo 2 equivale à célula [0, 1]; e, analogamente, o rótulo n 2 denota a célula [n-1, n-1]. Considerando, em caráter de exemplo, o problema das 8- rainhas, ou seja, um tabuleiro de xadrez 8 x 8, n será 8 e o grafo será composto por 512 vértices e arestas. O vértice de rótulo 64, isto é, n 2, representa a célula [7, 7]. Figura 4 apresenta, à esquerda, as posições sequenciais do tabuleiro em correspondência ao sistema de coordenadas B. Restrições Adicionadas Fig. 4. Representação interna do tabuleiro Uma formiga só pode se mover da esquerda para a direita. Uma vez que vértice selecionado determina a coluna, o movimento entre as colunas é incremental, começando da coluna 0 e indo até a coluna n. Na construção de um caminho (solução), uma formiga pode escolher um vértice da próxima coluna, a partir da coluna corrente, para se mover. A construção de um caminho completo, pela formiga, termina com a escolha de um vértice da última coluna. Dessa forma, durante a construção de um caminho, uma formiga visita apenas n vértices, ou seja, 8, em se tratando do problema das 8-rainhas. Cada vértice possui um rótulo, sequencializado a partir da primeira posição do tabuleiro, conforme anteriormente explicado. Embora a sequência de rótulos se repita em cada coluna do grafo, não se permite, na construção de um caminho por uma formiga, a reincidência de um mesmo rótulo. A restrição é necessária porque, se o número sequencial do rótulo representa uma célula do tabuleiro de xadrez, a repetição de rótulos em um mesmo caminho indicaria a tentativa de alocar duas rainhas em uma mesma casa do tabuleiro. Uma formiga durante uma solução visita apenas n nós, por exemplo 8 quando forem 8-rainhas. Cada nó possui um rótulo, e em uma solução não pode existir um rótulo mais de uma vez. O nó em uma solução representa uma célula de tabuleiro de xadrez, onde uma rainha deve ser colocada. Essa restrição é adicionada, a fim de evitar que dois nós tenham o mesmo rótulo, pois é como se duas rainhas estivessem na mesma casa do tabuleiro, o que seria ilegal. Significando que não existem dois nós em uma mesma solução, não estando em uma mesma linha do espaço de busca. C. Inicialização de Parâmetros e Equações Inicialmente, o mesmo pequeno valor de feromônio é atribuído a todas as arestas. O número arbitrário de formigas

4 (tamanho da colônia) é criado como um sistema multiagente. O valor do feromônio é modificado com base na aptidão de um caminho (solução) encontrado por uma formiga. O valor de fitness representa o número de posições no tabuleiro de xadrez que satisfazem a restrição do problema, ou seja, a quantidade de rainhas colocadas sem que uma ataque outra. Assim, a solução do problema das 8-rainhas é avaliada com fitness 8. Os valores possíveis de fitness, para 8 rainhas, são os inteiros do intervalo [0, 8]. A equação de probabilidade adotada foi descrita na Seção III, entretanto o cálculo do valor heurístico foi alterado. Agora, conforme a Equação 1, o valor heurístico é o número de contradições se o vértice j for selecionado como o próximo vértice. Contradições representam as posições no tabuleiro de xadrez onde há ataque se as rainhas forem colocadas. Observa-se que o nó j é uma posição de xadrez em que uma rainha pode ser colocada. A equação de probabilidade para a seleção de um nó é: [ τ i, j ] α.[ η i, j ] β p i, j = (1) k S[ τ i, j ] α.[ η i, j ] β Além disso, o valor de α e β é inicializado com um número real aleatório gerado no intervalo [0, 2]. A evaporação é feita em velocidade constante, deteriorando o valor de feromônios em todas as arestas, ao término de uma iteração. A iteração é concluída quando todas as formigas completarem a construção dos seus respectivos caminhos. A evaporação é feita subtraindo, do valor atual de cada feromônio, uma pequena constante. V. RESULTADOS DA SIMULAÇÃO / EXPERIMENTO Sendo o ACO um algoritmo baseado em probabilidades, geram-se resultados diferentes a cada execução para uma mesma instância de um problema. Os experimentos conduzidos tiveram como base os parâmetros de [1], que constam na Figura 5. Foi assumido o problema das n-rainhas tal como descrito na introdução (Seção I) deste artigo. Com caráter didático, a execução foi inteiramente monitorada pela impressão de representações externas, textuais, incluindo o tabuleiro a cada rainha colocada, a matriz de probabilidades e a matriz de feromônios. Tais representações externas têm correspondência bastante fiel às internas, ou seja, às estruturas de dados utilizadas na implementação. A Figura 6, inicialmente, apresenta o tabuleiro sem nenhuma rainha e, em contraste, o tabuleiro com uma rainha. Formiga (Tabuleiro) [00][01][02][03][04][05][06][07] [08][09][10][11][12][13][14][15] [16][17][18][19][20][21][22][23] [24][25][26][27][28][29][30][31] [32][33][34][35][36][37][38][39] [40][41][42][43][44][45][46][47] [48][49][50][51][52][53][54][55] [56][57][58][59][60][61][62][63] Fig. 6. Representação do tabuleiro O detalhamento, neste artigo, é conduzido sobre a instância de 8-rainhas. Os parâmetros foram baseados em [8], sendo o número de iterações e o tamanho da colônia, respectivamente, 20 e 15. Assim, cada formiga da colônia precisava formar um tabuleiro completo com o máximo de rainhas que conseguisse. A matriz de feromônios é inicializada conforme a Figura 7. O valor inicial atribuído a cada feromônio é 0,2. Emprega-se uma taxa de evaporação de 10% e de incremento de 20%, ambos relativos ao valor inicial de feromônios, ficando, respectivamente, 0,02 e 0,04. Matriz de feromônios Fig. 7. Matriz de feromônios inicializada A matriz de probabilidades se baseia nos valores da matriz de feromônios, garantindo proporcionalidade. A cada rainha colocada, atualiza-se a matriz de probabilidades, descartando as posições do tabuleiro que violam as restrições do problema. A escolha da posição ocupada pela próxima rainha é feita pelo método da roleta, com a geração de um número aleatório frente a matriz de probabilidades. A Figura 8 apresenta esse processo. Fig. 5. Resumo dos resultados experimentais utilizadas como base, traduzida de [1]

5 Matriz de Probabilidade 00 [0,0156] 01 [0,0313] 02 [0,0469] 03 [0,0625] 04 [0,0781] 05 [0,0938] 59 [0,9375] 60 [0,9531] 61 [0,9688] 62 [0,9844] 63 [1,0000] Soma dos feromônios: Número sorteado: Posição Sorteada: 59 Fig. 8. Matriz de probabilidades e sorteio Sorteada a posição da rainha, o algoritmo trata de alocá-la, invalidando as posições restringidas pelo seu ataque. Essa representação é mostrada na Figura 9. Formiga (Tabuleiro) [00][01][02][..][04][05][06][07] [08][09][10][..][12][13][14][15] [16][17][18][..][20][21][22][23] [24][25][26][..][28][29][30][..] [..][33][34][..][36][37][..][39] [40][..][42][..][44][..][46][47] [48][49][..][..][..][53][54][55] [..][..][..][ w][..][..][..][..] Fig. 9. Tabuleiro com uma rainha posicionada A construção de um caminho por uma formiga prossegue até que não seja mais possível alocar rainhas no tabuleiro. Isso ocorre ou pela quantidade de posições restritas, ou pela solução ótima ter sido encontrada. O algoritmo é interrompido nesse último caso. Uma iteração é finalizada quando todas as formigas percorrem um caminho completo (esgotam as tentativas de alocar rainhas no tabuleiro). Das 15 formigas (soluções candidatas) de cada iteração, seleciona-se aquela de maior aptidão para que a matriz de feromônios seja atualizada. Para isso, é feita a evaporação dos feromônios (decrementando de toda a matriz a taxa de evaporação) e, em seguida, o reforço dos feromônios (taxa de incremento) de acordo com a melhor formiga da iteração. A Figura 10 mostra a matriz de feromônios atualizada. Matriz de feromônios [0,180][0,180][0,180][0,180][0,180][0,180][0,220][0,180] [0,180][0,180][0,180][0,180][0,180][0,180][0,180][0,180] [0,180][0,180][0,180][0,220][0,180][0,180][0,180][0,180] [0,180][0,180][0,180][0,180][0,180][0,180][0,180][0,220] [0,220][0,180][0,180][0,180][0,180][0,180][0,180][0,180] [0,180][0,180][0,220][0,180][0,180][0,180][0,180][0,180] [0,180][0,180][0,180][0,180][0,180][0,220][0,180][0,180] [0,180][0,220][0,180][0,180][0,180][0,180][0,180][0,180] Fig. 10. Matriz de feromônios inicializada Ao final do algoritmo, vide Figura 11, é possível saber se a solução ótima foi encontrada. Exibe-se, então, a solução ótima ou a melhor solução obtida no decorrer do algoritmo. Também se apresenta o saldo de quantas formigas e gerações foram criadas, além do tempo de execução. Fig. 11. Fim da execução Conforme descrito, para a realização dos experimentos, foram utilizados os valores de parâmetros presentes no artigo [1] e obteve-se os resultados abaixo, Figura 12. Embora os resultados de ambas as pesquisas se aproximem, convém ressaltar que cada pesquisa usou critérios distintos de implementação. Em particular, a contribuição desta pesquisa reside no detalhamento didático da abordagem do problema das n-rainhas pela ACO. Fig. 12. Resultados dos testes VI. CONSIDERAÇÕES FINAIS Foi estudada, pela corrente pesquisa, a resolução do problema das n-rainhas pela meta-heurística da colônia de formigas. No decorrer do artigo, a ideia foi detalhada para o problema das 8-rainhas, sendo facilmente estendida para grandes valores de n. A estruturação do espaço de busca, considerando as restrições a cada instante, foi considerada um diferencial. Ainda que se tenha alcançado resultados próximos daqueles de pesquisas anteriores, foram discorridos sobre aspectos de implementação distintos. Destaca-se, além disso,

6 que o enfoque de contribuição desta pesquisa se encontra no detalhamento didático na abordagem do problema das n- rainhas pela ACO. Os experimentos conduzidos pela pesquisa, somados aos trabalhos anteriores, são evidências de que a ACO tem se mostrado uma abordagem promissora para resolver problemas de satisfação de restrições. Trabalhos futuros podem explorar a aplicabilidade em problemas semelhantes de domínios reais, como também comparar a parametrização desses algoritmos em prol do tempo de resolução e qualidade das soluções desses problemas. REFERÊNCIAS [1] A. G. Pardo e D. Camacho, A new CSP graph-based representation for Ant Colony Optimization, In IEEE Congress on Evolutionary Computation, Junho 2013, páginas [2] A. Levitin e M. Levitin, Algorithmic Puzzles. Oxford University Press, vol 1, páginas 257, [3] C. Solnon, Ants Can Solve Constraint Satisfaction Problems, In IEEE Transactions on Evolutionary Computation, Agosto 2002, páginas [4] I. Martinjak e M. Golub, Comparison of Heuristic Algorithms for the N-Queen Problem, Proceedings of the ITI th Int. Conf. on Information Technology Interfaces, Junho 25-28, [5] L. M. Gambardella e M. Dorigo, Ant-Q: A Reinforcement Learning Approach to the TSP, In Proceedings of Twelfth International Conference on Machine Learning, 1995, páginas [6] L. M. Gambardella e M. Dorigo, Solving Symmetric and Asymmetric TSPs by Ant Colonies, In Proceedings of IEEE International Conference on Evolutionary Computation, Maio 1996, páginas [7] M. Dorigo. "Optimization, Learning and Natural Algorithms, tese doutorado, Politecnico di Milano, [8] S. Khan, M. Bilal, M. Sharif, M. Sajid, e R. Baig, Solution of n-queen Problem Using ACO, In IEEE Congress on Evolutionary Computation, Dezembro 2009, páginas 1-5. [9] S. Russell e P. Norvig, Inteligencia Artificial, Elsevier Editora, 3a Ed., 2013.