da rede são atualizados de acordo com a equação 2 [13]:

Transcrição

1 LS-DRAUGHTS - UM SISTEMA DE ARENDIZAGEM ARA DAMAS COM GERAÇÃO AUTOMÁ- TICA DE CARACTERÍSTICAS HENRIQUE CASTRO NETO, RITA MARIA SILVA JULIA Faculdade de Compuação, Unversdade Federal de Uberlânda Av. João Naves de Ávla, 22- Bloco B, sala B80, Barro Sana Mônca, , Uberlânda - MG E-mals: henrquecneo@yahoo.com.br, ra@ufu.br Absrac The objecve of hs wor s o propose a Learnng Sysem for Draughs he LS-Draughs, whch ams, by usng Genec Algorhms (GAs), o generae, auomacally, a concse and effcen se of feaures whch are relevan o represen he game board saes and o opmze he ranng of a draugh player agen. Ths agen consss on an Arfcal Neural Newor whose weghs are updaed by he Temporal Dfferences (TD) Renforcemen Learnng mehods. The NET-FEATUREMA mappng s used o represen a game board sae n he Newor npu. The Newor oupu corresponds o a real number (predcon) ha ndcaes how much he npu sae s favorable o he agen. The agen s raned by he self-play wh clonng echnque and he bes acon o be execued consderng he game sae s chosen by means of Mnmax algorhm. Such a learnng process s close o ha one proposed by Mar Lynch n NeuroDraughs. However, he LS-Draughs expands he NeuroDraughs as generaes, auomacally, an effecve and concse se of feaures o be used n he NET-FEATUREMA mappng, whereas, he las one uses a fxed and manually defned se of feaures. A ournamen was promoed beween he bes player obaned by he LS-Draughs and he avalable player of he NeuroDraughs. The ournamen was won by he player of he LS-Draughs, whch confrms ha he GAs can be an mporan ool o mprove he general performance of auomac players. Keywords Arfcal Neural Newor, Machne Learnng, Renforcemen Learnng, Genec Algorhms, Temporal Dfference, Game Theory. Resumo O objevo dese rabalho é apresenar um Ssema de Aprendzagem para Damas o LS-Draughs, que vsa, por meo da écnca dos Algormos Genécos (AGs), gerar, auomacamene, um conjuno de caraceríscas mínmas necessáras e essencas de um jogo de Damas, de forma a omzar o reno de um agene jogador. Ese agene consse em uma Rede Neural Arfcal no qual os pesos são aualzados aravés do méodo de Aprendzagem por Reforço TD( ) - méodo das Dferenças Temporas. O mapeameno NET-FEATUREMA é ulzado para represenar o esado do abulero do jogo na enrada da rede neural. A saída da rede corresponde a um número real (predção) que ndca o quano o esado de enrada da rede é favorável ao agene. O agene é renado ulzando a écnca de renameno por self-play com clonagem e a melhor ação a ser execuada em função do esado do jogo é escolhda por meo do algormo de busca Mnmax. Tal processo de aprendzagem é análogo ao do jogador NeuroDraughs de Mar Lynch. Enreano, o LS-Draughs expande o NeuroDraughs ao fazer a geração auomáca de um conjuno efcaz e resumdo de caraceríscas a ser ulzado no mapeameno NET-FEATUREMA, ao passo que, o úlmo, ulza um conjuno de caraceríscas fxo e defndo manualmene. Fo efeuado um orneo enre o melhor jogador obdo pelo LS- Draughs e o jogador dsponível do NeuroDraughs. Os resulados do orneo, vencdo pelo jogador do LS-Draughs, evdencam o fao de o AG represenar uma mporane ferramena de melhora no desempenho geral desses jogadores auomácos. alavras-chave Rede Neural Arfcal, Aprendzagem de Máquna, Aprendzagem por Reforço, Algormos Genécos, Dferenças Temporas, Teora dos Jogos. Inrodução O paradgma da Aprendzagem por Reforço em sdo de grande neresse na área da aprendzagem auomáca, uma vez que dspensa um professor nelgene para o fornecmeno de exemplos de renameno. Ese fao o orna parcularmene adequado a domínos complexos em que a obenção deses exemplos seja dfícl ou aé mesmo mpossível [0]. Denre os méodos de Aprendzagem por Reforço, os méodos TD( ) se desacam por serem ampla e efcazmene ulzados, nclusve, na consrução de a- genes capazes de aprender a jogar Damas, Xadrez, Go, Gamão, Ohello ou ouros jogos [6], [8], [], [2], [4], [7] e [9]. Tas agenes êm demonsrado que os jogos são, sem dúvda nenhuma, um ómo domíno para se esudar e checar a efcênca das prncpas écncas de aprendzagem auomáca. Como exemplo de bons jogadores auomácos, ca-se o jogador de damas de Mar Lynch Neuro- Draughs que consse em uma rede neural que ulza a busca mnmax e o méodo TD, junamene com a esraéga de renameno por self-play com clonagem, como ferramenas para aualzação de seus pesos e para o aprendzado de damas [7] e [8]. O NeuroDraughs ulza o mapeameno NET- FEATUREMA como écnca para represenar os esados do abulero do jogo na enrada da rede neural. ara sso, ele ulza um conjuno de funções defndo como caraceríscas que descrevem qualava e quanavamene as posções de peças sobre o abulero. No NeuroDraughs, essas caraceríscas são seleconadas manualmene e não varam (o jogador é renado somene para um conjuno fxo de caraceríscas). O bom desempenho obdo pelo NeuroDraughs em seu processo de aprendzagem mosra a efcênca de se ulzar o mapeameno NET- FEATUREMA como écnca para represenar os abuleros do jogo. Ese rabalho vsa esender o NeuroDraughs gerando, auomacamene, aravés da écnca dos Algormos Genécos (AGs), um conjuno de caraceríscas mínmas necessáras e essen-

2 cas para descrever esados dos abuleros de Damas, de forma a enar omzar o processo de aprendzagem do agene jogador de Lynch. A escolha do jogo de Damas como um domíno de aplcação se deve ao fao de que ele apresena sgnfcavas semelhanças com números problemas prácos. Como exemplos desses problemas prácos, podem-se car o da neração homem/máquna por meo de dálogo [20] e o do conrole de ráfego vecular urbano [2]. Além dsso, o jogo de Damas a- presena um nível de complexdade que demanda a ulzação de écncas poderosas como os méodos TD( ), Busca Mnmax, Redes Neuras e Algormos Genécos. 2 Méodos das Dferenças Temporas em Jogos Esa seção explca como os méodos de Aprendzagem por Reforço TD( ) podem ser ulzados por uma rede neural jogadora. A rede é recompensada posvamene se obver um bom desempenho no jogo (em caso de vóra, ela recebe do ambene um reforço posvo correspondene ao esado de fm de jogo) e ela é punda se obver um mau desempenho (em caso de derroa, ela recebe do ambene um reforço negavo correspondene ao esado de fm de jogo). ara odos os esados de abulero de jogo nermedáro (so é, enre o abulero ncal e o abulero fnal) represenados na camada de enrada da rede, enquano nenhuma recompensa específca esá dsponível, o mecansmo TD calcula a predção de vóra por meo da segune equação: oupu g ( n ), () oupu onde g é a função angene hperbólca e n é o campo local nduzdo sobre o neurôno da camada de saída da rede [4] e [8]. Noe que o valor de depende dos pesos da rede e corresponde a um número real no nervalo [-,+] que ndca o quano o esado do abulero do jogo, represenado na enrada da rede neural, é favorável ao agene. Cada vez que o agene deve mover uma peça sobre o abulero, o algormo de busca mnmax é ulzado para consrur uma árvore com profunddade n e cuja raz S represena o esado correne do jogo (resulane do úlmo movmeno do oponene). Os nós flhos da raz S correspondem aos esados do abulero que podem ser orgnados a parr de cada movmeno de peça possível para o agene jogador a parr do esado descro na raz. Os nós do nível segune correspondem a odos os esados do abulero que podem ser orgnados a parr de cada movmeno de peça possível para o jogador oponene a parr dos esados do nível aneror. A mesma esraéga segue em curso aé o nível de profunddade n. Em seguda, a rede calcula as predções para cada esado de profunddade n. Eses valores são reornados ao algormo de busca mnmax a fm de lhe permr ndcar ao agene qual a melhor ação a ser escolhda e execuada em S. Sempre que o agene execuar um movmeno, os pesos da rede são aualzados de acordo com a equação 2 [3]: ( ) w ( ), (2) onde é a predção correspondene ao esado do abulero correne S, é a predção correspondene ao esado do abulero aneror S, cada represena a predção correspondene a um esado de abulero aneror a S, é a axa de aprendzagem (que defne o quão rápdo o ssema aualzará os pesos da rede), é uma consane que defne o quano o ssema consderará o mpaco de esados anerores a S no processo de aualzação do pesos da rede e corresponde a dervada parcal de w em relação à varável w (peso). Uma pequena revolução no campo da Aprendzagem por Reforço ocorreu quando Gerald Tesauro apresenou os seus prmeros resulados de reno de uma função de avalação por meo do méodo das Dferenças Temporas [6], [7] e [8]. O programa de Tesauro, TD-Gammon, é um jogador de gamão que, ncalmene, apesar de er pouco conhecmeno sobre esse jogo, é capaz de aprender a jogar ão efcenemene quano os maores jogadores mundas [7]. O prncípo dos méodos TD( ) fo prmeramene aplcado por Samuel em seu jogador de damas de 959, onde ele já ulzava a déa de aualzação de avalações baseada em predções sucessvas []. Um ouro rabalho que ambém obeve sucesso com os méodos TD( ) é o que fo proposo por Jonahan Schaeffer e ouros pesqusadores em [5]. Eles realzaram um esudo dealhado de comparação enre uma função de avalação renada manualmene por peros (que é o caso do aual campeão de damas CHINOOK [4]) e uma função de avalação renada pelos méodos TD( ). Esa análse mosrou que os méodos TD( ) alados à esraéga de renameno por self-play ornam-se uma poderosa ferramena na consrução de agenes auomácos capazes de jogar com um alo nível de desempenho. 3 Compuação Evoluva A Compuação Evoluva é uma área da Cênca da Compuação que ulza déas da evolução bológca para resolver problemas compuaconas que, em sua maora, requerem busca em um grande espaço de soluções possíves [9]. Exsem dversos méodos ou abordagens para ssemas baseados em evolução no campo da Compuação Evoluva. O ermo geral que se ulza para denomnar as méodos é algormos evoluvos. A abordagem mas comum e largamene ulzada de algormos evoluvos é o Algormo Genéco (AG) [9], que ambém é um dos focos mporanes nese rabalho. A aplcação da Compuação Evoluva em jogos em-se mosrado basane efcene na obenção de w

3 bons agenes jogadores. A base da Compuação Evoluva é o eorema do esquema, modelado, maemacamene por Holland [5]. Denre os rabalhos mas conhecdos e bem suceddos que ulzam algormos evoluvos em jogos, desacam-se os de Davd Fogel. Em [2] e [3] Fogel ulzou algormo evoluvo para evolur os pesos do seu jogador de damas ANACONDA [2] e do seu jogador de xadrez BLONDIE25 [3]. 4 Dferenças Temporas x Compuação Evoluva aul Darwen demonsrou em [] a vanagem de se ulzar Dferenças Temporas no renameno de redes neuras mulcamadas devdo a rapdez com que a rede aprende um comporameno não lnear sobre um deermnado problema. Darwen demonsra esa quesão ao dscur o porquê da co-evolução consegur baer, para uma arqueura de rede lnear, a aprendzagem por Dferença Temporal no jogo do Gamão, mas não consegur o mesmo feo para uma arqueura de rede não lnear. O auor mosra que, se são necessáros blhões de jogos para que uma arqueura não-lnear renada por um méodo coevoluvo consga baer uma oura arqueura nãolnear renada pelo méodo TD( ), a qual, por sua vez, requer apenas alguns poucos jogos para aprender, enão muos dos blhões de jogos do méodo co-evoluvo não esarão, de fao, conrbundo para a aprendzagem. Ese fao ambém parece ser aplcado ao domíno de damas. or exemplo, o jogador ANACONDA precsou de jogos de renameno para apresenar o mesmo nível de desempenho do CHINOOK, enquano que o jogador de damas de Schaeffer, renado pelos méodos TD( ) [5], precsou de apenas jogos de renameno para ober o mesmo resulado. Consderando os resulados de Darwen, ese rabalho em por objevo alar os benefícos da ulzação da écnca de aprendzagem por reforço TD( ) e dos AGs na consrução do ssema LS-Draughs, o que represena uma versão expandda do agene jogador de damas de Mar Lynch. Com os AGs, o LS- Draughs preende gerar, seleconar e recombnar as caraceríscas que se perpeuarão ao longo das gerações a fm de omzar o renameno de uma rede neural por Dferenças Temporas. Mas dealhes sobre a mplemenação do LS-Draughs serão vso na próxma seção. 5 O LS-DRAUGHTS O LS-Draughs é um ssema de aprendzagem de jogos de damas que em como objevo prncpal consrur um agene auomáco capaz de jogar damas com alo nível de desempenho. O agene consse em uma Rede Neural Arfcal cujos pesos são aualzados pelos méodos TD( ). O mapeameno NET-FEATUREMA é ulzado para represenar os esados do abulero do jogo na enrada da rede. Tas represenações se baseam em conjunos de caraceríscas gerados, auomacamene, por AGs. A saída da rede corresponde a um número real (predção) que ndca o quano aquele esado de enrada é favorável ao agene. Além dsso, o agene ambém é renado ulzando a esraéga de renameno por self-play com clonagem e a melhor ação a ser execuada em função do esado do jogo é escolhdo por meo da busca mnmax. A arqueura geral do LS-Draughs esá ndcado na fgura abaxo: Fgura. Arqueura do LS-Draughs. Conforme a fgura, o ssema é composo de 4 módulos prncpas: rmero Módulo gerador de caraceríscas: corresponde ao própro AG que gerará T ndvíduos que represenam subconjunos de odas as caraceríscas dsponíves no mapeameno NET-FEATUREMA; Segundo Módulo classfcador e seleconador de ações: ese módulo corresponde ao algormo de busca mnmax cuja função é seleconar a melhor ação a ser execuada pelo agene em função do esado do abulero do jogo correne. Tercero Módulo agene jogador: corresponde a Rede Neural Arfcal cujo processo de aprendzagem é guado pelo 4º módulo; Quaro Módulo o renameno: ese módulo corresponde ao renameno do agene jogador aravés do méodo das Dferenças Temporas alado com a esraéga de renameno por self-play com clonagem. Noe que o processo de renameno do LS- Draughs é smlar ao que fo proposo por Lynch no NeuroDraughs (segundo, ercero e quaro módulos) [8]. Enreano, o quaro módulo do LS-Draughs modfca o processo de renameno do NeuroDraughs da segune forma: no LS-Draughs, números ndvíduos - so é, números conjunos de caracerís-

4 cas - são renados, enquano que no Neuro- Draughs, somene um ndvíduo é renado. Além dsso, o prmero módulo esende o NeuroDraughs gerando, auomacamene e por meo dos AGs, as caraceríscas que represenarão os esados do abulero do jogo. O objevo do processo de renameno do LS-Draughs é, enão, deecar, denre eses conjunos de caraceríscas, aquelas que são necessáras e essencas para produzr um jogador de damas efcene. As nerações enre o segundo, ercero e quaro módulos já foram descros na seção 2. Mas dealhes sobre esa neração podem ser vso em [8]. Na próxma seção, os auores apresenarão as esruuras do prmero e quaro módulos que caracerzam o LS-Draughs. 5. opulação e codfcação dos ndvíduos no LS- Draughs Cada ndvíduo na população é codfcado como um cromossomo bnáro de comprmeno 5. A represenação bnára ndca se uma deermnada caracerísca F esá presene ou não no gene G, onde,2,3,...,5, conforme é mosrado na fgura 2. Fgura 2. Exemplo de codfcação de um ndvíduo na população. A fgura 3 mosra as 5 caraceríscas ulzadas na represenação dos 5 genes. Cada número nero na coluna BITS correspondene a uma caracerísca F ndca a quandade de neurônos que serão alocados para represenar rede neural. F na camada de enrada da Os ndvíduos do LS-Draughs são gerados de duas formas:. Todos os 50 ndvíduos da prmera geração GE são gerados como se segue: há uma 0 escolha aleaóra de avação ( ou 0) do gene G correspondene a caracerísca F para cada,2,3,..., 5. Depos, cada um desses ndvíduos (que represena o esado do jogo) é nroduzdo na enrada da rede neural que lhe corresponde. As 50 redes neuras produzdas serão renadas (o processo de renameno será dscudo mas a- dane). Depos dsso, o LS-Draughs nca um orneo envolvendo as 50 redes renadas. Ao fm do orneo, uma avalação (ou fness) é calculada para cada ndvíduo em vrude do seu desempenho durane o orneo (como será dealhado na subseção 5.4). Em seguda, os 50 ndvíduos de GE serão 0 repassados como pas para a próxma geração (geração GE ); 2. Todos os 50 ndvíduos das 29 gerações resanes GE, onde 29, são gerados como se segue: 50 novos ndvíduos são gerados aravés da aplcação dos operadores genécos de crossover e muação sobre 25 pares de ndvíduos escolhdos pelo orneo esocásco denre uma população de 50 pas recebdos da geração GE. Depos, as 50 novas redes neuras acopladas a eses 50 novos ndvíduos são renadas. Em seguda, o LS-Draughs nca um orneo envolvendo as 00 redes renadas dsponíves (50 correspondene a GE e 50 correspondene a GE ). Ao fm do orneo, uma avalação (ou fness) é calculada para cada ndvíduo em função do seu desempenho durane o orneo. Os 50 ndvíduos que apresenarem os melhores fness serão repassados como pas para a próxma geração GE. Ese processo se repee para cada geração, aé o fm da geração 29. Fgura 3. Lsa das 5 caraceríscas canddaas para represenar o esado do abulero do jogo no LS-Draughs. Nese rabalho, a população do AG é composa por 50 ndvíduos, so é, T 50. orano, a população será formada por 50 esruuras cromossômcas (ou ndvíduos), onde cada uma delas esará assocada a uma rede neural. São esses 50 ndvíduos que evolurão denro do AG ao longo de 30 gerações. 5.2 Seleção dos ndvíduos e aplcação dos operadores genécos O méodo de seleção ulzado pelo LS-Draughs para seleconar os pas a fm de aplcar os operadores genécos é o orneo esocásco com our 3 [9]. ara cada dos pas seleconados pelo orneo, dos novos flhos são gerados. O méodo de crossover ulzado é o cruzameno smples de genes (crossover de um únco pono de core) com probabldade de 00%. A axa de probabldade de muação ulzada é de 30% por ndvíduo.

5 5.3 Trenameno das Redes Neuras N neurônos na camada de enrada, onde A N A represena a quandade de bs assocados aos genes avos (dgo ) em I. A camada ocula em 20 neurônos e a camada de saída é formada por um únco neurôno. Os pesos ncas da rede são gerados aleaoramene enre -0.2 e +0.2 e o ermo bas é fxado em. O renameno de cada rede neural consse em um grupo de 4 sessões de 400 jogos (neses jogos de renameno a rede aprende por reforço conforme fo descro na seção 2), sendo que meade desses 400 jogos a rede joga como jogador preo (peças preas) e a oura meade como jogador vermelho (peças vermelhas). Anes do níco das 4 sessões de renameno por self-play, é fea uma cópa da rede neural ne assocada ao ndvíduo I, produzndo a rede clone cne. Em seguda, ne e cne jogam os prmeros 400 jogos correspondene à prmera sessão de re- A rede neural mulcamada assocada a um ndvíduo I da população, onde,2,3,..., 50, em nameno. Durane esses jogos, somene os pesos de ne são aualzados. Ao fm da prmera sessão, dos jogos-ese são realzados para checar se a nova rede ne correspondene ao ndvíduo I ornou-se melhor que seu clone. Caso afrmavo, os pesos da rede ne são copados novamene para cne e a próxma sessão de renameno é ncada com os jogadores ne e a rede clone modfcada cne. Caso conráro, cne não é modfcada e a próxma sessão é ncada com os mesmos jogadores ( ne e cne ) que ermnaram a úlma sessão. Ese processo se repee aé o fm da 4ª sessão. Noe que, em odos esses jogos, ambas as redes jogadoras usam a mesma esraéga para escolher a melhor ação, conforme fo descro na seção 2. Consderando a possbldade de que nem sempre a rede fnal ne obda ao fm das quaro sessões de renameno é realmene a melhor (sso ocorre porque a rede ne pode se especalzar em baer apenas o seu úlmo clone durane o processo de renameno), um pequeno orneo é realzado enre ne e odos os seus clones gerados nas quaro sessões de renameno. O vencedor do orneo é consderado como sendo a melhor rede correspondene ao ndvíduo I que em sdo renado. 5.4 Cálculo do Fness No orneo organzado para calcular o fness dos ndvíduos de uma dada geração (cado na subseção 5.), cada ndvíduo I joga 0 jogos conra o resane dos ndvíduos daquela geração. A ponuação u- lzada para calcular o fness de I é dada da segune forma: 2 ponos por cada vóra, pono por empae e 0 pono para cada derroa. 6 Resulados Expermenas A fgura 4 mosra os resulados obdos durane os 4 meses de renameno do ssema LS-Draughs, onde 30 gerações foram produzdas. Nesa fgura, o fness do melhor ndvíduo em cada grupo de 5 gerações fo comparado com a méda do fness dos 49 ndvíduos resanes. Fgura 4. Gráfco de evolução do melhor ndvíduo da população em relação à méda da população nas gerações 0, 4, 9, 4, 9, 24 e 29. Com o objevo de comparar o NeuroDraughs com o LS-Draughs, fo realzado um orneo de 7 jogos enre o melhor ndvíduo de cada uma das 30 gerações execuadas no LS-Draughs e o jogador de Mar Lynch dsponível em seu webse. Aé a 8ª geração do LS-Draughs, o melhor ndvíduo não obeve sucesso. orém, na 9ª geração, o melhor ndvíduo I conseguu ober uma ponuação favorável comparado com o jogador do NeuroDraughs: vóra e 6 empaes. Como I possu 2 genes avos (so é, 2 caraceríscas), ele já pode ser consderado como sendo um bom resulado produzdo pelo LS-Draughs, já que ele consegue baer o jogador de Mar Lynch conando com a mesma quandade de caraceríscas que ese úlmo (2). I permaneceu como melhor ndvíduo da população aé a 5ª geração. Da 6ª aé a 24ª geração, nenhum melhor ndvíduo conseguu baer o jogador de Mar Lynch. Somene na 25ª geração é que o melhor ndvíduo I conseguu baer o jogador de Mar Lynch conando com apenas 7 caraceríscas: 2 vóras e 5 empaes. O I permaneceu como melhor ndvíduo da população aé a úlma geração (30ª geração). Analsando os 5 empaes obdos pelo ndvíduo conra o NeuroDraughs, fo observado que em I B 25 2 deles o I era vencdo se ele esvesse apo a deecar o loop de fnal de jogo. Um orneo ambém fo realzado enre os ndvíduos I e I. O resulado fo: 2 vóras para cada lado e 0 empaes, o que mosra um desempenho smlar para ambos os jogadores. Enreano, vale lembrar que I em um conjuno de caraceríscas menor que I. Assm, dependendo do cré-

6 ro (desempenho e/ou amanho do conjuno de caraceríscas) que alguém preende omzar quando escolhe um dos dos jogadores gerados pelo ssema LS-Draughs, I pode ser consderado como o melhor jogador, se somene o créro empo for ulzado como parâmero de omzação (vso que I é gerado prmero). or ouro lado, I pode ser consderado como o melhor jogador do LS-Draughs se ambos os créros (desempenho e/ou amanho do conjuno de caraceríscas) forem consderados como parâmero de omzação. 7 Conclusões Fo apresenado o LS-Draughs um Ssema de Aprendzagem de Damas que, ulzando AGs, méodos TD( ), busca Mnmax e esraéga de a- prendzagem por self-play com clonagem, gerou a- genes jogadores de damas capazes de baer o jogador de Mar Lynch em um orneo de 7 jogos. Os resulados obdos confrmam o melhor desempenho do LS-Draughs e, conseqüenemene, rafcam a conrbução da nserção do módulo de geração auomáca de caraceríscas, por meo dos AGs, no ssema orgnal NeuroDraughs de Mar Lynch. or ouro lado, o loop de fnal de jogo apresenado na seção 6 mosra que o LS-Draughs anda deve ser rabalhado e aperfeçoado a fm de melhorar o seu desempenho geral, ornando-se mas compevo. Referêncas Bblográfcas []. J. Darwen. (200). Why co-evoluon beas emporal dfference learnng a bacgammon for a lnear archecure, bu no a non-lnear archecure, roceedngs of he 200 Congress on Evoluonary Compuaon CEC200, IEEE ress, pp [2] D. B. Fogel e K. Chellaplla. (2002). Verfyng anaconda s exper rang by compeng agans Chnoo: expermens n co-evolvng a neural checers player, Neurocompung, v. 42, n.-4, pp [3] D. B. Fogel, T. J. Hays, S. L. Hahn e J. Quon. (2004). A self-learnng evoluonary chess program, roceedngs of he IEEE, v. 92, n. 2, pp [4] S. Hayn. (998). Neural Newors: A Comprehensve Foundaon, Second Edon, rence Hall, 998. [5] J. H. Holland. (992). Adapaon n naural and arfcal sysems, Second Edon, Cambrdge, MA, USA, MIT ress. [6] A. Leus. (995). Learnng of poson evaluaon n he game of Ohello. Dsponível em: hp://people.c.usc.edu/~leus. [7] M. Lynch e N. Grffh. (997). Neurodraughs: he role of represenaon, search, ranng regme and archecure n a d draughs player, Eghh Ireland Conference on Arfcal Inellgence, pp Dsponível em: hp://amlynch.com/nd. [8] M. Lynch. (997). NeuroDraughs: An applcaon of emporal dfference learnng o draughs. Dsponível em: hp://amlynch.com/nd. [9] M. Mchell e C. E. Taylor. (999). Evoluonary Compuaon: An Overvew, Annual Revew of Ecology and Sysemacs, v. 30, pp [0] S. Russell e. Norvg. (2003). Arfcal Inellgence: A Modern Approach, Second Edon, rence Hall. [] A. L. Samuel. (959). Some sudes n machne learnng usng he game of checers, IBM Journal of Research and Developmen, v. 3, n. 3, pp [2] N. N. Schraudolph,. Dayan e T. J. Sejnows. (200). Learnng o evaluae go posons va emporal dfference mehods, Compuaonal Inellgence n Games Sudes n Fuzzness and Sof Compung, Sprng Verlag, v.62. [3] R. S. Suon. (988). Learnng o predc by he mehods of emporal dfferences, Machne Learnng, v. 3, n., pp [4] J. Schaeffer, R. Lae,. Lu e M. Bryan. (996). CHINOOK: The world man-machne checers champon, AI Magazne, v. 7, n., pp [5] J. Schaeffer, M. Hlyna e V. Jussla. (200). Temporal dfference learnng appled o a hgh performance game-playng program, roceedngs of he Inernaonal Jon Conference on Arfcal Inellgence (IJCAI), pp [6] G. J. Tesauro. (992). raccal ssues n emporal dfference learnng, Machne Learnng, 8. [7] G. J. Tesauro. (994). TD-Gammon, a selfeachng bacgammon program, acheves maser-level play, Neural Compuaon, v. 6, n. 2, pp [8] G. J. Tesauro. (995). Temporal dfference learnng and d-gammon, Communcaons of he ACM, v. 38, n.3, pp [9] S. Thrun. (995). Learnng o play he game of chess, Advances n Neural Informaon rocessng Sysems 7, The MIT ress, pp [20] M. A. Waler. (2000). An applcaon of renforcemen learnng o dalogue sraegy selecon n a spoen dalogue sysem for emal, Journal of Arfcal Inellgence Research 2, pp [2] M. Werng. (2000). Mul-agen renforcemen learnng for raffc lgh conrol, roceedngs of he 7h Inernaonal Conference on Machne Learnng, pp