2-Introdução à Programação Dinâmica

Transcrição

1 IA 718 Tópicos em Sisemas Ineligenes 2-Inroução à Programação inâmica ProfFernanoGomie

2 Coneúo 1. Inroução 2. Problema o caminho mínimo 3. Solução com programação inâmica 4. Análise e complexiae 5. Programação inâmica forwar 6. Exemplos

3 1-Inroução Programação inâmica meoologia e oimização problemas que requerem ecisões sequenciais inerelacionaas ecisão em um cuso imeiao e afea conexo ecisões fuuras Objeivo como ober a sequência e ecisões minimização cuso oal em um número e eságios compromisso enre cuso imeiao e fuuro

4 Processos e ecisão mulieságios ecisão mulieságios processo que poe ser esobrao em um número e eapas seqüenciais, ou eságios Esao conição o processo num ao eságio é o esao nese eságio ecisões opções que se em em caa eságio caa ecisão causa uma ransição o esao

5 Esraégia (políica) uma seqüência e ecisões uma ecisão para caa esao o processo Reorno cuso, benefício, associao a caa eságio e ecisão poe variar com o eságio e o esao Quesão eerminar a políica óima (aquela que resula no melhor reorno)

6 Princípio e oimaliae e Bellman Uma esraégia óima apresena a proprieae seguno a qual, a espeio as ecisões omaas para se aingir um esao paricular num cero eságio, as ecisões resanes a parir ese esao evem consiuir uma esraégia óima. [Richar Bellman, 1957] x 1 A x 2 G 1 n N

7 2-Problema o caminho mínimo q 1 c 5 e 2 h f 1 i 3 l Qual é o caminho e menor esfôrço (empo, cuso, is - ância, ec.) enre q e r? g j 2 m 2 o caminhos isinos 5 aições por caminho 19 comparações k 2 n 4 p 1 r

8 3-Solução com programação inâmica v i melhor caminho e i aé r v q min {1+ v c, 0 + v } v a q 0 1 v c c 4 5 e 2 h 1 3 v c min {5 + v e, 4 + v f } v min {7 + v f, 3 + v g }.. v g f 1 i 3 l j 2 m 2 o v l 5 + v o v m min {2 + v o, 8 + v p } v n 4 + v p v o 2 v p 1 k 2 n 4 p 1 r v r 0

9 S esao P S sucessor e S no caminho óimo e S aé r v q 13 q 0 3 g 4 k 1 v c c 4 5 e 2 h f 1 i 3 l j 2 m 2 o n 4 p 1 r Esraégia óima P o r P p r P l o P m o P n p P h l P i m P j m P k n P e i P f j P g j ou k P c f P g P q c 24 aições 9 comparações

10 4-Análise e complexiae Função objeivo (cuso, uiliae, ec.): aiivamene separável Ambienes esocásicos: sisemas Markovianos Enumeração exausiva: O( A n ) A número ecisões (ações) em caa eságio (passo) Programação inâmica: O(n A S ) S número e esaos possíveis n: número e eságios

11 5-Programação inâmica forwar v v i g melhor caminho e q aé i v r min {2+ v o, 1 + v p } v a v c v o min {5+ v l, 2 + v m } q 1 c 5 e 2 h v m min {4 + v i, 2 + v j } v l min {3 + v h, 3 + v i } v n min {2 + v j, 2 + v k } 7 f 1 i 3... l v e min {5 + v c } v 3 5 f min {4+ v c, 7 + v } v g min {3 + v } j 2 m 2 o v 0 v c 1 k 2 n 4 p 1 r v q 0

12 6-Exemplos eerminísico: caminho mínimo r j v L j i, i I L j i, j I j i c j i, L Ι j j i ij para e cusomínimo ) ( que al nós e conjno ) ( que al nós e conjno para e cuso ) ( arcos e conjuno nós e conjuno + q r

13 Equação e Bellman v i min{ v, i min ( c j I + j ij + v j )}, i I Solução ieraiva Ieração cuso o caminho a parir o nó q r

14 Algorimo e Pape M v j 0 C { q} j r j r lisa e caniaos remover nó j C o opo e C 2. j I ˆv i c + j ij + v j se vˆ i < vi enão vi vˆ i se i C enão C C { i} ;i no fim e C remover j e C. Se C φ enão passo 1 senão fim Pape (e jksra) são insâncias o algorimo geral

15 Algorimo geral caminho mínimo remover nó i a lisa e caniaos C para caa arco (i, j) L se v j > v i + c ij enão v j v i + c ij aicionar j à V se j C

16 Proposição: sejam v 1, v 2,...,v N escalares saisfazeno v j v i + c ij (i, j) L e seja P um caminho iniciano em um nó i 1 e erminano em um nó i k. Se v j v i + c ij para oos arcos (i, j) e P enão P é menor caminho e i 1 para i k. Prova Somano v j v i + c ij para arcos e P valor e P v ik v i1 Somano v j v i + c ij para arcos e P ' valor e P ' P Logo, P é o menor caminho.

17 Esocásico: aribuição inâmica aribuos e um écnico a a a a localzação écnico ipo equipameno # ias no rabalho conjuno e oos écnicos R R a A conjno os valores e a # écnicos com aribuo ( R a ) a A a

18 B b b b B b b b b ˆ ˆ b # ˆ b B b ) ( insane no insalao ser a ipo equipameno oal ) ( 1(necessiaserviço) e enre insalaos ipo equipamenos e valores os conjuno ipo) (localização, um equipameno e aribuos emana serviços écnicos

19 ecisões H φ conjuno ecisões enviano écnico p/ casa H represena um local paricular conjno ecisões enviano écncio p/ emana ecisão "fazer naa" com um 'ecnico H φ

20 impaco ecisões nos aribuos: função ransição a δ + 1 a ( a a M ( a,) M 1 se a ( a,) a,) 0 caso conrário inicação as ecisões omaas x x a número vezes ( x a ) a A, ecisão éaplicaa écnico aribuo a

21 inicação as ecisões omaas c c a cuso ecisão ( c a ) a A, éaplicaa écnico aribuo a Moelo míope min x c a a A x a s.a. a a a A x a x x 0 R a b,

22 inâmica o sisema R + 1,a + 1,b a a A,b x δ x a a a A ( a, ) + ˆ + 1,b, Esao o sisema S R, ( )

23 Moelo aribuição inâmica V min x X ( C ( S,x ) + γev +1 ( S + 1)) X { x x R ; x, ; x 0} a a a a A b a

24 Observação Ese maerial refere-se às noas e aula o curso IA 718 Tópicos em Sisemas Ineligenes a Faculae e Engenharia Elérica e e Compuação a Unicamp. Não subsiui o livro exo, as referências recomenaas e nem as aulas exposiivas. Ese maerial não poe ser reprouzio sem auorização prévia os auores. Quano auorizao, seu uso é exclusivo para aiviaes e ensino e pesquisa em insiuições sem fins lucraivos.