Faculdade de Engenharia Investigação Operacional. Prof. Doutor Engº Jorge Nhambiu

Transcrição

1

2 Programação Diâmica Aula 3: Programação Diâmica Programação Diâmica Determiística; e Programação Diâmica Probabilística.

3 Programação Diâmica O que é a Programação Diâmica? A Programação Diâmica é uma técica matemática útil para criar uma sequecia de decisões iter-relacioadas. Ela forece um procedimeto sistemático para determiar a combiação de decisões óptimas. Ao cotrário da Programação Liear, ão existe uma formulação matemática padrão do problema de programação diâmica. Em vez disso a programação diâmica é um tipo geérico de metodologia para a resolução de problemas e as equações particulares usadas têm que ser desevolvidas para cada situação. 3

4 Programação Diâmica Que tipos de problemas de Programação Diâmica existem? Os problemas de Programação Diâmica podem se dividir em de: Programação Diâmica Determiística; e Programação Diâmica Probabilística. 4

5 Programação Diâmica Quais são as características básicas da Programação Diâmica?. O problema pode ser dividido em estágios, os quais uma decisão sobre a política a ser adoptada é ecessária a cada estágio.. Cada estágio possui um úmero de estados associados ao iício desse estágio. 3. O efeito da decisão sobre a política a ser adoptada em cada estágio é o de trasformar o estado actual em um estado associado ao iício do estágio seguite. 5

6 Programação Diâmica 4. O procedimeto de resolução é desehado para ecotrar uma política óptima para o problema como um todo, isto é, esteder a fórmula de decisão sobre a política óptima em cada estágio para cada um dos estágios possíveis. 5. Dado o estado actual uma política óptima para os estágios restates é idepedete das decisões sobre as políticas adoptadas os estágios ateriores. Portato a decisão imediata óptima depede somete do estado actual e ão de como se chegou lá. Esse é o pricipio da optimalidade para a programação diâmica. 6

7 Programação Diâmica 6. O procedimeto de resolução começa ecotrado a política óptima para o último estágio. A política óptima para o último estágio prescreve a decisão sobre a política óptima para cada um dos possíveis estados aquele estágio. 7. Há uma relação recursiva que idetifica a política óptima para o estágio, dada a política óptima para o estágio + ao iício desse estágio. 8. A forma precisa da relação recursiva difere um pouco etre os problemas de programação diâmica. Etretato uma otação comum pode ser usada, como se sitetiza a seguir: 7

8 Notação (I), desiga o úmero do Estágio Actual. N, desiga o Número de Estágios. s, desiga o Estado actual do Estágio. x, desiga a variável de decisão para o Estágio. x, desiga o valor óptimo da variável de decisão (dado s ). 8

9 Notação (II) f (s,x ), Fução de Trasição (cotribuição dos Estágios, +,,N para a fução objectivo se o sistema começa o Estado s o Estágio, a decisão imediata é x e as decisões óptimas são tomadas dai para frete) f (s )= f (s,x ), Valor da Política Óptima para cada Estágio. 9

10 Notação (III) A relação Recursiva é dada por { } ( ) { ( )} f ( ) max (, ) s = f s x ou f s mi x f s, x x = C SX, Valor dos ecargos de trasição etre Estados. 0

11 Programação Diâmica 9. Quado se usa a relação recursiva o procedimeto de solução começa o fim e vai voltado para trás estágio por estágio cada vez ecotrado a política óptima para aquele estágio - até ela ecotrar a política óptima começado o estágio iicial. 0. Para todos os problemas de programação diâmica uma tabela como se mostra a seguir será obtida a cada estágio: x (, ) s f s x = C SX f ( s ) x

12 Exemplo do Protótipo Um aluo pretede miimizar o custo do trasporte etre a sua residêcia e a faculdade utilizado vários meios de trasporte dispoíveis a rede seguite: B E H A C F J I D G

13 O custo (u.m.) associado às ligações existetes traduz-se as seguites matrizes de trasição: B C D A 3 E F G B C 3 H I D 3 4 E 3 F 5 G J H I 3 3

14 Sedo a casa do aluo o poto iicial do percurso e a faculdade o poto fial tem-se quatro estágios ( = 4) como mostra a figura. S i Estágio 3 4 B E H A C F J I D G X i 4

15 Exemplo do Protótipo Como solucioar o problema? Observe-se primeiramete que a metodologia de visão limitada de seleccioar a viagem mais barata oferecida por estágio sucessivo ão coduz ecessariamete a uma solução óptima global. Seguir essa estratégia resultaria a rota A B F I J, a um custo total igual a 9. Etretato, sacrificar um pouco em um estágio pode vir a permitir maiores ecoomias mais a frete, por exemplo A D F é o geral mais barato que A B F. 5

16 Exemplo do Protótipo Como se faz a formulação do problema? Faça-se as variáveis de decisão x (=,,3,4) como destio imediato o estágio (a -ésima viagem que pode ser realizada). Logo a rota seleccioada é A x x x 3 x 4 em que x 4 =J. Façamos f s (s, x ) o custo total da melhor rota como um todo para os estágios restates dado que o estudate se ecotra o estado s proto para iiciar o estado e seleccioa x como seu destio imediato. 6

17 Exemplo do Protótipo Sedo c sx o custo de trasporte associado à decisão x, quado o aluo se ecotra o Estado S esta relação recursiva é da forma: f { } ( ) s = mi C + f ( x ) x SX + O cálculo da solução óptima é feito pela ordem: f ( ) ( ) ( ) 4, f 3, f, f ( ) 7

18 Exemplo do Protótipo Qual o procedimeto de resolução do problema? Quado estudate tiver apeas mais uma etapa a cumprir (=4), daí em diate sua rota é determiada iteiramete pelo seu estado actual s (H ou etão I) e seu destio fial x 4 =J. de modo que a rota fial para a viagem do estudate seja s J. Cosequetemete já que f4 = f4 ( s, J) = csj, A solução imediata para o problema =4 toma etão o seguite aspecto: 8

19 O quadro seguite ilustra as decisões associadas ao Estágio 4: S f S X = C X ( ) 4 4, 4 SX 4 J f ( ) 4 S X 4 H J I 3 3 J H J I 3 9

20 O quadro seguite ilustra as decisões associadas ao Estágio 3: X f ( S, X 3 ) = CSX + f 4 ( S) S H I f ( ) 3 S X 3 E +=3 3+3=6 3 H F 5+=7 +3=5 5 I E 3 H G +=4 +3=5 4 H F 5 G I 0

21 O quadro seguite ilustra as decisões associadas ao Estágio : X f ( S, X ) = CSX + f3 ( S) S E F G f ( S) X B 6+3=9 3+5=8 5+4=9 8 F B E C +3=5 +5=6 3+4=7 5 E D 3+3=6 +5=6 4+4=8 6 E/F C D F G

22 O quadro seguite ilustra as decisões associadas ao Estágio : B S X f ( S, X ) = C + f ( S) SX B C D f ( S) X A 3 C D A +8=9 3+5=8 +6=8 8 C/D Podemos etão cocluir que a política óptima tem um custo total míimo de = 8 u.m.

23 Problema com múltiplas soluções. Existem três camihos distitos com o mesmo valor óptimo (com custo = 8 u.m.) C E H 3 A D 3 F I 3 J 3

24 Problema de afectação múltipla (PD determiística e discreta) Um aluo está prestes a iiciar a sua época de exames em três cadeiras sedo de 3 dias o tempo dispoível para preparação. Adicioalmete, o aluo durate um dia só estuda para um dos exames, por uma questão de método, e quer estar presete em todos eles. 4

25 A previsão do aluo para a classificação em cada uma das cadeiras, em fução do tempo (dias) de preparação para cada uma delas é a seguite: Dias Cadeiras O aluo pretede saber qual o plao de estudo (dias de estudo/ cadeira) que maximizará a média das classificações dos exames. 5

26 x ( ) =,,3, as variáveis de decisão que represetam o úmero de dias a estudar para cada estágio (exame) ; S = úmero de dias de estudo dispoíveis para o estágio (exame), que pode ser 0,, ou 3; ( ) = c i x i ota obtida à cadeira i com um estudo de dias; x i 6

27 Objectivo do problema: escolher x, x x, 3 de forma a maximizar 3 3 i= ( ) c i x i Sujeito a 3 i= com x i x i = 3 0 e iteiro 7

28 A cotribuição dos estágios, +,, N para a fução objectivo é dada por: (, ) ( ) max ( ) f s x = c x + c x i i i= + em que N represeta o úmero de estágios 3 (o osso caso N = 3) com x i = s i= e, f portato, f ( s ) = max f ( s, x ) x = 0,,..., s ( ) ( ) s, x c x + f ( s x ) = + N 8

29 f Cosequetemete a relação recursiva relativa às fuções f, f e f 3 para este problema é { }, para =, ( ) ( ) s max c x + f ( s x ) = + x = 0,,..., s Para o último estágio ( = 3) temos, f = max c x 3 3 ( ) 3 x = 0,,..., s 3 3 9

30 O quadro seguite ilustra as decisões associadas ao Estágio 3 (cadeira 3): 3 x 3 ( ) ( ) s 3 s3, x3 C3 x3 f = f 3 s ) ( 3 x

31 O quadro seguite ilustra as decisões associadas ao Estágio (cadeira ): x f ( s x ) = c ( x ) + f ( s ), 3 x s 0 3 f ( s ) x = = = = 0 + = + 8 = = = 4 + = = ou 3

32 O quadro seguite ilustra as decisões associadas ao Estágio (cadeira ): De otar que este Estágio há 3 dias dispoíveis s x S = 3 ( ) ( ) ( ) f s, x c x + f s x = f ( s ) 0 3 x = = = = ou ou 3

33 No quadro seguite idicam-se as soluções óptimas de 3 valores acumulados: Solução Cadeira (Dias) Cadeira (Dias) Cadeira 3 (Dias) Classificação Acumulada I =3 II =3 III 0++=3 IV =3 A política óptima é a que permite acumular 3 valores a que correspode a média de 3/3 0,67 valores. 33

34 Programação Diâmica Probabilística Em que difere a Programação Diâmica Probabilística da Determiística? A programação diâmica probabilística difere da programação diâmica determiística pelo facto do estado o estágio seguite ão ser completamete determiado pelo estado e pela decisão sobre a política a ser adoptada o estado actual. Em vez disso, há uma distribuição probabilística para qual deva ser o estado seguite. Etretato essa distribuição de probabilidades aida é completamete determiada pelo estado e pela decisão sobre a política a ser adoptada do estágio actual. 34

35 Programação Diâmica Probabilística A estrutura básica resultate para a programação diâmica probabilística é descrita em forma de diagrama a figura seguite: Estágio + Estágio Probabilidade Cotribuição do estágio ( ) f + C p Estado s (, ) f s x Decisão x p p s C.. C s ( ) f +... s f 35 s + ( )

36 Programação Diâmica Probabilística No diagrama, S represeta o úmero de estágios possíveis o estágio + e desigou-se esses estados do lado direito por,,,s. O sistema vai para o estágio i com a probabilidade p i (i=,,,s) dado o estado s e a decisão x. Se o sistema for para o estado i, C i será a cotribuição do estágio à fução objectivo. 36

37 Programação Diâmica Probabilística Para fis ilustrativos, supohamos que o objectivo seja miimizar a soma esperada das cotribuições de cada um dos estágios. Nesse caso, f (s,x ) represeta a soma míima esperada do estágio em diate, dado que o estado e a decisão sobre a política a ser adoptada o estágio sejam, respectivamete s e x, cosequetemete: (, ) = + ( ) i i + i= ( ) = mi (, ) + x S f s x p C f i com f i f i x Em que essa miimização é extraída dos valores viáveis de x + 37

38 Uma cohecida marca de automóveis pretede distribuir 5 viaturas por 3 vededores da marca. A procura de automóveis em cada um dos cocessioários é aleatória, de acordo com as seguites distribuições de probabilidades: Faculdade de Egeharia Ivestigação Operacioal Problema de afectação múltipla (PD probabilística e discreta) Ved. Procura 3 0 0,3 0, 0,5 0,4 0,3 0, 0, 0, 0, 3 0, 0,3 0, Lucro (x 00 Dólares)

39 Objectivo do problema: Distribuir os veículos de forma a maximizar o lucro. x ( ) =,,3, as variáveis de decisão que represetam o úmero de automóveis a distribuir por cada estágio (cocessioário) ; S = úmero de automóveis dispoíveis para o estágio (cocessioário), que pode ser 0,,, 3, 4 ou 5; ( ) = c i x i lucro esperado o cocessioário i com uma atribuição de veículos. x i 39

40 Atededo às probabilidades do quadro aterior, os valores dos lucros esperados são: Vededores Automóveis

41 Objectivo do problema: escolher x, x x, 3 de forma a maximizar 3 i= ( ) c i x i Sujeito a 3 x i i= = com e iteiro x i 0 5 4

42 Solução Cocessioário (uidades) Cocessioário (uidades) Cocessioário 3 (uidades) 3 Lucro Acumulado ( 00 euros) = 586 Para x tem-se s =5-=4, cosultado o quadro do Estágio para s =4 tem-se x =3. Cosiderado x =3 obtém-se s 3 = 4-3=, que o quadro do Estágio 3 correspode a x 3 =. Portato, esta solução traduz-se a distribuição de, 3 e automóveis para os cocessioários, e 3, respectivamete, ode se obterão lucros de 40, 336 e 0 ( 00 Dólares), respectivamete. 4

43 Problema de Programação Liear (PD determiística e cotíua) ( x,x ) = 3 x + x Max f 5 s.a. x x 3x x, 4 + x x

44 Estágios destiado a decidir o valor de x destiado a decidir os valor de x Estados dizem respeito à quatidade de recurso dispoível para as restates actividades. 44

45 Estágio Estágio s = 4 x 8 3x s =

46 Fução de Trasição Num Estágio o valor óptimo da fução de trasição será: f b, b, b = Max f b, b, b, x ( ) ( ) 3 x 3 No estágio (estágio iicial do cálculo) tem-se: (,, ) = ( 5 ) f b b b Max x 3 x b x b 3 x 0 46

47 Fução de Trasição No estágio (estágio fial do cálculo) tem-se: { } f 4,,8 = Max 3x + f 4 x,,8 3x sa.. x 4 3x 8 x 0 ( ) ( ) 47

48 Cálculo o Estágio Sedo a variável de estado s = 4 x 8 3x etão x deve satisfazer simultaeamete: x x 8 3x x 0 48

49 Pelo que o valor máximo de x é igual a 8 3x Mi, O quadro deste estágio é etão: Recursos restates 0 8 3x 0 f ( recursos restates ) 5 Mi 8, 3 x x 8 3x Mi, 49

50 Cálculo o Estágio ( 4,,8) = 3 + ( 4,,8 3 ) { } f Max x f x x x 4 3x 8 x 0 8 3x f ( 4,,8) = Max 3x+ 5 Mi, x 4 x 6 x 0 50

51 x 4 Mi 8, 3x = 6 9 para 3 x 0 x para x 4 f ( 4,,8) = 3x x para para 0 x x 4 valor valor máximo máximo = = com x com x = = f 36 = x = 8 3x x, = Mi = 6 5

52 Aplicações Caixeiro viajate Mochila Programação Liear e Não Liear Afectação Múltipla 5