Programação Dinâmica Aproximada para Aplicações de Alta Dimensionalidade

Transcrição

1 Programação Dinâmica Aproximada para Aplicações de Alta Dimensionalidade X Simpósio de Aplicações Operacionais em Áreas de Defesa 26 de Setembro de 2008 Hugo Passos Simão Warren B. Powell CASTLE Laboratory Princeton University H.Simão/W.Powell, Princeton University 2008 Warren B. Powell Slide 1

2

3

4 Logística e transportes Companhias de transporte Reposicionamento de locomotivas numa rede ferroviária. Alocação de motoristas a cargas rodoviárias. Alocação de tripulação e aeronaves a fregueses numa empresa de propriedade fracionária de jatos executivos. Roteamento de motoristas, caminhões-tanque e produtos numa rede de distribuição de gases liquefeitos. Estoques de alto valor Peças de reposição para aeronaves executivas: quantas peças em estoque e aonde localizá-las. Estoques sujeitos a restrições de orçamento e mínimos níveis de serviço. Transformadores de alta voltagem em redes de transmissão elétrica: altíssimo custo (~$5mi), baixa taxa de falhas e longo período de produção (1 a 2 anos). Falhas variam muito em termos do impacto econômico na rede. Slide 4

5 Planejamento para um mundo sob risco Clima Projeto robusto de redes de reação a emergências. Projeto de instrumentos financeiros que contrabalancem emergências climáticas a fim de proteger indivíduos, companhias e municípios. Projeto de redes de sensores e sistemas de comunicação para gerenciar as reações a eventos climáticos de porte. Doenças Modelos de propagação de doenças para o planejamento de reações. Gerenciamento de pessoal e equipamento médicos e de vacinas em resposta a surtos epidêmicos. Projeto robusto de cadeias de suprimentos para resistir a interrupções no sistema de transportes. Slide 5

6 Gerenciamento de energia Alocação de recursos energéticos Qual é a combinação adequada de tecnologias energéticas? Como coordenar o uso de diferentes recursos energéticos ao longo do tempo e espaço? Como deveria ser o portfólio de P&D em energia? Deve-se investir em energia nuclear? Qual o impacto de um imposto sobre a emissão de dióxido de carbono? Mercados de energia Como contrabalançar diferentes recursos energéticos? Qual é o preço correto dos recursos energéticos? E qual é o preço correto para contratos de opção futura em energia? Slide 6

7 Desafios Controle em tempo real» Alocação de aeronaves, pilotos, geradores e aviões-tanque» Preço de ações e opções» Alocação de recursos elétricos Planejamento tático de curto-prazo» Devo aceitar o pedido de um freguês?» Devo alugar equipamento?» Quanta energia posso prometer com minhas turbinas eólicas? Planejamento estratégico» Quais são as melhores órbitas para aviões-tanque?» Qual é a composição mais adequada de equipamento?» Qual é o valor de uma aeronave mais confiável? Slide 7

8 Sumário Um modelo de alocação de recursos Programação dinâmica aproximada Reabastecimento em vôo gerenciamento de aviõestanque Transporte e logística militar 2008 Warren B. Powell Slide 8

9 Um modelo de alocação de recursos Vetor de atributos: a = Tipo de ativo Tempo de investimento Tipo Localizacao Horario de chegada Localizacao Idade Domicilio Experiencia Horas dirigindo Localizacao Horario de chegada Tipo de aeronave Combustivel Base Tripulacao Eqpt1 M Eqpt100 Slide 9

10 Um modelo de alocação de recursos Modelando recursos:» Os atributos de uma unidade de recurso: a = Os atributos de uma unidade de recurso a A O dominio de atributos» O vetor de estado dos recursos: R = Nivel de recursos com atributo a no instante t ta» A evolução de informações: Rˆ = Mudanca no nivel de recursos com atributo a. ta ( ) R = R O vetor de estado dos recursos no instante t t ta a A Slide 10

11 Um modelo de alocação de recursos Modelando demanda (ou tarefas):» Os atributos de uma unidade de demanda: b = Os atributos de uma unidade de demanda a ser servida b B O dominio de atributos» O vetor de estado da demanda: D = Nivel de demanda com atributo b no instante t tb» A evolução de informações: Dˆ = Mudanca no nivel de demanda com atributo b. tb ( ) D = D O vetor de estado da demanda no instante t t tb b B Slide 11

12 Modelando recursos energéticos O estado do sistema: S ( R D ρ ) =,, = Estado do sistema, onde: t t t t R t D t = Nivel de recursos (capacidade, reservas) = Nivel de demanda ρ = "parametros do sistema" t Tecnologia (custos, desempenho) Clima (temperatura, precipitacao, vento) Politicas governamentais (incentivos ao uso de energia solar) Precos de mercado (petroleo, carvao) Slide 12

13 Modelando recursos energéticos A variável de decisão: x t aumento ou reducao de nivel para cada: = recurso / demanda Slide 13

14 Modelando recursos energéticos Dados exógenos: Rˆ t W = ( Rˆ Dˆ ˆ ρ ) Novos dados =,, t t t t = Mudancas exogenas em capacidade, reservas Dˆ t = Novas demandas por energia de cada fonte ˆ ρ = Mudancas exogenas nos parametros. t Slide 14

15 Modelando recursos energéticos A função de transição: = M t+ 1 t t t+ 1 S S ( S, x, W ) Slide 15

16 Um modelo de alocação de recursos Recursos Demanda Slide 16

17 Um modelo de alocação de recursos t t+1 t+2 Slide 17

18 Um modelo de alocação de recursos Otimizando ao longo do horizonte t t+1 t+2 Otimizando num intervalo de tempo Slide 18

19 Sumário Um modelo de alocação de recursos Programação dinâmica aproximada Reabastecimento em vôo gerenciamento de aviõestanque Transporte e logística militar 2008 Warren B. Powell Slide 19

20 Ação Estado Informação Estado Ação Chuva.2 -$2000 Nublado.3 $1000 Sol.5 $5000 Chuva.2 -$200 Nublado.3 -$200 Sol.5 -$200 Informação Chuva.8 -$2000 Nublado.2 $1000 Sol.0 $5000 Chuva.8 -$200 Nublado.2 -$200 Sol.0 -$200 Chuva.1 -$2000 Nublado.5 $1000 Sol.4 $5000 Chuva.1 -$200 Nublado.5 -$200 Sol.4 -$200 Chuva.1 -$2000 Nublado.2 $1000 Sol.7 $5000 Chuva.1 -$200 Nublado.2 -$200 Sol.7 -$200 - Nós de decisão - Nós de resultados

21 -$1400 -$200 $2300 -$200 $3500 -$200 $2400 -$200

22 -$200 $2300 $3500 $2400 -$200

23 $2770 $2400

24 A equação de Bellman Nós acabamos de resolver a equação de Bellman: { } ( ) V ( S ) = max C ( S, x ) + E V ( S ) S t t t t t t+ 1 t+ 1 t x X» Nós descobrimos o valor de estar em cada estado do sistema trilhando a árvore de decisão no sentido inverso. Slide 24

25 A equação de Bellman O desafio da programação dinâmica: { } ( ) V ( S ) = max C ( S, x ) + E V ( S ) S t t t t t t+ 1 t+ 1 t x X Três pragas Problema: a praga da dimensionalidade O domínio de estados O domínio de resultados O domínio de ações (região viável) Slide 25

26 A equação de Bellman O desafio computacional: { } ( ) V ( S ) = max C ( S, x ) + E V ( S ) S t t t t t t+ 1 t+ 1 t x X Como determinar? V ( S ) t+ 1 t+ 1 Como calcular o valor esperado? Como achar a solução ótima? Slide 26

27 Rain.8 -$2000 Clouds.2 $1000 Sun.0 $5000 Rain.8 -$200 Schedule game S t S t + 1 Cancel game Forecast rain.1 Clouds.2 -$200 Sun.0 -$200 Rain.1 -$2000 Clouds.5 $1000 Sun.4 $5000 Rain.1 -$200 Schedule game Forecast cloudy.3 Cancel game Clouds.5 -$200 Sun.4 -$200 Rain.1 -$2000 Forecast sunn nny.6 Use wea eather report Clouds.2 $1000 Sun.7 $5000 Rain.1 -$200 Schedule game Cancel game Rain.2 -$2000 Clouds.2 -$200 Sun.7 -$200 Do not u weath ( { } ) V ( S ) = max C ( S, x ) + E V ( S ) S t t t t t t + 1 t + 1 t x X

28 Rain.8 -$2000 Clouds.2 $1000 Sun.0 $5000 Rain.8 -$200 Clouds.2 -$200 Sun.0 -$200 Rain.1 -$2000 Clouds.5 $1000 Sun.4 $5000 Rain.1 -$200 Clouds.5 -$200 Sun.4 -$200 Rain.1 -$2000 Clouds.2 $1000 Sun.7 $5000 Rain.1 -$200 Clouds.2 -$200 Sun.7 -$200 Schedule game Cancel game Schedule game Cancel game Schedule game Cancel game Rain.2 -$2000 Clouds.3 $1000 Sun.5 $5000 Rain.2 -$200 Clouds.3 -$200 Sun.5 -$200 - Decision nodes - Outcome nodes Forecast rain.1 Forecast cloudy.3 Forecast sunn nny.6 Schedule game Cancel game Use wea eather report Do not use weather report

29 Estados pré e pós-decisão Um novo conceito:» A variável de estado pré-decisão : St = Informacao necessaria para se tomar a decisao x t Equivalente ao nó de decisão na árvore de decisão.» A variável de estado pós-decisão : x S t = O estado daquilo que se conhece imediatamente depois de se tomar a decisao. Equivalente ao nó de resultados na árvore de decisão. Slide 29

30 Estados pré e pós-decisão Um problema de estoque:» A equação básica de estoque: R = max 0, R + x Dˆ { } t+ 1 t t t+ 1 onde R x t t = estoque no instante t = quantidade encomendada Dˆ = demanda no periodo que comeca no instante t. t+ 1» Usando estados pré e pós-decisão: x t = t + t R R x { x ˆ } t+ 1 t t+ 1 estado pos-decisao R = max 0, R D estado pre-decisao Slide 30

31 Estados pré e pós-decisão Pré-decisão: recursos e demandas S = ( R, D ) t t t Slide 31

32 Estados pré e pós-decisão S = S ( S, x ) x M, x t t t Slide 32

33 Estados pré e pós-decisão x S t S = S ( S, W ) M, W x t+ 1 t t+ 1 W = ( Rˆ, Dˆ ) t+ 1 t+ 1 t+ 1 Slide 33

34 Estados pré e pós-decisão S t + 1 Slide 34

35 Equações de Bellman com o estado pós-decisão Forma clássica da equação de Bellman: ( { }) V ( S ) = max C ( S, x ) + E V ( S ) S t t t t t t t t x X As equações de Bellman usando os estados pré e pós-decisão:» Problema de otimização (tomando a decisão): M, x ( ) ( x ) V ( S ) = max C ( S, x ) + V S ( S, x ) t t x t t t t t t t Nota: este problema é determinístico!» Problema de simulação (o efeito de informações exógenas):, { } V ( S ) = E V ( S ( S, W )) S x x M W x x t t t t t t Slide 35

36 Equações de Bellman com o estado pós-decisão Desafios» Na maioria dos problemas práticos é difícil computar x x V ( S ) t t x x ( ) V ( S ) = max C ( S, x ) + V ( S ) t t x t t t t t» Proposta: substituir por uma aproximação V ( x t St ) e resolver» O problema agora se torna: Qual aproximação? Como estimá-la? x ( ) V ( S ) = max C ( S, x ) + V ( S ) t t x t t t t t Slide 36

37 Aproximando a função de valor Aproximações para a função de valor:» Linear (nas variáveis de estado): x V ( R ) = v R x t t ta ta a A» Linear por partes, separável: = x x V ( R ) V ( R ) t t ta ta a A» Indexada, linear por partes, separável: = ( x ) x V ( R ) V R ( caracteristicas ) t t ta ta t a A Slide 37

38 Aproximando a função de valor Aproximações para a função de valor :» Ridge Regression (Klabjan and Adelman) ( ) x V ( R ) = V R R = θ R t t tf tf tf fa ta f F a A» Cortes de Benders f V ( R ) t t x 1 x 0 Slide 38

39 Estimando a função de valor Comparação com outros métodos:» PMD Clássico (iteração de valor) ( n 1 γ ) t+ 1 n V ( S) = max C( S, x) + EV ( S ) x» PDA Clássica (estado pré-decisão): n n n n 1 vˆ t = max x Ct ( St, xt ) + p( s ' St, xt ) Vt + 1 ( s ') s ' V ( S ) = (1 α ) V ( S ) + α vˆ vˆ atualiza V ( S ) n n n 1 n n t t n 1 t t n 1 t, 1» Nosso método (atualizar V x n no estado pós-decisão):, 1, ( ) n n x n M x n vˆ = max C ( S, x ) + V ( S ( S, x )) t x t t t t t t V ( S ) = (1 α ) V ( S ) + α vˆ n x, n n 1 x, n n t 1 t 1 n 1 t 1 t 1 n 1 t t Valor esperado t t t vˆ atualiza V ( S ) x t t 1 t 1 Slide 39

40 Esquema geral do algoritmo Passo 1: Comece com o estado pré-decisão Passo 2: Resolva a otimização determinística usando uma função de valor aproximada: para obter. 1, (, ))) n n n M x n vˆ = max C ( S, x ) + V ( S ( S x t x t t t t t t n x t n S t Passo 3: Atualize a função de valor aproximada V S V S v n ( x, n ) (1 ) n 1 ( x, n ) n t 1 t 1 = αn 1 t 1 t 1 + αn 1ˆ t Passo 4: Gere uma amostra Monte Carlo of e compute o próximo estado pré-decisão: n M n n n S = S ( S, x, W ( ω )) t+ 1 t t t+ 1 Passo 5: Retorne ao passo 1. n W ( ω ) t Otimização determinística Estatística recursiva Simulação Slide 40

41 Sumário Um modelo de alocação de recursos Programação dinâmica aproximada Reabastecimento em vôo gerenciamento de aviõestanque Transporte e logística militar 2008 Warren B. Powell Slide 41

42

43

44

45 Missões a serem cumpridas por caças a partir de suas bases Bases dos aviões-tanque

46 Tanque voando da base para uma órbita de abastecimento Receptor voando de uma base para uma órbita Base de aviõestanque com aviões lá Trajetória retilínea de abastecimento

47 Receptor reabastecido voando para o objetivo Tanque retornando à base

48 Tanque numa órbita Tanque/ Receptor -Verde: reabastendo -Azul: tanque na órbita -Marrom: receptores em fila

49 Quanto mais curto o vôo após reabastecimento, mais combustível disponível para o objetivo

50

51

52

53

54 Reabastecimento em vôo Sequenciamento de decisões e informações

55 Reabastecimento em vôo Para cada período de tempo, primeiro aloque os aviões-tanque:

56 Reabastecimento em vôo Para cada período de tempo, primeiro aloque os aviões-tanque: n R1 n R2 n R3 n R4 n R5

57 Reabastecimento em vôo Depois simule a fila de caças-receptores: n R1 n R2 n R3 n R4 n R5

58 Reabastecimento em vôo Dada uma alocação de tanques no instante t:» Simule o movimento e processamento de receptores entre t e t+1 Receptores Tanque Órbita Tempo

59 Reabastecimento em vôo Calculando derivadas: vˆ F π π = ( R + e ) F ( R ) ta t t a t t Custo se adicionarmos um tanque com atributos a (localização, tipo, etc) e resimularmos Custo (combustível consumido pelos receptores) dada uma alocação de tanques R t e uma política de reabastecimento π

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74 Reabastecimento em vôo Average Tankers In Flight per Period Tankers Iteration

75 Reabastecimento em vôo Custo do avião-tanque mais alto Tankers Ite ration

76 Reabastecimento em vôo Possibilidades:» Mais realismo na representacao de recursos (atributos, operações).» Modelar a organização e o fluxo de informações e decisões: Que informações estão sendo comunicadas Quem toma as decisões, quando e com que informações Quem toma as decisões, quando e com que informações» Estudos: Qual o valor de diferentes arquiteturas de comunicação? Como diferentes características do avião-tanque (ex. capacidade de aceitar combustível de um outro tanque) afetam o desempenho do sistema? Qual é o custo de incerteza no processo de tomada de decisões robustas?

77 Sumário Um modelo de alocação de recursos Programação dinâmica aproximada Reabastecimento em vôo gerenciamento de aviõestanque Transporte e logística militar 2008 Warren B. Powell Slide 77

78 Comando de Mobilidade Aérea Armazenagem Combustível Manutenção Comando Mobilidade Aérea Pátio Carregamento

79 O Transporte Aéreo Militar Americano

80 The optimization challenge Qual é a melhor alocação de aeronaves a requisições?

81 The optimization challenge Custos reais: $ custo de vôo Porém: - Deseja-se evitar a passagem de C 5 s pela Arábia Saudita porque lá não há equipamentos de manutenção apropriados para essa aeronave (mas, na falta de outras opções ).

82 The optimization challenge? Impacto de falhas pré-decolagem

83 Transporte e logística militar ( ) R t R > = t ' t ' t Recursos conhecidos e previstos = California Taiwan England New Jersey California Taiwan England New Jersey Aeronaves Requisições Germany New Jersey Colorado Germany New Jersey Colorado

84 Transporte e logística militar Estudos:» Qual é o efeito de incertezas na demanda no cronograma de transporte aéreo militar?» Qual é o efeito de falhas das aeronaves?» Qual é o efeito de ter informações mais cedo?

85 Referências: Livro do Prof. Warren Powell Warren B. Powell Slide 85

86 2008 Warren B. Powell Slide 86