Controle Ótimo - Aula 6 Exemplos e Exercícios

Transcrição

1 Controle Ótimo - Aula 6 Exemplos e Exercícios Adriano A. G. Siqueira e Marco H. Terra Departamento de Engenharia Elétrica Universidade de São Paulo - São Carlos

2 Probabilidades Probabilidade: número entre 0 e 1 representando a crença numa determinada afirmação: Ex.: P( cara no lançamento de uma moeda ) = 0,5 P( Sãocarlense ser campeão ) = 0,01 Probabilidade Condicional: é a probabilidade baseada no conhecimento prévio da veracidade de uma afirmação Ex.: P( Dado lançado deu par resultado foi 5 ) Cálculo: P (A B) = P (A B) P (B) sendo A = {2, 4, 6}, B = {1, 2, 3, 4, 5} e A B = {2, 4} Portanto P (A B) = 2 6 e P (B) = 5 6 Logo P (A B) = 2/6 5/6 = 2 5

3 Probabilidades Também temos: P (A B C) = P (A B C) P (B C) Mas P (A B C) = P (B A C)P (A C) Portanto P (A B C) = P (B A C)P (A C) P (B C) Alé disso, se B 1 e B 2 são disjuntos e B 1 B 2 = Ω P (A) = P (A B 1 ) + P (A B 2 )

4 Exemplo: Reparo de uma máquina Portanto J 1 (I 1 ) = min u1 {E x1 {g 1 (x 1, u 1 ) I 1 }} = min{2p {x 1 = P I 1 }, 1} Cálculo de P {x 1 = P I 1 } para I 1 = (G, G, S) P (x 1 = P G, G, S) = P (x 1 = P, G, G, S) P (G, G, S)

5 Exemplo: Reparo de uma máquina Cálculo de P (G, G, S): P (z 0 = G, z 1 = G, u 0 = S) = P (z 1 = G z 0 = G, u 0 = S)P (z 0 = G, u 0 = S) Cálculo de P (z 0 = G, u 0 = S): P (z 0 = G, u 0 = S) = P (z 0 = G) = P (z 0 = G, x 0 = P ) + P (z 0 = G, x 0 = P ) = P (z 0 = G x 0 = P )P (x 0 = P ) + P (z 0 = G x 0 = P )P (x 0 = P ) =

6 Exemplo: Reparo de uma máquina Cálculo de P (z 1 = G z 0 = G, u 0 = S): P (z 1 = G z 0 = G, u 0 = S) = P (z 1 = G, x 1 = P z 0 = G, u 0 = S) + P (z 1 = G, x 1 = P z 0 = G, u 0 = S) = P (z 1 = G x 1 = P, z 0 = G, u 0 = S)P (x 1 = P z 0 = G, u 0 = S) + P (z 1 = G x 1 = P, z 0 = G, u 0 = S)P (x 1 = P z 0 = G, u 0 = S)

7 Exemplo: Reparo de uma máquina Cálculo de P (x 1 = P z 0 = G, u 0 = S): P (x 1 = P z 0 = G, u 0 = S) = P (x 1 = P u 0 = S) = P (x 1 = P, x 0 = P u 0 = S) + P (x 1 = P, x 0 = P u 0 = S) = P (x 1 = P x 0 = P, u 0 = S)P (x 0 = P ) + P (x 1 = P x 0 = P, u 0 = S)P (x 0 = P ) = = 2 3

8 Exemplo: Reparo de uma máquina Cálculo de P (x 1 = P z 0 = G, u 0 = S): P (x 1 = P z 0 = G, u 0 = S) = P (x 1 = P u 0 = S) = P (x 1 = P, x 0 = P u 0 = S) + P (x 1 = P, x 0 = P u 0 = S) = P (x 1 = P x 0 = P, u 0 = S)P (x 0 = P ) + P (x 1 = P x 0 = P, u 0 = S)P (x 0 = P ) = = 1 3

9 Exemplo: Reparo de uma máquina Cálculo de P (z 1 = G x 1 = P, z 0 = G, u 0 = S): P (z 1 = G x 1 = P, z 0 = G, u 0 = S) = P (z 1 = G x 1 = P ) = 3 4 Cálculo de P (z 1 = G x 1 = P, z 0 = G, u 0 = S): P (z 1 = G x 1 = P, z 0 = G, u 0 = S) = P (z 1 = G x 1 = P ) = 1 4 Portanto: P (z 1 = G z 0 = G, u 0 = S) = 3 4 e P (z 0 = G, z 1 = G, u 0 = S) = P (z 1 = G z 0 = G, u 0 = S)P (z 0 = G, u 0 = S) = ( )2 1 3

10 Exemplo: Reparo de uma máquina Cálculo de P (x 1 = P, G, G, S): P (x 1 = P, z 0 = G, z 1 = G, u 0 = S) = P (z 1 = G x 1 = P, z 0 = G, u 0 = S)P (x 1 = P, z 0 = G, u 0 = S) = P (z 1 = G x 1 = P )P (x 1 = P, z 0 = G, u 0 = S) = 1P (x 4 1 = P, z 0 = G, u 0 = S) = 1P (x 4 1 = P z 0 = G, u 0 = S)P (z 0 = G, u 0 = S) = ( ) 3

11 Exemplo: Reparo de uma máquina Portanto Então P (x 1 = P G, G, S) = P (x 1 = P, G, G, S) P (G, G, S) ) = J 1 (G, G, S) = 2 7, ( ( ) 2 = 1 7 µ 1(G, G, S) = C

12 Variáveis Aleatórias Contínuas Uma variável aleatória contínua num dado conjunto de probabilidade (Ω, F, P ) é uma função x : Ω R tal que para todo escalar λ o conjunto {ω Ω x(ω) λ} é um evento, i.e., pertence à coleção F. Define-se a função distribuição F : R R de uma variável aleatória x como F (z) = P ({ω Ω x(ω) z}) ou seja, F (z) é a probabilidade da variável assumir valores menores ou iguais a z

13 Variáveis Aleatórias Contínuas Um vetor aleatório x = (x 1, x 2,..., x n ) é uma n-upla das variáveis aleatórias x 1, x 2,...x n A função distribuição F : R n R de um vetor aleatório é F (z 1, z 2,..., z n ) = P ({ω Ω x 1 (ω) z 1, x 2 (ω) z 2,..., x n (ω) z n }) A função distribuição de cada variável x i do vetor aleatório é F (z i ) = lim zj,j if (z 1, z 2,..., z n ) As variáveis aleatórias x 1, x 2,..., x n são ditas independentes se F (z 1, z 2,..., z n ) = F (z 1 )F (z 2 )...F (z n )

14 Variáveis Aleatórias Contínuas A função densidade de probabilidade f : R R é tal que F (z) = z f(x)dx Exemplo: função normal (Gaussiana) com média µ e variância σ 2, N(µ, σ 2 ) 0.4 { f(x) = 1 exp ( 2πσ 1 x µ ) } σ 0.3 N(0,1) N(3,4) N( 2,16)

15 Variáveis Aleatórias Contínuas Valor esperado de uma variável aleatória x com função distribuição F e função densidade de probabilidade f: E{x} = x = zdf (z) = zf(z)dz Variância de x com relação ao valor esperado σ 2 = E{(x x) 2 }

16 Valor esperado de uma vetor aleatório x: Variáveis Aleatórias Contínuas E{x} = x = (E{x 1 }, E{x 2 },..., E{x n }) = (x 1, x 2,..., x n ) Matriz de Covariância de x = (x 1, x 2,..., x n ) com relação ao valor esperado x = (x 1, x 2,..., x n ) Σ = E{(x x)(x x) T } E{(x 1 x 1 ) 2 } E{(x 1 x 1 )(x n x n )} =... E{(x n x n )(x 1 x 1 )} E{(x n x n ) 2 } Dois vetores aleatórios x e y são não correlacionados se E{(x x)(y y) T } = 0

17 Exemplo de Programação Dinâmica Otimização da partida de xadrez: um jogador jogará uma partida de xadrez contra um oponente em dois jogos. Cada jogo pode ter um dos seguintes resultados: a) vitória de um dos jogadores(1 ponto para o vencedor e 0 para o perdedor) b) empate (1/2 ponto para cada jogador) Se o placar aponta 1 1 no final de dois jogos, a partida vai para a morte súbita, na qual eles jogam até a vitória de um deles.

18 Exemplo de Programação Dinâmica O jogador pode escolher entre dois estilos, independentemente de qual estilo ele usou no jogo anterior 1) estilo defensivo: empata com probabilidade p d e perde com probabilidade (1 p d ) 2) estilo ofensivo: ganha com probabilidade p w e perde com probabilidade (1 p w ) Então, um jogador defensivo nunca ganha e um jogador ofensivo nunca empata Objetivo: encontrar uma estratégia de seleção do estilo de acordo com o placar do jogo, que maximiza a probabilidade de vitória

19 Exemplo de Programação Dinâmica Se o jogo entra na morte súbita é melhor jogar ofensivamente. Ou seja, deve-se escolher a estratégia para os dois primeiros jogos da partida Problema de dois estágios, sendo o estado os possíveis placares no início de cada jogo Controle: estilo de jogo Custo final: 1 se placar indica (2 0) ou (1, 5 0, 5), vitória 0 se placar indica (0 2) ou (0, 5 1, 5), derrota p w se placar indica (1 1)

20 Jogo 1: Exemplo de Programação Dinâmica

21 Jogo 2: Exemplo de Programação Dinâmica

22 Exemplo de Programação Dinâmica Estado: diferença entre os pontos do jogador menos os pontos do oponente Ex.: x k = 0 empatados Estado inicial: x 0 = 0 Equação dinâmica: x k+1 = w k P (w k = x k u k = D) = p d, P (w k = x k u k = O) = 0 P (w k = x k 1 u k = D) = 1 p d P (w k = x k 1 u k = O) = 1 p w P (w k = x k + 1 u k = D) = 0, P (w k = x k + 1 u k = O) = p w

23 Exemplo de Programação Dinâmica Controles: Defensivo (u k = D) e Ofensivo (u k = O) Custos: g k (x k, u k ) = 0 e 1 x k > 0 g 2 (x 2 N) = p w x k = 0 0 x k < 0

24 Exemplo de Programação Dinâmica Algoritmo da Programação Dinâmica 1 x k > 0 J 2 (x 2 ) = g 2 (x 2 ) = p w x k = 0 0 x k < 0 J k (x k ) = max uk {D,O}{E wk {J k+1 (x k+1 )}} J k (x k ) = max[p d J k+1 (x k ) + (1 p d )J k+1 (x k 1), p w J k+1 (x k + 1) + (1 p w )J k+1 (x k 1)]

25 Exemplo de Programação Dinâmica Será ótimo jogar de forma ofensiva se p w J k+1 (x k + 1) + (1 p w )J k+1 (x k 1) > p d J k+1 (x k ) + (1 p d )J k+1 (x k 1) p w pd J k+1(x k ) J k+1 (x k 1) J k+1 (x k +1) J k+1 (x k 1)

26 Exemplo de Programação Dinâmica Para k = 1, considernado p d > p w J 1 (x 1 ) = 1 para x 1 > 0; u 1 = O ou D J 1 (1) = max[p d + (1 p d )p w, p w + (1 p w )p w ] = p d + (1 p d )p w ; u 1 = D J 1 (0) = p w ; u 1 = O J 1 ( 1) = p 2 w; u 1 = O J 1 (x 1 ) = 0 para x 1 < 0 ; u 1 = O ou D

27 Exemplo de Programação Dinâmica Para k = 0 J 0 (0) = max[p d J 1 (0) + (1 p d )J 1 ( 1), p w J 1 (1) + (1 p w )J 1 ( 1)] = max[p d p w + (1 p d )p 2 w, p w (p d + (1 p d )p w ) + (1 p w )p 2 w] = p w (p w + (p w + p d )(1 p w )) Controle ótimo: u 0 = O Estratégia de controle: jogar de forma defensiva se estiver na frente no placar

28 Resultado com a estratégia ótima Exemplo de Programação Dinâmica

29 Exemplo de Programação Dinâmica Se p w < 1/2: a probabilidade de perder o jogo é maior do que ganhar, não importando o estilo escolhido A probabilidade dele vencer a partida com a estratégia ótima é < 50%? Região do par (p w, p d ) na qual o jogador tem mais de 50% de chances de vitória da partida R = {(p d, p w ) J 0 (0) = p w (p w + (p w + p d )(1 p w )) > 1/2} Se p w = 0, 45 e p d = 0, 9 então J 0 (0) = 0, 53

30 Exemplo de Programação Dinâmica O jogador utiliza a informação do placar atual (realimentação), enquanto que o oponente não tem esta opção. Valor da informação: redução do custo total quando se utiliza realimentação do estado (informação do estado) Vamos calcular a probabilidade de vitória utilizando as políticas de malha aberta

31 Exemplo de Programação Dinâmica

32 Exemplo de Programação Dinâmica 1) Defensivo no dois jogos: p 2 d p w 2) Ofensivo nos dois jogos: p 2 w + p 2 w(1 p w ) = p 2 w(2 p w ) 3) Ofensivo no primeiro e defensivo no segundo: p w p d + p 2 w(1 p d ) 4) Defensivo no primeiro e ofensivo no segundo: p w p d + p 2 w(1 p d ) A primeira estratégia é dominada pelas outras Probabilidade de vitória em malha aberta = max[p 2 w(2 p w ), p w p d + p 2 w(1 p d )] = p 2 w + p w (1 p w )max[p w, p d ]

33 Exemplo de Programação Dinâmica Assumindo p d > p w Probabilidade de vitória em malha aberta = p w p d + p 2 w(1 p d ) Estratégia: jogar ofensivo em um jogo e defensivo no outro Para p w = 0, 45 e p d = 0, 9, probabilidade de vitória = 0, 425 Valor da informação = 0, 53 0, 425 = 0, 105

34 Exercícios da lista 2 4.1) Utilizar J N (x N, y N ) = x T N Q Nx N J k (x k, y k ) = min uk U k (x k )E wk {g k (x k, u k, w k )+ m i=1 p ij k+1 (f k (x k, u k, w k ), i) y k } Achar u N 1 (x N 1 ) e substituir em J N 1 (x N 1, y N 1 ) Escrever J N 1 (x N 1, y N 1 ) como J N 1 (x N 1, y N 1 ) = x T N 1 K N 1x N 1 + x T N 1 b N 1(y N 1 ) + c N 1 (y N 1 )

35 Exercícios da lista 2 Achar u k (x k ), considerando J k+1 (x k+1, y k+1 ) = x T k+1 K k+1x k+1 + x T k+1 b k+1(y k+1 ) + c k+1 (y k+1 ) 5.1) Definir y n = x N y k = x k + A 1 k w k + A 1 k A 1 Verificar que y k+1 = A k y k + B k u k k+1 w k A 1 k...a 1 N 1 w N 1

36 Mostrar que J = x T N Qx N + N 1 k=0 = y T 0 K 0 y 0 + N 1 k=0 ( u T k R k u k ) Exercícios da lista 2 ( y T k+1 K k+1 y k+1 y T k K ky k + u T k R ku k ) = y T 0 K 0 y 0 + N 1 k=0 (u k Lk) T P k (u k L k y k )