Jogos diferenciais estocásticos: controle e parada ótimos

Transcrição

1 Universidade Federal da Paraíba Cenro de Ciências Exaas e da Naureza Programa de Pós Graduação em Maemáica Mesrado em Maemáica Jogos diferenciais esocásicos: conrole e parada óimos Alan Teixeira Nicácio de Messias João Pessoa PB Agoso de 218

2 Universidade Federal da Paraíba Cenro de Ciências Exaas e da Naureza Programa de Pós Graduação em Maemáica Mesrado em Maemáica Jogos diferenciais esocásicos: conrole e parada óimos por Alan Teixeira Nicácio de Messias sob a orienação do Prof. Dr. Albero Masayoshi Faria Ohashi João Pessoa PB Agoso de 218

3

4

5 Volei-me, e vi debaixo do sol que não é dos ligeiros a carreira, nem dos fores a baalha, nem ampouco dos sábios o pão, nem ampouco dos prudenes as riquezas, nem ampouco dos enendidos o favor, mas que o empo e a oporunidade ocorrem a odos. Eclesiases 9:11

6 Agradecimenos Agradeço em primeiro lugar a meu Deus, pela finalização bem sucedida de mais uma eapa de minha vida. Agradeço muio a meu orienador, pois me orienou não apenas nessa disseração mas na vida profissional e carreira acadêmica; agradeço ambém pelas conversas, nos fins das reunões, sobre economia brasileira, siuação fiscal do esado brasileiro e a nova crise financeira mundial em curso (suspeio que eses emas enham me feio parecer meio paranóico não só à meu orienador mas ao deparameno em geral). E como menssagem a odos aqueles que querem ser pesquisadores, que querem maner a chama do desejo pela pesquisa acesa eu digo: sempre manenham em suas menes pergunas as quais vocês queiram realmene ober a resposa.

7 Resumo Nese rabalho analisamos um jogo diferencial esocásico de soma-zero nõ Markoviano, aravés da eoria dos maringales. Há dois jogadores, chamados conroller e sopper, que conrolam o jogo aravés de conroles esocásicos, chamadas esraégias e empos de parada respecivamene. Nosso objeivo é provar: que para cada insane de empo o jogo em um valor e que o jogo em um pono de cela. Ese rabalho é baseado no arigo de Ioannis Karazas e Ingrid-Mona Zamfirescu [1. Palavras-chave: pono de cela, processo de valor do jogo, maringales.

8 Absrac In his work, we analyze a zero-sum non-markovian sochasic differenial game via maringale mehods. The sochasic game consiss of wo players, namely he conroller and sopper which keep rack he game via sochasic conrols summarized by sraegies and sopping imes respecively. Our main goal is o prove he game has a value and i admis a saddle poin. Our work is based on Karazas & Ingrid-Mona Zamfirescu s paper [1. Keywords: saddle poin, game s value process, maringales.

9 Coneúdo Inrodução 1 1 O que esudamos Jogo Diferencial Esocásico O Problema de Oimização e a função Hamiloniana Exemplo de aplicação O jogo O modelo (o abuleiro, as peças e as regras ) Como funciona o jogo (como jogar) Dividir e conquisar O valor do jogo Vamos jogar Enconrando os ponos de cela Caracerização Oimizando o conrole O equilíbrio do jogo A Resulados Usados 4 Referências Bibliográficas 45 ix

10 Noações A seguir, lisamos algumas noações uilizadas nese rabalho. Dado R para cada ω Ω, lim inf s na equação a b = max{a, b}; J(s, τ) = lim inf J(s, τ). Aqui J(s, τ) é como s Q,s a b = min{a, b}; X = n X n q.c. significa X X n q.c. e lim n X n = X q.c.; Seja D um espaço qualquer, B(D) é a sigma-álgebra de Borel de D. x

11 Inrodução A pesquisa moderna em eoria dos jogos começa com o arigo de Von Newman de 1928 sobre soluções de jogos de soma zero [17. O rabalho de Newman com jogos de soma zero culminaria no livro Theory of Games and Economic Behavior [18, escrio em 1944 em parceria com o economisa Oskar Morgensern. Aé o fim dos anos 4 os avanços na eoria haviam focado apenas em jogos de soma zero com dois jogadores, mas em 195 John Forbes Nash demonsrou em sua ese de douorado [19 que qualquer jogo, não necessariamene de soma zero, com uma quanidade finia qualquer de jogadores e com uma mariz de payoffs em um equilíbrio de Nash. Porém, aé esse momeno os jogos esudados inham um número finio de esraégias para cada jogador, além de que odo o ambiene era discreo: esraégias, payoffs, o funcionameno do jogo, ec. As pesquisas em jogos diferenciais êm início com o rabalho de Rufus Isaacs enquano rabalhava para RAND Corporaion. Esses primeiros esudos apareceram em memorandos da RAND em 1951 [6. Os primeiros problemas esudados foram problemas do ipo perseguidor-evasor, o ineresse na época era a aplicação no desenvolvimeno de sisemas e méodos de defesa de mísseis. Também nesse momeno a pesquisa em eoria do conrole óimo esocáico esava surgindo com os rabalhos Lev Ponryagin [8 e Richard Bellman [9 Nos anos 6 começam as pesquisas em eoria dos jogos diferenciais esocásicos sendo um dos primeiros rabalhos feio por Yu-Chi Ho em 1966 [7. O rabalho analisa esraégias e manobras de evasão de aeronaves e écnicas de guiameno de mísseis. A aplicabilidade dos jogos diferenciais esocásicos e da análise de conrole óimo esocásico alcançou diversas áreas de pesquisa sendo a área de Quaniaive Finance uma das que recebeu mais conribuições. Um dos primeiros problemas resolvidos uilizando-se desas eorias foi o problema de oimização de porifóleo de Meron em 1969 [2. Nese rabalho fazemos uma profunda e dealhada análise do arigo [1. Nese o auor consroi um jogo diferencial esocásico de soma zero não-markoviano, repesenado por seu esado (X ) T, a parir de uma equação diferencial esocásica uilisando-se do eorema de Girsanov A.7 no apêndice. Nese jogo há dois jogadores, conroller e sopper, os quais exercem conrole sobre o jogo a parir de processos chamados 1

12 esraégias e regras de parada. Daí seguimos para dois problemas formulados sobre o processo de valor do jogo V (), cujas as soluções são os objeivos do arigo. Os problemas são provar que V () exise para odo e que o jogo em um pono de cela. O exo esá organizado da seguine maneira: Capíulo 1: É apresenado o ipo de problema raado na eoria dos jogos diferenciais esocásicos; Capíulo 2: É apresenado o modelo de jogo sobre o qual desenvolvemos ese rabalho; Capíulo 3: Capíulo 4: É feia a análise do processo de valor do jogo; É consruido um pono de cela para o jogo; Apêndice (Resulados Usados): Uma lisa de resulados uilizados ao longo do rabalho. Como pré-requisios para ese rabalho recomendamos que o leior eseja familiarizado com a eoria das probabilidades e que conheça um pouco da eoria dos maringales e Cálculo de Iô; como referências indicamos [4, [22 e [5. 2

13 Capíulo 1 O que esudamos Na eoria dos jogos diferenciais não exisem definições e resulados gerais para odos os modelos de jogos. Há, no máximo, alguns conceios em comum aos modelos. Por iso, nese capíulo não emos a inenção de razer uma inrodução resumida da eoria, nem apresenar resulados de coneúdos preliminares, mas apenas fornercer ao leior uma pequena visão do que é feio na eoria: análise de modelos de jogos. Devido a iso não escolhemos para o íulo do capíulo ermos usuais como Preliminares. Vamos descrever o modelo de jogo apresenado nos capíulos 3 e 5 de [2, escolhemos ese modelo por ser simples e por apresenar vários dos conceios em comum com ouros modelos de jogos. Para o leior ineressado em conhecer ouros ipos de jogos diferenciais recomendamos [ Jogo Diferencial Esocásico Considere um movimeno Browniano m dimensional W = (W ) T, sobre um espaço de medida (Ω, F, P), equipado com a filragem F = (F ) T gerada pelo movimeno Browniano. Tome A um espaço mérico compaco e A sua σ-álgebra de Borel, chamaremos A o conjuno de ações do jogador. Considere b : [, T Ω R n A R n e σ : [, T Ω R n A R n R m sasifazendo as seguines propriedades: 1. b e σ são P B(R m ) A mensuráveis, onde P é a σ-álgebra dos subconjunos de [, T Ω F-progressivamene mensuráveis, 2. C > al que (b, σ)(, ω, x, α) (b, σ)(, ω, x, α) C x x, [, T ; ω Ω; x, x R n ; α A 3

14 1. O que esudamos 3. Para cada x R n e α A, E[ T b(, x, α) 2 ds < e E[ T σ(, x, α) 2 ds <. O processo σ é chamado volailidade e b drif, nas relações acima consideramos σ um veor. As esraégias admissíveis são processos da forma α = (α) T que omam valores em A e saisfazem: 1. α é P-mensurável, 2. E[ T b(,, α ) 2 d + σ(,, α ) 2 d <. O conjuno de esraégias admissíveis será denoado por A. Chamaremos de esado do jogo com apenas um jogador ao processo de Iô X = (X ) T, com X R n, saisfazendo { dx = b(, X, α )d + σ(, X, α )dw, X = x R d. (1.1) Esa equação diferencial esocásica é chamada dinâmica do esado do jogo. Por A.1 no apêndice, para cada esraégia admissível α exise um único processo X = (X ) T que saisfaz (1.1). Suponha agora que há k jogadores. Os processos da forma α = (α 1,..., α k ), onde α i é uma esraégia admissível para o jogador i, são chamados perfis de esraégias admissíveis. Nese caso consideramos A = A 1... A k e A = A 1... A k. Dado o perfil de esraégia α = (α 1,..., α k ), quando escrevemos (α i, β i ) esamos indicando o mesmo perfil de esraégia mas com a i-ésima esraégia admissível rocada pela esraégia admissível β i. Analogamene para a k-upla de ações (α 1,..., α k ). Para cada jogador i emos um movimeno Browniano W i = (W i ) com W i R m i, um drif b i : [, T R m A i R m i e uma volailidade σ i : [, T R m A i R m2 i, m = m m k. Além disso o esado do jogo é dada pelo processo de Iô X = (X 1,..., X k ), com X R m, e X = (x 1,..., x k ), al que dx i = b i (, X, α i )ds + σ i (, X, α)dw i i é a dinâmica do esado do jogo para o jogador i. Uilizando a noação de marizes podemos escrever X 1 W 1 b 1 (, x, α) X =., W =., b(, x, α) =. e X k W k b k (, x, α) σ 1 (, x, α)... σ 2 (, x, α)... σ(, x, α) = σ k (, x, α) 4

15 1. O que esudamos sendo a úlima mariz uma mariz de blocos. Daí, dx = b(, X, α)d + σ(, X, α)dw. 1.2 O Problema de Oimização e a função Hamiloniana Sejam g : Ω R n R limiada e F T B(R n ) mensurável e f : [, T Ω R n A R uma função que saisfaz as mesmas condições do drif b. Chamaremos g(x T ) de cuso erminal e f de cuso correne. Para cada α A, definimos o cuso funcional para um jogo de um único jogador como sendo [ T J(α) = E f(, X, α )d + g(x T ). (1.2) O objeivo do jogador é minimizar J. Em um jogo com um único jogador, o problema de minimizar J é um problema de conrole óimo esocásico. No caso de k jogadores emos para cada jogador i = 1,..., [ k um cuso erminal g i (X T ), um cuso correne f i e um cuso funcional J i T (α) = E f i (, ω, X, α )d + g i (X T ). Definição 1.1. Um jogo com dois jogadores é dio ser de soma zero se J 1 (α) = J 2 (α) para odo perfil de esraégia α A. Nese caso escrevemos J := J 1 como o cuso funcional do jogo. Definição 1.2. Um perfil de esraégia α = (α,1,..., α,n ) é dio ser um equilíbrio de Nash para o jogo se para odo i e para odo α i A i J i (α ) J i (α, i, α i ). Ou seja, um perfil de esraégia é um equilíbrio de Nash se nenhum jogador se beneficia mudando de esraégia individualmene. Definição 1.3. Dados a volailidade σ e o drif b do esado (X ) T de um jogo, podemos definir um ipo de função, chamada função Hamiloniana, da seguine maneira H : [, T Ω R n R n R n m A R dada por H(, ω, x, y, z, α) = σ(, ω, x, α) z + b(, ω, x, α), y + f(, ω, α). Onde f é o cuso correne, σ e z são marizes n m, a operação é dado por r[σ(, ω, x, α) z e a operação em, é o produo inerno euclidiano de R n. No caso paricular em que apenas o drif depende das ações do jogador a Hamiloniana é dada por H(, ω, x, y, α) = b(, ω, x, α)y + f(, ω, x, α) 5

16 1. O que esudamos Definição 1.4. Dado o cuso funcional J de um jogo de dois jogadores de soma zero, definimos o valor superior e o valor inferior do jogo como sendo respecivamnee. V = inf α A 1 sup β A 2 J(α, β) V = sup β A 2 α A inf J(α, β) Exemplo de aplicação Quaniaive Finance é uma área de conhecimeno onde podemos enconrar uma grande quanidade de problemas cujas soluções provem da eoria de conrole esocásico e da eoria dos jogos. São vários os ipos de problemas: minimização de riscos, maximização de uilidades, precificação, consrução de hedge, ec. Apresenaremos, de modo resumido e sem solução, um problema clássico. O problema de porifólio de Merron (Exemplo 3.2 do capíulo 2 de [1) Ese foi um dos primeiros problemas de finanças solucionado com o emprego de conrole esocásico. Ele foi apresenado e solucionado em 1969 pelo economisa Rober C. Meron. O problema raa da oimização de invesimenos em asses. sock: qualquer posse com valor com a qual o propieário espera ober algum benefício, por exemplo ações de empresas. Suponha que em um mercado há n + 1 asses sendo negociadas no inervalo de empo [, T, as asses 1,..., n são chamadas socks, o preço do i-ésimo sock é dado pela equação diferencial esocásica seguine: { dpi () = P i (){b i ()d + σ i (), W () }, P i () = P i () >. [, T Onde b i : Ω [, T R, b i () >, é chamada axa de apreciação e σ i : Ω [, T R m é a volailidade do sock e W : Ω [, T R m é um movimeno browniano. Todos eses processos esão definidos em um espaço de probabilidade (Ω, F, (F s ) s T ) e são adapados a (F s ) s T. A presença do movimeno browniano simboliza a aleaoriedade dos preços dessas asses e por isso elas são consideradas arriscadas. A -ésima asse é chamada bond, ela é a única que não raz risco e seu preço é dada pela seguine equação diferencial esocásica: { dp () = r()p ()d, P () = x > q.c. [, T. A cada insane [, T um invesidor em uma riqueza X() disribuida nas asses n e, para cada i, uma quanidade N i () da asse i. Assim X() = N i ()P i () e sua 6 i=

17 1. O que esudamos riqueza invesida na asse i é dada por u i () = N i ()P i (). O porifólio do invesidor é o processo veorial u() = (u (),..., u n ()). Suponha que exise uma axa de reirada, c(), de recursos desses invesimenos para consumo. Temos enão o seguine problema, o invesidor deve escolher um porifólio u() e uma axa de reirada c() de modo que X() > e que [ T J(u, c) = E exp γ φ(c())d + exp γt h(x(t )). seja máxima. Aqui φ(c()) é a uilidade insaânea pelo consumo c() e exp γt h(x, T ) é a uilidade desconada. 7

18 Capíulo 2 O jogo 2.1 O modelo (o abuleiro, as peças e as regras ) Considere Ω = (C[, T, R n ), o espaço das funções conínuas de [, T em R n a medida de probabilidade de Wiener P. Tome enão sobre o espaço (Ω, P) o movimeno browniano padrão W = (W ) T dado por W (, ω) = ω() e a filragem (F W ) T gerada pelo movimeno browniano. Escrevemos F = (F ) T para a filragem P aumenada de (F W ) T e ω := sup ω(s), ω Ω, T. A.2 no s apêndice garane que W ainda é movimeno browniano sobre F. Aqui, P é a σ álgebra de [, T Ω dos subconjunos previzíveis. S será o conjuno de aplicações mensuráveis da forma τ : Ω [, T ais que {τ } F, T, chamadas regras de parada. Perceba que se [, T enão S. Dadas duas regras de parada ν, τ ais que ν τ q.c. denoamos por S ν,τ conjuno de regras de parada ρ ais que ν ρ τ q.c. A volailidade será uma aplicação σ : [, T Ω M(R n, R n ), onde M(R n, R n ) é o espaço das marizes n n, P mensurável e al que para odo (, ω) [, T Ω σ(, ω) seja não-singular. Além disso vamos exigir o seguine: e o C > al que σ i,j (, ω) σ i,j (, ω) C ω ω, [, T ; ω, ω Ω (, ω) [, T Ω, (σ) 1 (, ω) C. Aqui (σ) 1 (, ω) é a inversa de (σ)(, ω) (aqui omamos a mariz como um veor e a norma euclideana). Sob esas hipóeses e por A.3 no apêndice exise uma única 8

19 2. O jogo solução, X = (X ) T, para a seguine equação diferencial esocásica, { dx = σ(, X)dW, X = x R n ; T. (2.1) Além disso, a filragem P aumenada naural gerada por X coincide com F. O conjuno de esraégias admissíveis, as quais chamaremos apenas de esraégias, é A e as esraégias são processos do ipo α : [, T Ω A. Onde A é um espaço mérico separável e união enumerável de subconjunos não vazios compacos sobre o qual esá definida a σ álgebra A de Borel. Assumimos que o drif b : [, T Ω A R n é P A mensurável e saisfaz o seguine: K > al que (, ω, α) [, T Ω A, b(, ω, x, α) K(1 + ω ); Para cada α A, (, ω) b(, ω, α) é previzível. Pelas hipóeses assumidas e por A.4 no apêndice concluimos que, para cada α A, o processo exponencial Λ α [ = exp σ 1 (s, X)b(s, X, α ), dw s 1 2 σ 1 (s, X)b(s, X, α s ) 2 ds ; T. (2.2) é um maringale. Além disso podemos definir uma medida de probabilidade P α como: P α (B) := E[Λ α T 1 B, B F T. Porano, pelo eorema de Girsanov (A.7 no apêndice), W α = W + é um movimeno Browniano na medida P α adapado à F. Porano, por (2.1) e (2.3) chegamos a X = x + b(s, X, α s )ds + σ 1 (s, X)b(s, X, α s ) ; T. (2.3) σ 1 (s, X)dW α s T. (2.4) Ese será o nosso processo de esado do jogo. Noe que as esraégias não inerferem na volailidade. 9

20 2. O jogo 2.2 Como funciona o jogo (como jogar) Vamos exigir que o cuso correne f : [, T Ω A R saisfaça as mesmas propriedades do drif b exceo que f(, ω, α) K. O cuso erminal será dado por g : R n R limiada e conínua. O jogo funciona da seguine maneira: o jogador conroller escolhe uma esraégia admissível α e daí o jogador sopper escolhe uma regra de parada τ, enão o sopper recebe do conroller uma quania Y α (τ) Y α (, τ), onde Y α (, τ) := g(x τ ) + τ f(s, X, α s )ds; τ S,T. (2.5) Obs.: quando escrevemos esamos nos referindo à uma regra de parada, a qual não é necessariamene deerminísica. Por ouro lado, quando escrevemos esamos nos referindo à um pono do inervalo [, T. Definição 2.1. O valor superior e o valor inferior do jogo são, respecivamene: V := inf V := sup τ S sup α A τ S E α [Y α (τ). (2.6) inf α A Eα [Y α (τ). (2.7) Perceba que, por g, f serem limiadas os valores são finios. Podemos checar facilmene, usando redução ao absurdo por exemplo, que V V. Se V = V enão dizemos que o jogo em um valor o qual denoamos por V = V = V. O objeivo do conroller é minimizar E α [Y α (τ) enquano que o sopper quer maximizar. Podemos pensar as regras de parada como sendo um ipo de esraégia, definirmos J 1 (α, τ) = J(α, τ) = E α [Y α (τ), J 2 (α, τ) = J(α, τ) e definirmos J 1 e J 2 como sendo os cusos funcionais do conroller e do sopper respecivamene. Dessa forma emos um jogo com dois jogadores e de soma zero semelhane ao apresenado no capíulo 1. Definição 2.2. Um par (α, τ ) é dio ser pono de cela se E α [Y α (τ) E α [Y α (τ ) E α [Y α (τ ) (α, τ) A S. Noe que os ponos de cela funcionam como equilíbrios de Nash, pois se (α, τ ) é pono de cela enão J 1 (α, τ ) = E α [Y α (τ ) E α [Y α (τ ) = J 1 (α, τ ) e J 2 (α, τ ) = E α [Y α (τ ) E α [Y α (τ) = J 2 (α, τ) Lema 2.1. Se exise um pono de cela enão o jogo em um valor. 1

21 2. O jogo Demonsração. Seja (α, τ ) pono de cela, se por absurdo ivéssemos inf sup α A τ S E α [Y α (τ) > sup inf τ S α A Eα [Y α (τ), enão para alguma β A inf sup E α [Y α (τ) > E β [Y β (τ ). Daí, α A τ S para algum τ S E α [Y α (τ) > E α [Y α (τ ), uma conradição. No úlimo capíulo mosraremos que, com algumas poucas hipóeses a mais sobre o drif e o cuso funcional, o jogo em um pono de cela. Por A.5 no apêndice emos E α [Y α (, τ) F = E[Y α (, τ)λ α () F. Ou seja, podemos escrever cada esperança condicional sobre uma única medida de probabilidade (P), porano faz E[Λ α () F senido definirmos o seguine. Definição 2.3. O processo de valor inferior e o processo de valor superior são definidos, respecivimene, por: V () = ess sup ess inf τ S α A Eα [Y α (, τ) F. (2.8),T V () = ess inf α A ess sup E α [Y α (, τ) F. (2.9) τ S,T Como F W = {, Ω} e como a diferença enre F W e F são subconjunos de Ω de medida de Wiener nula enão, quase ceramene, E α [Y α (, τ) F = E α [Y α (, τ) F W = E α [Y α (, τ). Porano, quase ceramene, V () = V e V () = V (). Como g(x ) é F -mensurável enão g(x ) = E α [g(x ) F q.c. para oda a esraégia α A. Temos ambém que g(x ) = g(x ) + f(s, X, α s)ds para oda esraégia α, logo g(x ) = E α [g(x )+ f(s, X, α s)ds F = E α [Y α F q.c. para oda esraégia α A. Porano g(x ) = ess inf α A Eα [Y α (, ) F q.c. e ambém g(x ) V () q.c.. Além disso, podemos facilmene verificar que V () V () q.c Dividir e conquisar Como os ponos de cela são ponos de oimização de um processo que envolve a escolha de esraégias e empos de parada, uilisaremos como meodologia para enconrarmos um pono de cela algo semelhane aquilo que na heurísica é chamada divide and conquer. Vamos começar a raar o problema a parir de duas perspecivas diferenes: conrole óimo esocásico e empo de parada óimo. Ao fim do rabalho o leior verá que o problema original será resumido a um problema de conrole óimo. Definição 2.4. Definimos um inervalo esocásico como sendo [[, τ := {(s, ω) [, T Ω; (ω) s τ(ω)}. (2.1) 11

22 2. O jogo Lembre que sobre o espaço [, T Ω esamos considerando a σ-álgebra dos conjunos P mensuráveis. Esamos ambém considerando como medida de probabilidade nese espaço a medida produo L P, onde L é a medida de probabilidade de Lebesgue do inervalo [, T. Dada uma regra de parada S definimos para cada τ S,T o cuso mínimo condicional esperado como sendo J(, τ) = ess inf α A Eα [Y α (, τ) F. (2.11) Noe que V () = ess sup J(, τ). τ S,T A Proposição a seguir é um resulado clássico, por isso não vamos prová-la aqui. Porém, logo a seguir o enunciado faremos uma pequena consideração sobre ela. O leior ineressado pode enconrar a prova original, em [14. Proposição 2.2. Para cada α A o processo é um P α submaringale Ψ(, τ) := J(, τ) + f(s, X, α s )ds. (2.12) Dado [, T seja A [,T a resrição de A ao inervalo [, T (esraégias admissíveis resrias ao inervalo [, T ). A aplicação da proposição acima depende de que para cada [, T a família {E α [Y α (, τ) F, α A [,T } enha a seguine propriedade: Definição 2.5. Uma família (X i ) i I em a propriedade laice se para odo par de índices i, j I exise um índice k I al que X k X i X j q.c. Vamos enão provar a propriedade laice. Proposição 2.3. Para cada [, T a família {E α [Y α (, τ) F, α A [,T } em a propriedade laice. Demonsração. Sejam α, β A [,T. Tome enão B = {ω; E α [Y α (, τ) F E β [Y β (, τ) F }. Defina γ(s, ω) = { α(s, ω) se ω B, β(s, ω) se ω B c. Temos E γ [Y γ (, τ) F E α [Y α (, τ) F E β [Y β (, τ) F. Para cada esraégia α A definimos a recompensa máxima condicional esperada como sendo Z α () := ess sup E α [Y α (, τ) F, S. (2.13) τ S,T 12

23 2. O jogo que pode ser obida pelo jogador sopper de em diane. Bem como o cuso acumulado Q α () := Z() + f(s, ω, α s )ds. (2.14) Perceba que V () = ess inf α A Zα () e que Z α () Y α (, ) = g(x ). Vamos agora proceder para mosrar que V () se compora como um limie. Definição 2.6. Dada α A, como os processos g(x s ) s, Z(s) s são adapados enão para cada S e ɛ > definimos a seguine regra de parada τ α (ɛ) := inf{s [, T : g(x s ) Z α (s) ɛ}, τ α := τ α (). Noe que para cada S e ω Ω, T perence ao conjuno {s [, T : g(x s ) Z α (s) ɛ}, ɛ >. Além disso, [, T é limiado enão esas regras de parada esão bem definidas. Definição 2.7. Dado um processo adapado e conínuo a direia (Z ) que saisfaz Z para odo e E[sup Z <. Seja U = ess sup τ S [, ) E[Z τ F. O envelope Snell de Z = (Z ) é a modificação conínua a direia de U = (U ). Precisaremos ambém dos dois seguines resulados clássicos que podem ser enconrados em [15 no apêndice D. Proposição 2.4. Para cada α A o processo (Q α (s)) s T é P α supermaringale, càdlàg e o menor supermaringale que majora Y α ( ), ou seja, é envelope Snell de Y α ( ). Proposição 2.5. Para quaisquer regras de parada, ν, θ com ν θ τ α emos E α [Q α (θ) F ν = Q α (ν) q.c.; em parircular Q α ( τ α ) é P α maringale. Além disso Z α () = E α [Y α (, τ α ) F q.c. Um lema que ambém nos será muio úil é o seguine: Lema 2.6. Suponha que, θ são regras de parada ais que θ T. Dadas α, β A i ) Se α = β em quase odo pono de [[, θ enão para qualquer variável aleaória Ξ limiada e F θ -mensurável, E α [Ξ F = E β [Ξ F q.c. Além disso se = θ enão E α [Ξ = E β [Ξ. 13

24 2. O jogo ii ) Dado B F, se α = β em quase odo pono de {(r, ω); (ω) r θ(ω), ω B}, enão a equação de (i) vale em B. Demonsração. i) A parir de (2.2) definimos Λ α (, θ) := Λα (θ) Λ α (). Sabemos que Q definida por dq = Λ α T dp é uma medida de probabilidade equivalene a P. Além disso Q definida por dq = Λ α dp é a resrição de Q a F. Seja A F, A E α [Λ α (, θ) F dq = Λ α θ = dq = A Λ α A Λ α θ A Λ α [ Λ E α α [ θ Λ F Λ α dq = E α α θ F A Λ α dq = Λ α dp = Λ α θ dp = 1dQ θ = 1dQ. Logo, pela definição de esperança condicional E α [Λ α (, θ) F = 1 q.c. Por A.5 no apêndice emos: E α [Ξ F = E[Λα (θ)ξ F E[Λ α (θ) F A = Λα ()E[Λ α (, θ)ξ F Λ α ()E[Λ α (, θ) F = E[Λ β (, θ)ξ F = Λβ ()E[Λ β (, θ)ξ F Λ β ()E[Λ β (, θ) F A = E[Λβ (θ)ξ F E[Λ β (θ) F A = E[Λ α (, θ)ξ F = = E β [Ξ F. A erceira igualdade acima é verdadeira por que α = β em quase odo pono sobre [[, θ. Daí concluimos ambém que se = θ enão E α [Ξ = E β [Ξ. ii) Prova-se de maneira semelhane. Fixemos ν A e denoemos por V [,θ o conjuno de esraégias α ais que ν = α em [[, θ. Observe que por (2.5) e (2.13) Z α (θ) independe dos valores que α oma em [[, θ. Logo, dada uma esraégia qualquer α A podemos consruir uma esraégia β al que Z β (θ) = Z α (θ) q.c., basa omar γ V [,θ qualquer e fazer β = γ [[,θ +α [[θ,t. Por isso a seguine igualdade é verdadeira: V (θ) = ess inf α A Zα (θ) = ess inf α V [,θ Z α (θ). (2.15) Lema 2.7. Para cada θ S, dadas α, β V [,θ exise γ V [,θ al que Z γ (θ) = Z α (θ) Z β (θ). Demonsração. Considere o eveno A = {Z α (θ) Z β (θ)} F θ e defina a esraégia α e a regra de parada τ θ α = como seguem { ν(s, ω), se s θ(ω) α(s, ω) 1 A + β(s, ω) 1 A c, se θ(ω) s T. 14

25 2. O jogo τ θ = τ α θ 1 A + τ β θ 1 A c. Temos quase ceramene o seguine: Z α (θ) = E α [Y α (θ, τθ α ) F θ = E α [Y α (θ, τθ α ) F θ 1 A + E β [Y β (θ, τθ α ) F θ 1 A c Z α (θ) 1 A + Z β (θ) 1 A c = E α [Y α (θ, τ α θ ) F θ 1 A + E β [Y β (θ, τ β θ ) F θ 1 A c = = E α [Y α (θ, τ α θ ) F θ 1 A + E α [Y α (θ, τ β θ ) F θ 1 A c = E α [Y α (θ, τ θ) F θ Z α (θ). (2.16) Pela Proposição 2.5 a primeira igualdade de (2.16) é verdadeira. A primeira desigualdade de (2.16) segue de (2.13) seguida da aplicação de da Proposição 2.5. Pelo Lema 2.6 a quara igualdade de (2.16) é verdadeira e a quina igualdade segue da definição de τ θ. Como Zα (θ) 1 A + Z β (θ) 1 A c = Z α (θ) Z β (θ) q.c. o resulado segue. Noe que acabamos de provar que para cada θ S a família {Z α (θ), α V [,θ } em a propriedade laice. Por isso o seguine Lema é verdadeiro. Lema 2.8. Para cada θ S exise uma sequência decrescene (Z αn (θ)) n N al que V (θ) = n Z αn (θ) q.c. (2.17) A prova dese lema é análoga à prova de A.6 no apêndice, apenas com uma pequena adapação. A demonsração é basane simples mas uiliza um ouro eorema não apresenado aqui. Para não adicionarmos ao rabalho resulados não essênciais não vamos prová-lo. 15

26 Capíulo 3 O valor do jogo Como a exisência de ponos de cela se caracerizam pela iguadade V () = V () enão nossos dois objeivos esão relacionados aos processos de valor do jogo. Porano parece sensao começarmos o rabalho a parir deles. Nese capíulo faremos uma ampla análise desses processos, esudaremos suas propriedades e consruiremos ouras ferramenas e resulados a parir delas os quais nos ajudarão a caracerizar e a enconrar os ponos de cela. O dois primeiros resulados são os principais do capíulo. A grande quanidade de resulados apresenados a seguir pode ser um pouco cansaiva de se analisar, mas isso não deve desanimar o leior quano ao esudo do jogo. Pois lembre-se que esamos aprendendo como o jogo funciona e, como em odo o jogo com nível de complexidade considerável, er paciência é essencial para aprender a jogar bem. 3.1 Vamos jogar Nesa seção vamos alcançar um dos nossos objeivos: para odo θ S V (θ) = V (θ). Como viso no capíulo anerior, para cada θ S exise uma sequência (Z αn (θ)) n N, com (α n ) n N em V [,θ, al que V (θ) = n Z αn (θ) q.c. Dada θ S considere a sequência de regras de parada (τθ αn ) n N (como anes, esão bem definidas) dadas por τ αn θ := inf{s [θ, T ; g(x s ) = Z αn (s)}. Como Z αm (s) Z αn (s) q.c., se n m, enão por definição τθ αm τθ αn q.c., daí a sequência de regras de parada acima definida é decrescene. Logo, esá bem definida q.c. a seguine regra de parada em S [θ,t : τ θ := n τ αn θ. (3.1) 16

27 3. O valor do jogo Como θ τθ αn q.c. enão, para odo n, τθ inf{s [τθ, T ; g(x s) = Z αn (s)} q.c.. Se, por absurdo, τθ αn < inf{s [τθ, T ; g(x s) = Z αn (s)} em algum B Ω de medida de Wiener não nula enão para cada ω B exisiria r [τθ (ω), T al que τθ αn (ω) τθ (ω) < r < inf{s [τθ (ω), T ; g(x s) = Z αn (s)} com g(x r ) = Z αn (r), conradição. Logo τθ αn = inf{s [τθ, T ; g(x s) = Z αn (s)} q.c. Assim, os valores das esraégias admissíveis α n sobre o inervalo [[, τθ são irrelevanes para o cálculo de τθ αn. Enão, fixado ν A, do mesmo modo que para V [,θ, exise uma sequência (α k ) k N em V [,τ θ de esraégias admissíveis que coincidem com ν no inervalo [[, τθ para a qual (3.1) vale. Teorema 3.1. Para odo θ S S e θ S,T emos V (θ) = V (θ) q.c. De um modo mais geral, para odo ess inf α A ess sup τ S θ,t E α [Y α (, τ) F = ess sup ess inf τ S θ,t α A Eα [Y α (, τ) F q.c. (3.2) Demonsração. Já sabemos que V (θ) V (θ) q.c., vamos enão mosrar a desigualdade inversa. Fixemos ν A e omemos uma sequência (α n ) V,τ θ Pela Proposição 2.5 al que (3.1) vale. daí, Z αn (θ) = E αn [Y αn (θ, τ αn θ ) F θ q.c. = E [ V (θ) E αn [Y α (θ, τ αn θ ) F θ = E[Λ αn (θ, τ αn θ Λ ν (θ, τθ )Λ αn (τθ, τθ αn ){Y ν (θ, τθ ) + g(x α n ) g(x τ θ τ θ ) + θ )Y αn (θ, τθ αn ) F θ = τ α n θ τ θ f(s, X, α n s )} F θ (3.3) A primeira igualdade de (3.3) segue da demonsração do Lema 2.6. Para a segunda igualdade noe o seguine exp [ τ θ exp [ τ α n θ τ θ θ Λ ν (θ, τθ )Λ αn (τθ, τ αn θ θ ) = σ 1 (s, X, ν s )b(s, X, ν s ), dw s 1 τ θ σ 1 (s, X, ν s )b(s, X, ν s ) 2 ds 2 σ 1 (s, X, α n s )b(s, X, α n s ), dw s 1 2 θ τ α n θ τ θ σ 1 (s, X, α n s )b(s, X, α n s ) 2 ds (3.4) Como α n coincide com ν no inervalo [[θ, τ θ enão o processo (ν s) s no primeiro q.c. q.c. 17

28 3. O valor do jogo processo exponencial de (3.4) pode ser subsiuido por (α n s ) s. Ficamos enão com = exp [ τ α n θ θ Λ ν (θ, τθ )Λ αn (τθ, τθ αn ) = σ 1 (s, X, ν s )b(s, X, α n s ), dw s 1 2 τ α n θ = Λ αn (θ, τ αn θ ) q.c. θ σ 1 (s, X, ν s )b(s, X, α n s ) 2 ds Como σ 1 é limiada, pelo eorema da convergência limiada podemos omar o limie quando n em (3.3) e ficamos com = V (θ) E[Λ ν (θ, τ θ )Y ν (θ, τ θ ) F = E ν [Y ν (θ, τ θ ) F q.c. (3.5) Perceba que ν A foi omado arbirariamene, logo podemos omar o ínfimo na úlima igualdade de (3.5) e obermos: V (θ) ess inf ν A Eν [Y ν (θ, τ θ ) F ess sup τ S [θ,t ess inf ν A Eν [Y ν (θ, τ) F = V (θ) q.c. Porano V (θ) = V (θ) q.c.. Vamos agora provar (3.2). ess inf α A ess sup τ S θ,t ess sup E αn τ S θ,t [ θ E α Y α (θ, τ) + [ Y αn (θ, τ) + θ f(s, X, α s )ds F f(s, X, α n s )ds F [ θ E αn [ess sup E αn Y αn (θ, τ) F θ + f(s, X, α s ) F = τ S θ,t [ [ θ = E αn E αn Y α n (θ, τθ αn ) F θ + f(s, X, αs n ) F = [ θ = E αn Y αn (θ, τθ αn ) + f(s, X, αs n ) F = E αn [Y αn (, τθ αn ) F q.c. (3.6) A segunda desigualdade de (3.6) segue do seguine, [ [ [ ess sup E αn Y αn (θ, τ) F = ess sup E αn E αn Y αn (θ, τ) F θ F τ S θ,t τ S [θ,t [ E [ess αn sup E αn Y αn (θ, τ) F θ F q.c. τ S θ,t Já a primeira igualdade de (3.6) segue da Proposição 2.5 lembrando de (2.13). Noe que E αn [Y αn (, τ αn θ ) F = E ν [Y ν (, τθ αn ) F q.c., por causa da Proposição 2.6, e daí, 18

29 3. O valor do jogo omando o limie quando n em (3.6) emos: ess inf α A ess sup τ S θ,t [ θ E α Y α (θ, τ) + f(s, X, α s )ds F E ν [Y ν (, τθ ) F q.c. Como ν é arbriário podemos omar o ínfimo essencial sobre ν A e depois o supremo essencial sobre τ S θ,t obendo: ess inf α A jogo. ess sup τ S θ,t [ θ E α Y α (θ, τ) + f(s, X, α s )ds F ess sup ess inf τ S θ,t ν A Eν [Y ν (, τ) F q.c. A parir de agora escreveremos V ( ) = V ( ) = V ( ) para o processo de valor do Proposição 3.2. O processo V ( ) é conínuo a direia Demonsração. Como o processo (Z α (s)) s T é limiado e já provamos que a família {E α [Y α (, τ) F, α A [,T } em a propriedade de laice, enão não é necessária a hipóese de que para odo s Z α (s) q.c. para podermos usar A.8 no apêndice, o qual nos garane a exisência de uma modificação càdlàg de (Z α (s)) s T. Temos enão que, para cada [, T lim inf s ínfimo sobre A obemos lim inf s V (s) lim inf s V (s) V () q.c.. Z α (s) = Z α () q.c. Tomando o Sabemos que o processo descrio em (2.12) é um P α submaringale, enão, por A.9 no apêndice, exise e é finio q.c. o limie lim s Ψ(s, τ). A finiude vem do fao de o próprio J(s, τ) ser limiado para odo s, como s f(r, X, α r)dr é conínuo em s enão o limie lim s J(s, τ) ambém exise e é finio q.c. Enão podemos definir: J(+, τ) = lim s J(s, τ) sobre { < τ}, J(+, τ) = g(x(τ)) sobre { = τ}. Para qualquer [, T e τ S,T, pela definição de J em (2.11) emos lim inf s V (s) lim inf s J(s, s τ) = lim inf s J(s, τ) {<τ} + J(s, s) {=τ} = = lim J(s, τ) + lim inf g(x(s)) = J(+, τ) + g(x()) = J(+, τ) + J(, ) q.c. s s (3.7) A penúlima igualdade em (3.7) é verdadeira q.c. porque g( ), X s são conínuos. 19

30 3. O valor do jogo Daí, sobre { < τ}, obemos lim inf s [ V (s) lim J(s, τ) = E α lim J(s, τ) F + s s s = E [lim α J(s, τ) + f(r, X, α r )dr F = s [ s = lim E α J(s, τ) + f(r, X, α r )dr F r J(, τ) q.c. s = (3.8) A primeira igualdade em (3.8) é verdadeira por que o processo lim s J(, τ) é adapado a F +. A segunda igualdade em (3.8) é verdadeira por que a filragem F é conínua a direia (ver A.1 no apêndice) e para a erceira igualdade de (3.8) usamos o eorema da convergência dominada. A úlima desigualdade de (3.8) segue do fao de que o processo Ψ(, τ) = J(, τ) + h(s, X, α s)ds é um P α submaringale, pois iso em como consequência E α [J(s, τ) + s f(r, X, α r )dr F r J(, τ) q.c. Porano, omando o supremo essencial sobre S,T obemos a desigualdade lim inf s V (). Segue enão o resulado. Vamos definir agora mais uma classe de regras de parada. Definição 3.1. Para cada S e < ɛ < 1, de maneira análoga as ouras regras de parada definidas aneriormene, esão bem definidas V (s) ϱ (ɛ) := inf{s [, T ; g(x(s)) V (s) ɛ} ; ϱ := ϱ () (3.9) Como V ( ) g(x( )) q.c. enão, para cada α A, são verdadeiras quase ceramene as seguines desigualdades: ϱ τ α (ɛ) τ α, ϱ (ɛ) τ α ϱ. (3.1) Para cada α A vamos definir o seguine processo: R α () := V () + f(s, X, α s )ds; S (3.11) Perceba que R α () g(x()) + f(s, X, α s)ds = Y α () q.c.. R α () é o cuso cumulaivo do conroller em usar a esraégia α no inervalor [[, mais o valor do jogo em. 2

31 3. O valor do jogo Proposição 3.3. Para cada α A o processo R α ( ϱ ) é um P α submaringale. De modo mais geral, para quaisquer regras de parada, ϑ ais que, ϑ ϱ E α [R α (ϑ) F R α () q.c. (3.12) ess inf α A Em ouras palavras, E α [V (ϑ) + ϑ Mais ainda, se ς S al que ς ϑ ϱ enão, Eα [ V (ϑ) + ϑ ς f(s, X, α s )ds F V () q.c. (3.13) f(s, X, α s )ds F ς ess inf α A Eα [ V () + ς f(s, X, α s )ds F ς q.c. (3.14) Demonsração. Por (3.1) e pela Proposição 2.5, para qualquer α A, e regras de parada, ϑ ais que ϑ ϱ α Logo, E α [Z α (ϑ) + ϑ E α [Z α (ϑ) + vale: E α [Q α (ϑ) F = Q α (). Iso é o mesmo que f(s, X, α s )ds F = Z α () + ϑ f(s, X, α s )ds f(s, X, α s )ds F = Z α () V () q.c. (3.15) Fixado ν A ome uma sequência (α n ) n em V [,ϑ al que V (ϑ) = n Z αn (ϑ) q.c., como no Lema 2.8. Pelo Lema 2.6 e pela desigualdade em (3.15) ficamos com o seguine, E ν [Z αn (ϑ) + ϑ f(s, X, ν s )ds F V () q.c. n (3.16) Aplicando o limie quando n e eorema da convergência dominada em (3.16) obemos Logo, E ν [V (ϑ) + ϑ E ν [V (ϑ) + ϑ f(s, X, ν s )ds F + f(s, X, ν s )ds F V () ς f(s, X, ν s )ds V () + ς f(s, X, ν s )ds E porano, E ν [V (ϑ) + ϑ f(s, X, ν s )ds F E [V ν () + ς ς f(s, X, α s )ds F q.c. (3.17) 21

32 3. O valor do jogo A conclusão do eorema segue se omarmos o ínfimo essencial sobre A em ambos os lados da desigualdade em (3.17). Proposição 3.4. Para cada S V () = ess inf α A Eα [ ϱ V (ϱ ) + f(s, X, α s )ds F q.c. (3.18) e para qualquer ν A vale R ν () = ess inf α V [, E α [R α (ϱ ) F q.c. (3.19) Demonsração. Como g(x(ϱ )) = V (ϱ ) q.c. (por causa da coninuidade a direia de V ), perceba que a definição de V nos dá direamene uma das desigualdades para a (3.18), pois: [ ϱ V () ess inf α A Eα g((ϱ )) + f(s, X, α s )ds F = [ ϱ = ess inf α A Eα V (ϱ ) + f(s, X, α s )ds F q.c. Para a desigualdade inversa basa subsiuirmos ϑ por ϱ em (3.13) e depois omarmos o ínfimo essecial sobre A. Perceba que, por (3.18), V () independe dos valores assumidos pelas esraégias no inervalo [[,. Enão, a mesma observação feia para (2.15) aplica-se aqui e daí podemos escrever: [ ϱ V () = ess inf E α V (ϱ ) + f(s, X, α s )ds F α V [, Além disso, se α V [, enão q.c. f(s, X, ν s )ds = f(s, X, α s )ds q.c. Logo, [ = ess inf E α V (ϱ ) + α V [, R ν () = V () + = ess inf E α α V [, ϱ f(s, X, ν s )ds = f(s, X, α s )ds F + [ V (ϱ ) + ϱ f(s, X, α s )ds F = f(s, X, ν s )ds = 22

33 3. O valor do jogo = ess inf α V [, E α [R α (ϱ ) F. Observe que pela Proposição 3.3 e por A.9 no apêndice R α ( ϱ ) em limie à esquerda. Não apenas isso, pela coninuidade a direia de V R α ( ϱ ) é ambém um processo càdlàg. Como R α ( ϱ ) = V ( ϱ ) + ϱ f(s, X, α s )ds enão V ( ϱ ) ambém é càdlàg. Proposição 3.5. Para quaisquer regras de parada, θ S ais que θ T e para qualquer esraégia α A E α [R α (θ) F ess sup E α [Y α (τ) F q.c., (3.2) τ S,T θ E [V α (θ) + f(s, X, α s )ds F ess sup E α [Y α (, τ) F q.c., (3.21) τ S,T [ θ ess inf α A Eα V (θ) + h(s, X, α s )ds F V () q.c. (3.22) e fixado ν A [ θ ess inf E α V (θ) + f(s, X, α s )ds F V () q.c. (3.23) α V [, Demonsração. Por (2.15) V (θ) = ess inf α A Zα (θ), além disso a Proposição 2.4 nos diz que Q α ( ) = Z α ( ) + f(s, X, α s)ds é um P α supermaringale. Daí: E α [R α (θ) F = E α [V (θ) + E α [Z α (θ) + θ A qual leva à (3.2). Observe que: θ f(s, X, α s ) F Z α () + = ess sup τ S,T E α [Y α (τ) F f(s, X, α s )ds F ess sup E α [Y α (τ) F = ess sup E α [Y α (, τ) F + τ S,T τ S,T E α [R α (θ) F = E α [V (θ) + θ f(s, X, α s )ds F + f(s, X, α s ) = f(s, X, α s ); f(s, X, α s )ds. A equação (3.21) segue enão de (3.2) pela observação acima. Para (3.22) e (3.23) basa lembrar de (2.15) e omar os respecivos ínfimos essenciais em (3.21). 23

34 3. O valor do jogo Proposição 3.6. Para odas as regras de parada, θ S ais que θ T valem: = ess inf α A ess sup τ S θ,t ess inf α A Eα [ θ V (θ) + f(s, X, α s )ds F = E α [Y α (, τ) F = ess sup ess inf τ S θ,t α A Eα [Y α (, τ) F q.c (3.24) Demonsração. A segunda igualdade de (3.24) vem de (3.2), vamos mosrar a primeira igualdade. Para qualquer esraégia α A, pela Proposição 3.4 sabemos que V (θ) E α [ g(x(ϱ θ )) + ϱ θ θ V (θ) + θ f(s, X, α s )ds F θ. Daí: f(s, X, α s )ds E α [g(x(ϱ θ )) + ϱθ f(s, X, α s )ds F θ Daí, E α [V (θ) + θ f(s, X, α s )ds F E [g(x(ϱ α θ )) + ϱθ = E α [Y α (, ϱ ) F ess sup E α [Y α (, τ) F q.c. τ S,T Tomando o ínfimo essencial sobre A na expressão acima obemos ess inf α A Eα f(s, X, α s )ds F = [ θ V (θ) + f(s, X, α s )ds F ess inf ess sup E α [Y α (, τ) F q.c. α A τ S θ,t Vamos mosrar a desigualdade inversa. Noe que, para qualquer τ S θ,t emos: E α [Y α (, τ) F θ θ f(s, X, α s )ds = E α [Y α (θ, τ) F θ Z α (θ) q.c. (3.25) Logo Z α (θ) + θ f(s, X, α s)ds E α [Y α (, τ) F θ q.c. Tomando a esperança condicional com respeio à F e depois o supremo essencial sobre S θ,t em (3.25) obemos: E α [Z α (θ) + θ f(s, X, α s )ds F ess sup E α [Y α (, τ) F q.c. (3.26) τ S θ,t Fixando ν A, omamos uma sequência (α n ) n em V [,θ al que V (θ) = n Z α (θ) 24

35 3. O valor do jogo como no Lema 2.8. Pelo Lema 2.6 e por (3.26) emos: E ν [Z αn (θ) + θ f(s, X, ν s )ds F = E [Z αn αn (θ) + θ f(s, X, α n s )ds F [ ess sup E αn Y αn (, τ) F ess inf ess sup E α [Y α (, τ) F q.c. τ S θ,t α A τ S θ,t Tomando agora o limie quando n chegamos so seguine: E ν [V (θ) + θ f(s, X, ν s )ds F ess inf α A ess sup τ S θ,t [ E αn Y αn (, τ) F q.c. (3.27) Para concluir basa omarmos o ínfimo essencial sobre A no lado esquerdo de (3.27). Proposição 3.7. Fixada ν A, para quaisquer regras de parada, θ ais que θ T emos: ess inf α A Eα [R α (θ) F R ν () (3.28) inf α A Eα [R α (θ) inf α A Eα [R α () V () q.c. (3.29) E se θ ϱ (respecivamene ϱ ) a primeira desigualdade de (3.29) (respecivamene a segunda desigualdade) orna-se igualdade. De um modo mais geral, para quaisquer regras de parada τ,, θ ais que τ θ T emos ess inf α A Eα [ θ [ V (θ) + f(s, X, α s )ds F τ ess inf τ α A Eα V () + τ f(s, X, α s )ds F τ V (τ) (3.3) A primeira desigualdade de (3.3)(respecivamene a segunda) orna-se igualdade sobre {θ ϱ } (respecivamene { ϱ τ }). Demonsração. Fixada ν A emos q.c. ess inf α A = ess inf α V [, Eα [R α (θ) F = ess inf ess inf α V [, (E α [ V (θ) + α A (E α [ V (θ) + θ [ θ (E α V (θ) + θ f(s, X, α s )ds F + f(s, X, α s )ds F ) + f(s, X, α s )ds F + ) f(s, X, α s )ds ) f(s, X, α s )ds = f(s, X, ν s )ds V () + A úlima desigualdade segue de (3.23). Temos enão (3.28). Como (Q α (s)) s é um f(s, X, ν) = R α () 25

36 3. O valor do jogo P α supermaringale enão, E [V α (θ) + Logo, E [V α (θ) + e porano, E α [V (θ) + θ τ θ f(s, X, α s )ds F Z α () + θ f(s, X, α s )ds F Z α () + τ τ f(s, X, α s )ds F τ E [Z α α () + τ f(s, X, α s )ds. f(s, X, α s )ds, f(s, X, α s )ds F τ Como já fixamos um ν A ome enão uma sequência (α n ) n em V [, al que V () = n Z αn (). Quase ceramene emos: ess inf α A Eα [ θ V (θ) + E αn [ E αn [Z αn (θ) + τ θ fazendo n chegamos à: ess inf α A Eα f(s, X, α s )ds F τ E [V αn (θ) + θ f(s, X, αs n )ds F F τ E [Z αn αn () + τ = E [Z ν αn () + f(s, X, ν s )ds F τ [ θ V (θ) + f(s, X, α s )ds F τ E [V ν () + τ τ τ τ f(s, X, α n s )ds F τ τ f(s, X, α n s )ds F τ = f(s, X, ν s )ds F τ. Basa enão omarmos o ínfimo essencial sobre A no lado direio desa úlima desigualdade e obemos a primeira desigualdade de (3.3), a segunda desigualdade segue da primeira subsiuindo θ por e por τ. A (3.29) segue de (3.3) se omarmos τ =. Se {θ ϱ } enão a inversa da primeira desigualdade de (3.29) segue de 3.14 subsiuindo nesa úlima por θ, ϑ por e ς por. Se {θ ϱ } a inversa da primeira desigualdade de (3.3) segue de (3.14) subsiuindo nesa úlima ϑ por θ e ς por τ. Se { ϱ τ } enão a inversa da segunda desigualdade de (3.3) abém segue de (3.14) subsiuindo nesa úlima ς e por τ e ϑ por. Se { ϱ }, para a inversa da segunda desigualdade de (3.29) subsiuimos na equação (3.14), ς por e θ por. 26

37 Capíulo 4 Enconrando os ponos de cela Nese úlimo capíulo vamos complear nossos objeivos: vamos enconrar os ponos de cela. O capíulo em rês seções, na primeira vamos caracerizar os ponos de cela, na segunda vamos proceder para oimizar nossa escolha da esraégia α (lembra que comenamos na seção 2.3 que nosso problema original seria resolvido como um problema de oimização de esraégia?) e por fim consruiremos o pono de cela. 4.1 Caracerização Chegamos ao resulado mais imporane da disseração aé o momeno: uma caracerização dos ponos de cela. A demonsração dese resulado faz juz a sua grande imporância. Teorema 4.1. O par (α, τ ) A S é um pono de cela se, e somene se, os rês iens a seguir são saisfeios. 1. g(x τ ) = V (τ ) q.c. 2. R α ( τ ) é P α maringale 3. R α ( τ ) é P α submaringale para qualquer α A Demonsração. Prova da necessidade As seguines desigualdades são verdadeiras, E α [ Y α (τ ) E α [ R α (τ ) E α [ R α (ϱ τ ) = E α [ Y α (ϱ τ ) E α [ Y α (τ ) (4.1) A primeira das desigualdades em (4.1) vem do fao de Y α (τ ) R α (τ ) q.c., a segunda desigualdade de (4.1) segue de (3.12), a igualdade em (4.1) vem do fao de 27

38 4. Enconrando os ponos de cela que g(x ϱτ ) = V (ϱ τ ) q.c. e a úlima desigualdade segue da definição de pono de cela. Logo E α [ Y α (τ ) = E α [ R α (τ ) q.c. Como Y α (τ ) R α (τ ) q.c. enão Y α (τ ) = R α (τ ) q.c., e por conseguine, g(x τ ) = V (τ ) q.c. O iem 1 é saisfeio. Seja τ S al que τ τ, as seguines desigualdades são verdadeiras, E α [ R α (τ) E α [ R α (ϱ τ ) = E α [ Y α (ϱ τ ) E α [ Y α (τ ) = E α [ R α (τ ) (4.2) A primeira das desigualdades em (4.2) segue de (3.12), a primeira igualdade acima segue do fao de que g(x ϱτ ) = V (ϱ τ ) q.c. A segunda das desigualdades em (4.2) segue da definição de pono de cela e a úlima igualdade provamos um pouco anes nesa mesma seção. desigualdades são verdadeiras, Pela definição de pono de cela, pelo iem 1 e por 3.29 as seguines E α [ Y α (τ ) inf α A Eα [Y α (τ ) = inf α A Eα [R α (τ ) inf α A Eα [R α (τ) E α [ R α (τ ) (4.3) Combinando (4.2) e (4.3) emos que, para oda τ S al que τ τ vale o seguine, E α [ R α (τ) = inf α A Eα [R α (τ) = inf α A Eα [R α (τ ) = E α [ R α (τ ) (4.4) Logo, dados θ, S ais que θ, τ (4.4) nos garane que E α [ E α [ R α (θ τ ) F = E α [ R α ( τ ), além disso, A.11 no apêndice nos garane que E α [ R α (θ τ ) F R α ( τ ) q.c. Porano, E α [ R α (θ τ ) F = R α ( τ ) q.c. e daí o processo R α ( τ ) é um P α maringale. O iem 2 é saisfeio. Vamos agora ao iem 3. Perceba que ele é equivalene a seguine afirmação: Para quaisquer empos de parada, τ ais que τ τ e qualquer esraégia α A E α [V (τ) + τ f(s, X, α s )ds F V () q.c. Fixe τ S al que τ τ ; como na Proposição 3.5 definimos τ ˆV (, τ) := ess inf E [V α (τ) + f(s, X, α s ) F V (). α N [, Onde N [, é conjuno de esraégias coincidenes q.c. a α no inervalo esocásico [[,. Perceba que o iem 3 é saisfeio se conseguirmos mosrar que ˆV (, τ) V (), (4.5) 28

39 4. Enconrando os ponos de cela para isso considere para ɛ > qualquer o seguine eveno e regra de parada: A ɛ := { ˆV (, τ) + ɛ V ()} F θ ɛ := 1 Aɛ + τ 1 A c ɛ Observe que θ ɛ τ τ T. Aplicando (4.4) chegamos ao seguine, E α [ R α () = E α [ R α (θ ɛ ) = [ [ [ = E α R α () 1 Aɛ + R α (τ) 1 A c ɛ = E α R α () 1 Aɛ + E α R α (τ) F 1A c ɛ = τ = E [(V α α () + f(s, X, αs)ds) 1 Aɛ + E [V α α (τ) + f(s, X, αs)ds F 1 A c ɛ = [ τ = E α V α () 1 Aɛ + E [V α α (τ) + f(s, X, αs)ds F 1 A c ɛ + f(s, X, αs)ds E [V α () 1 Aɛ + ˆV (, τ) 1 A c ɛ + f(s, X, αs)ds [ ɛ P α (A ɛ ) + E α ˆV (; τ) + f(s, X, αs)ds A úlima desigualdade acima é verdadeira porque V () 1 Aɛ ( ˆV (; τ) + ɛ) 1 Aɛ. Assim, E α [ R α () ɛ P α (A ɛ ) E α [ ˆV (, τ) + Como no caso da família {E α [Y α (, τ) F ; α A}, a família E α [V (τ) + τ ambém em a propriedade de laice. f(s, X, α s )ds F ; α N [,, f(s, X, αs)ds. (4.6) Porano, pela versão do ess inf de A.6 no apêndice, exise uma sequência (α n ) n de esraégias de N[, al que τ [ τ ess inf E [V α (τ) + f(s, X, α s ) F = lim E αn V (τ) + f(s, X, α α N s n ) F [, n q.c. 29

40 4. Enconrando os ponos de cela A parir de (4.6) emos [ E α R α () [ ɛ P α (A ɛ ) E α ˆV (, τ) + f(s, X, αs)ds = [ [ τ = E α lim n Eαn V (τ) + f(s, X, αs n ) F + f(s, X, αs)ds = [ [ τ = E α lim V (τ) + f(s, X, αs n ) F = n Eαn = E α [ lim n E αn [ R α n (τ) F = [ [ [ = lim E α E α n R α n (τ) F = lim E α R α n (τ) n n [ inf α A Eα [R α (τ) = E α R α (τ) [ = E α R α () (4.7) A quara igualdade de (4.7) segue do eorema da convergência dominada e as duas úlimas igualdades de (4.7) seguem de (4.4). Porano P α (A ɛ ) = e daí V () < ˆV (, τ) + ɛ q.c. para ɛ > qualquer. A equação (4.5) é enão saisfeia e daí o úlimo iem é comprovado. Prova da suficiência Suponha agora que o par (α, τ ) A S saisfaz os rês iens do eorema 4.1, enão, pelo iem 3 para τ τ E α [R α (τ) E α [R α (τ ) F τ q.c. Aplicando a esperança e o ínfimo sobre A nesa úlima desigualdade ficamos com inf α A Eα [R α (τ) inf α A Eα [R α (τ ). Como, pelo iem 2, V (τ ) = g(x τ ) q.c. e como para odo α A R α () = V q.c., omamos na desigualdade acima τ = e daí, inf α A Eα [Y α (τ ) = inf α A Eα [Y α (τ ) F = inf α A Eα [R α (τ ) F = [ inf α A Eα [R α (τ ) E α [V = V = E α R α () = E α [ R α (τ ) F = E α [ Y α (τ ) F = E α [ R α (τ ) = E α [ Y α (τ ). Pela expressão acima mosramos E α [Y α (τ ) E α [Y α (τ ) para odo α A, iso é desigualdade direia da definição 2.2. Ainda com τ τ, pelo iem 2 e por que V (τ ) = g(x τ ) q.c. Y α (τ) R α (τ) = E α [ R α (τ ) F τ = E α [ Y α (τ ) F τ q.c. (4.8) Tomando a esperança E α em ambas as exremidades de (4.8) chegamos a E α [Y α (τ) 3

41 4. Enconrando os ponos de cela E α [Y α (τ ) que é a desigualdade esquerda da definição 2.2. Vamos agora mosrar esa mesma desigualdade para o caso τ τ. Considere agora τ τ T. Perceba que a desigualdade segue se conseguirmos mosrar que E α [ Y α (τ) F τ Y α (τ ) q.c. (4.9) o que é equivalene a g(x τ ) E α [ Y α (τ, τ) F τ q.c., o que nos leva a g(xτ ) Z α (τ ) q.c.. Como já sabemos que g(x τ ) Z α (τ ) q.c. enão vamos provar o seguine, g(x τ ) = Z α (τ ) q.c.; (4.1) Pelo iem 2 e por (3.11) R α ( τ ) é um P α maringale que domina Y α (τ ), mas pela Proposição 2.4 Q α ( τ ) é o envelope snell de Y α (τ ) e porano o menor P α supermaringale que domina Y α (τ ). Porano R α ( τ ) Q α ( τ ) q.c. o que é equivalene a V ( τ ) Z α ( τ ) q.c.. Mas por (2.15) V ( τ ) Z α ( τ ) q.c.. Porano V (τ ) = Z α (τ ) q.c. e pelo iem 1, (4.1) segue. Por fim, vamos ao caso geral τ S. Temos que [ E α Y α (τ) [ = E α Y α (τ τ ) 1 τ τ + Y α (τ τ ) 1 τ>τ Por (4.8) e (4.9) [ Y α (τ τ ) E α Y α (τ ) F τ τ Os evenos {τ τ }, {τ > τ } perencem a F τ τ q.c. E α [ Y α (τ τ ) F τ Y α (τ ) q.c. e {τ > τ } F τ. Logo, (4.11) [ E α Y α (τ) [ = E α Y α (τ τ ) 1 {τ τ } + Y α (τ τ ) 1 {τ>τ } = [ [ = E α E α Y α (τ τ ) 1 {τ τ } + Y α (τ τ ) 1 {τ>τ } F τ τ [ [ [ E α E α Y α (τ ) F τ τ 1{τ τ } + E α Y α (τ τ ) F τ τ 1{τ>τ } = [ [ [ [ = E α E α Y α (τ ) 1 {τ τ } F τ τ + E α E α Y α (τ τ ) F τ 1{τ>τ } [ [ [ E α Y α (τ ) 1 {τ τ } + E α Y α (τ ) 1 {τ>τ } = E α Y α (τ ) q.c. A primeira e a úlima desigualdades acima vem das desiguadades em Segue daí que E α [Y α (τ) E α [Y α (τ ) que é a desiguadade esquerda da definição

42 4. Enconrando os ponos de cela 4.2 Oimizando o conrole Agora damos início àquilo que esamos enfaizando desde o capíulo dois: vamos resolver o problema de enconrar um pono de cela raando-o como um problema de oimização. Nesa seção vamos raar do problema de oimizar a escolha da esraégia α em R α ( τ α ). Definição 4.1. Dizemos que uma esraégia α A é óima se V = Z α (). Definição 4.2. Dizemos que uma esraégia α A é um hrify se R α ( τ α ) é um P α maringale. Teorema 4.2. Uma esraégia α A é óima se, e só se, é um hrify e para odo ɛ > ivermos τ α (ɛ) = ϱ α (ɛ) q.c. Demonsração. Prova da suficiência Por (3.1) sabemos que τ α (ɛ) τ α q.c.. Enão emos o seguine V Z α () = E α [Y α (, τ α ) F = E α [g(x τ α ) + = E α [Z(τ α (ɛ)) + τ α τ α (ɛ) f(s, X, α s )ds + τ α (ɛ) = E [E [ τ α α α Y α (τ α (ɛ), τ α (ɛ) ) F τ α (ɛ) + f(s, X, α s )ds F = τ α (ɛ) ɛ + E α [V (τ α (ɛ)) + f(s, X, α)ds τ α (ɛ) E α [ f(s, X, α)ds ɛ + g(x τ α (ɛ)) + τ α (ɛ) f(s, X, α)ds F = f(s, X, α)ds = ɛ + E α [R α (τ α (ɛ)) = = ɛ + E α [E α [R α (τ α (ɛ)) F = ɛ + E α [R α () = ɛ + V q.c. (4.12) A primeira desigualdade de (4.12) segue de (2.15), a primeira igualdade de (4.12) segue da proposição 2.5 e a segunda segue das considerações a respeio de F feias logo após a definição 2.3. A segunda desigualdade de (4.12) vem da definição 2.6 e a úlima igualdade é verdade pois esamos considerando α hrify. Como ɛ < 1 foi arbriário enão V = Z α () e daí α é óima. Prova da necessidade Suponha agora que α A é óima, vamos provar primeiro que τ α () = ϱ (), ou 32