MAE 0523 - Teoria da Decisão Fossaluza, V. 2 o semestre de 2015
Aula 01 - Programa Elementos de um problema de decisão Certeza e incerteza Probabilidade, utilidade e perda Maximização de utilidade esperada Formas normal e extensiva Soluções de Bayes, minimax e admissibilidade Funções de decisão e risco Estimação e Testes de Hipóteses Aplicações Decisões Coletivas
Aula 01 - Referências M. H. DeGroot, Optimal Statistical Decisions, Wiley, 2004. D. V. Lindley, Making Decisions, 2nd ed., London: John Wiley, 1988. S. French, D. R. Insua, Statistical Decision Theory, New York: Arnold, 2000. G. Parmigiani, L. Inoue, Decision Theory: Principles and Approaches. Chichester: John Wiley, 2009. R. D. Luce, H. Raiffa, Games and Decicions: Introduction and Critical Survey. New York: Dover, 1989. J. O. Berger, Statistical Decision Theory: Foundations, Concepts and Methods. New York: Springer-Verlag, 1985. J. W. Pratt, H. Raiffa, R. Schlaifer, Introduction to statistical decision theory. MIT press, 1995.
Aula 01 - Exemplos 1. Matricular-se ou não em MAE 0523 (conteúdo interessante, método de avaliação: prova/lista/presença, dificuldade, ministrante... ) 2. Decidir se deve levar ou não o guarda chuva quando sai pela manhã (carregar peso, tomar chuva, previsão do tempo,... ) 3. Viajar a Belo Horizonte para assistir o jogo Cruzeiro x Palmeiras (distância, custo, chances de seu time ganhar,... ) 4. Problemas de Inferência (Estimação/Testes de Hipóteses) estimar a proporção de paulistanos favoráveis à redução da velocidade { nas marginais } θ k N, k = 0,..., N, N: n o de paulistanos simplificação: θ [0, 1]
Aula 02 - Probabilidade Ω: espaço amostral A: σ-álgebra de subconjuntos de Ω, isto é, 1. Θ A; 2. A A = A c A; 3. A 1, A 2,... A = A i A. i 1 Os elementos de A são chamados de eventos e serão denotados por A, B, C,..., A 1, A 2,... P : A [0, 1] é uma medida de probabilidade se 1. P(Ω) = 1; 2. A 1, A 2,... A com A i Aj =, P = P (A i ). i 1 A i i 1 Probabilidade: expressão numérica de incerteza
Aula 02 - Relação de Crença : relação de crença em A A A B : acredito mais em B que em A (B A) A B : acredito igualmente em B e A A B : acredito em B pelo menos tanto quanto em A Objetivo: sob certas condições em, obter uma medida de probabilidade P que representa (concorda) com. A B P(A) P(B)
Aula 02 - Suposições sobre SP1: Para A, B A, exatamente uma das afirmações a seguir deve valer: A B, B A ou A B. SP2: A 1, A 2, B 1, B 2 A tais que A 1 A 2 = B 1 B 2 = e A i B i, i = 1, 2. Então A 1 A 2 B 1 B 2. Além disso, se A i B i para algum i, então A 1 A 2 B 1 B 2. Lema 1: A, B, D A tais que A D = B D =. Então A B A D B D Demo: ( ) A B A D B D (SP1) ( ) B A B D A D (SP1)
Aula 02 - Suposições sobre Teorema 1: Se A B e B D então A D. Teorema 2 (generalização do SP2): Se A 1,..., A n são eventos disjuntos e B 1,..., B n são também eventos disjuntos tais que A i B i, para i = 1,..., n, então n n A i B i. i=1 i=1 Se A i B i para algum i, então n i=1 A i n i=1 B i. Teorema 3: Se A B então A c B c. Demo: Do Lema 1, A (A c B c ) B (A c B c ) B c (A B) A c (A B) B c A c.
Aula 02 - Suposições sobre 5 A 2 6 B 4 1 3 D 7 Demo do Teorema 1: (i) (1) (2) (4) (5) (1) (2) (3) (6) (4) (5) (3) (6) (ii) Analogamente, (2) (6) (4) (7) De (i) e (ii) e pelo Lema 1, (4) (5) (2) (6) (3) (6) (4) (7) (2) (5) (3) (7) (2) (5) (1) (4) (3) (7) (1) (4)
Aula 02 - Suposições sobre SP3: Se A é um evento, então A. Além disso, Ω. Resultado: Para todo evento A, A Ω. Demo: Por SP3, A c. Tomando D = A no Lema 1, A A c A A Ω. Teorema 4: Se A B então A B. Demo: Suponha, B A. Tomando D = B c no Lema 1, B B c A B c Ω A B c. Absurdo!
Aula 03 - Suposições sobre SP4: Se A 1, A 2,... uma sequência decrescente de eventos, isto é, A n A n+1, n, e B tal que B A n, n então B n 1 A n. Exemplo 1: ω 0 Ω. A B {ω 0 B ou ω 0 / (A B)}. obedece a SP1 a SP4 (SP1) A B ω 0 B (A B) c B A ω 0 B c (A B) ω 0 A B c. Analogamente, A B ω 0 B A c. A B A B e B A ω 0 [B (A B) c ] [A (A B) c ] ω 0 (A B) (A B) c.
Aula 03 - Suposições sobre (SP2) A i B i, i = 1, 2 ω 0 [B 1 (A 1 B 1 ) c ] [B 2 (A 2 B 2 ) c ] ω 0 [(B 1 B 2 ) D c ] (A 1 B 1 A 2 B 2 ) c, com, D = (A 1 B2) (A 2 B1). A 1 A 2 B 1 B 2 ω 0 (B 1 B 2 ) (A 1 A 2 B 1 B 2 ) c Como (B 1 B 2 ) D c (B 1 B 2 ), vale o SP2. (SP3) A ω 0 A ( A) c ω 0 A A c = Ω. Como Ω é não-vazio, ω 0 Ω e, portanto, Ω. (SP4) Exercício Exemplo 2: Ω = N, A = P(N). A B {B é infinito ou A e B são finitos com A B }. Mostre se satisfaz SP1 a SP4.
Aula 03 - Suposições sobre Teorema 5: Se A 1 A 2... é uma sequência crescente de eventos e B é tal que A n B, n então A n B. n 1 Demo: A c n A c n+1 e, pelo Teo 3, Ac n B c. Por SP4, n 1 Ac n B c n 1 A n B. Teorema 6: (A n ) n 1 e (B n ) n 1 sequências tais que A i A j = B k B l =, i j, k l. A i B i, i A n B n. n 1 n 1 Se existe ao menos um j tal que A j B j então A n B n. n 1 n 1
Aula 03 - Suposições sobre n n Demo: Da extensão de SP2, temos que A i B i, n 1 i=1 i=1 n A i B i, n 1 A i B i (Teo 5) i=1 i=1 i=1 i=1 n 0 tal que A n0 b n0. De SP2, temos que, para n n 0, n 0 i=1 A i = n 0 1 i=1 A i A n0 n 0 1 i=1 B i B n0 = n 0 B i i=1 n 0 i=1 A i n 0 B i i=1 Da primeira parte, temos que A i B i i=n 0 +1 i=n 0 +1 e, por SP2, n 0 i=1 A i provando o resultado. i=n 0 +1 A i n 0 i=1 B i B i i=n 0 +1
Aula 04 - Suposições sobre SP5: Existe uma variável aleatória X : Ω R, A-mensurável, tal que X(ω) [0, 1], ω Ω e, se I 1 e I 2 são intervalos contidos em [0, 1], {X I 1 } {X I 2 } λ(i 1 ) λ(i 2 ). Se I = [a, b] [0, 1], λ(i) = b a é o comprimento do intervalo I (medida de Lebesgue). Experimento auxiliar ; X Uniforme[0,1] {X [a, b]} {X (a, b]} {X [a, b)} {X (a, b)}
Aula 04 - Medida de Probabilidade que representa Teorema 7: Seja A A. Então!a [0, 1] tal que A {X [0, a ]}. Demo: Seja U(A) = {a [0, 1] : A {X [0, a]}}. 1 U(A) pois Ω = {X [0, 1]} A U(A). Tome a = inf U(A). (i) Considere (a n ) n 1, a n [0, 1], n 1, tal que a n a n+1 a e a n a. Então, n 1, {X [0, a n ]} A. Por SP4, {X [0, a n ]} A {X [0, a ]} A n=1 (ii) Se a = 0, {X [0, 0]} A (por SP3) Se a > 0, considere (a n ) n 1 com a n a n+1 < a e a n a. {X [0, a n ]} A, n 1 e, pelo Teo 5, {X [0, a n ]} A {X [0, a )} {X [0, a ]} A. De (i) e (ii), temos que A {X [0, a ]}. n=1
Aula 04 - Medida de Probabilidade que representa Teorema 8: A probabilidade do evento A, P(A), é definida como a [0, 1] tal que A {X [0, a ]}. Assim, A {X [0, P(A)]}. A função de probabilidade assim definida satisfaz: A B P(A) P(B). Demo: Do Teo 7, A {X [0, P(A)]} e B {X [0, P(B)]}. A B {X [0, P(A)]} {X [0, P(B)]} λ ([0, P(A)]) λ ([0, P(B)]) P(A) P(B). Teorema 9: A função P : A [0, 1] que, para cada A A, associa P(A) tal que A {X [0, P(A)]} é uma medida de probabilidade (no sentido σ-aditiva). Demo: P(A) 0. Ω {X [0, 1]} P(Ω) = 1. {X [0, 0]} P( ) = 0 A 0 P(A).
Aula 04 - Medida de Probabilidade que representa Demo: Seja A e B tal que A B =. Vamos mostrar que P(A B) = P(A) + P(B). Pelo Teo 8, A {X [0, P(A)]}, B {X [0, P(B)]}, A B {X [0, P(A B)]}. Como A A B e, por SP3, A A B, vale que P(A) P(A B). Vamos verificar que B {X (P(A), P(A B)]}. Suponha, por absurdo, B {X (P(A), P(A B)]}. A {X [0, P(A)]} SP2 = A B {X [0, P(A)]} {X (P(A), P(A B)]} A B {X [0, P(A)] (P(A), P(A B)]} A B {X [0, P(A B)]} (Absurdo!) Analogamente, B {X (P(A), P(A B)]} é absurdo! Logo, B {X (P(A), P(A B)]} {X [0, P(A B) P(A)]}. Como B {X [0, P(B)]}, temos que P(A B) = P(A) + P(B).
Aula 05 - Medida de Probabilidade que representa Corolário 1: Se A 1,..., A n são eventos disjuntos, então ( n ) n P A i = P (A i ). i=1 Teorema 10: Seja A 1 A 2... uma seq. decrescente de eventos tais que n i=1 A i =. Então lim n P(A n ) = 0. i=1 Demo: A 1 A 2... P(A 1 ) P(A) 2... Além disso, lim n P(A n ) = b. Como P(A n ) b, n, segue que A n {X [0, b]}, n. Por SP4, = i=n A i {X [0, b]}. Se b > 0, então {X [0, b]} {X [0, b/2]}. Como essa relação contradiz a anterior, temos que b deve ser igual a 0.
Aula 05 - Medida de Probabilidade que representa Exercício 1: Use o Corolário 1 e o Teorema 10 para conculuir a demonstração do Teorema 9, mostrando que P é σ-aditiva, isto é, ( ) P A i = P (A i ), A i A j =, i j. i=1 i=1 Teorema 11: Se a relação de crença obedece SP1 a SP5 então! P : A [0, 1], medida de probabilidade, tal que P representa. Exercício 2: Demonstre o Teorema 11.
Aula 05 - Medida de Probabilidade Condicional Nova Relação: A, B, D A ; (A D) (B D) (Sabendo que D ocorreu, B é preferível a A). Para D = Ω, temos o caso anterior: A B (A Ω) (B Ω). Suponha que vale as suposições SP1 a SP5 e, adicionalmente, SP6: A, B, D A (A D) (B D) (A D) (B D) ( (A D Ω) (B D Ω) )
Aula 05 - Medida de Probabilidade Condicional Propriedade decorrentes de SP1 a SP6: 1. A, B, D, (A D) (B D). 2. Se (A D) (B D) e (B D) (E D) então (A D) (E D). 3. A, B, D, E com A D E B D E. (A D) (B D) (A E D) (B E D). 4. (A D) (B D) (A c D) (B c D). 5. Seja B, D e (A n ) n 1 tal que A n A n+1. (B D) (A n D), n, então (B D) ( A n D). n=1 6. (A n ) n 1 e (B n ) n 1 tal que B i ( B j D, i j e ) ( ) (A n D) (B n D), n. Então A n D B n D n=1 n=1
Aula 05 - Medida de Probabilidade Condicional Teorema 12: A, B, D A, considere satisfazendo SP1 a SP6. Então P : A [0, 1] de modo que para cada A A é associada P(A) [0, 1] tal que A {X [0, P(A)]} é uma medida de probabilidade que reprsenta, isto é, (A Ω) (B Ω) P(A) P(B). Além disso, se D A é tal que P(D) 0, então (A D) (B D) P(A D) P(B D), onde P( D) : A [0, 1] é uma medida de probabilidade tal que P(A D) = P(A D). P(D)
Aula 06 - Relação de Preferências Suposições: Seja A o conjunto de objetos sobre o qual considera-se a noção de preferência. U1: comparabilidade a, b A, a b ou b a ou ambos (a b). U2: transitividade a, b A, se a b e b c então a c. U3: consistência entre preferência fraca e indiferença a, b A, a b (a b e a b). U4: a, b A, a b b / a. Dizemos que a função utilidade U : A R representa (concorda com) se a b U(a) U(b)
Aula 06 - Noções de Preferências e Função Utilidade Teorema: A finito ou enumerável e atendento U1 a U4. Então, U : A R que representa. Caso Finito: Considere A finito e, para cada a A, seja M(a) = {b A : b a}. Tome U(a) = M(a). (i) a b M(a) M(b) U(a) U(b). (ii) a b M(a) M(b) U(a) U(b). Além disso, a M(a) mas a / M(b) e, portanto, M(a) M(b). Então U(a) > U(b). Exemplo: A = {Quatro Queijos(Q),Calabresa(C),Marguerita(M),Jiló(J)} Q C M J Q 1 1 1 1 C 0 1 0 1 M 0 1 1 1 J 0 0 0 1 U(Q) = 4 ; U(M) = 3 ; U(C) = 2 ; U(J) = 1
Aula 06 - Noções de Preferências e Função Utilidade Caso Enumerável: Considere A = {a 1, a 2,...} e seja U(a j ) = i=1 δ ij 2 i, onde δ ij = I(a i a j ). Considere M(a) = {a i A : a i a} e a = a i, b = a j (i) a b M(a) M(b) U(a) U(b). (ii) a b M(a) M(b) U(a) > U(b). Caso não enumerável???
Aula 06 - Noções de Preferências e Função Utilidade Definição: Dizemos que B A é order-dense com relação à se a, d A B tais que a d e b B tal que a b d. Teorema: Seja A e satisfazendo U1 a U4. Se existe B orderdense enumerável então existe U : A R tal que a b U(a) U(b). Demo: Omitida!
Aula 07 - Problemas com incerteza Em problemas reais, em geral, nos deparamos com situações onde precisamos tomar decisões na presença de incerteza. Nesse caso, temos que construir a função utilidade (perda) com algumas propriedades, de modo que seja possível obter teoremas de representação, como feito anteriormente. Considere um experimento onde os possíveis resultados θ pertencem a um espaço Θ (chamado espaço de estados da natureza ou espaço paramétrico). Seja D o espaço de todas as possíveis ações ou decisões d. Seja R o conjuntos de todas as possíveis recompensas r = r(d, θ) quando o estatístico toma a decisão d e o resultado do experimento é θ. O nome recompensas é uma convenção de linguagem e está associado a consequência da decisão d. Essa recompensa pode ser algo complicado e não está necessariamente associadas a quantidades monetárias.
Aula 07 - Problemas com incerteza Exemplo: Venda de pamonha (v: venda, c: custo) Ações: {d 0, d 1, d 2 }, d i : fazer i pamonhas. d i d j g(d i ) g(d j ) Demanda 1: g(d 0 ) = 0 ; g(d 1 ) = v c ; g(d 2 ) = v 2c Quando não há incerteza, é representado por U : D R. Nesse exemplo, d i d j g(d i ) g(d j ). Demanda desconhecida: θ {0, 1, 2} Recompensa (induzida por d i ) na reta ou loteria ou medida P di. d 0 g(d 0, 0) = g(d 0, 1) = g(d 0, 2) = 0 d 1 d 2 g(d 1, 0) = c ; g(d 1, 1) = g(d 1, 2) = v c g(d 2, 0) = 2c ; g(d 2, 1) = v 2c ; g(d 2, 2) = 2v 2c Nesse caso, cada d i induz uma medida de probabilidade P i. É necessário comparar as P i s! (d i d j P di P dj )
Aula 07 - Problemas com incerteza Seja A uma σ-álgebra de subconjuntos de R e P o conjunto das medidas de probabilidade em (R, A). Objetivo: r 1 r 2 P r1 P r2 Notação: [r 1, r 2 ] = {r R : r 1 r r 2 } Condições: 1. r 1, r 2 R, [r 1, r 2 ] A. 2. P P é limitada se r 1, r 2 R tal que P([r 1, r 2 ]) = 1. 3. P L : classe das distribuições de probabilidade limitadas. 4. P L é convexa se P 1, P 2 P L αp 1 + (1 α)p 2 P L.
Aula 07 - Problemas com incerteza: Função Utilidade Suposições: SU1: P 1, P 2 P L. Então P 1 P 2. SU2: P 1, P 2, P 3 P L. P 1 P 2 e P 2 P 3 então P 1 P 3. SU3: P 1, P 2, P P L e α (0, 1). P 1 P 2 αp 1 + (1 α)p αp 2 + (1 α)p. Resultado 1: P 1, P 2, Q 1, Q 2 P L, P i Q i, i = 1, 2 e α (0, 1), αp 1 + (1 α)p 2 αq 1 + (1 α)q 2. Demo: αp 1 +(1 α)p 2 αq 1 +(1 α)p 2 αq 1 +(1 α)q 2. Resultado 2: r 1, r 2 R, r 1 r 2 e α (0, 1). αr 1 + (1 α)r 2 r 2. Demo: r 1 = αr 1 + (1 α)r 1 αr 1 + (1 α)r 2 r 2. Então r 1
Aula 07 - Problemas com incerteza: Função Utilidade Resultado 3: r 1, r 2 R, r 1 r 2 e α, β (0, 1). Então αr 1 + (1 α)r 1 βr 2 + (1 β)r 2 α < β. Demo: ( ) α < β 1 β 1 α = γ < 1 αr 2 +(1 α)r 1 = γ(αr 2 +(1 α)r 1 )+(1 γ)(αr 2 +(1 α)r 1 ) ( ) α β γ(αr 2 + (1 α)r 1 ) + (1 γ)r 2 = βr 2 + (1 β)r 1. α = β αr 2 + (1 α)r 1 = βr 2 + (1 β)r 1 α > β αr 2 + (1 α)r 1 βr 2 + (1 β)r 1, portanto. SU4: P 1, P 2, P P L tais que P 1 P P 2. Então α, β (0, 1) tais que βp 2 + (1 β)p 1 P αp 2 + (1 α)p 1.
Aula 08 - Contrução de Utilidade em R Teorema 1: r 1, r 2, r R tais que r 1 r 2 e r 1 r r 2. Então!v [0, 1] tal que r vr 2 + (1 v)r 1. Seja r, r R tais que r r. Se r [r, r ], U(r) é um número em [0, 1] tal que r U(r)r + (1 U(r))r, com U(r ) = 0 e U(r ) = 1. Se r r, definimos U de modo que U(r ) = αu(r )+(1 α)u(r), isto é, U(r) = α 1 α, α = α(r). Analogamente, para r r, U(r) = 1 α, α = α(r). Teorema 2: r 1, r 2, r 3 R tais que r 2 αr 3 + (1 α)r 1 para algum α [0, 1]. Então U(r 2 ) = αu(r 3 ) + (1 α)u(r 1 ).
Aula 08 - Contrução de Utilidade em R Seja r, r R, com r r. Para todo r [r, r ], α = α(r) tal que r αr +(1 α)r. Além disso, U(r) = αu(r )+(1 α)u(r ), donde α = α(r) = U(r) U(r ) U(r ) U(r ). Seja P em (R, A) tal que P([r, r ]) = 1. P deve ser equivalente a uma loteria com prêmios r e r com probabilidades β e 1 β, respectivamente, onde β = α(r)dp(r). [r,r ] SU5: Seja P P L e r, r R tais que P([r, r ]) = 1. Então com β = [r,r ] P βr + (1 β)r, α(r)dp(r) = [r,r ] U(r)dP(r) U(r ) U(r ) U(r. )
Aula 08 - Contrução de Utilidade em R Seja E[U P] = [r,r ] U(r)dP(r). Logo, ( E[U P] U(r P ) ( ) U(r ) U(r r + ) Teorema 3: Seja P 1, P 2 P L. 1 E[U P] U(r ) U(r ) U(r ) P 1 P 2 E[U P 1 ] E[U P 1 ]. ) r Demo: P 1 P 2 E[U P 1] U(r ) U(r ) U(r ) E[U P 2] U(r ) U(r ) U(r ) E[U P 1 ] E[U P 1 ] Teorema 4: Seja U 1 e U 2 funções utilidade de R em R como no Teorema anterior. Então existem constantes a > 0 e b tais que U 1 (r) = au 2 (r) + b, para todo r R. OBS: Se U é uma função utilidade, podemos tomar L = U e, a essa função, damos o nome de função de perda.
Aula 09 - Elementos de um Problema de Decisão Conjunto de ações D = {d 1, d 2,...} (Espaço de decisões) Conjunto de estados da natureza Θ (Espaço paramétrico) Conjunto de recompensas R r : D Θ R Quando θ é incerto consideramos P sobre (Θ, A) Sobre R definimos a função utilidade U : R R Para cada d D, r(d, θ) induz uma medida de probabilidade em R. (Θ, A, P) r(d,θ) (R, B, P d ) P d (B) = P d (r(d, θ) B) = P ({θ Θ : r(d, θ) B}) = P ( r 1 (d, θ)(b) ) Fixado d D, E[U P d ] = R U(r)dP d (r) = Θ U (r(d, θ)) dp(θ)
Aula 09 - Exemplo de Problema de Decisão Exemplo: Venda de pamonha (v: venda, c: custo, θ: demanda) D = {0, 1, 2,..., 50} ; Θ = {0, 1, 2,...} ; R = R r(d, θ) = { (v c)d, d θ (v c)θ c(d θ), d > θ E[U P d ] = i=1 U (r(d, i)) P(θ = i) d = {(v c)i c(d i)±vd} P(θ = i) + = v i=1 d P(θ = 1) + (v c)d vdp(θ d) i=1 i=d+1 (v c) dp(θ = i)
Aula 09 - Exemplo de Problema de Decisão d = E[U P d+1 ] E[U P d ] = v(d + 1)P(θ = d + 1) + (v c) {v(d + 1)P(θ d + 1) vdp(θ d)} = v(d+1)p(θ = d+1)+(v c) {[v(d + 1) vd] P(θ d) + v(d + 1)P(θ = d + 1)} d = (v c) vp(θ d) d > 0 (v c) > vp(θ d) P(θ d) < (v c) v { d = min P(θ i) v c } i N v
Aula 09 - Problema de Decisão Abuso de notação: U(d, θ) = U (r(d, θ)). Em geral, vamos considerar L(d, θ) = U(d, θ), a perda associada à decisão d quando o estado da natureza é θ. Definição: o risco da decisão d contra a distribuição P é dado por ρ(d P) = L(d, θ)dp(θ) = E [L(d, θ) P]. Θ Definição: o risco da Bayes contra a distribuição P é dado por ρ (P) = inf d D ρ(d P) e d é chamada decisão de Bayes se ρ(d P) = ρ (P)