Técnicas Computacionais em Probabilidade e Estatística I

Transcrição

1 c Técnicas Computacionais em Probabilidade e Estatística I Aula Chang Chiann MAE IME/SP º Sem/008

2 Slide c chang; /4/008

3 Simulação Estática Obetivo: Em análise estatística de dados, modelos estocásticos são adotados a dados reais e estudos de simulação são usados para análise do modelo adotado (Por meio destas técnicas pode-se estudar as propriedades de um modelo estocástico) Gerar números aleatórios (pseudo-aleatórios) Gerar valores de variáveis aleatórias arbitrárias (discretas e contínuas) sar v.a. para gerar o comportamento de um modelo estocásticoestudar o comportamento de estimadores

4 Motivação A Natureza e Fenômenos Aletórios f ( ) + e Fenômeno Real Modelo estrutural estocástico adotado para eplicar a variação de em função das variáveis, além de um resíduo O Modelo estrutural e estocástico deve ser o mais próimo possível do fenômeno real, mas deve ser matematicamente tratável Eemplo: tempo de vida, tempo entre chegadas, tempo de cura, tamanho da ferida, diâmetro da folha, comprimento do recém-nascido, número de acidentes, número de receituários emitidos,

5 Modelo Estatístico f ( ) + e Var. aleatória (dependente) Var. eplicativa (independente) Var. aleatória (resíduo) E() f () µ V() V(e) σ ² Suposições comuns a conuntos de dados: Amostra aleatória simples de tamanho n ( iid ) Distribuição de probabilidade conhecida Parâmetros de Locação e Escala comuns Análise de diagnóstico (gráficos)

6 Motivação ANOVA Efeitos Fios Suposições: modelo estrutural e distribucional são adotados aos dados yi yi µ + ε i componente fio µ + τ + ε i efeito do tratamento iid ε i ~ N ( 0 ; ) σ normalidade homocedasticidade independência H0: µ µ µ µ τ... τ 0... k k H: eiste pelo menos uma diferença F SSM /( k ) SSE /( n k) QMM QME sob H0 ~ F k, n k Análise de Diagnóstico

7 : : Números Aleatórios Variável aleatória Valor da variável aleatória Geradores de Números aleatórios: Tabelas, calculadoras, computadores Computadores: geram # pseudo-aleatórios pois são obtidos deterministicamente, a partir de uma semente, e se parecem com (0;) independentes f ( 0 ; ) ~ V.a. com distribuição niforme no intervalo (0,) ~ ( a ; b) ( ), 0 < < ; E( ) b a V b a f ( ) d b + a ( ) E( E( )) ( b a)

8 Geradores de Números Aleatórios Método Congruencial Multiplicativo 0 n : Semente (valor inicial) a n modulo m; n a : é divisível por m R 0,,,..., m : n n m ~ ( 0 ; ) E: Computador 3 bits m 3 - a n 36 bits m 35-3 a5 5 0; n a n + c modulo m; n é o resto da divisão Método Congruencial Misto (envolve termos multiplicativo e aditivo)

9 Geradores de Números Aleatórios Maioria das linguagens á tem um gerador de # aleatórios implementado No Aplicativo R: > k<-0 # numero de amostras > <-runif(k) > [] [7]

10 Aplicação Cálculo de Integrais θ g( ) 0 d ( 0 ; ) θ E( g( )) ~? Lei Forte dos Grandes Números:,,..., k ~ ( ) g( ) g( ) g,...,, iid ( 0 ; ) k v.a. iid com valor esperado θ Com probabilidade tem-se: k g ( ) k k E ( g( )) θ Pesquisa de Monte Carlo!

11 Cálculo de Integrais E. : θ 0 ep( e ) d Aplicação > k<-000 # numero de amostras > <-runif(k) > g<-ep(ep()) > mean(g) [] E. : θ ln( + ) 0 d > k<-000 # numero de amostras > <-runif(k) > g<-log(+) > mean(g) []

12 Aplicação Cálculo de Integrais ( ) b a d g θ? ( ) d a b dy a b a y d g b a θ [ ] + 0 ) ( ) ( dy a b a a b y g θ ( ) ( ) + 0 ) ( ) ( ; ) ( y a b a g a b y h dy y h

13 Aplicação Cálculo de Integrais 0 ( ) θ g d? θ g( ) d y dy + 0 ( + ) d y d θ 0 h( y) dy; h ( y) g y y

14 Aplicação Cálculo de Integrais Multidimensionais θ 0... g(,,..., n ) dd,..., dn 0 0 θ E iid ( n ( g,,..., )) ~ ( 0 ; ) Cálculo aproimado: Gerar k conuntos independentes de n (0;) independentes? k k n n k n ; ( ) g,...,, n são iid com média θ k g (, ),..., k n k θ

15 Aplicação Estimação do Número π (,y) P ((, y) circulo) P( + y ) π 4 Gerar pontos no quadrado (um grande número de vezes) e a proporção de pontos que caem dentro do círculo será aproimadamente π/4.

16 Aplicação Estimação do Número π ( ) ( ), ; ) ( ) ( ), ( ; ; ~ ; ~ y y f f y f ( ) ( ) ( ) + cc y se I 0 ; ~ ) ( ; 0; ~ 0; ; ~ ( ) ( ) ( ) 4 π + P I P I E

17 Aplicação Estimação do Número π > k<-000 # numero de amostras > n<- # tamanho da amostra > z<-numeric(0) > for(i in :k) + { + y<-runif(n) # amostra de tamanho n da (0,) + z[i]<-y[]^+y[]^ # z calculado para cada amostra + } > vi<-ifelse(z<,,0) # varißvel indicadora > sum(vi)/k [] Conclusão:

18 Simulação Estocástica Gerando Variáveis Aleatórias Discretas Método da Transformada Inversa Método da Reeição (Aceitação/Reeição) Método da Composição

19 Método da Transformada Inversa : variável aleatória discreta ( ) p ; 0,,... p P ( 0; ) ~ se < 0 p 0 < + se p0 p0 p se i p i < i p i Desde que: 0 < a < b < P ( a < b) b a ( ) P pi < pi p P i i

20 Método da Transformada Inversa ALGORITMO: P ( ) p ; 0,,,... Gerar ~ ( 0; ) Se Se Se... < < < p p p , + p + p + p pare, pare 3, pare

21 Método da Transformada Inversa Eemplo: Simular, tal que: P ( ) p ;,,3, 4 p 0, p 0,5 p3 0,5 p4 0,4 ~ ( 0; ).. Se Se < 0,0 < 0,35,, pare pare 3. Se < 0,60 3, pare 4. c. c. 4 Outra alternativa (mais eficiente): ~ ( 0; ).. Se Se < 0,4 4, < 0,65 3, pare pare 3. Se < 0,85, pare 4. c. c.

22 Método da Transformada Inversa : variável aleatória discreta ( ) p ; 0,,... p P ( 0; ) ~ se < 0 p 0 + se p0 < p0 p se i p i < i p i Se: 0 < < <... F ( k ) P( k ) ( ) F( ) se F < k i p

23 Método da Transformada Inversa Eemplo: Simular : variável aleatória uniforme discreta P,..., n ( ) ;, n ~ ( 0; ) ( ) F( ) se F < se < n < n n [ n ] + Escreva o algoritmo!

24 Método da Transformada Inversa Eemplo: so da v.a. uniforme discreta Gerar uma permutação aleatória dos números,,, n ~ ( 0; ) I [ n ] + ocupará a posição n ~ ( 0; ) I [( n ) ] + ocupará a posição n ~ ( 0; ) I [( n ) ] + ocupará a posição n Para um conunto geral de n números seguir com a ordenação e atribuição da série,,,n aplicar o algoritmo acima.

25 Método da Transformada Inversa Aplicação: i Gerar a Geométrica: ~ Geom( p) P( i) pq i λ λ i e λ i! Gerar a Poisson: ~ P( ) P( i) i 0 n! i!( n i)! i n i Gerar a Binomial: ~ Bino( n; p) P( i) p q i 0,,..., n Escreva os algoritmos!

26 Método da Transformada Inversa Aplicação: Gerar a seguinte v.a. tal que: P() 0, 0, 0,09 0,08 0, 0, 0,09 0,09 0, 0,. Se < 0,08 4, pare ~ ( 0; ). 3. Se Se < 0,7 < 0,6 3, 7, pare pare 3. Se < 0,35 8, pare 3. Se < 0,45 6, pare 3. Se < 0,55 9, pare 3. Se < 0,65 0, pare 3. Se < 0,76, pare 3. Se < 0,88, pare 4. c. c. 5

27 Alternativa mais eficiente: Gerar a seguinte v.a. tal que: Método da Reeição P() 0, 0, 0,09 0,08 0, 0, 0,09 0,09 0, 0, ( 0; ) [ 0 * ] ; ~ ( ;0 ) ~ + y se P( P( y) y) p p ( y) ( y) p ( y) /0 c; c

28 Método da Reeição (Aceitação/Reeição) Suponha que a variável aleatória tem sido gerada eficientemente: ( y ) q 0 ; P Em geral é a uniforme discreta é usada para gerar a variável aleatória, tal que, P ( ) p 0 da seguinte forma: ( ) Simule ; P q Gere ~ (0;) p Se <, pare cq c. c. retorne ao passo Note que: p q c para todo ; p 0; c

29 Método da Reeição Algoritmo: ( ) Simule ; P q Gere ~ (0;) Se p < cq, c. c. retorne ao passo pare Gera ; q Adota c Gera ~(0;) p cq S N

30 P Método da Reeição Algoritmo:. Simule ; P( ). Gere 3. Se ~ (0;) p <, pare cq 4. c. c. retorne ao passo Prova: ( i) P( i Aceitação) k P i; p i cq i ( i; Aceit) P( Aceit) P P k q p i i i i ( i) P pi cq i q k p cq i p kc pi P( i) kc i i kc

31 Simule a v.a. tal que: Método da Reeição P() 0, 0, 0,09 0,08 0, 0, 0,09 0,09 0, 0, Algoritmo: Gere Gere Se ~ (0;) Escolha c Ma ~ (0;) [0, p <, pare 0, c. c. retorne ao passo p q ] + p c ma q p < cq

32 Simule a v.a. tal que: Método da Reeição P() 0, 0, 0,09 0,08 0, 0, 0,09 0,09 0, 0, Algoritmo: Gere Gere Se ~ (0;) Escolha c Ma ~ (0;) [0, p <, pare 0, c. c. retorne ao passo p q ] + < p cq

33 Método da Composição (Mistura) Suponha que podemos gerar eficientemente e, tal que: ( ) q P( ) p ; 0 P Então, para gerar definida como: P basta fazer: ( ) α p + ( α ) q ; 0, 0 < α < com probabilid ade α com probabilid ade ( α )

34 Aplicação: Gerar tal que, P Método da Composição ( ) 0,5 p + 0,5 q ;,,..., 0 p 0,0,,...,0 q 0 0,,,3,4,5 6,7,8,9, P() 0,05 0,05 0,05 0,05 0,05 0,5 0,5 0,5 0,5 0,5

35 Aplicação: Gerar tal que, Método da Composição P ( ) 0,5 p + 0,5 q ;,,..., 0 p 0,0,,...,0 q 0 0,,,3,4,5 6,7,8,9,0 Algoritmo: Gere Se Gere c. c. ~ (0;) ~ (0;) < 0,5 [ 5 ] + 6 [ 0 ] +, pare

36 Simulação Estocástica Gerando Variáveis Aleatórias Contínuas Método da Transformada Inversa Método da Reeição (Aceitação/Reeição) Método Polar (v.a. Normais)

37 Método da Transformada Inversa Gerar, variável aleatória contínua, tal que: P ( ) F ( ) F ALGORITMO: Gerar ~ ( 0; ) F ( ) Prova: F ( ) P( ) P( F ( ) ) P( F( F ( )) F( ) ) ( F( ) ) F( ) P

38 Método da Transformada Inversa Gerar, variável aleatória contínua, tal que: P n ( ) F ( ) ; 0 < < ~ (0;) F ( u) u F n / n ( ) u Algoritmo: Gerar ~ ( 0; ) / n

39 Método da Transformada Inversa Gerar, variável aleatória com distribuição eponencial de parâmetro λ λ ( λ ); f ( ) λe e ; 0 ~ ep > P ( ) F ( ) e ; > 0 F ( u) u F ( ) e u e ln ( u) Algoritmo: Gerar ~ ( 0; ) ( ) ln

40 Método da Transformada Inversa Gerar, variável aleatória com distribuição eponencial de parâmetro λ λ ( λ ); f ( ) λe e ; 0 ~ ep > P ( ) F ( ) e ; > 0 Algoritmo: Gerar ~ ( 0; ) ln( ) Algoritmo mais rápido: Gerar ln ( ) ~ ( 0; ) λy ( λ) ; f ( y) λe ; y 0 ~ ep > λ λ y ( y) F ( y) e ; y > 0 P ln λ

41 Método da Transformada Inversa Gerando o processo de Poisson a partir da soma de variáveis eponenciais: N ~ n i i P N() ~ ( λ) Poisson i : tempos entre chegadas sucessivas (i, ) : Tempo total até a n-ésima chegada n N() ma n : i ( λ ) i Algoritmo: ( 0; ), i, n Gerar i ~,..., N ma n; ma n; ma n i n i ln λ ln i { n; ( * *...* ) e λ } i λ ma n { n;ln( * *...* ) λ} n

42 Método da Transformada Inversa Gerando o processo de Poisson a partir da soma de variáveis eponenciais: Algoritmo mais eficiente: ( 0; ), i, n Gerar i ~,..., N λ { n; ( * *...* ) < e } min n

43 Método da Transformada Inversa Gerando a distribuição Gama: ~ Gama P n ( λ) ( n )! λ ( n, λ) ; f ( ) λe ; > 0 y ( ) F ( ) e ( n 0 n (λy) dy )! λ λ? ~ Gama n ( n, λ) i ; ~ ep( λ) i i Algoritmo: Gerar i ~ ( 0; ), i,,..., n ln... ln ln... λ λ λ ( ) n n

44 Método da Reeição Suponha que a v.a. pode ser gerada eficientemente, ; g ( y) Em geral, é niforme ou Eponencial A variável pode ser gerada a partir de, como: se f g ( y) ( y) c para todo y Algoritmo:. Gerar ; g ( y). Gerar ~ ( 0,) f ( y) 3. Se c g ( y) 4. c. c. retornar ao passo y

45 Método da Reeição Algoritmo:. Gerar ; g ( y). Gerar ~ ( 0,) f ( y) 3. Se c g ( y) 4. c. c. retornar ao passo y c f ma g Gerar ; g Calcular c Gerar ~(0;) c f g ( y) ( y) S N O número de iterações necessárias é uma variável eponencial com média c

46 Método da Reeição 3 Aplicação: Gerar, tal que, ( ) 0 ( ) 0 f < < Sea ( 0; ) g ( y) 0 < y ~ < { 0( ) 3 } f ( y) c? ma ma g ( y) c f g ( / 4) 3 0 ( / 4) ( ) 3 / 4 0 [ ] 3( ) 0 Diferenciar e igualar a zero c f g ( y) ( y) { 0( ) } ( ) 7

47 Método da Reeição 3 Aplicação: Gerar, tal que, ( ) 0 ( ) 0 f < < f ( y) ~ c g ( y) ( 0; ) { 0( ) } ( ). Gerar ~ ( 0; ) Algoritmo:. Gerar ~ ( 0; ) Se 7 4. c. c. retornar ao passo 3 ( )

48 Método da Reeição 3 Aplicação: Gerar ~ Gama ; f ( ) e 3 ( ) 3 Γ( ) > 0 3 Sea ~ ep 3 3 / f ( ) / Γ(3/ ) e c? ma ma ( / 3) g ( ) 3/ e ( y λ ) g ( y) e y > 0 3 ma Γ / e (/ 3) ( 3/ ) 3/ c Γ / 3 3 (/ 3)(3 / ) ( 3/ ) e c f / ( ) e / / 3 g ( ) 3 e

49 Método da Reeição 3 Aplicação: Gerar ~ Gama ; f ( ) e 3 ( ) 3 Γ( ) > 0 ~ ep( λ ) 3 c f / ( ) e / / 3 g ( ) 3 e. Gerar 3 ~ 0; ln ( ) Algoritmo:. Gerar ~ ( 0; ) / e / / 3 3. Se e 3 4. c. c. retornar ao passo, pare Neste caso, o número de iterações necessárias é c,57

50 Método da Reeição Aplicação: Gerar Z ~ N ( 0; ) f ( z) e < < Z (π ) / Gerar Z ; f Z ( ) e ; 0 (π ) > / Obter Z, tal que, P(Z)P(Z-)0,5 y ( λ ); g ( y) e y 0 ~ ep > f ( ) {( ) / } Z / c? ma ma / π e g ( ) c / / ( / π ) e c f g ( ) ( ) ep ep ( ) #médio de iterações

51 Método da Reeição ~ 0; Aplicação: Gerar Z N ( ) f ( z) e < < Gerar Z ; f Z (π ) ( ) e ; 0 (π ) > / / Obter Z, tal que, P(Z)P(Z-)0,5 Algoritmo:. Gerar ~ ( 0; ). Gerar ~ ln ( 0; ) ( ) 3. Se ep, vá para passo 4. c. c. retornar ao passo ( 0; ) Se 0,5 Z pare Gerar ~, 5 6. c. c. Z, pare

52 Método da Reeição m algoritmo mais eficiente pode ser obtido, por notar que:. Gerar ~ ( 0; ) ( 0; ). Gerar ~ ln ( ) 3. Se ep, vá para passo 4. c. c. retornar ao passo 6. c. c. Z, ( 0; ) Se 0,5 Z pare Gerar ~, pare 5 ( ) ln ; ln ~ ep ( λ )

53 Método da Reeição Aplicação: Gerar Z ~ N ( 0; ) f ( z) e < < Z (π ) / Algoritmo mais eficiente:. Gerar ~. Gerar ~ 3. Se ( ) 4. c. c retornarao 5. Gerar ~ ( 0; ) ( 0; ) ( 0; ) 6. c. c. Z, pare. 3 passo ln ln, vá Se 3 para passo5 0,5 Z, pare.

54 Simulação de Variáveis Normais Gerar ~ N µ ( ) ( ) σ µ ; σ f e < < (πσ ) / Gerar Z ~ N ( 0; ) f ( z) e < < Z (π ) / Obter ; σ Z + µ

55 Método Polar para Gerar Normais Coordenadas cartesianas e coordenadas polares: R (,) R + tanθ θ tan θ R cosθ R senθ Transformação de Bo-Miller: Obter variáveis Normais padrão independentes ( e ) a partir de variáveis niformes R cosθ R senθ ln cos sen ( π ) ( π ) ln Simulação: limitações com o cálculo de senos e cossenos

56 Método Polar para Gerar Normais V R cosθ R senθ - R V θ 0 V V - ( V ) / V R + senθ V R S cos θ R V R V ln S S / V ln S S /

57 - V - R V θ 0 V V Método Polar Pontos (v,v) estão distribuídos uniformemente no círculo de raio unitário. Logo: V V ~ ~ ( 0; ) ; ( 0; ) ; V V ~ ~ ( ; ) ( ; ) V ln S S / V ln S S / S + V V e são variáveis aleatórias independentes com distribuição Normal Padrão: ~ N( 0; ) ~ N( 0; )

58 Validação Estatística de Simulação Estocástica Gráficos Q-Q Geração de Variáveis Aleatórias Discretas: Testes de Bondade de Auste (Aderência): testes Qui-Quadrado Geração de Variáveis Aleatórias Contínuas: Gráficos Q-Q Testes de Bondade de Auste (Aderência): categorizando a variável em pequenos intervalos Testes de Kolmogorov-Smirnov

59 Validação Estatística de Simulação Estocástica Testes de Bondade de Auste (Aderência): Q K ( O E ) ( N np ) K i i i i ~ χ K i Ei i npi O i : frequência observada (N i ) na casela I E i : frequência esperada (np i ) de observações na casela I n observações foram geradas K valores foram observados da variável nas n simulações

60 Validação Estatística de Simulação Estocástica Testes Kolmogorov-Smirnov: H : Fe 0 ( ) F( ) F e D ( ) ma F 0 se < se n n se e se ( ) F( ) n < < + F( ) F e ( ) n Valores ordenados das simulações

61 Validação Estatística de Simulação Estocástica Testes Kolmogorov-Smirnov: D ma F e ( ) F( ) Suponha que para o conunto de n valores simuladosdd Cálculo do nível descritivo do teste: p P ( D d ) ( ), F( ) ;,..., n ; < <... n D ma F < n n Pode ser mostrado que a distribuição da estatística D não depende de F logo o valor p é calculado via simulação a partir da distribuição niforme como veremos a seguir.

62 Validação Estatística de Simulações Aplicação: Verifique se os dados a seguir podem ser assumidos como tendo uma distribuição eponencial com média 00: F / 00 ( ) e d0,483 Cálculo do nível descritivo do teste de Kolmogorov-Smirnov: Algoritmo:. n 9. Gerar : 3. Ordenar : 3. D ma,...,,..., {,,...,,..., } n () () 4. retorne ao passo K vezes n n ( n) () n ( ) () p P ( D d ) : proporção dos K valores que são maiores ou iguais a d

63 Bibliografia Ross, S.M. (997). Simulation. Academic Press.