Prof. Rafael A. Rosales 16 de abril de As respostas dos exercícios 14., 16. e 17. foram elaboradas por Felipe Polo e Denis Moreira.

Transcrição

1 USP-FFCLRP Itrodução a Iferêcia Estatística DCM Iformática Biomédica Prof. Rafael A. Rosales 16 de abril de 218 As respostas dos exercícios 14., 16. e 17. foram elaboradas por Felipe Polo e Deis Moreira. 2. Cosideramos os seguites dados forecidos o euciado do exercício, Nota Frequêcia Sejam f i = i / as frequêcias relativas, com = 84 o total de observações e i os valores das frequecias para cada uma das faixas de otas. Os valores para as frequêcias relativas são f 1 =.17, f 2 =.33, f 3 =.32, f 4 =.13, f 5 =.5. (a) O histograma é o gráfico destas frequecias a respeito do poto médio de cada itervalo. Podemos obter o histograma, fazedo um grafico de barras diretamete dos dados forecidos pela tabela de frequecias acima, porém obtamos por fazermos o grafico utilizado a fução hist do R. Neste caso é ecessário recriar os dados origiais a partir da tabela. Isto é feito em dois passos: primeiro defiimos o data frame df com duas coluas valor e freq, e logo recriamos os dados utilizado a fução rep, op <- par() par(mfrow=c(1,2)) dt<-data.frame(valor=c(1,3,5,7,9),freq=c(14,28,27,11,4)) hist(rep(dt$valor,dt$freq), breaks=5, freq=false, mai="", xlab="otas",ylab="") boxplot(rep(dt$valor,dt$freq), xlab="otas",frame=f, horizotal=t,col="lightgray",outlie=f) par(op) (b) A porcetagem de aprovação é f 3 /2 + f 4 + f 5 = =.34 = 34%. (c) Seguido o exposto o Exemplo 1.1 do Capitulo 1 em Magalhães, é simples determiarmos os quartis Q 1, Q 2, e Q 3 : estes correspodem ao valor dos dados que ode ocorrem 25%, 5% e 75% da probabilidade o histograma. Sejam x =, x 1 = 2,..., x 5 = 1 os potos o eixo x que delimitam as classes do histograma. Para Q 1 temos Q 1 x 1.8 Aalogamete para Q 2 e Q 3 temos, = x 2 x 1 Q 1 = 4 2, = 2, 48. f 2, 33 Q 2 x 1 = x 2 x 1 Q 2 = 4 2, = 4,.33 f 2, 33 Q 3 x 2 = x 3 x 2 Q 3 = 6 4, = f 3, 32 O boxplot a Figura 1 é determiado com estes quartis. Os valores a figura são ligeramete diferetes dos calculados aqui pois a figura os quartis foram determiados diretamete dos dados e ão do histograma (i.e. da tabela de frequêcia). 1

2 otas otas Figura 1. histograma e boxplot para a amostra do Exercício A <- data.frame(valor=c(35,45,55,65,75,85,95),freq=c(8,25,28,12,9,,)) B <- data.frame(valor=c(35,45,55,65,75,85,95),freq=c(,,1,34,19,111,55)) boxplot(rep(a$valor,a$freq), rep(b$valor,b$freq), horizotal=t, outlie=f, frame=f, ames=c("a", "B"), xlab="peso", col="lightgray") 4. Carregamos os dados e fazemos histogramas para as edades de ambos subgrupos dt <- read.table(" header=true) idade.fp <- dt[dt$grupo == 4,3] idade.f <- dt[dt$grupo == 1,3] hist(idade.f, breaks=seq(,12,1), mai="falso -", xlab="idade", ylab="frequecia") hist(idade.fp, breaks=seq(,12,1), mai="falso +", xlab="idade", ylab="frequecia") boxplot(idade.fp, idade.f,ames=c("falso -", "falso +")) O resultado é mostrado a Figura 2. Estes graficos sugirem que a afirmação feita pelos médicos é falsa. 5. O objetivo deste exercício é rever as defiições de varias medidas resumo. Formalmete estas medidas correspodem a estatísticos utilizados para estimar diversas características da população. O Capítulo 4 do livro do M. N. Magalhães e A. C. Pedroso de Lima (vejam a bibliografía o site) oferece uma boa exposição das medidas resumo. Os dados forecidos associam a cada possível valor de X {4, 5, 6, 7} a sua frequêcia relativa a mostra, ou seja, y = (126, 359, 1685, 4764). O cojuto dos pares (x, y) é as vezes chamado de tabela de frequêcia. A Figura 3 forece um gráfico de barras desta tabela. Observe que este gráfico de fato correspode ao histograma baseado a amostra para os possíveis valores de X.

3 3 falso - falso + Frequêcia Frequêcia Idade Idade falso - falso + Figura 2. histogramas e boxplot para a amostra do Exercício Figura 3. histograma defiido pela amostra do Exercício 1. (i) Para determiarmos a média amostral podemos utilizar as frequecias relativas forecidas o euciado. De fato, seja z = (z 1, z 2,..., z N ) a mostra com N = 4 y i = 6934 e assim z = 1 N (z 1 + z z N ) = y 1 N x 1 + y 2 N x 2 + y 3 N x 3 + y 4 N x 4 (y i cota o úmero de vezes que ocorre o valor x i a amostra z 1,..., z N ). Logo, utilizado os dados obtemos z = = 6, Seja mo z a estimativa para a moda populacioal forecida pela amostra z. Por defiição, mo z = valor mais frequête em z = 7.

4 4 (Podemos deotar por mo X a moda da população X, ou seja a caratceristica que mo z esta tetado estimar.) Seja md X a mediaa da população, defiida como o valor da população que ocupa o valor cetral, ou seja, { md X = x : P (X x) 1 e P (X x) 1 } 2 2 Seguido os dados forecidos pela amostra obtemos as seguites estimativas para a distribuição de X, P (X = 4) = y 1 N = , P (X = 5) = y 2 N = , P (X = 6) = y 3 N = , P (X = 7) = y 4 N = e disto cocluimos que md z, a estimativa forecida pela amostra para md X é md z = 7 pois P (X 7) 1 2 e P (X 7) 1 2. (ii) Podemos calcular a estimativa para a variâcia da amostra baseados a tabela de frequêcia forecida o euciado 1 da seguite maeira 4 y i Var(z) = N (x i z) 2 = (4 6, 6) (5 6, 6) (6 6, 6) (7 6, 6) = (iii) Cosideramos a variável R =úmero de reprovações, com valores {, 1, 2, 3}. Deotamos a amostra por r = (r 1, r 2,..., r N ). Dos dados do euciado temos a seguite tabela de frequêcia (ou histograma) baseada(o) em r, R y i /N Para esta amostra temos a média amostral r =.4, e md r = mo r =, Var(r) =.45. (iv) Cosideramos a variável despesa D = 2R e a amostra iduzida d = (d 1, d 2,..., d N ), logo d = 2 r = 8, e Var(d) = 2 2 Var(r) = (i) Devemos aalisar a a esperaça dos estimadores e se obtermos E[ θ] θ =, o estimador será ão viciado para θ. Para ˆθ 1 temos [ ] E[ θ 1 ] = E[ X] X1 + X 2 + X 3 = E = E[X 1] + E[X 2 ] + E[X 3 ] = 3θ = θ Aalogamete, E[ θ 2 ] = E[ θ 3 ] = θ, mostrado que os três estimadores ão são viciados. (ii) Como X 1, X 2, X 3 é uma amostra, os elemetos são idepedetes, e portato, usado propriedades da variâcia, ( ) Var( θ 1 ) = Var( X) X1 + X 2 + X 3 = Var 3 = Var(X 1) + Var(X 2 ) + Var(X 3 ) 9 1 vejam a pagia 16 do livro do Magalhães e Pedroso de Lima = 3θ2 9 = θ2 3

5 Aalogamete, Var( θ 2 ) = Var(X 1 ) = θ 2 e Var( θ 3 ) = θ 2 /2, mostrado que θ 1 possui meor variâcia. A parte (v) da questão 1. abaixo é importate para a teoria mas o seu estudo é opcioal. 1. (i) Seguido o feito em aula temos que para qualquer 1, E[ X ] = µ, Var( X ) = Var(X ) = σ2. (ii) Isto é imediato e decorre de utilizarmos a desigualdade de Chebyshev para cada 1 juto aos resultados em (i). (iii) Desevolvemos o quadrado a defiição de S, 2 S 2 = 1 (X i 1 X ) 2 = 1 ( Xi 2 2X i X + 1 X ) 2 = ( 1 Xi X 1 X i + X 2 ) = ( 1 ) Xi X 2 + X 2 O resultado segue da ultima expressão. (v). Para aalisamos o comportameto de S 2 = 1 Xi 1( 2 X 2) observamos primiero que se as v.as. X i, 1 i, são idepedetes, etão Xi 2 são idepedetes. Portato, da Lei Forte dos Grades Números 1 (a) X 2 q.c. i E[X 2 ]. Por outro lado, também da Lei Forte, X q.c. E[X], assim (b) X2 q.c. E[X] 2 Isto ultimo é cosequêcia do seguite resultado geral: Se X X e h : R R é cotiua, etão h(x ) q.c. h(x). O mesmo vale para P e. D Também vale o seguite: Se X X e Y Y, sedo = P ou = q.c., etão X + Y X + Y. Desta ultima observação e de (a) e (b) resulta S 2 q.c. q.c. E[X 2 ] E[X] 2 = σ X 1,..., X é uma amostra da população X com desidade f X (x) = 2 x θ 2, < x < θ com θ >. Estudamos o EQM para os estimadores θ 1 = X e θ 2 = X () = max{x 1,..., X }. Observamos primeiro que a média da população é E[X] = θ u 2 u θ 2 du = 2 3 θ.

6 6 Como X é ão viciado para a média da população, temos que E[ θ 1 ] = 2 3θ. Isto implica porém que θ 1 é viciado para θ. A variâcia para θ 1 é Var( θ 1 ) = Var(X) logo o erro quadrático médio de θ 1 é = 1 θ ( u 2 ) 2fX 3 θ (u) du = 1 θ 2 18, EQM( θ 1 ) = 1 θ 2 ( 2 ) θ θ (1 + 2)θ 2 = 18 Aalisamos agora o estimador θ 2. Desevolvemos primeiro a fução de distribuição do máximo X () = max{x 1, X 2,..., X }, F X() (x) = P (X () x) = P (max{x 1,..., X } x) = P (X 1 x,..., X x) = F X1 (x) F X (x) = F X (x). Assim, a desidade do máximo é f X() (x) = d dx F X(x) = F X (x) 1 d dx F X(x) = F X (x) 1 f X (x) ode F X (x) = f X (u) du 2 u x2 du = θ2 θ 2. Substituido ecotramos f X() (x) = 2 ( x 2 ). x θ 2 A distribuição do máximo da amostra permite calcular a esperaça de θ 2, E[ θ 2 ] = x θ Por outro lado, a variâcia deste estimador é θ ( Var( θ 2 ) = u Fialmete, o erro quadrático médio de θ 2 é, EQM( θ 2 ) = x u f X() (u) du = θ ) 2fX() (u) du = θ. θ 2 (1 + )(1 + 2) 2. θ 2 (1 + )(1 + 2) 2 + ( θ θ ) 2 = θ 2 (1 + )(1 + 2). A Figura 4 apreseta uma gráfico do EQM para cada estimador em fução de θ. 12. Como Y é Biomial(, p), tem-se E[Y ] = p e Var(Y ) = p(1 p). Assim, [ Y ] E[ p] = E = p = p. Com isso vemos que o estatístico p é ão viciado para p. Calculado a variâcia, ( Y ) p(1 p) p(1 p) Var( p) = Var = 2 =. Em particular, isto permite mostrar que p é cosistete para p. Observe que o estimador deste exercício é igual ao estimador p = ξ i/ quado ξ i, i = 1,..., é uma amostra Beroulli(p), pois Y = ξ i.

7 7 EQM Figura 4. erro quadrático médio de θ 1 e θ 2 (liha potilhada) em fuçõ de θ para = 5. θ 13. Determiamos primeiro a desidade do máximo M (lembre o visto em aula ou estude a resposta ao Exercício 11.). Com este objetivo derivamos a forma da fução de probabilidade cumulativa do máximo, { x } F M (x) = F U1 (x) 1 ( u ) = θ du = θ lembrado que a desidade da população U, e portato de qualquer U i, é f U (x) = 1/θ se x [, θ], e f U (x) = o caso cotrário. A desidade de M é portato f M (x) = d dx F M(x) = F U1 (x) 1 f U1 (x) = ( x θ ) 1 1 θ Podemos agora determiar a média do estatístico M, isto é, E[M] = θ xf M (x)dx = Isto ultimo sugiere utilizarmos o estatístico θ ( x ) dx θ +1 = θ θ + 1 = θ = + 1 M, + 1 θ. o qual é ão viciado para θ. (ii) Para saber se θ é cosistete, devemos calcular Var( θ), ( + 1 ) 2Var(M) ( + 1 ) 2 θ Var( θ) = = (x θ) 2 f M (x)dx ( + 1 ) 2 2θ 2 (1 + ) = = 2θ2 (1 + )(2 + ) 2 (2 + ). Disto ultimo cocluimos que lim Var( θ) = e assim, utilizado a desigualdade de Chebyshev, que θ é cosistete.

8 8 14. Seja x = x 1, x 2,..., x uma amostra da população com desidade Gamma-(α, β), com α = 2, e β descohecido. A fução de verosimilhaça este caso é x i e x i/β L(x, β) = β 2. logo ll(x, β) = l(x i ) 1 β x i 2l(β) Derivado esta expressão a respeito de β, igualado a e resolvedo a respeito de β obtemos o seguite estimador de máxima verossimilhaça (ii) Observamos primeiro que d ll(x, β) = dβ x i β 2 2 β = β MV = X 2. E[ β MV ] = E[ X ] = E[X] 2 2, portato para respoder a questão devemos determiar E[X]. Seguido a defiição de esperaça temos E[X] = xf(x)dx = x x e x/β x 2 e x/β β 2 dx = β 2 dx Aplicado itegração por partes, obtemos E[X] = 2β. Assim E[ β MV ] = β, ou seja, β MV viciado para β. 16. (i) A fução de verossimilhaça é assim, o seu logaritmo é ll(x, p) = L(x, p) = ( ) xi 1 p r (1 p) (x i r) r 1 ( ) xi 1 l + rl(p) + (x i r)l(1 p) r 1 Maximizamos agora esta expressão a respeito de p, d ll(x, p) = dp (ii) Para a primiera amostra temos a seguite estimativa (iii) Para a seguda amostra resulta ˆp MV = ˆp MV = r p x i r 1 p = p MV = r X , , é ão (iv) É evidete que quado os valores de x i são em geral maiores (i.e. livrarias de maior tamaho), a probabilidade de se ter um sucesso é meor, pois em média são ecessárias mais tetativas até atigir 1 expressos. É relevate observarmos que os valores para as amostras em (ii) e (iii) são bem

9 meores do que realmete é obtido a prática. Tipicamete as livrarias de RNA-Seq apresetam sequecias das quais só de a 1 correspodem a expressão de um determiado gee. Neste caso a estimativa para a probabilidade de que um determiado gee seja expresso varia em toro de a Primeiramete, otemos que a fução de probabilidade a seguir correspode a uma variável aleatória com distribuição Beroulli com parâmetro θ. Vamos etão reescrevê-la da seguite forma { θ f X (x) = x (1 θ) (1 x) se x {, 1}, caso cotrário. (i) Determiamos a fução de verossimilhaça a amostra x = (x 1,..., x ), L(x, θ) = θ x i (1 θ) (1 xi). Aplicado a trasformação logarítimica obtemos ll(θ X) = x i l(θ) + (1 x i )l(1 θ). Resta maximizar esta ultima fução a respeito de θ, o qual leva ao seguite estimador d ll(x, θ) = dθ x i θ 1 x i 1 θ = θ MV = X. (ii) Para calcular o Erro Quadrático Médio cometido pelo estimador θ MV, devemos lembrar primeiramete que como a população X tem distribuição de Beroulli com parâmetro θ, E[X] = θ e Var[X] = θ(1 θ). Temos assim o seguite EQM( θ MV ) = Var( θ MV ) + (E[ θ MV ] θ) 2 = Var( X) + (E[ X] θ) 2 = 1 2 Var(X) + (E[X] θ)2 = 1 2 θ(1 θ) + (θ θ)2 = θ(1 θ) 2. (iii) Para verificar se o estimador θ MV é fracamete cosistete, ou seja, coverge em probabilidade para θ, usaremos a Desigualdade de Chebyshev, P ( Z E(Z) > ɛ) Var(Z) ɛ 2 válida para qualquer ɛ > com θ MV em lugar de Z, isto é, P ( θ MV E( θ MV ) > ɛ) Var( θ MV ) ɛ 2 P ( θ MV θ) > ɛ) Var( X) θ(1 θ) ɛ 2 = 2 ɛ 2 Como ɛ > é um úmero real positivo fixo e a desigualdade vale para qualquer >, passado ao limite quado tede ao ifiito, temos lim P( θ(1 θ) θ MV θ) > ɛ) lim 2 ɛ 2 = lim P( θ MV θ) > ɛ) =. 9

10 1 = 75 = 25 = 5 Frequecia Frequecia Frequecia Figura 5. Covergêcia do histograma para amostras da desidade Gamma(α, β) com α = 2, β = 3 Projeto 1. (i) Esta questão foi respodida em aula. Repetimos aqui o argumeto utilizado. Lembramos que para qualquer eveto A, tem-se E[1 A ] = P (A), logo [ ] [ 1 ] E FX1,...,X (x) = E 1 {Xi x} = 1 P (X i x) = F (x) Cocluímos portato que o estatístico F X1,...,X é ão viciado para F. Para mostarmos a covergêcia em probabilidade do estatístico devemos estudar a sua variâcia. Isto é simples se observamos que a variável aleatória 1 {Xi x} é Beroulli com probabilidade de sucesso F (x), logo a sua variâcia é F (x) ( 1 F (x) ). Temos portato que ) Var( FX1,...,X (x) = 1 2 Var ( ) F (x) ( 1 F (x) ) 1 {Xi x} = o qual implica lim Var ( FX1,...,X (x) ) = para cada x R, pois F (x) 1 se x R. Utilizado a desigualdade de Chebyshev, deduzimos que F P X1,...,X (x) F (x). (ii) Para mostrarmos a covergêcia em probabilidade do histograma a desidade da população, observamos que para qualquer A k = (a k 1, a k ], k = 2,..., m, Assim, utilizado o resultado obtido em (i), ĥ X1,...,X (A k ) ĥ X1,...,X (A k ) = F X1,...,X (a k ) F X1,...,X (a k 1 ). P F (a k ) F (a k 1 ) = ak ak 1 ak f(u)du f(u)du = f(u)du. a k 1 A figura 5 mostra o ressultado do código mecioado a lista de exercícios para amostras de diferete tamaho proveietes de uma população Gamma(α, β) com α = 2 e β = 3.

11 (i) Cosideramos a amostra ξ 1,..., ξ sedo { 1, se a i-ésima pessoa possui degue ξ i =, caso cotrário i = 1,...,. ou seja, ξ i é Beroulli(ν) com ν igual a proproção de pessoas com degue a população. Para a mostra com valor x = (ξ 1 = x 1,..., ξ = x ) a fução de verossimilhaça é L(x, ν) = ν x i (1 ν) 1 x i = ν i x i (1 ν) i (1 xi). Desejamos maximizar logaritmo de L(x, ν) a respeito de ν. Neste caso o logaritmo da verossimilhaça é l L(x, ν) = x i l ν + (1 x i )(1 ν), logo a derivada a respeito de ν resulta em No poto crítico temos d ( ) 1 dp l L(x, ν) = x i ( ν x i ν = x i ν = x, 1 ν o qual implica que o estimador de máxima verossimilhaça é p MV = X = 1 ξ i. x i ) 1 1 ν. (ii) Seja T o úmero de pessoas verificadas até aparecer a primeira pessoa com degue. Esta variável aleatória segue o modelo Geometrico com probabilidade de sucesso ν, isto é, P (T = x) = (1 ν) x 1 ν, x = 1, 2,... Supohamos que temos a amostra T i = x i, i = 1,...,, e seja x = (x 1,..., x ). A verossimilhaça em x é dada pela expressão L(x, ν) = (1 ν) i (x i 1) ν. Maximizamos o logaritmo de L(x, ν) a respeito de ν, d ( ) 1 dp l L(x, ν) = x i 1 ν = ν 1 ν = 1 x i. O estimador de máxima verossimilhaça para ν é portato p MV = T 1 ode T é a média amostral, ou seja T = T i/. 18. A fução de verossimilhaça a amostra x = (3,, 2, 1, 3, 2, 1,, 2, 1) é dada pela expressão 1 ( ) 2θ 2 ( ) θ 3 ( ) 2(1 θ) 3 ( ) 1 θ 2 L(x, θ) = P (X i θ) =

12 12 l L(x, θ) Figura 6. Grafico do logaritmo da fução de verossimilhaça para o exercício 18. A liha potilhada idica a posição da estimativa para ˆθ ML. O logaritmo (atural) de L(x, θ) é ( l L(x, θ) = 2 l 2 ) ( 3 + l θ + 3 l 1 ) ( 3 + l θ + 3 l 2 ) ( 3 + l(1 θ) + 2 l 1 ) 3 + l(1 θ) = K + 5 l θ + 5 l(1 θ), sedo K uma costate idepedete de θ. No poto crítico desta fução temos d dθ l L(x, θ) = 5 θ 5 1 θ = θ ML = 1 2. O gráfico de l L(x, θ), calculado utilizado as istruções da lista de exercícios, é apresetado a Figura 6. Além da fução de verossimilhaca, a figura também mostra a posição da estimativa para ˆθ ML obtida acima. Isto ultimo é feito com a fução ablie, ablie(v=1/2, lty=2). θ