( ) = σ 2. Capítulo 8 - Testes de hipóteses. 8.1 Introdução

Transcrição

1 Capítulo 8 - Testes de hipóteses 8.1 Introdução Nos capítulos anteriores vimos como estimar um parâmetro desconhecido a partir de uma amostra (obtendo estimativas pontuais e intervalos de confiança para o parâmetro). Muitas situações práticas têm uma natureza diferente, requerendo que em função dos valores observados se tomem decisões acerca dos parâmetros (ou de outros aspectos) da população. Exemplos: 1) Máquina de encher pacotes de açúcar. O peso de cada pacote deve ser 8g (isto é, µ 8). Será que a máquina está a funcionar correctamente? 1 ) O pka tabelado para o ácido ortohidroxibenzóico é.81 (µ y.81). Será que o valor calculado experimentalmente está de acordo com o valor tabelado, isto é, a eventual diferença entre os dois será devida apenas a erros acidentais ou existirá também erro sistemático? Definição: Uma hipótese estatística é uma afirmação acerca dos parâmetros de uma ou mais populações (testes paramétricos) ou acerca da distribuição da população (testes de ajustamento). Vamos estudar em primeiro lugar os testes paramétricos. Exemplo 1) (cont.): temos duas hipóteses: a máquina funciona correctamente (µ 8) ou a máquina não funciona correctamente ( µ 8): :µ 8 versus :µ 8 (hipótese nula) (hipótese alternativa) Hipótese simples: é especificado apenas um valor para o parâmetro. Hipótese composta: é especificado mais de um valor para o parâmetro. Vamos considerar sempre como hipótese simples. A hipótese alternativa ( ) é, em geral, uma das três seguintes: :µ 8 hipótese alternativa bilateral :µ > 8 hipótese alternativa unilateral (superior) :µ < 8 hipótese alternativa unilateral (inferior) Nota: os valores especificados nas hipóteses não devem ter nada a ver com valores observados na amostra. 3 Definição: Teste de hipóteses é um procedimento que conduz a uma decisão acerca das hipóteses (com base numa amostra). Exemplo 1) (cont.): X - v.a. que representa o peso de um pacote de açúcar, E X ( ) σ. V X :µ 8 versus :µ 8 Dispomos de uma amostra de 1 observações: ( X 1,, X 1 ) (a.a.) ( ) µ, Faz sentido decidir com base em X, aceitando se X estiver próxima de 8 e rejeitando se X estiver longe de 8. 4

2 região crítica região de aceitação região crítica α P( erro do tipo I) ( ) P Rejeitar é verdadeira "Aceitar" "Aceitar" "Aceitar" Rejeitar Não rejeitar Rejeitar 8 c c X Região crítica: X < 8 c ou X > 8 + c Aos pontos de fronteira chamam-se valores críticos. Tipos de erro: Situação: Decisão: é verdadeira é falsa "Aceitar" não há erro erro do tipo II Rejeitar erro do tipo I não há erro 5 A α chama-se nível de significância. β P( erro do tipo II) ( ) P "Aceitar" é falsa Voltando ao exemplo, vamos admitir que fazíamos c.5 e que σ 1 e n 1. A região crítica é: X < 7.5 ou X > 8.5. Supondo que X ~ N µ,1 ( ) então X ~ N µ, 1 α P( X < 7.5 ou X > 8.5µ 8) 1 Φ Φ Se aumentarmos n, mantendo os valores críticos, α diminui. Quanto a β, não vamos ter um único valor mas uma função, ou seja, para cada µ de podemos calcular um valor β µ ( ). Por exemplo, para µ 9: ( ) ( ) β( 9) P aceitar µ 9 P 7.5 X 8.5µ 9 Φ Φ ( ) ( ) β( 1) P aceitar µ 1 P 7.5 X 8.5µ 1 Φ Φ Se mudarmos a região crítica, com n fixo: Se c diminuir, α aumenta e, para cada µ, β ( µ ) diminui. Se c aumentar, α diminui e, para cada µ, β ( µ ) aumenta. É mais fácil controlar α do que controlar β depende de µ em ). Logo: rejeitar é uma conclusão "forte". (que "aceitar" é uma conclusão "fraca". Em vez de dizer "aceita-se " é preferível dizer "não se rejeita ", ou "não há evidência suficiente para rejeitar ". Por simetria β( 7) β( 9) e β( 6) β( 1) 7 8

3 Definição: Chama-se potência do teste à probabilidade de rejeitar a hipótese nula quando a hipótese alternativa é verdadeira ( 1 β ). No exemplo, a potência do teste quando µ 9 é , ou seja, se a verdadeira média for 9, a diferença em relação a 8 será detectada 94.9% das vezes. Como decidir entre alternativa unilateral ou bilateral? I) :µ 8 versus :µ > 8 Região crítica: X > 8 + c Ponto de vista do fabricante! II) :µ 8 versus :µ < 8 Região crítica: X < 8 c Ponto de vista do consumidor! Quando rejeitar não aceita a encomenda III) :µ 8 versus :µ 8 Região crítica: X < 8 c ou X > 8 + c Compromisso entre os dois! Quando rejeitar pára a produção para afinar a máquina. 9 1 Procedimento Geral dos Testes de hipóteses 1. Pelo contexto do problema identificar o parâmetro de interesse. Especificar a hipótese nula 3. Especificar uma hipótese alternativa apropriada 4. Escolher o nível de significância, α 5. Escolher uma estatística de teste adequada 6. Fixar a região crítica do teste 7. Recolher uma amostra e calcular o valor observado da estatística de teste 8. Decidir sobre a rejeição ou não de 8. Testes de hipóteses para a média, variância conhecida X população tal que: E( X) µ (desconhecido) V( X) σ (conhecido) ( X 1,, X n ) a. a. de dimensão n X ~ N ( µ,σ ) ou X qq com n grande. Teste de :µ µ versus :µ µ Sabemos já que, quando é verdadeira X ~ N µ, σ ou X ~ N µ n, σ a n 11 1

4 É conveniente estandardizar e usar como estatística de teste: Z X µ σ n Quando é verdadeira Z ~ N(,1) A região crítica deve ser bilateral porque é bilateral: Seja z x µ σ n teste. Então o valor observado da estatística de rejeita-se se z < a ou z > a e não se rejeita se a z a Estas regras podem ser expressas em termos de x Z rejeita-se se x < µ a σ n ou x > µ + a σ n α/ 1 α -a a α/ e não se rejeita se µ a σ n x µ + a σ n R.C.: Z < a ou Z > a com a: P( Z > a) α (recordar que α P( Rejeitar é verdadeira)) 13 Exemplo 1) (cont.): X - v.a. que representa o peso de um pacote de açúcar (supõe-se que X ~ N ( µ,1)). A máquina está afinada quando µ 8. Numa amostra de 5 pacotes (recolhida aleatoriamente) observou-se x Quer-se saber se, ao nível de significância de 5%, se pode afirmar que a máquina continua afinada. :µ 8 versus :µ 8 (1.. e 3.) Nível de significância 5% (4.) Alternativas unilaterais 1) Se fosse :µ µ versus :µ > µ estatística de teste: Z X µ σ n R.C.: Z > a onde a : P Z > a ( ) α Estatística de teste: Z X α.5 a 1.96 donde (5.) 1 α α a' Z R.C.: Z < 1.96 ou Z > 1.96 (6.) Com x 8.5 obtém-se z (7.) Como z > 1.96 rejeita-se, ou seja, existe evidência (ao nível de significância considerado) de que a máquina está desafinada. ) Se fosse :µ µ versus :µ < µ estatística de teste: a mesma R.C.: Z < a onde a : P Z > a α -a' 1 α ( ) α Z 15 16

5 Outro método: valor-p Em vez de fixar α, determinar a região crítica e, em seguida, verificar se o valor observado pertence à região crítica, pode olhar-se directamente para o valor observado da estatística de teste e determinar para que nível de significância a decisão muda. Definição: Dado o valor observado da estatística de teste, o valor-p (p-value) é o maior nível de significância que levaria à não rejeição da hipótese nula (ou o menor que levaria à rejeição). No exemplo, z.5, para este valor não é rejeitada se α 1 Φ.5 p.14. [ ( )].14, ou seja, Quanto mais baixo for o valor-p maior é a evidência contra a hipótese nula. Relação entre intervalos de confiança e testes de hipóteses: Parâmetro desconhecido θ. I.C. a 1 ( 1 α)% para θ [ l,u], baseado numa dada amostra e v. a. fulcral, então a mesma amostra leva à rejeição de :θ θ contra :θ θ, ao nível de significância α, se e só se θ [ l,u] ou à não rejeição de se e só se θ [ l,u] Nota: é necessário que a v.a fulcral e a estatística de teste sejam da mesma forma Vamos ver que isto é verdade para o teste que estamos a estudar (teste para a média com variância conhecida): :µ µ versus :µ µ Não se rejeita, ao nível de significância α, se e só se µ a σ n x µ + a σ n x a σ n µ x + a σ n µ I.C. 1 ( 1 α )% ( µ ) No exemplo, n 5, x 8.5, σ 1, I.C. a 95% ( α.5) a 1.96 ( ) 8.18;8.89 I.C. 95% µ [ ], como µ 8 não pertence ao I.C., rejeita-se :µ 8 (contra :µ 8) ao nível α 5%. 19 Nota: o teste que acabámos de estudar é aplicável com σ desconhecida (substituída por S ) desde que a dimensão da amostra seja grande ( n > 3). 8.3 Testes de hipóteses sobre a igualdade de duas médias, variâncias conhecidas X 1, população 1, com E X 1 X, população, com E X ( X 1 e X independentes) ( ) µ 1 e V( X 1 ) σ 1 (conhecida) ( ) µ e V( X ) σ (conhecida) a. a. da população 1 ( X 11,, X 1n1 ) com média X 1 a. a. da população ( X 1,, X n ) com média X (e a a.a. ( X 11,, X 1n1 ) é independente da a.a. ( X 1,, X n ) )

6 Queremos testar µ contra uma das alternativas já sabemos que µ (bilateral) ou > µ (unilateral superior) ou < µ (unilateral inferior) X 1 X ~ N µ 1 µ, σ 1 + σ n 1 Então, quando é verdadeira ( µ 1 µ ) Z X X 1 σ 1 + σ n 1 n n ~ N(,1) Daqui em diante é tudo semelhante ao caso anterior, ou seja, dadas as amostras concretas calcula-se z x 1 x σ 1 n 1 + σ Com µ, rejeita-se para o nível de significância α se z < a ou z > a com a: P( Z > a) α etc. Nota: este teste é válido para variâncias desconhecidas (substituídas por S 1 e S ) desde que n 1 > 3 e n > 3. n Testes de hipóteses para a média de uma população normal, variância desconhecida Se n < 3 só é possível efectuar testes para a média se for possível assumir que X ~ N µ,σ ( ). Nesse caso para testar :µ µ contra uma das alternativas :µ µ (bilateral) ou :µ > µ (unilateral superior) ou :µ < µ (unilateral inferior) usa-se a estatística de teste T X µ S n Quando é verdadeira T ~ t n 1 Então para :µ µ, rejeita-se ao nível de significância α se t x µ s n < a ou t > a com a:p( T n 1 > a) α etc. Nota: Para os testes em que a estatística de teste tem distribuição normal o valor-p é fácil de determinar. Para outras distribuições (t e chiquadrado) esse valor só pode ser obtido usando um programa de computador ou em certas calculadoras. Recorrendo às tabelas o melhor que se consegue é obter um intervalo que contém (de certeza) o valor-p. 3 4

7 Exemplo: Determinação da constante de acidez do ácido orto-hidroxibenzóico. O valor tabelado para pka é.81. Queremos saber se o valor determinado experimentalmente está de acordo com o valor tabelado (devendo-se as eventuais diferenças apenas a erros acidentais) ou se, pelo contrário, o valor obtido não está de acordo com o valor tabelado (podendo então afirmar-se que ocorreu algum erro sistemático). Ou seja, em termos de testes de hipóteses e sendo Y a v.a. que representa um valor de pka determinado experimentalmente, queremos testar :µ Y.81 contra :µ Y.81 Admitindo que Y ~ N ( µ Y,σ Y ) Relatório 1: Como já determinámos no Cap. 7 (pág. ) I.C. 95% ( ) [.8117;.8768] µ Y fazendo uso da analogia descrita, como.81 I.C. 95% ( µ Y ), podemos concluir que, ao nível de significância de 5%, rejeitamos. Relatório : A conclusão é semelhante I.C. 95% ( ) [ 3.877;3.149] µ Y No entanto é visível uma diferença grande entre os dois relatórios que pode ser melhor avaliada calculando o valor-p para cada teste. Para isso precisamos calcular o valor observado da estatística de teste. 5 6 Relatório 1: t y.81 s y Testes de hipóteses sobre a igualdade das médias de duas populações normais, variâncias desconhecidas valor - p.44 (pelas tabelas:.1 < p <.5) Exemplo: Comparação entre os resultados obtidos pelos dois grupos na determinação da constante de acidez do ácido orto-hidroxibenzóico (vamos usar os dados relativos a pka). Teste de µ contra µ Relatório : t valor p Relatório 1 Relatório Ao nível de significância de 5% conclui-se que há erro sistemático nos dois relatórios, usando o valorp conclui-se que há muito maior evidência a favor da existência de erro sistemático no relatório do que no relatório 1. y s y1.468 n 1 4 y s y n 5 7 8

8 Admitimos que (hipóteses de trabalho): A primeira amostra é uma concretização de uma a.a. de uma população Y 1 ~ N µ 1,σ 1 ( ); A segunda amostra é uma concretização de uma a.a. de uma população Y ~ N µ,σ ( ); Y 1 e Y são independentes; σ 1 σ σ (parece razoável porque s y1 e s y são da mesma ordem de grandeza). Estatística de teste: T X 1 X S p 1 n n Valor observado:, sob T ~ t n1 +n t valor p 5 Pelo I.C. 99% ( µ 1 µ ) [.331;.9] s p n 1 + n concluíamos que se rejeitava ao nível α 1%. 9 3 Teste relativo à igualdade das variâncias Output do Excel para este teste: t-test: Two-Sample Assuming Equal Variances Variable 1 Variable Mean Variance Observations 4 5 Pooled Variance.3719 Hyp. Mean Difference df 7 t P(T<t) one-tail 4.63E-8 t Critical one-tail P(T<t) two-tail 9.64E-8 t Critical two-tail (não faz parte do programa) F-Test: Two-Sample for Variances Variable 1 Variable Mean Variance Observations 4 5 df 3 4 F P(F<f) one-tail F Critical one-tail :σ 1 σ Estatística de teste: contra :σ 1 σ F S 1 S sob F ~ F n1 1;n

9 8.6 Testes de hipóteses para a variância de uma população normal X ~ N ( µ,σ ) e ( X 1,, X n ) a.a. Para testar :σ σ usa-se a estatística de teste Q ( n 1)S σ Quando é verdadeira Q ~ χ n 1 contra :σ σ Então, rejeita-se ao nível de significância α se 8.7 Testes de hipóteses para uma proporção ( X 1, ) amostra aleatória de uma população, X n muito grande ou infinita. Seja Y( n) o número de observações desta amostra que pertencem a uma dada categoria de interesse. Seja p a proporção de indivíduos na população que pertencem a essa categoria de interesse. Exemplos: População Categoria q ( n 1)s σ < a ou q > b Peças Eleitores ser defeituosa vota no partido X com a: P( Q < a) α e b: P ( Q > b) α O estimador pontual de p é ˆP Y n Já vimos que se n for grande Z ˆP p p( 1 p) n ~ N(,1) a Logo para testar : p p contra : p p (ou : p < p, ou : p > p ) usa-se a estatística de teste Z ˆP p p ( 1 p ) n, sob Z ~ N(,1) a Para : p p, rejeita-se ao nível α se z ˆp p ( ) n p 1 p < a ou z > a a: P Z > a ( ) α 35 Exemplo: População de eleitores portugueses. Sondagem (aleatória) a 1 eleitores revelou que 683 tencionam votar no partido ABC. Entretanto o presidente do partido tinha afirmado "estou convencido que vamos obter mais de 5% dos votos". Concordamos com esta afirmação? ˆp Podemos testar : p.5 contra : p >.5 Se rejeitarmos a hipótese nula (e isso é uma conclusão "forte") então a afirmação é corroborada pela sondagem z 4.79 valor-p.1.5( 1.5) 1 Como o valor-p é muito baixo rejeita-se para os níveis de significância usuais. 36

10 8.8 Teste do qui-quadrado de ajustamento O objectivo é testar a hipótese de que as observações seguem uma determinada distribuição (discreta ou contínua, com ou sem parâmetros desconhecidos) Exemplo: O lançamento de um dado 1 vezes conduziu à seguinte tabela de frequências observadas ( o i ) x i o i Total 1 37 Será que os resultados obtidos sustentam a hipótese de que o "dado é perfeito"? X - v.a. que representa o número de pontos obtido num lançamento : P( X i) 1, i 1,,6 ou 6 X ~ Unif. Disc. ( 1,,6) : negação de Quando é verdadeira sabemos calcular a probabilidade de cada valor (ou classe, em geral), que designamos por p i, e o valor esperado para o número de observações em cada classe (abreviadamente, frequências esperadas), E i np i onde n é a dimensão da amostra, neste caso n 1 38 Vamos acrescentar essas duas colunas à tabela: x i o i p i E i np i Total Mesmo quando é verdadeira não estamos à espera que as colunas o i e E i coincidam. É então necessário medir o afastamento entre o i e E i e saber até que ponto esse afastamento é razoável para verdadeira (se determinarmos que o afastamento é razoável não rejeitamos, caso contrário rejeitamos ). 39 A variável que é usada para medir o afastamento é ( ) k O X i E i (Estatística de teste) i1 E i Pode mostrar-se que, quando é verdadeira, X ~ χ k β 1 onde k é o nº. de classes (no exemplo, 6) e β é o nº. de parâmetros estimados (no exemplo, ) Deve rejeitar-se se o valor observado de X for muito elevado, ou seja a região crítica do teste é da forma R.C.: X > a onde a: P( X > a) α e α é o nível de significância do teste. 4

11 Tabela incluindo os cálculos para obter o valor observado de X : ( ) o i E i x i o i p i E i np i Total O valor observado de X E i é Se fixarmos α.5, com k β 1 5, obtém-se a Uma vez que < 11.7, não se rejeita ao nível de significância de 5%. Exemplo: Pensa-se que o número de defeitos por circuito, num certo tipo de circuitos, deve seguir uma distribuição de Poisson. De uma amostra (escolhida aleatoriamente) de 6 circuitos obtiveram-se os resultados seguintes: Nº. de def. o i Total 6 X - v.a. que representa o nº. de defeitos num circuito : X ~ Poisson( λ ) contra : X ~ outra dist λ é desconhecido, então λ deve ser estimado (pelo método da máxima verosimilhança) ˆλ x donde ˆp 1 ˆP ( X ) e.75.75! ˆp ˆP ( X 1) e ! ˆp 3 ˆP ( X ) e.75.75! e e e ˆp 4 ˆP ( X 3) 1 ( ˆp 1 + ˆp + ˆp 3 ).41 e 4.46 Deve ter-se e i 5, i, se para algum i e i < 5, deve fazer-se um agrupamento de classes. 43 Obtém-se então a tabela final: Nº. de def. ( o i e i ) o i ˆp i e i nˆp i e i Total k β a α.5 Como.939 < 3.841, não se rejeita ao nível de significância de 5%. 44

12 Observações: 1) Para variáveis contínuas o procedimento é semelhante: As observações devem previamente ser agrupadas em classes (intervalos). Podem usarse as regras para construção de histogramas e, à partida, classes de amplitude constante. p i 's são as probabilidades das classes. ) É necessário n relativamente elevado para fazer este teste (pelo menos 5 observações por classe). 3) Existem outros testes que não requerem tantas observações (teste de Kolmogorov-Smirnov e papel de probabilidade) mas não fazem parte do programa Teste do qui-quadrado de independência em tabelas de contingência O objectivo é testar a hipótese de que duas variáveis (discretas ou contínuas) são independentes. Para isso devemos ter observações relativas à ocorrência simultânea dos valores possíveis das duas variáveis. Essas observações organizam-se numa tabela de frequências a que se chama tabela de contingência. Exemplo: Um estudo sobre a ocorrência de falhas numa certa componente electrónica revelou que podem ser considerados 4 tipos de falhas (A, B, C e D) e duas posições de montagem. Em 134 componentes seleccionadas aleatoriamente obtiveram-se as frequências absolutas registadas na tabela (de contingência) da página seguinte. Será que o tipo de falha é independente da posição de montagem? 46 Falha Montagem A B C D Total Total Designamos por o ij, (onde i se refere à linha e j à coluna) os valores do interior da tabela. Por n i os totais das colunas e por n j os totais das linhas. Tabela genérica (com as mesmas dimensões): i n i 1 o 11 o 1 o 13 o 14 n 1 j A hipótese nula (independência) pode ser escrita como: : P( X i,y j) P( X i)p( Y j) i, j ou : p ij p i p j i, j Seguindo raciocínio semelhante ao usado no teste de ajustamento, precisamos de calcular a tabela de frequências esperadas sob a hipótese nula e compará-la com a de frequências observadas. Para isso é necessário primeiro estimar p i e p j i, j : donde se obtém ˆp i n i n ˆp j n j n, o 1 o o 3 o 4 n n j n 1 n n 3 n 4 n e ij nˆp i ˆp j n n i n n j n n i n j n 47 48

13 No exemplo em consideração obtém-se então a seguinte tabela de frequências esperadas: Falha Montagem A B C D A variável que é usada para medir o afastamento (entre a tabela de frequências observadas e a tabela de frequências esperadas) é ( ) r s O X ij E ij (Estatística de teste) i1 j 1 E ij Pode mostrar-se que, quando é verdadeira, X ~ χ r 1 ( )( s 1) com rnº de linhas e s nº de colunas da tabela. 49 Valor observado da estatística de teste no exemplo: x ( 18.4 ) Decisão: (( r 1) ( s 1) 3) ( ) α 1% a: P χ ( 3 > a).99 a χ 3, α.5% a χ 3, ou seja,.1 < valor p <.5 O resultado não é muito conclusivo, embora vá no sentido da não independência. Para ter um resultado mais convincente seria necessário repetir a experiência, eventualmente com mais observações. 5