Testes de Hipóteses. Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo

Transcrição

1 Testes de Hipóteses Ricardo Ehlers Departamento de Matemática Aplicada e Estatística Universidade de São Paulo

2 Introdução e notação Em geral, intervalos de confiança são a forma mais informativa de apresentar os achados principais de um estudo. Contudo, algumas vezes existe um particular interesse em verificar determinadas afirmações ou conjecturas. Por exemplo, podemos estar interessados em determinar se uma moeda é honesta, se certas quantidades são independentes, ou se populações distintas são similares do ponto de vista probabiĺıstico. Cada uma destas afirmações constitui uma hipótese que pode ser associada a um modelo, i.e. pode ser parametrizada. 1

3 Definição Chamamos de hipótese estatística qualquer afirmação que se faça sobre um parâmetro populacional desconhecido. A partir de uma amostra da população iremos estabelecer uma regra de decisão segundo a qual rejeitaremos ou aceitaremos a hipótese proposta. Esta regra de decisão é chamada de teste. Normalmente existe uma hipótese mais importante para o pesquisador que será denotada por H 0 e chamada hipótese nula. Qualquer outra hipótese diferente de H 0 será chamada de hipótese alternativa e denotada por H 1. 2

4 Exemplo. Seja um experimento que consiste em um teste do tipo certo-errado com 10 questões. O objetivo é testar se o aluno está advinhando. Denotando por p a probabilidade do aluno acertar cada questão a hipótese estatística de interesse pode ser formulada como H 0 : p = 1/2. Neste caso, a hipótese alternativa mais adequada é H 1 : p > 1/2 indicando que o aluno tem algum conhecimento sobre o assunto. Temos então 10 repetições do experimento com p constante A variável aleatória X = número de acertos em 10 questões tem distribuição binomial com parâmetros n = 10 e p desconhecido. 3

5 Resumindo, para X Binomial(10, p) deseja-se testar H 0 : p = 1/2 H 1 : p > 1/2 Note que quanto maior o valor de X maior é a evidência a favor de H 1 (e portanto contra H 0 ). 4

6 Suponha que adotamos a seguinte regra de decisão: o aluno não está advinhando se acertar 8 ou mais questões. Isto equivale a rejeitar H 0 se X 8 (região de rejeição ou região crítica) e aceitar H 0 se X < 8 (região de aceitação). Um aluno pode acertar 8 ou mais questões e estar advinhando, isto é podemos rejeitar H 0 quando ela é verdadeira. A probabilidade de que isto ocorra é, 10 ( ) 10 P(X 8 p = 1/2) = 0, 5 10 = 7 0, 054. k 128 k=8 5

7 Esta probabilidade é chamada nível de significância e será denotada por α. Note que o valor de α depende da regra de decisão, por exemplo se a região crítica for X 7 então α 0, 171. No próximo exemplo veremos como usar o nível de significância para construir uma regra de decisão. 6

8 Exemplo. Um fornecedor garante que 90% de sua produção não apresenta defeito. Para testar esta afirmação selecionamos ao acaso 10 itens de um lote e contamos o número de defeituosos. Decidimos não comprar o lote se o número observado de não defeituosos for muito pequeno (mas quão pequeno?). Experimento: selecionar ao acaso 10 itens de um lote e contar o número de defeituosos. Regra de decisão: não comprar o lote se o número observado de não defeituosos for muito pequeno. 7

9 Definindo X = número de não defeituosos na amostra de 10 itens temos então uma distribuição binomial com parâmetros n = 10 e p desconhecido, e queremos testar H 0 : p = 0.9. Aqui p é a proporção de itens não defeituosos no lote e portanto a hipótese alternativa deve ser H 1 : p < 0.9. Ou seja queremos testar, H 0 : p = 0.9 H 1 : p <

10 Suponha que decidimos manter α < e a partir deste valor vamos estabelecer a nossa regra de decisão. Qual o maior valor de k tal que P(X k p = 0.9) < 0.025? P(X 5 p = 0.9) = P(X 6 p = 0.9) = P(X 7 p = 0.9) = 5 ( ) k (1 0.9) 10 k = k 6 ( ) k (1 0.9) 10 k = k 7 ( ) k (1 0.9) 10 k = k k=0 k=0 k=0 Portanto, devemos usar a região crítica X 6. Isto é, vamos rejeitar o lote se o número de itens defeituosos na amostra for maior do que 6. 9

11 Nestes dois exemplos os testes são chamados de unilaterais porque somente valores de um lado do espaço amostral foram utilizados para construir a região crítica. Podemos ter também testes bilaterais aonde os dois extremos do espaço amostral são usados como região crítica. A variável aleatória X é chamada estatística de teste, sua distribuição deve ser conhecida e ela deve depender do parâmetro que está sendo testado. 10

12 Probabilidades binomiais e regiões criticas dos 2 testes unilaterias

13 Exemplo. Em cada caso determine as hipóteses a serem testadas. Uma empresa de transportes afirma que o intervalo entre onibus sucessivos é em média 15 minutos. A associação de usuários deseja testar esta afirmação. Um veterinário afirma que usando uma nova composição de rações consegue um ganho médio diário de 3 litros de leite por vaca. A associação de produtores acredita que o ganho não é tão grande e deseja testar esta afirmação. 12

14 Decisões e poder Ao tomar uma decisão a favor ou contra uma hipótese existem dois tipos de erros que podemos cometer: rejeitar H 0 quando de fato ela é verdadeira (erro tipo I), ou falhar em rejeitar H 0 quando de fato ela é falsa (erro tipo II). Frequentemente denota-se as probabilidades destes dois tipos de erro como α e β respectivamente, P(rejeitar H 0 H 0 é verdadeira) = α P(não rejeitarh 0 H 0 é falsa) = β O poder de um teste é a probabilidade de rejeitar a hipótese nula quando esta é de fato falsa, isto é 1 β. 13

15 Existe um balanço entre esses dois tipos de erros, no sentido de que ao tentar-se minimizar α, aumenta-se β. Isto é, não é possível minimizar estas duas probabilidades simultaneamente e na prática é costume fixar um valor (pequeno) para α. Na tabela abaixo estão descritas as decisões que podemos tomar e os tipos de erro associados. Decisão Verdade Aceitar H 0 Rejeitar H 0 H 0 verdadeira Decisão correta Erro Tipo I (probabilidade 1 α) (probabilidade α) H 0 falsa Erro Tipo II Decisão correta (probabilidade β) (probabilidade 1 β) 14

16 Nível Descritivo (P-valor) A escolha do nível de significância α do teste é completamente arbitrária e deve ser feita antes do experimento ser realizado. Quando a distribuição da estatística de teste é discreta, como nos exemplos anteriores, o nível escolhido pode nem mesmo ser atingido. A decisão de aceitar ou rejeitar H 0 claramente depende desta escolha. Na prática, o valor escolhido é 0,05 ou 0,01 mas não há justificativa formal para estes valores em particular. 15

17 Um enfoque alternativo consiste em primeiro observar o valor da estatistica de teste e calcular a probabilidade de obter valores mais desfavoráveis a H 0 supondo que esta seja verdadeira. Esta quantidade é chamada nível descritivo ou P-valor. 16

18 Exemplo. No exemplo das questões, suponha que o número observado de questões certas foi X = 9. Então o p-valor será, ( ) ( ) P(X 9 p = 1/2) = 0, , 5 10 = 0, e rejeitaremos H 0 para todo nível de significância maior do que este valor. Por exemplo, rejeitaremos H 0 para α = 0, 025 ou α = 0, 05 e aceitaremos H 0 para α = 0,

19 Exemplo. No exemplo do itens defeituosos suponha que o número observado de não defeituosos foi X = 4. Neste caso o p-valor é dado por P(X 4 p = 0.9) = ou seja, rejeitaremos H 0 para praticamente todos os níveis de significância usuais. 18

20 O p-valor é a probabilidade de observar resultados tão extremos quanto os obtidos se a hipótese nula for verdadeira. Se o p-valor for grande ele fornece evidência de que H 0 é verdadeira. Um p-valor pequeno indica que existe evidência nos dados contra H 0 (já que ocorreu um resultado pouco provável). 19

21 Teste para a média populacional Exemplo. Seja X a altura das pessoas em uma população e uma amostra, X 1,, X n N(θ, σ 2 ), σ 2 = 25, n = 9 Deseja-se testar, H 0 : θ = 170 H 1 : θ 170 Considere a regra de decisão: rejeitar H 0 se, X < c 1 ou X > c 2 20

22 Fixando α = 0.05, obtenha c 1 e c 2 tais que, P(X < c 1 ou X > c 2 θ = 170) = P(X < c 1 θ = 170) + P(X > c 2 θ = 170) = 0.05 Este é um exemplo de teste bilateral. Existe uma infinidade de valores que satisfazem esta condição. Na maioria dos experimentos envolvendo o modelo normal será conveniente tomar c 1 e c 2 simétricos em relação a E(X ). 21

23 Como X N(θ, σ 2 /n), ( 3(X 170) P 5 ( 3(X 170) P 5 < 3(c ) 1 170) + 5 ) > 3(c 2 170) 5 = 0.05 Da tabela normal padrão: 3(c 1 170) 5 = (c 2 170) 5 c 1 = c 1 = =

24 Suponha que uma amostra foi observada e a média amostral x calculada. Se x < ou x > rejeita-se H 0 ao nivel de significância α =

25 Exemplo. De experiências anteriores sabe-se que a resistência média ao desmoronamento de um tipo de tijolo é 200Kg com desvio padrão 10Kg. Um comprador suspeita que essa resistência média diminuiu (sem alterar o desvio padrão). Uma amostra aleatória de 100 tijolos foi selecionada e as resistências foram medidas para testar esta afirmação. Seja X uma variável aleatória representando a resistência ao desmoronamento e uma amostra aleatória X 1,..., X n tal que, E(X i ) = µ Var(X i ) = 100 n = 100. Deseja-se testar, H 0 : µ = 200 H 1 : µ <

26 Como n é grande podemos usar o teorema central do limite. A distribuição amostral aproximada de X é, e sob H 0 temos então que, X N(µ, σ 2 /n) X N(200, 1). A regra de decisão consiste em rejeitar H 0 se X for pequena em relação a 200Kg. Fixando α = 0.05 temos que, P(X < c µ = 200) = P(X 200 < c 200) = 0.05 Da tabela da normal padrão obtemos que c 200 = 1.64 e portanto c =

27 Exemplo. No exemplo anterior suponha que obteve-se uma amostra tal que x = Então de acordo com os dados coletados deve-se concluir que a resistência média diminuiu (ao nivel de 0.05). Além disso, o p-valor pode ser calculado como, P(X < µ = 200) = P(X 200 < ) = P(Z < 2.5). Da tabela da normal padrão obtem-se que p-valor=

28 Suponha agora que temos uma amostra X 1,..., X n N(µ, σ 2 ) sendo µ e σ 2 ambos desconhecidos. Utilizando a variância amostral, S 2 = 1 n 1 n (X i X ) 2 i=1 como estimador de σ 2 então a variável aleatória, T = X µ S/ n tem distribuição t-student com n 1 graus de liberdade. Esta é a estatística utilizada para testar as hipóteses sobre µ. 27

29 f(x) N(0,1) t Student x 28

30 As probabilidades relativas à distribuição t são calculadas de forma aproximada e estão tabeladas (ver Apêndice B do livro texto). A distribuição t se aproxima da normal conforme aumentam os graus de liberdade. A tabela vai até 120 graus de liberdade e para valores maiores deve-se usar a tabela da normal. 29

31 Exemplo. Sejam X 1,..., X n N(µ, σ 2 ) com n = 12 e µ e σ 2 desconhecidos. Deseja-se testar, ao nivel de significância H 0 : µ = 200 H 1 : µ 200 Na tabela t, para n 1 = 11 e p = 5% obtemos o valor t c = Regra de decisão: rejeitar H 0 ao nivel α = 0.05 se, X 200 S/ n > 2.201, ou X 200 S/ n <

32 Exemplo. No exemplo anterior suponha que deseja-se testar agora, ao nivel de significância H 0 : µ = 200 H 1 : µ < 200 Na tabela t, para n 1 = 11 e p = 2% obtemos o valor t c = Regra de decisão: rejeitar H 0 ao nivel α = 0.01 se, X 200 S/ n <

33 Testes Qui-Quadrado Ao ajustar modelos teóricos a um conjunto de dados, a qualidade do ajuste pode ser verificada comparando-se as frequências teóricas (ou esperadas) com as frequências observadas. Mais formalmente, a aderência dos dados a um certo modelo teórico pode ser testada através da seguinte estatística, Q 2 = k i=1 (o i e i ) 2 e i, sendo, o i : as frequências observadas e i : as frequências esperadas k o número de classes ou valores considerados. 32

34 As hipóteses a serem testadas são, H 0 : Os dados se ajustam bem ao modelo H 1 : O ajuste não é bom. Note que se o ajuste não for bom as frequências observadas e esperadas tenderão a ser muito diferentes e portanto valores grandes da estatística T indicam evidência contra H 0. Ou seja, este teste é do tipo unilateral. Pode-se mostrar que, se n for grande, T tem distribuição aproximada qui-quadrado (χ 2 ) com k 1 m graus de liberdade sendo m o número de parâmetros estimados no modelo teórico. Uma condição de validade desta distribuição é que e i 5, i = 1,..., k. 33

35 Exemplo. Em um determinada seção de um rio foram efetuadas 1000 medições de sua vazão (em m 3 /s), e obteve-se a distribuição apresentada na tabela abaixo. classes de vazão frequência observada Podemos ajustar uma distribuição normal com parâmetros estimados pela média amostral e variância amostral respectivamente. Suponha que x = 21.9 e s = 4.71 e portanto se X representa as medições de vazão então X N(21.9, ) (esta é a distribuição ajustada). 34

36 Calculado as probabilidades de obter uma medição em cada uma das classes podemos construir a tabela com as frequências ajustadas. frequências classes de vazão Probabilidades das classes ajustada observada

37 Neste caso o valor da estatística de teste é dado por, T = (41 55)2 ( )2 ( ) ( ) 2 ( )2 (38 49) = 18, O número de classes é k = 6 e o número de parâmetros estimados é m = 2 (a média e a variância da distribuição normal) e portanto T tem distribuição qui-quadrado com k 1 m = 3 graus de liberdade. 36

38 Nenhuma das classes apresenta frequência esperada menor do que 5 portanto esta distribuição é válida. Fixando o nível de significância α = 0, 05 obtemos na tabela da distribuição χ 2 com 3 graus de liberdade que P(T > 7, 815) = 0, 05. Como 18, > 7, 815 há evidências para rejeitar H 0 ao nível de 5%. Da mesma tabela obtemos que P(T > ) = e portanto o p-valor é menor do que Ou seja, há evidência extremamente forte contra H 0. 37

39 Teste de Independência O teste χ 2 também pode ser aplicado no estudo da relação entre duas variaveis categóricas com p e k possíveis categorias. Neste caso queremos testar se as variáveis são independentes (hipótese nula). A estatística de teste é a mesma porém com número de graus de liberdade igual a (p 1)(k 1) 38

40 Exemplo. Considere por exemplo a tabela a seguir na qual estão apresentados os número de alunos matriculados nos colégios A e B, em relação à sua classe social. Classe social Colégio Alta Media Baixa Total A B Total Se as variáveis Colégio e Classe social forem independentes espera-se que as frequências de alunos das 3 classes sejam as mesmas nos 2 colégios, i.e. 70/220, 80/220 e 70/

41 As frequências esperadas sob a hipótese de independência são então dadas por, Colégio A: = 31, = 36, = 31, Colégio B: = 38, e podemos construir a tabela abaixo. Classe social Colégio Alta Media Baixa A 31,82 36,36 31,82 B 38,18 43,64 38,18 70 = 43, = 38,

42 Podemos agora avaliar a estatística de teste T = (20 31, 82)2 31, 82 (50 38, 18) 2 38, (40 36, 36)2 36, 36 (40 43, 64)2 43, (40 31, 82)2 31, 82 (30 38, 18)2 38, 18 + = 12, 57. Ao nível de significância 0,05 obtemos da tabela χ 2 com (p 1)(k 1) = 2 graus de liberdade que P(T > 5, 99) = 0, 05 e como 12, 57 > 5, 99 a hipótese de independência é rejeitada. Para calcular o P-valor, note que a tabela qui-quadrado com 2 graus de liberdade nos fornece, P(T > 12, 429) = 0, 002 e portanto podemos concluir que P-valor < 0,002. Ou seja, existe forte evidência contra a hipótese de independência entre as variáveis Colégio e Classe social. 41