Por que testes não-paramétricos?

Transcrição

1 Universidade Federal de Minas Gerais Instituto de Ciências Exatas Departamento de Estatística Métodos Estatísticos Avançados em Epidemiologia Aula 3 Testes Não-Paramétricos: Wilcoxon Mann-Whitney Kruskal-Wallis Spearman Por que testes não-paramétricos? A construção dos testes t-student para a comparação de médias (uma ou duas populações) partem da suposição de que as populações de onde vieram as amostras seguem a distribuição Gaussiana (Normal). Dizemso que os testes t-student são parametrizados pela distribuição Gaussiana. 1

2 Quando as amostras têm tamanho grande, o Teorema Central do Limite garante que as médias amostrais seguem aproximadamente a distribuição Gaussiana. Neste caso, os testes t-student podem ser utilizados, mesmo que as populações originais não sejam Normais. Mas o que fazer quando as amostras são pequenas e não podemos assumir que as populações são Normais? Usar testes que não necessitem de suposições para a distribuição de probabilidades da população dos dados. Estes testes são chamados testes não-paramétricos ou testes livres de distribuição Como funcionam os Testes Não-Paramétricos? Trabalham com a ordenação das observações. As observações são ordenadas em ordem crescente segundo seu valor, gerando postos (posições) dentro do conjunto de dados: 1 o o 3 o 4 o 5 o n o. Sendo assim, testam-se medianas ou diferenças entre medianas e não entre médias. Desvantagem: perde-se a natureza quantitativa dos dados.

3 Teste dos Postos Sinalizados de Wilcoxon É alternativa não-paramétrica ao teste t-student para médias em amostras pareadas. Hipótese Nula: a mediana das diferenças é igual a zero. As diferenças entre as medidas dos pares são ordenadas e a elas são atribuídos postos. As diferenças negativas têm seus postos sinalizados. Exemplo: Efeito de uma Medicamento na Capacidade Vital Forçada. São iguais (H 0 ) ou diferentes (H 1 )? Redução na CVF (ml) Individuo Medicamento Placebo

4 Calcule: diferença = medicamento - placebo Redução na CVF (ml) Individuo Medicamento Placebo Diferença Calcule os postos das diferenças, ignorando o sinal negativo. Redução na CVF (ml) Individuo Medicamento Placebo Diferença Posto Diferença = 0 não recebe posto 4

5 Coloque sinal negativo nos postos cujas diferenças < 0. Indi- Redução na na CVF (ml) Posto Sinalizado víduo Individuo Medicamento Medicamento Placebo Placebo Diferença Posto Positivos Negativos menor Soma dos postos (ignorando sinais) 6 16 Sob H 0 : a mediana das diferenças é igual a zero, soma dos postos negativos soma dos postos positivos. Avaliamos esta hipótese com a estatística de teste S: a menor das duas somas dos postos Se n 30, existe uma tabela de valores críticos S critico. Assim, rejeita-se H 0 se S S critico para o α escolhido. No exemplo do CVF, n=1 e o teste é bilateral. Para α=0.05, como S = 16 > S critico (=14), não se rejeita H 0. Se n > 30, use a tabela Normal Padrão para valores críticos da estatística de teste S n( n + 1) / 4 W = n( n + 1)(n + 1) / 4 rejeitando-se H 0 se W for extremo para o α escolhido. 5

6 Tabela de Valores Críticos para o Teste dos Postos Sinalizados de Wilcoxon Importante: Não atribua um posto quando a diferença for zero. n é igual ao número de diferenças não nulas. No caso de empate entre diferenças, use a média dos postos correspondentes. Por exemplo: se duas diferenças estiverem empatadas no 5º posto, use a média entre 5 e 6, que é 5.5, para cada uma. se três diferenças estiverem empatadas no 5º posto, use a média entre 5, 6 e 7, ou seja, 6, para cada uma. 6

7 Teste de Mann-Whitney (ou Soma dos Postos de Wilcoxon) É alternativa não-paramétrica ao teste t-student para duas médias em amostras independentes. Compara as medianas de duas populações. Assume que as distribuições têm a mesma forma geral. As duas amostras são ordenadas conjuntamente, mas os postos são somados separadamente. Denote: Procedimentos: n 1 = tamanho da amostra menor. n = tamanho da amostra maior. Junte as duas amostras e atribua os postos de 1 a n 1 +n. Denote: Calcule: w 1 : soma dos postos da amostra menor w : soma dos postos da amostra maior n 1 ( n 1 + 1) u1 = w1 u = min( u 1, u) e u = w n n + 1) ( 7

8 Tabela de Valores Críticos para o Teste de Mann-Whitney (continua) (Continuação) Tabela de Valores Críticos para o Teste de Mann-Whitney (continua) 8

9 (Continuação) Tabela de Valores Críticos para o Teste de Mann-Whitney (continua) (Continuação) Tabela de Valores Críticos para o Teste de Mann-Whitney (continua) 9

10 Exemplo: Comparação da Ingestão Calórica. n 1 = 8 e n = 9 w 1 = e w = (8+ 1) u1 = = 67.5 u 9(9+ 1) = 50.5 u =5. 5 = 5.5 Para α=0.05 no teste bilateral, rejeita-se H 0 se u < 15 (tabela). Como 5.5 < 15, rejeita-se H 0 ao nível de significância de 5%. O consumo calórico mediano é diferente entre mulheres bulímicas e saudáveis. 10

11 Teste de Kruskal-Wallis É alternativa não-paramétrica à Análise de Variância (comparação de médias para dois ou mais grupos). Testa a hipótese nula de que as populações de onde vieram as amostras são idênticas. Pode ser feito com dados em nível ordinal (postos). Notação: k = número de amostras (grupos comparados) N = número total de observações (soma das k amostras) N k = número de observações na k-ésima amostra R k = soma de postos na k-ésima amostra Procedimento: Ordenar todos as amostras (grupos) conjuntamente, mas anotar os postos separados (como no teste de Mann-Whitney) 11

12 Estatística de Teste:... 3( 1) ( 1 H = R1 + R + Rk N + N N + 1) N1 N Nk H é uma medida da variância das somas dos postos R 1, R,..,R k. Se as populações são idênticas, H é um valor pequeno. Caso contrário, H tende a assumir valores grandes. Distribuição de Referência sob H 0 : Qui-Quadrado com (k-1) gl. Valor-p = P[χ (k-1) > H] Rejeita-se H 0 se o valor-p for menor do que α. Intervalos de tempo (minutos) entre Erupções do Geiser Old Faithful Ano 1951 Ano 1985 Ano 1995 Ano (1) 89 (40) 86 (34,5) 88 (37,5) 60 (8) 90 (4) 86 (34,5) 86 (34,5) 74 (1) 60 (8) 6 (1) 85 (30,5) 4 (1) 65 (15,5) 104 (48) 89 (40) 74 (1) 8 (6) 6 (1) 83 (7) 5 () 84 (8) 95 (47) 85 (30,5) 65 (15,5) 54 (3) 79 (4) 91 (43,5) 68 (18,5) 85 (30,5) 6 (1) 68 (18,5) 6 (1) 58 (6) 94 (45,5) 91 (43,5) 66 (17) 79 (4) 79 (4) 56 (4) 6 (1) 57 (5) 86 (34,5) 89 (40) 60 (8) 88 (37,5) 85 (30,5) 94 (45,5) N 1 =1 N =1 N 3 =1 N 4 =1 R 1 =157 R =65,5 R 3 =385,5 R 4 =395 1

13 Estatística de Teste: H = 14,431 g.l. = 4-1 = 3 Com α=0,05, o valor crítico é 7,815. Ou seja, para α=0,05, rejeita-se H 0 se H>7,815. Como 14,431>7,815, rejeita-se H 0 ao n.s. de 5%. Ou, de forma equivalente, Valor P = P[χ (3) > H] = P[χ (3) > 14,431] < Conclusão: ao nível de 5% de significância, há evidências estatísticas suficientes para rejeitar a hipótese de que os intervalos entre as erupções do Velho Fiel tenha distribuição idênticas nos anos considerados. Para descobrir entre quais anos está a diferença, use o teste de Mann-Whitney entre todos os pares de anos. Suposições: As populações de onde vieram as amostras têm variâncias iguais. Cada amostra tem ao menos 5 observações, para se usar a Qui-Quadrado como distribuição de referência da estatística de teste). No caso de menos de 5 observações, existem tabelas próprias com valores críticos. 13

14 Coeficiente de Correlação dos Postos de Spearman O coeficiente de correlação linear de Pearson pode ser calculado apenas com variáveis contínuas (e normais). Além disso, ele é muito sensível a valores atípicos. Alternativa não-paramétrica: coeficiente de Spearman. Desvantagem: menor eficiência com dados normais. Para calcular o coeficiente de correlação dos postos de Spearman, basta calcular os postos das variáveis X e Y separadamente e aplicar na fórmula do coeficiente de correlação de Pearson (no lugar de x i e y i, respectivamente): r XY = ( ) xi x i= 1 n x x i= 1 n n ( ) i i i= 1 y y y i y A interpretação será a mesma. Se não houver empate de postos em nenhuma das variáveis, esta fórmula de reduz a r s = 6 n i= 1 1 n( n d i 1) na qual d i = diferença entre os postos de x i e y i, em módulo. 14

15 Exemplo: Colégios com mensalidades mais caras são os melhores no ENEM? rs 6 d = 1 n( n 1) = 6(390) 1 1(1 1) = 0.36 Correlação linear negativa fraca. Veja planilha Excel Spearman-exemplo.xls Testando a Significância da Correlação H 0 : a correlação é nula (não-significante) H 1 : a correlação é não-nula (significante) Se n 30, rejeite H 0 se r s > valor crítico (na tabela a seguir). Para n=1 e α=0.05, o valor crítico é Como r s = 0.36 < 0.587, a correlação não é significante a 5%. Se n > 30, rejeite H 0 se t s > t[n-;α/], no qual: t s = r s n 1 r s t[n-;α/] é o valor na tabela t-student com n-1 graus de liberdade que deixa acima dele uma probabilidade igual a α/. 15

16 Então por que não substituimos logo os testes paramétricos pelos não-paramétricos? Porque os testes não-paramétricos são menos poderosos do que os testes paramétricos. O poder de um teste é medido pela probabilidade do teste rejeitar H 0 quando ela é falsa. Assim, os testes não-paramétricos precisam de uma evidência amostral maior contra a hipótese nula para conseguir rejeitá-la. 16

17 Onde encontrar mais informações: Hollander, Myles; Wolfe, Douglas A. Nonparametric Statistical Methods. New York: J. Wiley, Noether, Gottfried E. Introdução à Estatística: Uma Abordagem Não-Paramétrica..ed. Rio de Janeiro: Pinheiro, Aluísio De Souza; Pinheiro, Hildete Prisco; Métodos Estatísticos Não-Paramétricos e Suas Aplicações. Colóquio Brasileiro de Matemática: Rio de Janeiro: IMPA, 007. Teste dos Sinais É alternativa não-paramétrica ao teste t-student para a média. Testa a mediana de uma população: H 0 : mediana = m 0 Para cada observação x i no conjunto de dados (i = 1,, n), calcula-se a diferença: d i = x i m 0 A estatística de teste é R + : número de d i s positivos. Se a H 0 é verdadeira, R+ tem distribuição de probabilidade binomial com probabilidade igual a ½. 17