Capítulo 6 Estatística não-paramétrica

Transcrição

1 Capítulo 6 Estatística não-paramétrica Slide 1 Teste de ajustamento do Qui-quadrado Testes de independência e de homogeneidade do Qui-quadrado Testes dos sinais e de Wilcoxon Teste de Mann-Whitney Teste de correlação ordinal de Spearman

2 Algumas considerações Slide 2 v As duas primeiras secções deste capítulo referem-se à análise de dados categorizados (qualitativos ou atributos) os quais podem ser classificados em diferentes categorias (frequentemente designadas por células). v Vamos usar a distribuição χ 2 (Qui-quadrado). v No teste de ajustamento temos uma tabela com apenas uma linha ou uma coluna. v Nos testes de independência e de homogeneidade as tabelas têm, pelo menos, 2 linhas e 2 colunas.

3 Algumas considerações Slide 3 Definições v Testes Paramétricos Os testes paramétricos obrigam a que as populações envolvidas obedeçam a certas premissas. v Testes Não-Paramétricos Nos testes não-paramétricos as populações não têm que obedecer a quaisquer premissas. Assim sendo, este testes são também designados por testes distribution-free.

4 Vantagens dos Métodos Não-paramétricos Slide 4 1. Os métodos não-paramétricos podem ser aplicados numa grande variedade de situações pois não exigem premissas rígidas, tal como acontece com os métodos paramétricos. Em particular, os métodos não-paramétricos não exigem que as populações tenham distribuição Normal. 2. Ao contrário do que acontece com os métodos paramétricos, os métodos não-paramétricos podem ser aplicados a dados qualitativos. 3. Habitualmente, os métodos não-paramétricos envolvem cálculos mais simples do que os correspondentes métodos paramétricos, donde são mais fáceis de perceber e aplicar.

5 Desvantagens dos Métodos Não-paramétricos Slide 5 1. Os métodos não-paramétricos tendem a desperdiçar informação uma vez que, frequentemente, os dados quantitativos são transformados em dados qualitativos. 2. Os testes não-paramétricos não são tão eficientes como os métodos paramétricos logo, em geral, com um teste não-paramétrico é necessário uma maior evidência (como, por exemplo, uma amostra maior ou maiores diferenças) para poder rejeitar a hipótese nula.

6 Definição Slide 6 Experiência Multinomial Esta é uma experiência que obedece às seguintes condições: 1. O número de provas é fixo. 2. As provas são independentes. 3. Todos os resultados de uma prova devem poder ser classificados numa só das diferentes categorias. 4. As probabilidades para cada uma das categorias permanecem constantes em cada prova.

7 Definição Slide 7 Teste de ajustamento Um teste de ajustamento é usado para testar a hipótese de uma certa distribuição de frequências observadas seguir uma certa distribuição teórica.

8 Teste de ajustamento Slide 8 Notação 0 representa a frequência (ou valor) observada (o) E representa a frequência esperada (de acordo com a distribuição teórica) k n representa o número de categorias representa a dimensão da amostra (ou seja, neste contexto, o número de provas)

9 Frequências Esperadas Slide 9 Se todas as frequências esperadas forem iguais: E = n k cada valor esperado é a soma de todas as frequências observadas dividida pelo número de categorias.

10 Frequências Esperadas Slide 10 Se as frequências esperadas forem diferentes: E = n p cada valor esperado determina-se multiplicando a soma de todas as frequências observadas pela probabilidade de cada categoria.

11 Teste de ajustamento Slide 11 Estatística de teste X 2 = Σ (O E)2 E Valores críticos 1. Determinam-se usando a tabela da distribuição Qui-quadrado com k 1 graus de liberdade, onde k = número de categorias. 2. A hipótese alternativa é sempre unilateral direita.

12 Slide 12 v Se os valores observados estiverem próximos dos valores esperados, então o valor da estatística de teste será pequeno (que é o mesmo do que dizer que o P-value será grande) e vice-versa. v Um valor muito elevado da estatística de teste levará à rejeição da hipótese nula (a qual diz que não há diferença entre os valores observados e os valores esperados)

13 Slide 13 Tabelas de contingência: Independência e Homogeneidade

14 Definição Slide 14 v Uma tabela de contingência é uma tabela de frequências que representa um conjunto de dados que foram classificados simultaneamente segundo duas (bidimensional) ou mais variáveis (multidimensional). As tabelas de contingência têm, pelo menos, 2 linhas e 2 colunas.

15 Slide 15

16 Definição Slide 16 v Teste de Independência Este método testa a hipótese nula de a variável linha e a variável coluna numa tabela de contingência não estarem relacionadas. (A hipótese nula afirma que as duas variáveis são independentes.)

17 Pressupostos 1. As observações são seleccionadas aleatoriamente. Slide A hipótese nula H 0 afirma que as variáveis linha e coluna são independentes; a hipótese alternativa H 1 afirma que as variáveis linha e coluna são dependentes. 3. O valor esperado, E, de cada célula da tabela de contingência tem que ser, pelo menos, 5. (Que não é o mesmo do que dizer que cada valor observado, O, de cada célula da tabela de contingência tenha que ser, pelo menos, 5.)

18 Teste de Independência Estatística de teste Slide 18 Valores críticos: X 2 = Σ X 2 = Σ (O E)2 E Correcção de Yates: aplica-se quando a tabela de contingência é 2x2. Neste caso, a estatística de teste é ( O E -0.5)2 E 1. Determinam-se através da tabela da distribuição Quiquadrado com (r 1)(c 1)=graus de liberdade onde r é o número de linhas e c o número de colunas da tabela de contingência.

19 Slide A hipótese alternativa é sempre unilateral direita. E = (total de linha) (total de coluna) (total) E = n i. n.j n

20 Teste de Independência Slide 20 H 0 : A variável linha é independente da variável coluna. H 1 : A variável linha é dependente (está relacionada com a) da variável coluna. A dependência entre as duas variáveis significa apenas que as duas variáveis estão relacionadas, não especifica o tipo de relação (por exº, do tipo causa/efeito).

21 Frequências Observadas e Esperadas Slide 21 Survived Died Men Women Boys Girls Total Total Vamos usar a tabela de contingência referente aos passageiros do Titanic para calcular as frequências esperadas. Para a primeira célula, a que se encontra na posição 11, ou seja, 1ª linha e 1ª coluna, temos: E 11 = n 1. n.1 n = (706)(1692) 2223 =

22 Frequências Observadas e Esperadas Slide 22 Survived Men Women Boys Girls Total Died Total Cálculo da frequência esperada da célula na posição 21, sob a hipótese de independência entre as variáveis. E 21 = (1517)(1692) 2223 =

23 Frequências Observadas e Esperadas Slide 23 Survived Men Women Boys Girls Total Died Total Para interpretar o resultado obtido para a célula, por exemplo, na posição 21, dizemos que embora tivessem sido observadas 1360 mortes nos homens, se houvesse independência entre a sobrevivência e o facto de um indivíduo ser homem, mulher, rapaz ou rapariga, esperaríamos apenas mortes nos homens.

24 Slide 24 Exemplo: Teste a hipótese de a sobrevivência dos passageiros do Titanic ser independente do facto do passageiro ser homem, mulher, rapaz ou rapariga, usando um nível de significância de H 0 : A sobrevivência dos passageiros é independente do facto de ser homem, mulher, rapaz ou rapariga. H 1 : A sobrevivência dos passageiros é dependente do facto de ser homem, mulher, rapaz ou rapariga.

25 Slide 25 Cálculos: X 2 = ( ) 2 + ( ) 2 + ( ) 2 + ( ) ( ) 2 + ( ) 2 + ( ) 2 + ( ) X 2 = =

26 Slide 26 O número de graus de liberdade é (r 1)(c 1) = (2 1)(4 1) = 3 pois a tabela tem 2 linhas e 4 colunas. Então, o valor crítico é χ 2 (0.05;3) = 7.815

27 Estatística de teste: X 2 = Slide 27 com α = 0.05 e (r 1) (c 1) = (2 1) (4 1) = 3 graus de liberdade Valor crítico: χ 2 = 7.815

28 Relações entre as componentes num Teste de Independência Slide 28 Com pare os valores observados, O, com os respectivos valores esperados, E. O `s e E `s próxim os. X 2 pequeno, P-value grande. O `s e E `s afastados. X 2 grande, P-value pequeno. X 2 aqui X 2 aqui N ão rejeitar H 0. R ejeitar H 0.

29 Definição Slide 29 v Teste de Homogeneidade Num teste de homogeneidade, verificamos se diferentes populações têm as mesmas características.

30 Como distinguir um teste de homogeneidade dum teste de independência: Slide 30 A dimensão das amostras provenientes das diferentes populações foi fixada à partida (teste de homogeneidade), ou foi recolhida apenas uma amostra que depois foi classificada aleatoriamente nas diferentes linhas e colunas (teste de independência)?

31 Slide 31 Exemplo: Através da tabela que se segue, teste o efeito do sexo do entrevistador nas respostas de uma amostra de indivíduos do sexo masculino a uma certa sondagem, com um nível de significância de 0.05.

32 Slide 32 H 0 : A proporção de respostas concordantes/discordantes é a mesma quer o entrevistador seja do sexo masculino ou feminino. H 1 : A proporção é diferente. Chi-Square Tests Value df Asymp. Sig. (2-sided) Pearson Chi-Square 6,529(b) 1,011 Continuity Correction(a) 6,184 1,013 Likelihood Ratio 6,662 1,010 Exact Sig. (2-sided) Exact Sig. (1-sided) Fisher's Exact Test,011,006 Linear-by-Linear Association 6,524 1,011 N of Valid Cases 1200 a Computed only for a 2x2 table b 0 cells (,0%) have expected count less than 5. The minimum expected count is 110,67.

33 Slide 33 O SPSS fornece-nos o valor da estatística de teste X 2 = e o P-value (pois a tabela é 2x2). Usando a abordagem através do P-value, rejeitamos a hipótese nula de igualdade (homogeneidade) das proporções (porque o P-value é menor do que 0.05). Assim, concluímos que existe evidência suficiente para rejeitar a hipótese de igualdade de proporções.

34 Definição Slide 34 Os dados estão ordenados quando estão dispostos de acordo com algum critério como, por exemplo, do menor para o maior ou do melhor para o pior. Um rank é um número que é atribuído a cada elemento da amostra tendo em conta a sua ordem na lista ordenada. Ao primeiro elemento da lista ordenada é atribuído o rank 1, ao segundo o rank 2 e assim sucessivamente.

35 Exemplo Slide Valores da amostra Valores dispostos por ordem Ranks

36 Como lidar com observações empatadas Slide 36 Use os ranks médios das observações empatadas Valores da amostra Ranks As observações 2 e 3 estão empatadas.

37 Teste de Correlação Ordinal de Spearman Slide 37 v A correlação ordinal (entre os ranks) é determinada usando os ranks das observações das amostras emparelhadas. v O teste de correlação ordinal de Spearman é usado para testar a existência de associação entre duas variáveis. v H o : ρ s = 0 (Não existe correlação entre as duas variáveis.) v H 1 : ρ s 0 (Existe correlação entre as duas variáveis.)

38 Vantagens Slide O método não-paramétrico de correlação ordinal (correlação entre os ranks) pode ser usado numa maior variedade de situações do que o seu correspondente paramétrico (Teste de correlação linear de Pearson). 2. A correlação ordinal pode ser usada para detectar algumas (não todas) relações que não são lineares. 3. Os cálculos necessários para determinar a correlação ordinal são mais simples do que os para determinar a correlação linear.

39 Pressupostos Slide A amostra é uma amostra aleatória. 2. Não existe qualquer exigência quanto à distribuição de qualquer uma das duas populações, ao contrário do que sucede com os métodos paramétricos.

40 Notação Slide 40 r s = coeficiente de correlação ordinal para amostras emparelhadas (r s é uma estatística amostral) ρ s = coeficiente de correlação ordinal da população (ρ s é um parâmetro populacional) n = número de pares de observações d = diferença dos ranks de cada par de observações r s designa-se por coeficiente de correlação ordinal de Spearman.

41 Estatística de Teste para o Coeficiente de Correlação Ordinal Slide 41 onde cada valor de d corresponde à diferença dos ranks de cada par de observações. Valores críticos: r s = 1 6 Σd2 n(n 2 1) v Se n 30, consulte a tabela da estatística de Spearman v Se n > 30, use a fórmula que se segue e, em seguida, consulte a tabela da distribuição Normal

42 Slide 42 r s = ± z n 1 (valores críticos quando n > 30) onde o valor de z determina-se tendo em conta o nível de significância.

43 Coeficiente de correlação ordinal para testar H 0 : ρ s = 0 Início Slide 43 Os n pares de valores estão na forma de ranks? Sim Calcule a diferença d para cada par de ranks subtraindo o rank menor ao rank maior. Não Converta os valores de cada amostra em ranks (de 1 até n) Eleve ao quadrado cada diferença d e, em seguida, Determine a soma dos quadrados Let n equal the total number Σ(d of signs. 2 ) Complete the computation of r s = 1 6Σd2 n(n 2 1) to get the sample statistic.

44 Coeficiente de correlação ordinal para testar H 0 : ρ s = 0 Slide 44 Complete the computation of r s = 1 6Σd2 n(n 2 1) to get the sample statistic. n 30? Sim Não Calcule os valores críticos r s = ± z n 1 onde z determina-se tendo em conta o nível de significância Determine os valores críticos de r s na tabela da estatística de Spearman Se a estatística amostral r s é positiva e excede o valor crítico, existe correlação. Se a estatística amostral r s é negativa e é menor do que o valor crítico, existe correlação. Se a estatística amostral r s estiver entre os valores críticos, não existe correlação.

45 Exemplo: Percepção de Beleza Slide 45 Use os dados da tabela que se segue para determinar se existe correlação entre os rankings dos homens e das mulheres em termos do que eles acham atraente. Use um nível de significância α = 0.10.

46 Exemplo: Percepção de Beleza Slide 46 H 0 : ρ s = 0 H 1 : ρ s 0 n = 10 r s = 1 6 Σd2 n(n 2 1) r s = 1 6(74) 10(10 2 1) r s = 0.552

47 Exemplo: Percepção de Beleza Slide 47 Ao consultar a tabela da estatística de Spearman, verificamos que os valores críticos são ± Como o valor da estatística de teste r s = não excede o valor crítico e é maior do que , não rejeitamos a hipótese nula. Assim, não existe evidência suficiente para afirmar que existe correlação entre os rankings dos homens e das mulheres.

48 Exemplo: Percepção de Beleza com amostras grandes Slide 48 Considere o exemplo anterior, mas onde se incluíu um total de 40 mulheres, resultando numa estatística de teste r s com o valor Se o nível de significância for α = 0.05, o que se pode concluir acerca da correlação?

49 Exemplo: Percepção de Beleza com amostras grandes Slide 49 ± z r s = n 1 ± 1.96 r s = 40 1 = ± Valores críticos.

50 Exemplo: Percepção de Beleza com amostras grandes Slide 50 O valor da estatística de teste r s = não excede o valor crítico e é superior a , logo não rejeitamos a hipótese nula. Assim, não existe evidência suficiente para afirmar que existe correlação entre os rankings dos homens e das mulheres.