Estatística Não-Paramétrica Problema geral da localização relativo a 2 populações

Transcrição

1 Estatística Não-Paramétrica Problema geral da localização relativo a 2 populações Mulheres Homens H o : µ 2 µ 1 H a : µ 2 > µ 1 µ 1 µ 2 Altura Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 77

2 Amostras Dependentes (emparelhadas) Amostra 1 (mulheres) Dados Amostra 2 (homens) X Y Par 1 X Y Par 2 X... Y... Par 3 (etc.) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 78

3 Estatística Não-Paramétrica Problema geral da localização relativo a 2 populações Abordagem Paramétrica: População Normal X1, X 2,, X n Y, Y,, Yn H : µ µ = 0 vs. H : µ µ < 0 0 X Y 1 X Y Abordagem Não-Paramétrica: População Não-especificada X, X,, X, iid F( x) n n 2 1 H : θ = 0 vs. H : θ > Y, Y,, Y iid G( y) = F( y θ ) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 79

4 Teste dos Sinais Contrapartida não-paramétrica para Teste-t para amostras emparelhadas

5 Amostras Emparelhadas - O Teste dos Sinais População X População Y 0 1 Diferenças: D : ; : ; i = X i Yi D = X Y ( X, Y ),( X, Y ),,( X, Y ) H : localizaçao ɶ de X = localizaçao ɶ de Y vs. H : localizaçao ɶ de X localizaçao ɶ de Y 0 [ ] [ ] sob H, P D > 0 = P D < 0 = 1/ 2; { } 0 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 81 n n ( > ) ou ( < ) M : =# D : D > 0 ; sob H, M Binomial( n, p = 1/ 2), i H : Med( D) = 0 vs. H : Med( D) 0 i 0 1 ( > ) ou ( < ) [ ] com p : = P X > Y

6 Amostras Emparelhadas - O Teste dos Sinais (pequenas amostras) H p vs H p p p : = 1/ 2. : > 1/ 2 (ou < 1/ 2 ou 1/ 2) 0 1 Região de Rejeição para: Unilateral Unilateral Bilateral H1 : p > 1/ 2 H1 : p < 1/ 2 H1 : p 1/ 2 Rejeitar para os maiores valores de M (m) [ l n ] p value = P Binomia (,1/ 2) m, Rejeitar para os menores valores de M (m) [ l n ] p value = P Binomia (,1/ 2) m, Rejeitar para os menores e maiores valores de M (m) [ ] [ ] p value = 2 min( P Binomial( n,1/ 2) m, P Binomial( n,1/ 2) m ), Nota: EXCEL [ ] P Binomial ( n,1/2) m = BINOMDIST( m; n; 0.5; TRUE) Observação: Sempre que se verificarem ligações, isto e, valores Xi=Yi, esses valores são desprezados, diminuindo-se a dimensão da amostra. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 82

7 Exemplo - Cancro pancreático Quando os pacientes têm Cancro pancreático, muitas vezes a cirurgia é necessária para remover a parte do pâncreas que tem o cancro. Quando estas cirurgias são concluídas, o cirurgião tem a opção de fazer uma cirurgia mais complexa para preservar o baço (preservação baço) ou para remover o baço como parte de cirurgia (Esplenectomia). Um estudo foi feito para comparar as duas opções cirúrgicas em termos de resultados de saúde, ónus de custo e tempo na equipa cirúrgica. A study was done to compare the two surgical options in terms of health outcomes, cost and time burdens on the surgical team. When patients have Pancreatic Cancer, surgery is often necessary to remove part of the pancreas that has cancer. When these procedures are completed, the surgeon has the option of making a more complex surgery to preserve the spleen (preserving spleen) or to remove the spleen as part of surgery (Splenectomy). A study was done to compare the two surgical options in terms of health outcomes, cost and time burdens on the surgical team. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 83

8 Questão Uma pergunta para cada técnica é determinar o efeito da cirurgia sobre a contagem de plaquetas em pacientes. As plaquetas estão envolvidas na coagulação dos pacientes; por vezes, aos pacientes em cirurgia são dados medicamentos para limitar a quantidade de coagulação durante a cirurgia. Uma grande mudança no número de plaquetas pode ser um sinal de que a cirurgia foi particularmente difícil. Para cada técnica, os cirurgiões pretendiam determinar se há uma diferença significativa na pre e post contagem de plaquetas de cirurgia. A question for each technique is to determine the effect of surgery on the platelet count in patients. Platelets are involved in coagulation of patients; Sometimes, surgery patients are given drugs to limit the amount of clotting during surgery. A big change in the number of platelets may be a sign that the surgery was particularly difficult. For each technique, surgeons were trying to determine whether there is a significant difference in pre and post surgery platelet count. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 84

9 Exemplo - Cancro pancreático(cont.) Em primeiro lugar, vamos ver o grupo de preservação baço Paciente 1 2 Pre Post Dif Observe que temos observações emparelhadas para cada um dos pacientes Estamos interessados na diferença entre duas medições Será que efectivamente há uma diferença? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 85

10 Histograma Uma vez que temos dados emparelhados, poderíamos utilizar o teste-t emparelhado. O que se pode dizer sobre a distribuição das diferenças? A suposição de normalidade do t-teste emparelhado parece adequada? A diferença na contagem de plaquetas pode ser variável e conter outliers Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 86

11 Exemplo - Cancro pancreático(cont.) A hipótese nula para a nossa investigação é que não há nenhuma diferença na contagem de plaquetas, antes e após a cirurgia. Para o t-teste de duas amostras, isto seria escrito como H 0 : diferença média (pre-post) é igual a zero (d = 0) Neste caso, temos outliers, portanto, a média não é uma boa medida de tendência central. Que medida se deve usar alternativamente? Como podemos estabelecer e testar a hipótese nula adequada? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 87

12 Teste dos Sinais O teste não-paramétrico mais simples é o Teste dos Sinais H 0 : mediana de diferenças (pre-post) = 0 H 1 : mediana de diferenças (pre-post) 0 Sob a hipótese nula, seria de esperar o mesmo número de sinais positivos e negativos. [ ] [ ] D : = X Y ; sob H, P D > 0 = P D < 0 = 1/ 2; i i i 0 i i { } M : =# D : D > 0 ; sob H, M Binomial( n, p = 1/ 2), i i 0 [ ] com p : = P X > Y Se a maioria ou todas as diferenças são positivas, haveria algumas provas contra a hipótese nula. Até que ponto podem ser significativas? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 88

13 Teste dos Sinais Agora incluímos a coluna dos SINAIS Se não houve realmente nenhum efeito da terapia, seria de esperar que iria haver um número igual de sinais (+, - ) O que se pode ver sobre os sinais das diferenças? Há uma diferença significativa entre os dois grupos? Como se pode calcular o p-value? Paciente Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) Pre Post Dif SINAL

14 Teste dos Sinais O p-value é a probabilidade de se obter o valor observado ou algo mais extremo sob a hipótese nula (p = 1/2). Para o Teste dos Sinais, esta é a probabilidade do número observado de sinais positivos ou mais. Para fazer o teste bilateral, devemos ter em conta também os valores extremos do outro lado. Hipótese nula e alternativa: H : p = 1/ 2 vs. H : p 1/ p-value: [ ] p value = 2 P Binomial( n,1/ 2) m, n = 11, m = 10 p value = [ 10] =2 P Binomial (11,1/ 2) =2*[1-BINOMDIST( 9; 11; 0.5; TRUE)] = Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 90

15 Exemplo - Cancro pancreático(conclusão) Teste dos Sinais Dados Emparelhados, α = 5% Hipóteses H 0 : mediana das diferenças = 0 (p = 0) H 1 : mediana das diferenças 0 (p 0) M teve o valor observado de m= 10 (# sinais +) p-value = Rejeitar a hipótese nula Conclusão: Há uma diferença significativa entre os valores de plaquetas pré e pós-cirurgia para pacientes que tinham a cirurgia de preservação baço. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 91

16 Teste dos Sinais Grandes amostras n grande, ie, n + M np M n / 2 d = N(0,1) np(1 p) 1/ 2 n Nas aplicações, para n 25 M 1/ 2 n / 2 n Z N(0,1) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 92

17 Teste dos Sinais Grandes amostras Hipótese nula e alternativa bilateral: H : p = 1/ 2 vs. H : p 1/ p-value: M n / 2 m n / 2 m n / 2 p value = 2P 2P[ Z z] = 2{1 Φ ( z)}, z = 1/ 2 n 1/ 2 n 1/ 2 n M n / 2 m n / 2 ou = 2P 2P[ Z z] = 2 Φ( z). 1/ 2 n 1/ 2 n Região de Rejeição, ao nível de significância α : α / 2 α / 2 z α /2 z α / 2 Z z ou Z z z = Φ 1 α / 2 α / 2, α / 2 : (1 α / 2), quantil da Normal(0,1) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 93

18 Teste dos Sinais Grandes amostras Hipótese nula e alternativa unilateral : p-value: H : p = 1/ 2 vs. H : p > 1/ p value M n / 2 m n / 2 m n / 2 = P P[ Z z] = 1 Φ ( z), z =. 1/ 2 n 1/ 2 n 1/ 2 n Região de Rejeição, ao nível de significância α : 1 M n / 2 Z zα, zα : = Φ (1 α), quantil da Normal(0,1), Z : = 1/ 2 n α z α Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 94

19 Teste dos Sinais Grandes amostras Hipótese nula e alternativa unilateral : p-value: H : p = 1/ 2 vs. H : p < 1/ p value M n / 2 m n / 2 m n / 2 = P P[ Z z] = Φ ( z), z =. 1/ 2 n 1/ 2 n 1/ 2 n Região de Rejeição, ao nível de significância α : 1 M n / 2 Z zα, zα : = Φ (1 α), quantil da Normal(0,1), Z : = 1/ 2 n α z α Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 95

20 Teste dos Sinais Grandes amostras EXEMPLO - Sessenta alunos matricularam-se num curso de inglês. Na primeira aula aplicase um teste que mede o conhecimento da língua. Após seis meses, aplica-se um segundo teste. Os resultados mostram que 35 alunos apresentaram melhora (35 +), 20 se conduziram melhor no primeiro teste (20 -) e 5 não apresentaram modificações (5 0 ). Será que o curso melhorou o conhecimento de inglês? Sixty students enrolled in an English course. The first class applies a test that measures the knowledge of the language. After six months, applies a second test. The results show that 35 students showed improvement (35 +), 20 if led best in the first test (20) and 5 showed no modifications (5 ' 0 "). Does the course improved the knowledge of English? α= 5% H0: O curso não alterou o conhecimento de inglês H1: O curso melhorou o conhecimento de inglês Cálculo da variável m - número de sinais positivos (35); n tamanho da amostra descontado os empates (60-5=55) m n / / 2 z = = = / 2 n 1/ 2 55 Z = M 1/ 2 n / 2 n Z = Z 0.95 = 1.64, logo se rejeita Ho, ie, o curso não melhorou o conhecimento de inglês Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 96

21 Teste de Wilcoxon Contrapartida não-paramétrica para Teste-t para amostras emparelhadas

22 Amostras Emparelhadas - O Teste de Wilcoxon (pequenas amostras) População X População Y ( X, Y ),( X, Y ),,( X, Y ) n n H : distribuiçao ɶ de X = distribuiçao ɶ de Y vs. H : localizaçao ɶ de X localizaçao ɶ de Y (Teste Bilateral) 0 1 ( > ) ou ( < ) (Teste Unilateral) Diferenças Di = X i Yi D = X Y : ; : ; H : Med( D) = 0 vs. H : Med( D) ( > ) ou ( < ) (Teste Bilateral) (Teste Unilateral) O Teste de Wilcoxon é uma extensão do Teste de Sinais. É mais interessante pois leva em consideração a magnitude da diferença para cada par. O teste de sinal analisa apenas o sinal das diferenças, mas o Teste de Wilcoxon usa o sinal e ordena as diferenças. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 98

23 Teste de Wilcoxon (Pequenas Amostras Emparelhadas) 1. Obter as diferenças, D i = X i - Y i 2. Obter os Valores Absolutos das diferenças, D i 3. Desprezar as diferenças de Valor 0 (empates) diminuindo do mesmo número de unidades, a dimensão da amostra. 4. Atribuir Ordens, onde a Menor = 1 5. Atribuir Ordens para diferenças - e + 6. Somar as Ordens + (T + ) & Ordens - (T - ) Estatística de Teste T - ou T + (Teste Unilateral) Estatística de Teste T:=min(T -, T + ) (Teste Bilateral) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 99

24 Teste de Wilcoxon (Pequenas Amostras Emparelhadas) Motivação para a Região de Rejeição: Sob a validade de H 0, é de esperar que a soma das ordens positivas (T + ) não difira grandemente da soma das ordens negativas (T - ). Uma soma grande para as ordens positivas (T + ) relativamente a soma das ordens negativas (T - ), implica que a Mediana das Diferenças, Med(D), tenha uma pequena probabilidade de ser igual a zero. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 100

25 Teste de Wilcoxon (Pequenas Amostras Emparelhadas) H o : Med(D) =0 (As distribuições de X e de Y são idênticas) Teste Bilateral H 1 : Med(D) 0 (As distribuições de X e de Y diferem na localização ão) Rejeitar H o se T T0 (Tabela com T:=min(T -, T + ) Tabela 9), com Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 101

26 Teste de Wilcoxon (Pequenas Amostras Emparelhadas) H o : Med(D) = 0 (As distribuições de X e de Y são idênticas) Teste Unilateral H 1 : Med(D) > 0 (A distribuição de X tem localização à direita da Y) localização de Y) Rejeitar H 0 se T - T0 (Tabela 9) H 1 : Med(D) < 0 (A distribuição de Y tem localização à direita da X) localização de X) Rejeitar H 0 se T + T0 (Tabela 9) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 102

27 Teste de Wilcoxon (Grandes Amostras Emparelhadas) n grande, ie, n + T + n( n + 1) / 4 n( n + 1)(2n + 1) / 24 d N(0,1) Nas aplicações, para n 25 T + n( n + 1) / 4 n( n + 1)(2n + 1) / 24 Z N(0,1) Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 103

28 Teste de Wilcoxon (Grandes Amostras Emparelhadas) H o : Med(D) = 0 (As distribuições de X e de Y são idênticas) Teste Bilateral H 1 : Med(D) 0 (As distribuições de X e de Y diferem na localização ão) p-value: Z : = [ ] T = 2P Z z = 2{1 Φ( z)}. n( n + 1) / 4 n( n + 1)(2n + 1) / 24 Região de Rejeição, ao nível n de significância α : Z z ou Z z z = Φ quantil da N(0,1) 1 α / 2 α / 2, α / 2 : (1 α / 2), + ie, Rejeitar H o se Z > z α/2 α / 2 α / 2 Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 104 z α /2 z α / 2

29 Teste de Wilcoxon (Grandes Amostras Emparelhadas) H o : Med(D) = 0 (As distribuições de X e de Y são idênticas) Teste Unilateral H 1 : Med(D)> 0 (localização de X à direita da localização de Y) H 1 : Med(D)< 0 (localização de X à esquerda da localização de Y) p-value: [ Z ] = 1 Φ( ). P z z p-value: Região de Rejeição, ao nível n de significância α : [ Z ] = Φ( ). P z z Z z = Φ 1 α, zα : (1 α) Z z = Φ 1 α, zα : (1 α) z α α Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 105 α z α

30 Exemplo - Cancro pancreático Agora, podemos analisar o grupo que teve intervenção cirúrgica com Esplenectomia Patient 1 Pre 492 Post 375 Novamente, temos observações emparelhadas sobre cada um dos pacientes, e estamos interessados na diferença entre duas medições de plaquetas Será que há uma diferença significativa? Now, we can look at the group that had surgery with Splenectomy Again we have paired observations on each one of the patients, and we are interested in the difference between two measurements of platelets. Is there a significant difference? Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 106

31 Exemplo - Cancro pancreático - Teste de Wilcoxon A hipótese nula para a nossa investigação é que não há nenhuma diferença na contagem de plaquetas, antes e após a cirurgia com Esplenectomia. H 0 : Med(D) = 0 H 1 : Med(D) 0 Pacient e Pre Post Di Di Ordem T+ 12 T Rejeitar Ho o se T T 0 (Tabela 9), com T:=min(T min(t-, T+) Valor observado de T = 44 T 0 (Tabela 9): n=13 Two-sided p=0.10p T 0 =21 Então: T >T> 0, não se rejeita H Conclusão: Não há nenhuma evidência de uma diferença entre o pré e pós contagem plaquetas para os pacientes que tinham uma Esplenectomia durante sua cirurgia Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 107

32 Conclusões Os nossos testes de hipóteses mostram que: os doentes a partir do grupo de preservação baço tinham uma mudança significativa na sua contagem de plaquetas após cirurgia (rej H0) e os pacientes do grupo Esplenectomia não têm uma mudança significativa na sua contagem de plaquetas após cirurgia (não rej H0). Our hypothesis testing show that: patients from the spleen preservation group had a significant change in their platelet count after surgery (rej H0) and the patients of group Splenectomy does not have a significant change in their platelet count after surgery (not rej H0). Estes resultados podem mostrar que a cirurgia de preservação baço é difícil para o paciente e outras medidas devem ser investigadas para garantir que esta cirurgia não é excessivamente agressiva para os de pacientes. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 108

33 Comentários Quando nós temos dados emparelhados e os pressupostos de um teste-t emparelhado não forem pressupostos, temos duas maneiras para elaborar o teste de hipóteses sobre a localização: O Teste de Wilcoxon é sempre preferido ao Teste dos Sinais já que usa mais informação contida nos dados (já que usa as ordens). O Teste de Wilcoxon tem muito mais potência do que o Teste dos Sinais para detectar uma diferença significativa. Não há uma grande perda de potência no Teste de Wilcoxon comparado a um teste-t quando se mantém a suposição de normalidade. Por outro lado, o Teste de Wilcoxon é muito mais potente do que o teste-t quando não é válida a suposição de normalidade. Isabel Fraga Alves FCUL/ DEIO - Estatística Aplicada: Métodos Não-Paramétricos 1ºAno/2ºSem (6 ECTS) 109