P values and the misleading concept of statistical significance

Transcrição

1 Valores p e o enganoso conceito de significância estatística P values and the misleading concept of statistical significance Edson Zangiacomi Martinez Faculdade de Medicina de Ribeirão Preto Universidade de São Paulo

2 The p-value is probably the most ubiquitous and at the same time, misunderstood, misinterpreted, and occasionally miscalculated index in all of biomedical research. (Steven Goodman)

3

4

5

6

7 Henrique Kroetz, 2014 (Engenheiro Civil, doutorando em Engenharia na USP).

8 10 ideias científicas que cientistas gostariam que você parasse de usar de forma errada Prova Teoria Incerteza e Estranheza Quânticas Aprendido vs. Inato Natural Gene 8. Sobrevivência do Mais Apto 9. Escalas de Tempo Geológicas 10. Orgânico Kroetz, 2014

9 Ronald A. Fisher The father of modern statistics Matemático, estatístico, biólogo, geneticista Nascimento/morte: Inglaterra, 17/fev/ /julho/1962 Contribuições: Teste exato de Fisher, princípios do delineamento de experimentos, ANOVA, método da máxima verossimilhança, informação de Fisher, termo hipótese nula, método fiducial, distribuição F Testes de significância P values Karl Pearson, chi square test. Fisher s theory may be presented as follows. Let us consider some hypothesis, namely the null hypothesis, of no association between a characteristic and an outcome. For any magnitude of the association observed after an experiment is conducted, we can compute a test statistic that measures the difference between what is observed and the null hypothesis. This test statistic may be converted to a probability, namely the p value, using the probability distribution of the test statistic under the null hypothesis. Biau et al. (2010) The p value is the probability to obtain an effect equal to or more extreme than the one observed presuming the null hypothesis of no effect is true; it gives researchers a measure of the strength of evidence against the null hypothesis.

10 Fisher (1925), Statistical Methods for Research Workers

11 Fisher, Statistical Methods for Research Workers

12 Jerzy Neyman Matemático, estatístico Nascimento/morte: Polônia, 16/abril/ /ago/1981 Egon Sharpe Pearson Matemático, estatístico Nascimento/morte: Inglaterra, 11/ago/ /junho/1980 Testes de hipóteses Hipótese nula e hipótese alternativa Lema de Neyman-Pearson Erros tipo I e tipo II Testes uniformemente mais poderosos Resultado: rejeitar ou não rejeitar a hipótese nula

13 OBSERVAÇÃO PERGUNTA HIPÓTESE TEORIA

14

15 Teste estatístico de hipóteses É necessariamente um procedimento de inferência estatística População de tamanho Amostra de tamanho conclusões Objetivo da inferência estatística: obter conclusões sobre alguma característica de um conjunto de interesse, denominado população, com base na informação oriunda de um conjunto de dados disponíveis, denominado amostra.

16 Teste estatístico de hipóteses É necessariamente um procedimento de inferência estatística Esta característica, necessariamente numérica, é chamada População de parâmetro. tamanho Amostra de tamanho conclusões Objetivo da inferência estatística: obter conclusões sobre alguma característica de um conjunto de interesse, denominado população, com base na informação oriunda de um conjunto de dados disponíveis, denominado amostra.

17 Teste estatístico de hipóteses É necessariamente um procedimento de inferência estatística Esta característica, necessariamente numérica, é chamada População de parâmetro. tamanho Uma hipótese é uma suposição sobre o valor deste parâmetro. Amostra de tamanho conclusões Objetivo da inferência estatística: obter conclusões sobre alguma característica de um conjunto de interesse, denominado população, com base na informação oriunda de um conjunto de dados disponíveis, denominado amostra.

18 Teste estatístico de hipóteses É necessariamente um procedimento de inferência estatística Esta característica, necessariamente numérica, é chamada População de parâmetro. tamanho Uma hipótese é uma suposição sobre o valor deste parâmetro. O teste estatístico de hipóteses é uma regra Amostra de de decisão. Com base em uma tamanho amostra, decidimos rejeitar ou não uma hipótese. conclusões Objetivo da inferência estatística: obter conclusões sobre alguma característica de um conjunto de interesse, denominado população, com base na informação oriunda de um conjunto de dados disponíveis, denominado amostra.

19 Erros Erro tipo I: rejeitamos H0, mas H0 é verdadeira Erro tipo II: não rejeitamos H0, mas H0 é falsa Nível de significância Probabilidade de cometer um erro tipo I Denotado por É fixado pelo pesquisador. Por tradição, a escolha comum é 5%.

20 Exemplo: teste qui-quadrado de associação Casos Controles + + Expostos Não expostos Total Hipóteses : OR = 1 (não associação) : OR 1 Estatística de teste = + + Decisão Para = 0,05, rejeito 2 1,5 + se + > 3,841 3,841 1 Nível de significância 0,

21 Exemplo: teste qui-quadrado de associação Expostos Não expostos Casos Controles Total Hipóteses : OR = 1 (não associação) : OR 1 Estatística de teste = = 4, Decisão Para = 0,05, rejeito 2 1,5 se > 3,841 3,841 1 Nível de significância 0,

22 2 1,5 3,841 1 Nível de significância = 0,05 0, = 1, = 4, ,432 Valor p p = 0,035 0,

23 2 1,5 3,841 1 Nível de significância = 0,05 0, P value is the probability that the chosen test statistic would have been at least as large as its observed value if every model assumption were correct, including the test hypothesis. 1,5 1 4,432 Valor p p = 0,035 0,

24 Exemplo: teste qui-quadrado de associação Expostos Não expostos Casos Controles Total Hipóteses : OR = 1 (não associação) : OR 1 Estatística de teste = = 0, Decisão Para = 0,05, rejeito 2 1,5 se > 3,841 3,841 1 Nível de significância 0,

25 2 1,5 3,841 1 Nível de significância = 0,05 0, = 1,5 0, = 0, Valor p p = 0,465 0,

26 2 1,5 3,841 1 Nível de significância = 0,05 0, P value is the probability that the chosen test statistic would have been at least as large as its observed value if every model assumption were correct, including the test hypothesis. 1,5 0,533 1 Valor p p = 0,465 0,

27

28 Expostos Não expostos Total Expostos Não expostos Total Expostos Não expostos Total Casos Controles = 0,138 Casos Controles = 3,297 = 0,069 Casos Controles = 4, = 2,198 = 1,56 : (0,87 ; 2,79) = 1,56 : (0,96 ; 2,51) = 0,036 = 1,56 : (1,03 ; 2,35)

29

30

31

32

33 Intervalos de confiança 95% para < 2 1 = 2 1 > 2 p < 0,05 0 p < 0,05 0 p < 0,05 0 p > 0,05 0 p > 0,05 0

34

35 1 < 2 1 = 2 1 > 2 p < 0,05 0 p < 0,05 0 p < 0,05 0 p > 0,05 0 p > 0,05 0 Uma diferença média menor que 10 mmhg não é clinicamente importante!!! 10 mmhg Vamos supor que a variável em questão seja a pressão arterial sistólica

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61 Misconception 1: P-Hacking is OK

62 Ano Número de óbitos em Consumo per capita de acidentes de trânsito sorvetes no Brasil no Brasil (litros/ano) , , , , , , , , , , ,41 Fontes: DATASUS e Associação Brasileira das Indústrias de Sorvetes - ABIS

63 Coeficiente de correlação de Pearson = IC95% (0.8418, ) p value =

64

65

66

67

68

69

70

71

72

73

74 Comentários Finais

75 1. Devemos fazer ciência, não esoterismo

76 2. Devemos falar da Estatística como componente do método científico, e não como ramo da Matemática (coisa que ela não é)

77 3. Devemos substituir a frase estatisticamente significante, que não significa nada, por uma busca por evidências. Expostos Não expostos Total Casos Controles Valor p p = 0,035 Há uma associação estatisticamente significante entre a exposição e a doença Há evidências de associação entre a exposição e a doença

78 4. Medidas de associação, com seus respectivos intervalos de confiança, são mais úteis que valores p Expostos Não expostos Total Casos Controles Valor p p = 0,035 = 1,9 IC95%: (1,04 ; 3,46)

79 5. Métodos Bayesianos são fundamentais para o progresso científico

80