Uniformes para um Exército de Valores de Prova?

Transcrição

1 Dinis Pestana 1,2 Maria de Fátima Brilhante 1,3 1 CEAUL Centro de Estatística e Aplicações da Universidade de Lisboa 2 Instituto de Investigação Científica Bento da Rocha Cabral 3 Departamento de Matemática e Estatística da Universidade dos Açores Encontro com a Ciência e Tecnologia em Portugal Centro de Congressos de Lisboa, 5 de julho de 2017 Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 1 / 11

2 O que é preciso fazer para ganhar um prémio Nobel? If you want to have good ideas you must have many ideas. Most of them will be wrong, and what you have to learn is which ones to throw away. Linus Pauling Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 2 / 11

3 O que é preciso fazer para ganhar um prémio Nobel? If you want to have good ideas you must have many ideas. Most of them will be wrong, and what you have to learn is which ones to throw away. Linus Pauling Deitar fora ideias equivale em linguagem estatística a rejeitar hipóteses nulas. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 2 / 11

4 O que é preciso fazer para ganhar um prémio Nobel? If you want to have good ideas you must have many ideas. Most of them will be wrong, and what you have to learn is which ones to throw away. Linus Pauling Deitar fora ideias equivale em linguagem estatística a rejeitar hipóteses nulas. Os Testes de Hipóteses são uma ferramenta valiosa para a construção do conhecimento científico. Num teste de hipóteses define-se uma hipótese nula (H 0 ) geralmente exprime a hipótese que o investigador pretende descartar com o seu estudo; e Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 2 / 11

5 O que é preciso fazer para ganhar um prémio Nobel? If you want to have good ideas you must have many ideas. Most of them will be wrong, and what you have to learn is which ones to throw away. Linus Pauling Deitar fora ideias equivale em linguagem estatística a rejeitar hipóteses nulas. Os Testes de Hipóteses são uma ferramenta valiosa para a construção do conhecimento científico. Num teste de hipóteses define-se uma hipótese nula (H 0 ) geralmente exprime a hipótese que o investigador pretende descartar com o seu estudo; e uma hipótese alternativa (H 1 ) geralmente exprime as convicções do investigador, ou seja, a hipótese de trabalho. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 2 / 11

6 Testes de Hipóteses Num teste de hipóteses presume-se à partida que H 0 é verdadeira, até prova em contrário. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 3 / 11

7 Testes de Hipóteses Num teste de hipóteses presume-se à partida que H 0 é verdadeira, até prova em contrário. A rejeição de H 0 será consequência de haver evidência factual, ou seja, evidência estatística, que é extraída de uma amostra e que se encontra sumariada numa estatística de teste (função da amostra). Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 3 / 11

8 Testes de Hipóteses Num teste de hipóteses presume-se à partida que H 0 é verdadeira, até prova em contrário. A rejeição de H 0 será consequência de haver evidência factual, ou seja, evidência estatística, que é extraída de uma amostra e que se encontra sumariada numa estatística de teste (função da amostra). Assumindo que H 0 é verdadeira, é calculada a distribuição da estatística de teste valores extremos desta estatística evidenciam discrepância entre H 0 e os factos (amostra observada). Se a discrepância observada for considerável, rejeita-se H 0 há argumentos a favor de H 1. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 3 / 11

9 Valores-p e Uniformes A discrepância observada é avaliada de uma forma objetiva, mais concretamente, em termos de uma probabilidade de cauda extrema definida pelo valor observado da estatística de teste. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 4 / 11

10 Valores-p e Uniformes A discrepância observada é avaliada de uma forma objetiva, mais concretamente, em termos de uma probabilidade de cauda extrema definida pelo valor observado da estatística de teste. A probabilidade anterior é conhecida pelo valor de prova, ou valor-p (pvalue) o valor-p é uma probabilidade condicional a H 0. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 4 / 11

11 Valores-p e Uniformes A discrepância observada é avaliada de uma forma objetiva, mais concretamente, em termos de uma probabilidade de cauda extrema definida pelo valor observado da estatística de teste. A probabilidade anterior é conhecida pelo valor de prova, ou valor-p (pvalue) o valor-p é uma probabilidade condicional a H 0. Se H 0 for verdadeira, o valor-p é uma observação da distribuição uniforme padrão (para estatísticas de teste contínuas). Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 4 / 11

12 Valores-p e Uniformes O desejável para um investigador é que H 0 seja falsa, ou melhor, seja rejeitada! Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 5 / 11

13 Valores-p e Uniformes O desejável para um investigador é que H 0 seja falsa, ou melhor, seja rejeitada! Porquê? Rejeitar uma hipótese é uma decisão forte, enquanto mantê-la uma decisão fraca. (Manter H 0 é muitas vezes consequência da dimensão da amostra ser insuficiente/pequena). Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 5 / 11

14 Valores-p e Uniformes O desejável para um investigador é que H 0 seja falsa, ou melhor, seja rejeitada! Porquê? Rejeitar uma hipótese é uma decisão forte, enquanto mantê-la uma decisão fraca. (Manter H 0 é muitas vezes consequência da dimensão da amostra ser insuficiente/pequena). Mas há o reverso da medalha! Com amostras de dimensão muito elevada existe uma forte possibilidade de rejeitar hipóteses nulas que são verdadeiras! Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 5 / 11

15 Valores-p e Uniformes O desejável para um investigador é que H 0 seja falsa, ou melhor, seja rejeitada! Porquê? Rejeitar uma hipótese é uma decisão forte, enquanto mantê-la uma decisão fraca. (Manter H 0 é muitas vezes consequência da dimensão da amostra ser insuficiente/pequena). Mas há o reverso da medalha! Com amostras de dimensão muito elevada existe uma forte possibilidade de rejeitar hipóteses nulas que são verdadeiras! Teoria da Amostragem estabelece critérios objetivos para a determinação da dimensão que uma amostra aleatória deve ter, obtida através de uma estratégia adequada. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 5 / 11

16 Valores-p, Uniformes e Meta-Análise O avolumar de informação nas diferentes áreas da Ciência tem ditado nos últimos anos a necessidade de combinar ou sintetizar a informação disponível sobre determinados assuntos. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 6 / 11

17 Valores-p, Uniformes e Meta-Análise O avolumar de informação nas diferentes áreas da Ciência tem ditado nos últimos anos a necessidade de combinar ou sintetizar a informação disponível sobre determinados assuntos. A partir de 1976 foram desenvolvidas metodologias para sintetizar os resultados obtidos por diferentes investigadores sobre um mesmo problema Meta-Análise. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 6 / 11

18 Valores-p, Uniformes e Meta-Análise O avolumar de informação nas diferentes áreas da Ciência tem ditado nos últimos anos a necessidade de combinar ou sintetizar a informação disponível sobre determinados assuntos. A partir de 1976 foram desenvolvidas metodologias para sintetizar os resultados obtidos por diferentes investigadores sobre um mesmo problema Meta-Análise. Por exemplo, a Meta-Análise pode revelar-se útil quando existem diversas conclusões duvidosas e/ou conflitantes para um dado problema, pois podem ser combinadas para se tentar estabelecer uma síntese credível. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 6 / 11

19 Valores-p, Uniformes e Meta-Análise Como meta-analisar os valores-p observados, p 1,..., p k? Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 7 / 11

20 Valores-p, Uniformes e Meta-Análise Como meta-analisar os valores-p observados, p 1,..., p k? Pode-se usar a estatística de teste do método de Fisher (1932), ou seja, k T k = 2 ln P j H0 χ 2 2k. j=1 Sob a validade de H 0, P j Uniforme [0, 1] ln P j Exponencial (1) 2 ln P j χ 2 2 k 2 ln P j χ 2 2k. j=1 Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 7 / 11

21 O método de Fisher é bastante utilizado para testar a significância de uma hipótese nula conjunta (o tamanho do efeito é nulo) através do valor-p combinado. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 7 / 11 Valores-p, Uniformes e Meta-Análise Como meta-analisar os valores-p observados, p 1,..., p k? Pode-se usar a estatística de teste do método de Fisher (1932), ou seja, k T k = 2 ln P j H0 χ 2 2k. j=1 Sob a validade de H 0, P j Uniforme [0, 1] ln P j Exponencial (1) 2 ln P j χ 2 2 k 2 ln P j χ 2 2k. j=1

22 Valores-p, Uniformes e Meta-Análise Mas, CUIDADO: Se o que interessa (para o progresso da ciência) é rejeitar H 0, é de supor que alguns dos valores-p observados não são uniformes, são o que se chama valores-p generalizados, com distribuição que pode ser muito complexa. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 8 / 11

23 Valores-p, Uniformes e Meta-Análise Mas, CUIDADO: Se o que interessa (para o progresso da ciência) é rejeitar H 0, é de supor que alguns dos valores-p observados não são uniformes, são o que se chama valores-p generalizados, com distribuição que pode ser muito complexa. A famosa controvérsia de Mendel-Fisher Fisher sugeriu que os resultados de Mendel foram aldrabados, e que houve um reporte excessivo de resultados favoráveis à teoria que Mendel queria estabelecer. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 8 / 11

24 Valores-p, Uniformes e Meta-Análise Isto pode acontecer porque o investigador, insatisfeito com o resultado que obteve, decide repetir a experiência, e reportar o valor-p que é mais conforme com o que pretende estabelecer. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 9 / 11

25 Valores-p, Uniformes e Meta-Análise Isto pode acontecer porque o investigador, insatisfeito com o resultado que obteve, decide repetir a experiência, e reportar o valor-p que é mais conforme com o que pretende estabelecer. Mesmo sob validade de H 0, o valor-p reportado deixa de ser uma observação de uma uniforme padrão, e passa a ser um extremo o máximo ou o mínimo de r uniformes, conforme o que interessa ao experimentador, onde r é o número de repetições da experiência. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 9 / 11

26 Valores-p, Uniformes e Meta-Análise Alguns problemas que podem ocorrer quando se usam valores de prova para estabelecer resultados científicos: Vestir um figurino uniforme aos valores-p reportados é simples e desejável, mas pode ser uma simplificação grosseira, quer porque H 0 é falsa, quer porque houve repetição de experiências para reportar um valor-p mais favorável. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 10 / 11

27 Valores-p, Uniformes e Meta-Análise Alguns problemas que podem ocorrer quando se usam valores de prova para estabelecer resultados científicos: Vestir um figurino uniforme aos valores-p reportados é simples e desejável, mas pode ser uma simplificação grosseira, quer porque H 0 é falsa, quer porque houve repetição de experiências para reportar um valor-p mais favorável. Há também uma gaveta de esquecimento de resultados não publicados por os valores-p não levarem à rejeição de H 0. Isso pode comprometer seriamente a meta-análise problema de viés de publicação. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 10 / 11

28 Valores-p, Uniformes e Meta-Análise Seria também bom para a fiabilidade da publicação científica que os referees se dessem conta de que a tentação Mendel é uma realidade bastante comum, e atentassem melhor na importância da repetibilidade na construção do conhecimento científico. Pestana e Brilhante (CEAUL) Encontro com a Ciência e Tecnologia 11 / 11