Verificando as pressuposições do modelo estatístico

Transcrição

1 Verificando as pressuposições do modelo estatístico Prof. a Dr. a Simone Daniela Sartorio de Medeiros DTAiSeR-Ar 1

2 As pressuposições do modelo estatístico: 1) os efeitos do modelo estatístico devem ser aditivos; ) os erros experimentais devem ser independentes; 3) os erros experimentais devem ser normalmente distribuídos; 4) os erros experimentais tem variâncias iguais. e ~ N(0, ) 5) Não ter a presença de outliers. Assim, se o modelo for apropriado, os resíduos devem refletir as propriedades impostas pelo termo de erro do modelo. As técnicas utilizadas para verificar as suposições podem ser informais (como gráficos) ou formais (como testes). As técnicas gráficas, por serem visuais, podem ser subjetivas e por isso técnicas formais são mais indicadas para a tomada de decisão. O ideal é combinar as técnicas formais e informais para o diagnóstico de problemas nas suposições do modelo.

3 Técnicas gráficas a) Análise de resíduos b) Gráfico quantil-quantil com envelope simulado 3

4 a) Análise de resíduos Chamamos de Análise dos Resíduos um conjunto de técnicas utilizadas para investigar a adequabilidade de um modelo com base nos resíduos. 4

5 Alguns tipos de Resíduos Valor predito: yˆ mˆ ˆ t i Resíduos ordinários tˆ i mˆ i mˆ eˆ eˆ y y yˆ mˆ i y ( mˆ tˆ ) i y mˆ ( mˆ i mˆ ) Resíduo padronizado d e QM Re s e s e s Resíduo estudentizado Rs i e V ( e ( i) ) ˆ ( ) i V i ( r ) é estimativa da variância residual sem a observação i. Rs i ~ t (n p 1), onde n é o número de observações e p número de parâmetros. 5

6 Análise de resíduos A característica do gráfico construído, com os resíduos obtidos, pode fornecer as orientações ou padrões quanto à identificação de possíveis inadequações do modelo adotado, quando comparados com os gráficos apresentados a seguir: Condição ideal: indica homogeneidade de variâncias (ou homocedasticidade) e não apresenta outlier(s). d 3 0 ŷ 3 Figura 1. Gráfico dos resíduos padronizados valores preditos 6

7 b) Gráfico quantil-quantil 7

8 Gráfico quantil-quantil com envelope simulado OBS: Os erros para seguirem a distribuição normal com média zero e variância constante devem estar próximos a reta identidade e dentro do envelope simulado. Normal (proximidade da reta) 8

9 Como verificar as pressuposições do modelo estatístico? (DIC) 9

10 1) Modelo aditivo 10

11 1) Aditividade do modelo Condição imposta pelo modelo, em que os diversos efeitos se somam. A aditividade possibilita que os dados observados sejam sempre combinações lineares dos efeitos investigados. 11

12 ) Independência das observações 1

13 ) Erros devem ser independentes Até certo ponto é garantido pela casualização. Os efeitos de tratamentos sejam independentes, que não haja correlação entre eles. Que uma parcela não influencie a outra. Isso significa que não se pode dizer, em função da resposta obtida numa parcela, que a(s) parcela(s) vizinha(as) terá(ão) respostas mais alta(s) ou mais baixa(s), a priori. OBS1: Isso não ocorre quando os tratamentos são doses crescentes de proteína, fósforo, fibra, adubos, inseticidas, fungicidas, herbicidas, etc. ocasião em que a análise de variância deve ser feita estudando-se a regressão. OBS: Isso também não é verdade quando medimos na mesma parcela dados ao longo do tempo. OBS3: O simples fato de aleatorizar (sortear) as parcelas que receberão os tratamentos diminui a dependência entre os erros. OBS4: O sinal dos desvios no croqui experimental pode indicar dependência dos erros e. 13

14 Análise de resíduos a) Os erros não são independentes, correlação positiva entre os erros. b) Os erros não são independentes, correlação negativa entre os erros. d d v ŷ 0 ŷ 3 v v 3 14

15 .1.) Teste de Durbin-Watson Teste de independência É utilizado para detectar a presença de autocorrelação (dependência) nos resíduos de uma análise de regressão. Este teste é baseado na suposição de que os erros no modelo de regressão são gerados por um processo autoregressivo de primeira ordem. Tarefa 1. Pesquise e responda: a) Quais são as hipóteses desse teste Durbin-Watson? b) Qual é a estatística do teste? c) Qual é a distribuição de probabilidade da estatística do teste? d) Como se faz a decisão do teste? 15

16 3) Erros com distribuição normal 16

17 3) Erros normais Os erros (e ) devem ser normalmente distribuídos. Isto implica em que as observações (y ) se ajustam a uma distribuição normal dentro de cada tratamento. Isso pode ser verificado através de um teste de normalidade, como por exemplo: a) Shapiro-Wilk; b) Lilliefors; c) Kolmogorov-Smirnov; e d) Teste qui-quadrado, entre outros. As hipóteses, em geral, desses testes são: H 0 : os erros são normais H a : os erros não são normais Decisão pelo valor-p - Regra prática: Se o valor-p < Rejeita-se H 0 Se o valor-p > Aceita-se H 0 17

18 3.1.) Teste de Shapiro-Wilk Teste de normalidade O teste de Shapiro-Wilk é baseado na estatística W (0 < W 1). Valores pequenos da estatística W levam a rejeitar a hipótese H 0. Tarefa. Pesquise e responda: a) Quais são as hipóteses desse teste Shapiro-Wilk? b) Qual é a estatística do teste? c) Qual é a distribuição de probabilidade da estatística do teste? d) Como se faz a decisão do teste? Nos software R avaliamos o valor da probabilidade (valor-p). Se o valor da probabilidade for menor que o nível de significância (α) rejeitamos a hipótese H 0. Caso contrário, aceitamos H 0. No R: shapiro.test(rstudent(mod)) Shapiro-Wilk normality test Data: rstudent(mod) W = , p-value = Conclusão: Portanto, como o valor-p é 0,359 > 0,05, então, não rejeita-se H 0, ou seja, os resíduos padronizados seguem uma distribuição Normal ao nível de 5% de significância. 18

19 Teste de normalidade 3..) Teste de Lilliefors 3.3.) Teste Anderson-Darling 3.4.) Teste de Kolmogorov-Smirnov 3.5.) Teste Cramer-von Mises 3.6.) Teste de Shapiro-Francia 3.7.) Teste qui-quadrado para normalidade Tarefa 3. Pesquise e responda sobre os testes 3..); 3.3.); 3.4.); 3.5.); 3.6.) e 3.7.): a) Quais são as hipóteses desse teste? b) Qual é a estatística do teste? c) Qual é a distribuição de probabilidade da estatística do teste? d) Como se faz a decisão do teste? 19

20 Teste de normalidade No R: # Teste de Lilliefors (Kolmogorov-Smirnov) require(nortest) lillie.test(rstudent(mod)) # Teste Anderson-Darling require(nortest) ad.test(rstudent(mod)) # Teste de Kolmogorov-Smirnov ks.test(rstudent(mod), "pnorm", mean(rstudent(mod)), sd(rstudent(mod))) # Teste Cramer-von Mises cvm.test(rstudent(mod)) # Teste de Shapiro-Francia sf.test(rstudent(mod)) 0

21 4) Homocedasticidade 1

22 4) Homogeneidade de variâncias (ou homocedasticidade) Os erros ou desvios (e ), devem possuir uma variância comum. Em outras palavras, A variabilidade de um tratamento deve ser semelhante à dos outros. Pode ser verificada por um dos seguintes testes, dentre outros: Teste de Hartley (ou Razão máxima, ou Teste F máximo) Teste de Cochran Teste de Bartlett Teste de Levene Usado mesmo quando se tem n. o diferente de repetições por tratamento, mas exige normalidade dos dados. Todos os tratamentos devem ter o mesmo n. o de repetições. As hipóteses desses testes são: H H 0 1 : 1 :! i..., i i', i, i' 1,,..., I i' I (Variâncias homogêneas) (Variâncias heterogêneas)

23 4.1.) Teste de Hartley (ou Razão máxima, ou Teste F máximo) Teste de homocedasticidade Calcula-se as variâncias dentro de cada tratamento e faz-se a razão máxima: F calc Considerando um nível α de significância, consulta-se a tabela específica do Teste de Hartley com: s s máx min F tab = H (I,J 1), OBS: Todos os tratamentos devem ter o mesmo n. o de repetições. onde I é o número de tratamentos e J é número de repetições. Considerando um nível α de significância, consulta-se a tabela específica com: Regra prática: F calc F tab Rejeita H 0 ao nível..., concluindo que... 4 para 1 Ou F calc < F tab Aceita H 0 ao nível..., concluindo que... 7 para 1 Tarefa 4: Faça o teste para o experimento com as 4 variedades de milho (DIC), feito em sala. Apresente as hipóteses, etc...e conclua o teste. 3

24 4..) Teste de Cochran Teste de homocedasticidade C calc s máx I si i1 OBS: Todos os tratamentos devem ter o mesmo n. o de repetições. Considerando um nível α de significância, consulta-se a tabela específica do Teste de Cochran com I e (n 1) graus de liberdade associado a essas estimativas. Assim, se: C calc C tab Rejeita H 0 ao nível..., concluindo que... C calc < C tab Aceita H 0 ao nível..., concluindo que... Tarefa 5: Faça o teste para o experimento com as 4 variedades de milho (DIC), feito em sala. Apresente as hipóteses, etc...e conclua o teste. 4

25 4.3.) Teste de Bartlett Sendo α o nível de significância; I é o número de estimativas de variâncias; média ponderada dos. Temos que a estatística do teste é dada por: s i s é a K,306 n I log s n 1 log s 1 1 3( I 1) I i1 i1 1 n 1 i I i 1 n I i ~ ( I 1) Se K calc ( I 1; ) ( I 1; ) Caso, contráriok calc < Rejeita H 0 ao nível..., concluindo que... Aceita H 0 ao nível..., concluindo que... No R: bartlett.test(y ~ trat, data=dic) Bartlett test of homogeneity of variances data: y by trat Bartlett's K-squared= 6.881, df= 8, p-value= Tarefa 6: Faça o teste para o experimento com as 4 variedades de milho (DIC), feito em sala. Apresente as hipóteses, etc...e conclua o teste. OBS: Usado mesmo quando se têm n. o diferentes de repetições por tratamento, mas exige normalidade dos dados. 5

26 4.4.) Teste de Levene Este teste foi proposto por Levene em O procedimento consiste em fazer uma transformação dos dados originais e aplicar aos dados transformados o teste da ANOVA. OBS: O teste de Levene é mais eficiente que o teste de Bartlett quando rejeitamos a hipótese de normalidade dos dados. No R: require(car) levenetest(y ~ trat, data=dic) Levene's Test for Homogeneity of Variance (center = median) Df F value Pr(>F) group Tarefa 7. Pesquise e responda: a) Quais são as hipóteses desse teste de Levene? b) Qual é a estatística do teste? c) Qual é a distribuição de probabilidade da estatística do teste? d) Como se faz a decisão do teste? e) Considere a saída do software R acima e conclua o teste. 6

27 Análise de resíduos Padrão que indica heterogeneidade de variância a) Heterocedasticidade, a variância decresce com ŷ. b) Heterocedasticidade, a variância cresce com ŷ. d d v ŷ 0 v ŷ 3 v 3 v 7

28 Análise de resíduos c) Heterocedasticidade, a variância cresce quando tende para a média. ŷ d) Heterocedasticidade, a variância decresce quando ŷ tende para a média. d d ŷ 0 ŷ 3 3 8

29 Possíveis inadequações podem ser identificadas abaixo. Itens: a) situação ideal, b) e c) modelo não linear; d) elemento atípico, e), f) e g) heterocedasticidade e h) não-normalidade 9

30 5) Não ter outlier 30

31 a) Boxplot Figura 1. Boxplot sem observações atípicas Figura. Boxplot com observações atípicas. 31

32 b) Gráfico quantil-quantil com envelope simulado c) Predito Resíduo Normal (proximidade da reta) Aleatório, sem padrão 3

33 Outlier? 33

34 Não Normal (afastamento da reta) Outlier? Outlier? 34

35 Análise: com outlier e sem outlier Pode mudar os resultados!!! Exemplo Ana Carolina 35