A qualidade das inferências feitas por estes. de normalidade se fazem necessários.

Transcrição

1 Verificação da Suposição de Normalidade A maior parte das técnicas estudadas de Inferência Estatística partem do pressuposto de normalidade dos dados: teste t para uma a- mostra, teste t pareado, teste t para amostras independentes, Análise de Variância, Regressão linear, etc. A qualidade das inferências feitas por estes métodos depende de quão próxima é a população em estudo da distribuição normal. Procedimentos para verificação da suposição de normalidade se fazem necessários. 1

2 Antes de apresentar alguns de tais procedimentos, vamos fazer uma rápida revisão da distribuição normal. Suas origens remontam a Gauss em seus trabalhos sobre erros de observações astronômicas, por volta de 1810, daí o nome que muitas vezes aparece de distribuição gaussiana para tal modelo. Gauss levou a fama, pois foi ele o primeiro a publicar sobre resultados práticos envolvendo a distribuição normal. No entanto, o primeiro a se referir a distribuição normal foi o Matemático Francês De Moivre em De Moivre usou a distribuição normal para aproximar probabilidades relacionadas a lançamentos de moedas, chamou-a de curva exponencial em forma de sino. 2

3 Do meio ao final do século XIX, boa parte dos estatísticos começou a acreditar que a maioria dos conjuntos de dados teriam histogramas cuja forma se adequava à forma de sino. De fato, tornou-se aceito que era normal para qualquer conjunto de dados bem-comportados seguir esse modelo. Ao longo do século XX no entanto existem vários registros do mau uso de técnicas estatísticas, pois saiu-se u- sando indiscrimidamente técnicas que pressupunham a normalidade dos dados, quando eram claramente não normais. Cuidado: Sempre verifique se o método de análise estatística que você irá usar é adequado aos seus dados. Uma explicação parcial de porque tantos conjuntos de dados conformam-se com a curva normal é fornecida pelo teorema central do limite. 3

4 O Teorema Central do Limite (TCL) afirma: Se X 1, X 2,..., X n é uma amostra aleatória simples de uma população qualquer cuja média é µ e variância é σ 2, a distribuição amostral n de X = 1 X i, a média amostral, se aproxima de uma distribuição normal com média µ ni=1 e variância σ2 quando n cresce. n Ou seja, para n suficientemente grande, X a N ou equivalentemente, X µ σ/ n ( µ, σ2 n ) a N (0, 1) 4

5 A Curva Normal (Gaussiana, Forma de Sino) A curva normal é totalmente caracterizada por dois parâmetros: seu valor esperado (ou sua média), denotada pela letra grega µ e a sua variância, denotada por σ 2 ou, equivalentemente pelo seu desvio-padrão σ. 5

6 Como os parâmetros µ e σ 2 curva normal? influenciam na A seguir apresentamos o gráficos de duas curvas normais com a mesma variância, mas com médias diferentes, µ 1 < µ 2. Observe que a média µ caracteriza o centro do gráfico e, dessa forma, distribuições normais com médias diferentes, mas mesma variância apresentam gráficos congruentes centrados em posições diferentes. 6

7 Como os parâmetros µ e σ 2 curva normal? influenciam na A seguir apresentamos o gráficos de três curvas normais com a mesma média, mas com variâncias diferentes, σ 2 1 < σ2 2 < σ2 3. Observe que a variância σ 2 caracteriza o nível de abertura do gráfico em relação ao centros e, dessa forma, distribuições normais com variâncias diferentes, mas mesma média apresentam gráficos centrados na mesma posição, mas com aberturas diferentes conforme o valor da variância. 7

8 Distribuição Normal Padrão Quando µ = 0 e σ 2 = 1 a distribuição é chamada normal padrão ou normal reduzida. Z N(0, 1) Vamos usar a letra Z para denotar uma variável aleatória normal com distribuição normal padrão. Nesse caso, a densidade é dada por f Z (z) = 1 2π e z2 2, z R E[Z] = 0 e V ar(z) = 1. Outra notação que será adotada aqui é φ(z) = P (Z z), para a função de distribuição da normal padrão. 8

9 Como calcular probabilidades usando o modelo normal? Vamos começar com a situação em que Z N(0, 1), ou seja, em que a distribuição considerada é uma normal padrão. De fato, não é possível calcular de forma e- xata probabilidades do tipo P (a < Z < b), mas podemos obter aproximações desses valores u- sando métodos numéricos. No caso da distribuição normal padrão, valores de probabilidades específicas são tabulados. Em quase todos os livros de estatística estão disponíveis tabelas da distribuição normal padrão. 9

10 10

11 Uma propriedade importante das curvas normais, independentemente de sua média e seu desvio-padrão, está ilustrada na figura a seguir. 11

12 Trasnformação de Padronização Um resultado importante que vale para a distribuição normal é que ao efetuarmos transformações afins numa variável aleatória normal, a variável transformada continua sendo uma variável normal, isto é se X é normal e definimos Y = ax + b, com a 0, então Y também é normal. Para relacionar uma normal qualquer à normal padrão temos o seguinte resultado: se X N(µ, σ 2 ), então Z = X µ σ }{{} transf. de padronização N(0, 1) Essa relação torna possível calcular probabilidades associadas a uma variável normal qualquer, transformando-a numa normal padrão. 12

13 Existem vários testes para verificar a suposição de normalidade. Existem também métodos gráficos para verificar essa suposição. A seguir apresentamos um método exploratório para validação da suposição de normalidade. 1. Histograma: Construa um histograma dos dados sob investigação. Rejeite a normalidade se a forma do histograma obtido se afastar muito da forma de sino. Observação: Esse procedimento é útil para amostras suficientemente grandes, com pelo menos 30 observações. Para amostras muito pequenas, a visualização dos dados num histograma pode ficar prejudicada. 13

14 2. Outliers: Identifique a presença de valores discrepantes. Rejeite a normalidade se houver mais de um outlier. Observação: Valores muito afastados da média (mais de três desvios padrão) são considerados outliers para uma distribuição normal. 3. Gráfico dos quantis normais. Observação: Um gráfico de quantis normais é um gráfico de pontos (x, y) nos quias cada valor de x é um valor observado e cada valor de y é o escore z correspondente ao valor do quantil da distribuição normal padrão. 14

15 Se o histograma for aproximadamente simétrico, unimodal, e se houver no máximo um outlier, construa o gráfico de quantis normais. Como construir o gráfico de quantis normais? Passo 1: Ordene os valores do conjunto de dados x 1, x 2,..., X n em x (1) x (2)... x (n). Passo 2: Determine n quantis y 1, y 2,..., y n da distribuição normal padrão correspondentes às seguintes áreas (probabilidades) acumuladas: (i 0.5) n, i = 1, 2,..., n, tal que φ(y i ) = (i 0.5) n, i = 1, 2,..., n. Observação: existem outras formas de determinar os quantis. 15

16 Passo 3: Construa o gráfico de dispersão dos pontos (x (i), y i ), i = 1, 2,..., n. Passo 4: Examine o gráfico obtido. Se a nuvem de pontos resultante não tiver uma forma aproximadamente linear (uma reta crescente), significa que os dados não trazem evidência a favor da hipótese de normalidade e, a mesma, deve ser rejeitada. Caso contrário, não rejeitamos a hipótese de normalidade. 16

17 Vejamos um exemplo. Considere a seguinte amostra de 15 observações Construa o gráfico de quantis normais desses dados para avaliar a suposição de normalidade. A seguir apresentamos uma tabela com os valores amostrais ordenados, as áreas (probabilidades acumuladas) e quantis da normal padrão associados. 17

18 valores ordenados áreas quantil normal

19 A seguir, o gráfico de quantis normais: A nuvem de pontos parece linear. Portanto, não existem evidências para rejeitar H 0. 19

20 Considere agora a seguinte amostra de 15 observações Construa o gráfico de quantis normais desses dados para avaliar a suposição de normalidade. A seguir apresentamos uma tabela com os valores amostrais ordenados, as áreas (probabilidades acumuladas) e quantis da normal padrão associados. 20

21 valores ordenados áreas quantil normal

22 A seguir, o gráfico de quantis normais: A nuvem de pontos não parece nada linear. evidências para rejeitar H 0. Portanto, existem 22

23 Vamos agora descrever um teste estatístico, conhecido como teste de normalidade de Shapiro-Wilk para avaliar a suposição de normalidade. Este teste, proposto em 1965, calcula uma estatística W para verificar se uma amostra aleatória de tamanho n provém de uma distribuição normal. Valores pequenos de W são evidência de desvios da normalidade. Dado x 1, x 2,..., x n o conjunto de dados, a estatística W é calculada de acordo com a seguinte equação: ( ni=1 a i x (i) ) 2 W = ni=1 (x i x) 2 23

24 Os x (i) s são os valores amostrais ordenados e os a i s são constantes geradas das médias, variâncias e covariâncias das estatísticas de ordem de uma amostra aleatória de tamanho n proveniente de uma distribuição normal. Em comparação a outros testes de aderência, esse teste comporta-se bem. No Bioestat está disponível o teste de Shapiro: Estatísticas, Normalidade, Shapiro-Wilk (k a- mostras). Cada coluna de dados é considerada uma a- mostra e o teste pode ser feito simultaneamente para mais de uma amostra. Na aula 5 estudamos os testes para comparação de duas médias. Um método foi o teste t para duas amostras independentes. Voltemos ao exemplo 1 dessa aula. 24

25 Exemplo 1: Suspeita-se que o barulho afeta a memória de cuto prazo. Para verificar essa suspeita, um experimento foi conduzido da seguinte forma: 24 pessoas foram aleatoriamente distribuídas em dois grupos de 12. Cada grupo recebeu uma lista de 20 palavras para memorizar em 2 minutos. Os participantes na condição barulho tentaram memorizar a lista de 20 palavras, enquanto escutavam, com fones de ouvido, um barulho pré-gravado. Os outros participantes também utilizaram fones de ouvido, mas sem o barulho, enquanto memorizavam as palavras no mesmo período de tempo. O número de palavras memorizadas por cada pessoa foi registrado e é apresentado na tabela a seguir. 25

26 barulho (1) sem barulho (2) x 1 = 7, 3 x 2 = 13, 8 s 1 = 2, 5 s 2 = 2, 8 Se µ 1 representa o número médio de palavras memorizadas em 2 minutos entre 20 palavras na condição barulho e µ 2, a mesma média na condição sem barulho, para verificar a suspeita enunciada, poderíamos realizar o teste das seguintes hipóteses: { H0 : µ 1 = µ 2 H 1 : µ 1 < µ 2. 26

27 A construção do teste t para amostras independentes, partiu do pressuposto de que os dados provêm de populações normais. Vamos então aplicar o teste de Shapiro-Wilk para as duas amostras resultantes deste exemplo. Como os p-valores não são pequenos, significa que os dados não trazem evidência contra a hipótese nula de normalidade. Portanto, não rejeitamos a suposição de normalidade e podemos prosseguir com o teste t. 27

28 Atenção: No exemplo que acabamos de analisar forçamos a barra, pois a variável observada não é uma medida contínua: trata-se do número de palavras memorizadas, assumindo valores de zero a 20! Assim, não é razoável pensar em normalidade para uma variável que é uma contagem. É importante ficar alerta quanto à isso. O exemplo, pelo menos serviu para ilustrar o teste de Shapiro usando o Bioestat. 28

29 Uma outra suposição que fizemos para o teste t com duas amostras independentes foi a de que as variâncias das duas populações são iguais. Podemos usar um teste F de comparação de duas variâncias. No entanto, apenas vamos apresentar uma regra prática que costuma funcionar na maioria dos casos. Para comparar duas variâncias de amostras independentes de populações normais, calcule a razão das variâncias amostrais colocando a maior variância no numerador. Se essa razão for inferior a 4, não há indícios suficientes para rejeitar a hipótese de homocedasticidade (variâncias iguais). 29

30 No caso desse exemplo 1 da aula 5, temos s 2 1 = 2, 52 e s 2 2 = 2, 82 tal que a razão é 2, ,5 1, 25. Logo, não há indícios para rejeitar a hipótese de que as variâncias são iguais e podemos prosseguir com o teste t para duas amostras independentes. Na aula 8 estudamos testes para comparação de várias médias. O método apresentado foi o teste F da Análise de Variância que pressupõe normalidade e homocedasticidade das várias populações sob estudo. Voltemos ao exemplo 1 dessa aula. 30

31 EXEMPLO 1: (ÁLCOOL E HABILIDADE DE DIRIGIR) Trinta e seis (36) pessoas participaram de um experimento para descobrir os efeitos do álcool na habilidade de dirigir. Elas foram aleatoriamente associadas a uma de três condições: placebo, pouco álcool e muito álcool. A bebida não-alcoólica parecia e tinha o mesmo gosto das demais. Os participantes foram pesados e tomaram a quantidade apropriada de bebida. Observe que temos uma situação de amostras independentes (interparticipantes), pois os grupos são diferentes. Uma hora após beber, os participantes dirigiram em um simulador durante 10 minutos e o número de erros que eles cometeram foi automaticamente registrado por um computador. Os dados obtidos estão na tabela a seguir. 31

32 Placebo Pouco Álcool Muito Álcool x = 5, 83 x = 6, 17 x = 10, 25 s = 2, 69 s = 2, 33 s = 3, 05 32

33 A tela a seguir mostra a saída do teste de Shapiro-Wilk para as três amostras desse conjunto de dados. Se formos usar um nível de significância de 5%, rejeitaremos a hipótese de normalidade para a amostra proveniente da condição muito álcool. Porém, se fixarmos o nível de significância em 1%, não rejeitaremos. Quanto à condição de variâncias iguais, é possível verificar que nenhuma das razões ordenadas (numerador maior que denominador) supera 4. 33

34 Na aula 9 estudamos a regressão linear simples. Para efeito de inferências sobre os coeficientes que determinam a reta de regressão, supõe-se normalidade da variável dependente. Exemplo 1: Resultados no simulado e no teste final. Os dados a seguir referem-se às porcentagens de acertos num simulado e o resultado num teste final aplicado depois do simulado. Ao todo foram feitas 10 observações. 34

35 Vamos realizar o teste de Shapiro-Wilk sobre a variável dependentes: resultado no teste final. Portanto, não existem evidências para rejeitarmos a suposição de normalidade e podemos prosseguir com a análise de regressão linear simples. 35

36 Referências: (1) Triola, M. (2009). Introdução à estatística. LTC. (2) Bussab e Morettin. (2002). Estatística Básica. Saraiva. (3) Manual de referência do Bioestat, capítulo