Exploração e Transformação de dados

Transcrição

1 Exploração e Transformação de dados

2 A DISTRIBUIÇÃO NORMAL

3 Normal 99% 95% 68% Z-score -3,29-2,58-1,96 1,96 2,58 3,29

4 Normal A distribuição normal corresponde a um modelo teórico ou ideal obtido a partir de uma equação matemática, e não de uma pesquisa e coleta de dados. Pode ser usada para descrever distribuições de escores, interpretar o desvio-padrão e fazer afirmações probabilísticas. É fundamental para a tomada de decisão estatística, mais especificamente, para generalização de resultados de amostras para populações.

5 Normal Características da Distribuição Normal 1ª) A variável aleatória poderá assumir qualquer valor real. 2ª) A apresentação gráfica da distribuição normal corresponde a uma curva em forma de sino, denominada também de Curva de Gauss ou Curva de Moivre. 3ª) É simétrica em torno da média: obtém-se a mesma ordenada (Y) e o mesmo valor de probabilidade para dois valores de x.

6 Normal Características da Distribuição Normal (continuação) Curva Normal ou Gaussiana.

7 Normal Características da Distribuição Normal (continuação) 4ª) A curva normal admite uma única ordenada máxima (pico), situada na média, e assim as medidas de tendência central (média, moda e mediana) são iguais. 5ª) Quanto mais os valores se afastam da média (pico) tendem a se tornar mais raros.

8 Normal Características da Distribuição Normal (continuação) 6ª) A distribuição normal, em sua representação gráfica, apresenta sempre dois pontos de inflexão (modificação da tendência em relação ao eixo das abscissas) e é assintótica em relação ao eixo da variável x (não toca o eixo x varia de - a + ).

9 Normal Características da Distribuição Normal (continuação) Curva Normal: assintótica e com dois pontos de inflexão. Ponto de inflexão Ponto de inflexão Assíntota (- ) Assíntota (+ )

10 Normal Características da Distribuição Normal (continuação) 7ª) A área total sob a curva corresponde à proporção 1 ou à porcentagem 100%. 100% Área total sob a curva

11 Normal Características da Distribuição Normal (continuação) 8ª) A probabilidade de ocorrer valor maior ou menor que a média é equivalente, sendo igual a 0,50 ou 50%. 50% 50%

12 Normal Importância da Distribuição Normal 1ª) As medidas originárias de diversos processos aleatórios seguem essa distribuição (é um ideal teórico para a pesquisa científica). 2ª) A distribuição amostral de estatísticas, ao se aproximar da normalidade, serve de base para a inferência estatística, visto que se busca generalizar para a população os dados obtidos na amostra.

13 Normal Curva Normal Padronizada (escore-padrão) Para reduzir a infinidade de curvas normais possíveis a partir de tal modelo (visto que se trabalham com médias e desvios-padrão) utiliza-se um recurso para tornar comparáveis as diversas curvas normais. ESCORE-PADRÃO OU DESVIO REDUZIDO (z)

14 Normal Curva Normal Padronizada (escore-padrão) O escore-padrão indica, em unidades de desvio-padrão, o sentido e a intensidade com que determinado resultado bruto se afasta da média da distribuição à qual pertence. z escore- padrão z X - s X X X determinado resultado bruto média da distribuição s desvio - padrão da distribuição

15 Normal Curva Normal Padronizada (escore-padrão) Exemplo: um conjunto de notas de QI tem distribuição normal, com média 100 e desvio-padrão 15. Qual o escore padrão de um indivíduo que tenha obtido no teste de inteligência empregado X = 120, e como este dado deve ser interpretado. z X - X z 1, 33 s 15 Uma pessoa com 120 de QI está + 1,33 desvio-padrão acima da média.

16 Normal Área sob a Curva Normal

17 Normal Área sob a Curva Normal - relações entre os valores de z. Para z ± 1,96 0,95 ou 95% da área total. Área fora do limite 0,05 ou 5% da área total. Para z ± 2,58 0,99 ou 99% da área total. Área fora do limite 0,01 ou 1% da área total.

18 Normal Área sob a Curva Normal - relações entre os valores de z. Para z ±1,96 => 0,95 ou 95% da área total.

19 Normal Área sob a Curva Normal - relações entre os valores de z. Para z ± 2,58 => 0,99 ou 99% da área total.

20 Normal Área sob a Curva Normal - relações entre os valores de z. Área fora do limite = 0,05 ou 5% da área total.

21 Normal Área sob a Curva Normal - relações entre os valores de z. Área fora do limite = 0,01 ou 1% da área total.

22 Normal Tabelas da Curva Normal Permitem resolver dois tipos de problemas: 1º) Qual a proporção ou área correspondente a determinado(s) valor(es) da distribuição? 2º) Qual (is) o(s) valor(es) da distribuição correspondente(s) a determinada(s) área(s) ou proporção(ões)?

23 Normal Tabelas da Curva Normal Exemplo: um teste de inteligência foi aplicado em um grupo de 50 estudantes de uma série. Os resultados obtidos apresentaram uma distribuição aproximadamente normal, com média 50 e desvio-padrão 6. a) Qual a proporção de alunos com notas superiores a 60? b) Qual o número de alunos com notas compreendidas entre 35 e 45?

24 Normal Tabelas da Curva Normal Exemplo: Qual a proporção de alunos com notas superiores a 60? 1º) Transforma-se a nota 60 em desvio-reduzido: z X - X z 1, 67 s 6

25 Normal Tabelas da Curva Normal Exemplo: Qual a proporção de alunos com notas superiores a 60? Localização da área da curva normal 1,67 acima da média Área da curva normal acima do desvio reduzido z = 1,67

26 Normal Tabelas da Curva Normal Exemplo: Qual a proporção de alunos com notas superiores a 60? 2º) Encontra-se o dado na Tabela referente à área entre a origem e um valor determinado de z: Área total compreendida entre a origem e z = 1,67: 0,45254

27 Normal Tabelas da Curva Normal Exemplo: Qual a proporção de alunos com notas superiores a 60? Tabela (área entre a origem e um valor determinado de z)

28 Normal Tabelas da Curva Normal Exemplo: Qual a proporção de alunos com notas superiores a 60? Tabela (área entre a origem e um valor determinado de z) 7 Área total compreendida entre a origem e z = 1,67: 0,45254

29 Normal Tabelas da Curva Normal Exemplo: Qual a proporção de alunos com notas superiores a 60? 3º) Subtrai-se a área total entre a origem e + para determinar a área desejada: 0, ,45254 = 0, ,75% Porcentagem de alunos com notas superiores a 60

30 Normal Tabelas da Curva Normal Exemplo: Qual o número de alunos com notas compreendidas entre 35 e 45? 1º) Calculam-se os desvios reduzidos: X z1 2, 50 6 X z2 0, 83 6

31 Normal Tabelas da Curva Normal Exemplo: Qual o número de alunos com notas compreendidas entre 35 e 45? Localização da área da curva normal entre 2,50 e 0,83

32 Normal Tabelas da Curva Normal Exemplo: Qual o número de alunos com notas compreendidas entre 35 e 45? 2º) Encontram-se na Tabela os dados referentes à área entre a origem e os valores determinados de z: Área total compreendida entre a origem e z 1 = - 2,50: 0,49379 Área total compreendida entre a origem e z 2 = - 0,83: 0,29673

33 Normal Tabelas da Curva Normal Exemplo: Qual o número de alunos com notas compreendidas entre 35 e 45? 3º) Subtraem-se as áreas encontradas: 0, ,29673 = 0, ,71% Porcentagem de alunos com notas entre 35 e 45

34 Normal Tabelas da Curva Normal Exemplo: Qual o número de alunos com notas compreendidas entre 35 e 45? 4º) Multiplica-se a porcentagem total encontrada pelo tamanho da amostra: 19,71% x 50 = 9,86 Por se tratar de uma variável discreta, deve-se arredondar para 10, ou seja, 10 alunos possuem notas entre 35 e 45.

35 Normal Aplicações Teoria da Amostragem: segundo o Teorema Central do Limite, quando n 30, o uso da distribuição normal é garantido para a estimativa de médias e proporções populacionais. Testes de Hipóteses: testar hipóteses sobre médias ou diferenças entre médias de dois ou mais grupos.

36 Distribuição Normal Testes paramétricos Exploração de Dados

37 Pressupostos de um teste paramétrico: 1º) Distribuição normal (ou aproximadamente normal) dos dados.

38 Pressupostos de um teste paramétrico: 2º) Independência entre as unidades de análise. Ex.: O comportamento de um participante não pode influenciar o comportamentos de outro participante. 3º) Dados quantitativos (intervalares ou de razão). 4º) Homogeneidade das variâncias (homoscedasticidade): as variâncias devem ser as mesmas para as diferentes populações consideradas.

39 Como testar a hipótese de normalidade de uma distribuição? 1º) Estudar a assimetria e a curtose da distribuição

40 Como testar a hipótese de normalidade de uma distribuição? Passos 1º) Estudar a assimetria e a curtose da distribuição Assimetria e Curtose = 0 (zero) Distribuição perfeitamente normal 50% 50%

41 Como testar a hipótese de normalidade de uma distribuição? Passos 1º) Estudar a assimetria e a curtose da distribuição Coeficiente de assimetria: grau de deformação de uma distribuição Escalas de Assimetria: AS < 0,15 => assimetria pequena 0,15 < AS < 1 => assimetria moderada AS > 1 => assimetria elevada Assimetria positiva: valores à esquerda Assimetria negativa: valores à direita

42 Como testar a hipótese de normalidade de uma distribuição? Passos 1º) Estudar a assimetria e a curtose da distribuição Coeficiente de curtose: grau de achatamento de uma distribuição Curtose positiva: distribuição leptocúrtica Curtose negativa: distribuição platicúrtica K = 0,049 K = -0,968 EP = 0,535 EP = 0,717

43 Como testar a hipótese de normalidade de uma distribuição? 2º) Procurar valores atípicos (outliers)

44 Como testar a hipótese de normalidade de uma distribuição? Passos 2º) Procurar valores atípicos (outliers) Um valor atípico (outlier) é um escore que se dispersa bastante dos demais escores de uma distribuição, podendo enviesar significativamente a média amostral. Como identificar um caso outlier? 1º) Estudar graficamente a distribuição de frequências: BOXPLOT 2º) Transformar os escores brutos em escores-z.

45 Como testar a hipótese de normalidade de uma distribuição? Passos 2º) Procurar valores atípicos (outliers) BOXPLOT: Apresenta diversas informações sobre o conjunto dos dados.

46 Como testar a hipótese de normalidade de uma distribuição? 3º) Ajustar a distribuição

47 Como testar a hipótese de normalidade de uma distribuição? Passos 3º) Ajustar a distribuição 1) A princípio, deve-se verificar possíveis erros de digitação. Se não houver erros de digitação: Possibilidades a) Remover o caso outlier, entendendo que ele não pertence à população investigada. b) Substituir o valor (ex.: substituir pelo próximo escore mais alto adicionado de um; inverter o valor do escore-z; substituir pela média mais dois desvios-padrão). c) Transformar os dados.

48 Como testar a hipótese de normalidade de uma distribuição? 4º) Realizar testes de normalidade

49 Como testar a hipótese de normalidade de uma distribuição? Passos 4º) Realizar testes de normalidade São duas as técnicas mais comumente empregadas para o teste da hipótese de normalidade. Ambas testam a hipótese de que os dados da amostra estão normalmente distribuídos, baseando-se no valor absoluto da diferença máxima entre a distribuição cumulativa observada e a distribuição cumulativa esperada, assumindo o pressuposto da normalidade. observada esperada

50 Como testar a hipótese de normalidade de uma distribuição? Passos 4º) Realizar testes de normalidade Testes para a hipótese de normalidade: a)kolmogorov-smirnov (K-S): 50 casos b)shapiro-wilk < 50 casos H 0 = A característica em estudo da população segue a distribuição normal (ou não há diferenças significativas entre a frequência observada e a esperada) H 1 = A característica em estudo da população não segue a distribuição normal (ou há diferenças significativas entre a frequência observada e a esperada)

51 Como testar a hipótese de normalidade de uma distribuição? Passos 4º) Realizar testes de normalidade Tais estatísticas baseiam-se na maior diferença absoluta entre a frequência acumulada observada e a estimada pela distribuição normal. Se p > 0,05 = corrobora H 0 (distribuição é normal) Se p 0,05 = corrobora H 1 (distribuição não é normal)

52 Como testar a hipótese de normalidade de uma distribuição? Passos 4º) Realizar testes de normalidade LIMITAÇÃO DE TAIS TESTES Com amostras grandes é muito fácil obter valores significativos a partir de pequenos desvios de normalidade. Assim, um resultado significativo não necessariamente nos informa se o desvio da normalidade é suficiente para prejudicar os procedimentos estatísticos que serão aplicados futuramente aos dados.

53 Como testar a hipótese de normalidade de uma distribuição? 5º) Realizar o teste de homoscedasticidade

54 Como testar a hipótese de normalidade de uma distribuição? Passos 5º) Realizar o teste de homoscedasticidade Caso tenham sido coletados grupos de dados, a variância da variável critério deve ser a mesma em cada um desses grupos. Ex.: As variâncias entre homens e mulheres deve ser a mesma para a média geral de desejo de permanência na organização. O teste mais comumente empregado para o teste da homoscedasticidade é o teste de Levene, o qual testa a hipótese nula de que a variância entre os grupos é a mesma (diferença entre as variâncias igual a zero).

55 Como testar a hipótese de normalidade de uma distribuição? Passos Teste de Levene 5º) Realizar o teste de homoscedasticidade Se p > 0,05 = corrobora H 0 (variâncias são homogêneas) Se p 0,05 = corrobora H 1 (variâncias não são homogêneas) LIMITAÇÃO DO TESTE DE LEVENE Assim como o teste K-S, quando o tamanho da amostra é grande, pequenas diferenças entre os grupos podem produzir um teste de Levene significativo. SOLUÇÃO

56 Como testar a hipótese de normalidade de uma distribuição? Passos Teste de Levene 5º) Realizar o teste de homoscedasticidade Calcular a razão das variâncias: dividir o valor da maior variância entre os grupos do valor da menor variância. Ex.: r = 0,536/0,486 r = 1,10 Se r < 2, há homogeneidade das variâncias

57 Testando a hipótese de normalidade de uma distribuição no SPSS

58 Testando a hipótese de normalidade no SPSS SPSS: Menu ANALYZE Comando Explore Analyze > Descriptive Statistics > Explore

59 Testando a hipótese de normalidade no SPSS Caso se deseje testar a normalidade de uma única variável, independentemente da sua distribuição entre grupos:

60 Testando a hipótese de normalidade no SPSS Clicar em Statistics:

61 Testando a hipótese de normalidade no SPSS Selecionar outliers e Continue:

62 Testando a hipótese de normalidade no SPSS Clicar em Plots:

63 Testando a hipótese de normalidade no SPSS Selecionar Histogram e Normality Plots with tests:

64 Testando a hipótese de normalidade no SPSS Clicar em OK:

65 Output Testando a hipótese de normalidade no SPSS

66

67 Output Testando a hipótese de normalidade no SPSS p < 0,05 (significativo) => distribuição não-normal

68 Output Testando a hipótese de normalidade no SPSS

69 Normal Q-Q Plot Qualquer desvio dos pontos em relação à linha reta diagonal representa um desvio da normalidade. Quando a linha fica de forma consistente abaixo da diagonal ou acima, mostra-se que a curtose é diferente de uma distribuição normal. Quando os pontos apresentarem uma forma de S, mostra-se assimetria.

70 Detrended Normal Q-Q Plot Espera-se uma distribuição em torno de 0,00 e um equilíbrio na dispersão dos escores acima e abaixo de 0,00.

71 Box Plot

72 Transformando Dados no SPSS

73 Transformando Dados

74 Transformando Dados Transform > Compute Numeric Expression LG10(variável + 1) ou Adiciona-se a constante 1 para assegurar que todos os valores são maiores do que zero. SQRT(variável) 1/(variável + 1) => recíproca É importante comparar a distribuição original com a distribuição transformada, a fim de verificar se houve um ajuste significativo para os dados.

75 Comparação entre dados originais e transformados Ass = 0,051 K = 0,872 Transformação aumentou a Ass e a K. Ass = -0,627 K = 1,753

76 Teste da Homoscedasticidade entre grupos

77 Teste da Homoscedasticidade Inserir variável que possui os grupos para teste da homogeneidade das variâncias da variável critério

78 Teste da Homoscedasticidade Untransformed: o teste de Levene será realizado com os dados brutos Transformed: o teste de Levene será realizado com os dados transformados

79 Teste da Homoscedasticidade p > 0,05 (não-significativo) => variâncias homogêneas entre homens e mulheres Comunicação do Teste de Levene: F (df1, df2) = valor F (1, 1860) = 1,823, p > 0,05.

80 Se, após todas estas técnicas, sua distribuição for não-normal, considere utilizar os TESTES NÃO-PARAMÉTRICOS