Introdução à Análise de Dados II

Transcrição

1 Introdução à Análise de Dados II Clécio S. Ferreira UFJF Departamento de Estatística 2013

2 Roteiro 1. Introdução 2. Relações entre variáveis 3. Regressão 4. Testes de Hipóteses 5. Introdução à Probabilidade

3 Introdução

4 Introdução Apresentação do professor Objetivo e ementa da disciplina

5 Variáveis - Qualquer característica associada a uma população - Classificação de variáveis: Qualitativa Nominal Sexo, cor dos olhos Ordinal Classe social, grau de instrução Quantitativa Discreta Contínua Número de filhos, nº de carros Peso, altura, salário

6 Análise Bivariada

7 Duas variáveis Qualitativas Tabelas de Frequências cruzadas Gráficos de Barras Medidas de Associação

8 Exemplo: Quantas horas por semana você trabalha? * Você se considera: Crosstabulation Quantas horas por semana você trabalha? Total Não trabalho Menos de 20 horas por semana Entre 20 e 44 horas por semana Mais de 44 horas por semana Você se considera: Branco Pardo/Mulato Negro Amarelo Indígena Total ,5% 32,9% 4,8% 6,2% 1,6% 100,0% 67,2% 61,1% 59,1% 67,5% 58,3% 64,5% ,4% 38,8% 6,4% 6,1% 2,3% 100,0% 8,9% 11,2% 12,2% 10,3% 12,7% 10,0% ,1% 36,9% 5,6% 5,4% 1,9% 100,0% 16,1% 17,9% 18,0% 15,6% 18,2% 16,8% ,7% 39,1% 6,5% 4,5% 2,2% 100,0% 7,8% 9,7% 10,7% 6,6% 10,8% 8,6% ,4% 34,7% 5,3% 5,9% 1,8% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0%

9 Gráfico de Barras (1)

10 Gráfico de Barras (2)

11 Medidas de Associação para Variáveis Nominais Qui-quadrado (estatística) Positiva problema: cresce com o tamanho da amostra; X 2 = r i=1 k j=1 (O ij E ij ) 2, E ij E ij = n i.n.j N, n i.: total da linha i; n.j : total da coluna j. O ij : frequência observada na célula i, j (linha i; coluna j.

12 Coeficiente de Contingência (CC) CC vai de 0 a 1, teoricamente (o que permite comparação entre quaisquer associações). Medida mais geral de Associação. O coeficiente de contingência (CC) é outra forma de corrigir o qui-quadrado. O problema com o CC é que seu valor máximo depende do tamanho da tabela. O valor máximo de CC para uma tabela 2 x 2 é O valor máximo de CC para uma tabela 4 x 4 é Recomenda-se usar Phi ou V de Cramér antes que CC.

13 Coeficiente Phi Phi pode variar de 0 até +1. Ela é mais apropriada para tabelas de contingência 2 x 2.

14 V de Cramer L: num. min(linhas, colunas) Apropriado para tabelas maiores que 2 x 2, corrige o qui-quadrado e varia de 0 to +1. Para tabelas 2 x 2, V de Cramér é igual a Phi. Unicamente para variáveis NOMINAIS

15 Exemplo: Horas de Trabalho versus Raça Symmetric Measures Nominal by Nominal N of Valid Cases Phi Cramer's V Contingency Coef f icient a. Not assuming the null hy pothesis. Value Approx. Sig.,072,000,042,000,072, b. Using the asy mptotic standard error assuming the null hy pothesis. Pearson Chi-Square N of Valid Cases Chi-Square Tests Asy mp. Sig. Value df (2-sided) 120,740 a 12, a. 0 cells (,0%) hav e expected count less than 5. The minimum expected count is 35,96.

16 Medidas de Associação para variáveis ordinais Ganho em relação às medidas nominais: Direção de associação; relação mais forte, pois leva em conta medida da variável (ORDINAL). MEDIDAS SIMÉTRICAS (baseadas em pares concordantes e discordantes): não fazem distinção entre variáveis dependentes e independentes MEDIDAS DIRECIONAIS (assume uma das variáveis como dependente e vice-versa): SOMER'S D (D de SOMER)

17 Medidas Ordinais Correlação de Spearman Gamma Tau-c de Kendall Tau-b de Kendall (mais indicado)

18 Outras medidas direcionais Coeficiente de Incerteza Lambda Tau de Goodman & Kruskal

19 Exemplo: Escolaridade do Pai versus Horas de Trabalho Até que série seu pai estudou? * Quantas horas por semana você trabalha? Crosstabulation Até que série seu pai estudou? Total Nunca estudou Ensino Fundamental de 1ª a 4ª série Ensino Fundamental de 5ª a 8ª série Ensino Médio Faculdade (Ensino Superior) Quantas horas por semana v ocê trabalha? Menos de Entre 20 e Mais de horas por 44 horas por horas por Não trabalho semana semana semana Total ,3% 13,9% 23,1% 15,7% 100,0% 6,8% 13,1% 12,9% 17,4% 9,4% ,1% 12,6% 23,8% 13,5% 100,0% 23,1% 37,9% 42,6% 48,0% 30,0% ,1% 11,0% 18,8% 10,1% 100,0% 15,2% 18,1% 18,4% 19,5% 16,4% ,3% 8,4% 13,0% 4,3% 100,0% 25,7% 18,9% 17,4% 11,4% 22,4% ,5% 5,4% 6,7% 1,4% 100,0% 29,2% 12,0% 8,7% 3,8% 21,9% ,9% 10,0% 16,7% 8,5% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0%

20 Exemplo: Escolaridade do Pai versus Horas de Trabalho Ordinal by Ordinal Somers' d a. Not assuming the null hy pothesis. Sy mmetric Directional Measures Até que série seu pai estudou? Dependent Quantas horas por semana você trabalha? Dependent b. Using the asy mptotic standard error assuming the null hy pothesis. Asy mp. Value Std. Error a Approx. T b Approx. Sig. -,264,005-50,167,000 -,324,006-50,167,000 -,223,004-50,167,000 Nominal by Nominal Ordinal by Ordinal Interv al by Interval N of Valid Cases Contingency Coef f icient Kendall's tau-b Kendall's tau-c Gamma Spearman Correlation Pearson's R a. Not assuming the null hy pothesis. Symmetric Measures Asy mp. Value Std. Error a Approx. T b Approx. Sig.,305,000 -,269,005-50,167,000 -,231,005-50,167,000 -,411,008-50,167,000 -,314,006-47,988,000 c -,307,006-46,798,000 c b. Using the asy mptotic standard error assuming the null hy pothesis. c. Based on normal approximation.

21 Variável Quantitativa versus Qualitativa Gráficos: Box-plot, Histogramas e Ramo-e- Folhas: Podem ser utilizados para comparações entre diferentes grupos de dados Medidas resumo: Estatísticas descritivas para cada categoria do grupo (médias, medianas, desvios-padrão, etc.

22 Box-plot de Proficiência, por Horas de trabalho, 3ª EM, Matemática

23 Histogramas de Proficiência, por Horas de trabalho, 3ª EM, Matemática

24 Estatísticas Descritivas de Proficiência, por Horas de trabalho, 3ª EM, Matemática Statistics PROFIC N Mean Std. Deviation Maximum Percent iles Valid Missing Quantas horas por semana v ocê trabalha? Menos de 20 Entre 20 e 44 Mais de 44 horas. Não trabalho horas por semana horas por semana por semana , , , , , , , , , , ,85 471,39 451,70 433,99 431,39 207, , , , , , , , , , , , , , ,2855

25 Duas Variáveis Quantitativas Gráfico: Diagrama de Dispersão Gráfico de pares ordenados por elementos da amostra (indivíduos) É a maneira mais simples de se estudar a relação entre duas variáveis quantitativas Objetivo: Ocorrência de tendências (lineares ou não) Agrupamentos de uma ou mais variáveis Mudanças de variabilidade de uma variável em relação à outra Ocorrência de valores atípicos ( outliers )

26 Exemplo de Correlação (P)

27 Exemplo de Correlação (N)

28 Exemplo de Correlação (0)

29 Peso Exemplo Altura (cm) e peso (kg) de crianças até 1 ano Altura Peso 52 2, , , , , , , , , , , , , , Altura

30 Peso e Altura Qual a relação entre o peso e a estatura das pessoas? Percebem-se clusters no conjunto de dados? Há diferenças na variabilidade de uma variável, considerados os valores da outra? Há valores atípicos?

31 Relação entre consumo de proteínas e natalidade Pais Consumo de Proteínas Coeficiente de Natalidade Formosa 4,7 45,6 Malásia 7,5 39,7 Índia 8,7 33,0 Japão 9,7 27,0 Iuguslávia 11,2 25,9 Grécia 15,2 23,5 Itália 15,2 23,4 Bulgária 16,8 22,2 Alemanha 37,3 20,0 Irlanda 46,7 19,1 Dinamarca 56,1 18,3 Austrália 59,9 18,0 Estados Unidos 61,4 17,9 Suécia 62,6 15,0 Qual relação entre as variáveis?

32 Coeficiente de natalidade Consumo Proteínas vs Natalidade Consumo diário de proteínas (g)

33 Interpretação? Exemplo

34 Leituras gráficas

35 Correlação Correlação Positiva: Se ambas as variáveis crescem no mesmo sentido Correlação Negativa: Se as variáveis crescem em sentidos opostos Correlação significativa indica apenas associação linear entre as variáveis NÃO INDICA RELAÇÃO DE CAUSALIDADE

36 Coeficiente de Correlação Como quantificar a correlação entre as variáveis? Grau de associação

37 Coeficiente de Correlação de Pearson O numerador mede o total da concentração de pontos pelos quatro quadrantes Dá origem uma medida bastante usada (notem que n-1 se elimina) YY XX XY n i i n i i n i i i S S S y y n x x n y y x x n r ) ( 1 1 ) ( 1 1 ) )( ( 1 1

38 Notação x i y i x y : i-ésimo valor observado da variável x : i-ésimo valor observado da variável y : média dos valores observados da variável x (média amostral) : média dos valores observados da variável y (média amostral)

39 Propriedades de r Mede a intensidade de relacionamento linear r é adimensional e 1 r 1 r = 1 ou -1 correlação linear perfeita r = 0 correlação linear nula O valor de r não é afetado pela escolha de x ou y.

40 Propriedades de r A conversão da escala de qualquer das variáveis não altera o valor de r O valor de r não é alterado com a permutação de valores de x e y.

41 Diagramas de Dispersão (1)

42 Diagramas de Dispersão (2)

43 Diagramas de Dispersão (3)

44 X^ r = 0, X 5 10 Existe uma relação de dependência NÃO LINEAR entre as variáveis.

45 Exemplo Hábito de Fumar Dados sobre hábito de fumar entre homens e mortalidade por câncer de pulmão, na Inglaterra: Fonte: The Data and Story Library Índice de mortalidade: razão da taxa de mortes sobre a taxa global de mortes (por câncer de pulmão). Índice de fumo: razão do número médio diário de cigarros fumados sobre a média global de cigarros.

46 Índice de mortalidade Hábito de Fumar vs. Câncer de Pulmão r = 0, Índice de fumo Por grupo ocupacional Percebe-se uma correlação positiva entre as duas variáveis.

47 Exemplo Relação entre taxa de metabolismo e massa

48 Taxa Metabolismo (cal) r=0.87 r M =0.59 Sexo F M 1600 r F = Massa (kg) Evidências empíricas: Associação linear e positiva Associação mais forte entre a mulheres

49 Valores médios dos grupos MTB > describe c3 c4; SUBC> by c2; SUBC> stdev; SUBC> mean. Descriptive Statistics: Massa; Taxa Variable Sexo Mean StDev Massa F 43,03 6,87 M 53,10 6,69 Taxa F 1235,1 188,3 M 1600,0 189,2 Evidências empíricas: Variabilidade semelhante entre os grupos; Poucos homens com peso menor, poucas mulheres com peso maior Possíveis influências na correlação: Peso; Sexo; Variável não apresentada

50 Causalidade: Correlação Erros Comuns Uma correlação forte (r vizinho de +1 ou 1) não implica uma relação de causa e efeito. O fato de duas grandezas tenderem a variar no mesmo sentido não implica a presença de relacionamento causal entre elas.

51 Correlação e Causalidade Perguntas pertinentes, no caso de correlação significante entre as variáveis: Há uma relação de causa e efeito entre as variáveis? (x causa y? ou vice-versa) Ex.: Relação entre gastos com propaganda e vendas É razoável concluir que mais propaganda resulta mais vendas

52 Correlação e Causalidade (2) É possível que a relação entre duas variáveis seja uma coincidência? Ex.: Obter uma correlação significante entre o número de espécies animais vivendo em determinada área e o número de pessoas com mais de 2 carros, não garante causalidade É bastante improvável que as variáveis estejam diretamente relacionadas.

53 Correlação e Causalidade (3) É possível que a relação das variáveis tenha sido causada por uma terceira variável (ou uma combinação de muitas outras variáveis)? Ex: Tempo dos vencedores das provas masculina e feminina dos 100 m rasos (numa mesma prova) Os dados tem correlação linear positiva; é duvidoso dizer que a diminuição no tempo masculino cause uma diminuição no tempo feminino; A relação deve depender de outras variáveis: técnica de treinamento, clima, etc.

54 Correlação e Causalidade (4) A flutuação de uma 3ª variável faz com que X e Y variem no mesmo sentido; Esta 3ª variável é chamada variável intercorrente (não-conhecida); A falsa correlação originada pela 3ª variável é denominada correlação espúria;

55 Atividade 1

56 Noções de Regressão

57 Regressão e Correlação Regressão: Usa variável(eis) explicativa(s) para explicar ou predizer comportamento de variável resposta (quando houver sentido). Correlação: Trata simetricamente duas variáveis

58 Regressão Variável resposta (Y): Variável resposta cujo comportamento se quer explicar Variável(eis) explicativa(s) (X i ): São de interesse caso ajudem a entender, explicar ou predizer o comportamento de Y. O enfoque da regressão é natural quando Y é aleatória e X i é controlada ou não-aleatória.

59 Algumas Denominações Variável explicativa Variável independente Regressor Preditor x Variável exógena Variável de controle ou estímulos Y Variável explicada Variável dependente Regredido Predito Variável endógena Variável resposta

60 Exemplo 1 Peso/Altura de Estudantes Variável resposta: Peso (kg) Variável explicativa: Altura (cm) Tendência linear

61 Absorção de Oxigênio Exemplo 2 Absorção de Oxigênio Variável resposta: Absorção de Oxigênio Variável explicativa: Ventilação Tendência exponencial Ventilação

62 Exemplo 3 Comprimentos de Fígados Comprimento do fígado (mm) Variável resposta: Comprimento do fígado (mm) Variável explicativa: Tempo de gestação (sem.) Tendência não-linear Tempo de Gestação (sem.) 35 40

63 Peso (1.000 lb) Outros Padrões (2) Preço ($ 1.000) Importante descobrir o que define os grupos

64 Largura da pétala Outros Padrões (3) 2,5 2,0 1,5 1,0 0,5 0, Comprimento da pétala 6 7 Variedades diferentes de Flores

65 Modelo de Regressão Relação de regressão: Tendência + dispersão residual Objetivo: Explicar a variação de Y (resposta) pelas variáveis de X (variáveis explicativas) Valores atípicos: Observações muito diferentes do restante dos dados => modelo não consegue ajustar bem estes dados

66 Ajuste de Funções Tendência linear: Para cada mudança de uma unidade em X, Y muda uma quantidade fixa (β 1 ). Tendência quadrática: Tendência levemente curva Modelo linear: linear nos parâmetros Modelo não-linear: não linearidade nos parâmetros Ex:

67 Y lny Tendência exponencial: 1 Y e 0 X ,0 1,5 2,0 2,5 x 3,0 3,5 4,0 1 1,0 1,5 2,0 2,5 x 3,0 3,5 4,0 Cada mudança de uma unidade em X, Y muda uma % fixa Aplicação: Curvas de crescimento Se a tendência é exponencial, o gráfico de log(y) vs X têm tendência linear

68 Tipos de Regressão Linear Simples: Uma variável independente (explicativa) Múltipla: Duas ou mais variáveis independentes (explicativas)

69 Regressão Linear Simples Busca-se a equação de uma reta que permita: Descrever e compreender a relação entre duas variáveis Projetar e estimar uma das variáveis em função da outra. Y X i 0 1 i

70 Y Ajuste da Reta ,0 1,5 2,0 2,5 3,0 3,5 4,0 X Qual a reta que se ajusta melhor aos dados? ou seja quais os valores de β 0 e β 1?

71 Método dos Mínimos Quadrados Critério: Escolher β 0 e β 1 de maneira a tornar mínima a distância entre a reta e os pontos Valores dos parâmetros que minimizam a soma dos quadrados dos desvios n ( Y ˆ i Y i ) i 1 2

72 Método dos Mínimos Quadrados (3) Resultados das derivadas parciais: ˆ = 1 n. xi yi xi yi 2 n. x 2 i xi 1 ˆ = Relação com coeficiente de correlação: ˆ 0 S S xy xx = Y ˆ 1X ˆ 1 s = s XY 2 X r XY s s Y X

73 Exemplo SAEB 99, 4ª série (Português) Variável resposta (Y) Proficiência em Português Variável explicativa: Nível Socioeconômico Correlação entre proficiência e NSE Correlations NSE Pearson Correlation Sig. (2-tailed) N PROFIC,442,

74 Regressão Simples: Proficiência por Nível Socioeconômico Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate,442 a,195,195 41,38873 a. Predictors: (Constant), NSE Model 1 Regression Residual Total a. Predictors: (Constant), NSE b. Dependent Variable: PROFIC ANOVA b Sum of Squares df Mean Square F Sig , ,184,000 a , Model 1 (Constant) NSE Unstandardized Coeff icients a. Dependent Variable: PROFIC Coefficients a Standardized Coeff icients B Std. Error Beta t Sig. 135,102, ,959,000 3,100,043,442 72,189,000

75 Interpretação Inclinação: Quando o NSE aumenta 1 unidade, o aumento estimado na proficiência é de 3.1 pontos. As estimativas são mais confiáveis dentro do intervalo de X observado (neste caso, 0 < NSE < 34). Intercepto-y Seria a proficiência média quando a variável X fosse 0.

76 MRLS Adicionando uma variável binária Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate,454 a,206,206 41,11366 a. Predictors: (Constant), sexo, NSE Model 1 Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig , ,988,000 a , a. Predictors: (Constant), sexo, NSE b. Dependent Variable: PROFIC Model 1 (Constant) NSE sexo Unstandardized Coeff icients a. Dependent Variable: PROFIC Coefficients a Standardized Coeff icients B Std. Error Beta t Sig. 139,696, ,600,000 3,126,043,445 73,028,000-9,465,563 -,103-16,815,000

77 Profic. Por NSE e Sexo: Interpretação Sexo = 1 (Meninos); 0 (Meninas) Controlado o efeito de sexo, o aumento de 1 unidade no NSE aumenta em média 3.1 pontos na proficiência do aluno. Controlado o NSE, as meninas tiram, em média, 9.5 pontos a MAIS que os meninos. MRLS para as meninas Profic. = *NSE MRLS para os meninos: Profic. = *NSE

78 MRLM - Exemplo Proficiência dos alunos do 3º EM em Matemática (sexo: Feminino é a referência) Model 1 Model Summary Adjusted Std. Error of R R Square R Square the Estimate,492,242,242 49,31996 ANOVA b Model Sum of Squares df Mean Square F Sig. Regression 1,9E , ,286,000 Residual 6,0E ,459 Total 7,9E b. Dependent Variable: PROFIC Coefficients a Model 1 (Constant) NSE Escolaridade dos pais (máxima) Sexo Você f az lição de casa (Nº de horas)? a. Dependent Variable: PROFIC Unstandardized Coef f icients St andardized Coef f icients B Std. Error Beta t Sig. 184,787, ,526,000 2,524,020, ,420,000 10,949,104, ,150,000 12,045,206,105 58,489,000 6,235,077,144 80,846,000

79 MRLM da Proficiência dos alunos do 3ºEM em Matemática - Interpretação Controladas as demais variáveis: O acréscimo de 1 unidade no NSE, aumenta, em média, 2.5 pontos na proficiência. Alunos cujos pais têm maior escolaridade alcançam melhor desempenho no exame (em média 11 pontos por nível). Meninos tiram, em média, 12 pontos a mais na prova em relação às meninas. Quanto maior a dedicação às lições de casa, melhor o desempenho no exame.

80 MRLM: Qualidade do Ajuste R 2 (coeficiente de determinação): Proporção da variação da var. dependente explicada pela variação da(s) variável(is) independente(s); 0 < R 2 < 1. Etapa posterior ao ajuste: verificação dos pressupostos do modelo (normalidade, homogeneidade de variância, baixa correlação entre as variáveis explicativas, linearidade, outliers, etc.).

81 Atividade 2

82 Testes de Hipóteses

83 Exemplo do Júri Réu: Pode ser culpado ou inocente Juiz: dará a sentença: culpado ou inocente. Hipótese nula: réu é inocente! Erros possíveis: Erro I: juiz dar a sentença culpado, quando na verdade o réu é inocente; Erro II: juiz dar a sentença inocente, quando na verdade o réu é culpado; Qual erro é mais grave?

84 O que é uma Hipótese Em Estatística, é uma alegação ou afirmação sobre uma característica de uma população.

85 Componentes de um Teste de Hipóteses Formal Hipótese Nula: H 0 Afirmação sobre valor de parâmetro populacional Deve conter a condição de igualdade =,, ou Testar a Hipótese Nula diretamente Rejeitar H 0 ou não rejeitar H 0

86 Componentes de um Teste de Hipóteses Formal Hipótese Alternativa: H 1 Deve ser verdadeira se H 0 é falsa, <, > oposto da Hipótese Nula.

87 Hipóteses Nula e Alternativa no MRLM No MRLM, ao incluirmos variáveis explicativas ao modelo, gostaríamos de saber se (cada) variável é significativa (contribui para explicar a variável dependente) ou não. Ou seja: H0: Beta (coeficiente de regressão da variável) = 0 H1: Beta 0

88 Nota sobre a Indicação de suas Próprias Afirmações (Hipóteses) Se você está fazendo uma pesquisa e deseja usar um teste de hipótese para apoiar sua afirmação, esta afirmação deve ser formulada de maneira que se torne a hipótese alternativa (hipótese de pesquisa).

89 Nota sobre o Teste de Validade de uma Afirmação Alheia A afirmação original às vezes se torna a hipótese nula (porque contém a igualdade) e por vezes passa a ser a hipótese alternativa (porque não contém a desigualdade).

90 Estatística de Teste um valor baseado nos dados amostras que é usado para tomar uma decisão sobre a rejeição da hipótese nula. Exemplo: para grandes amostras, testando afirmações sobre médias populacionais z = x - µ 0 n

91 Nível de Significância denotado por é a probabilidade de rejeitar a Hipótese Nula quando ela é verdadeira. são comuns as escolhas 0,05; 0,01 e 0,10. (É tipicamente predeterminado)

92 Conclusões no Teste de Hipóteses Testar sempre a hipótese nula 1. Rejeitar a hipótese nula H 0 2. Não rejeitar a hipótese nula H 0 É necessário formular corretamente a conclusão final.

93 Aceitar versus Não Rejeitar alguns textos usam aceitar a hipótese nula. devemos reconhecer que não estamos provando a hipótese nula. estamos dizendo que a evidência amostral não é forte o suficiente para recomendar a rejeição da hipótese nula (tal como um júri decidir que não há evidência suficiente para condenar um acusado).

94 Erro Tipo I O erro de rejeitar a hipótese nula quando ela é verdadeira. (alfa) é usado para representar a probabilidade de um erro tipo I. Exemplo: Rejeitar a afirmação de que a temperatura do corpo é 37ºC, quando aquela média é, de fato, 37ºC.

95 Erro Tipo II Erro de não rejeitar a hipótese nula quando ela é falsa. ß (beta) é usado para representar a probabilidade de um erro tipo II. Exemplo: Não rejeitar a afirmação de que a temperatura do corpo é 37ºC, quando aquela é, de fato, falsa (a média não é 37ºC).

96 Erros Tipo I e Tipo II Verdadeiro Estado da Natureza A hipótese A hipótese nula é nula é verdadeira falsa Erro tipo I Decisão Decidimos rejeitar a hipótese nula Não rejeitamos a hipótese nula (rejeição de uma H 0 verdadeira) Decisão correta Decisão correta Erro tipo II (não rejeição de uma H 0 falsa)

97 Controle dos Erros Tipo I e Tipo II Para fixo, um aumento do tamanho n da amostra ocasiona uma redução de Para um tamanho n, fixo, de amostra, uma diminuição de acarreta um aumento de. Reciprocamente, um aumento de acarreta a diminuição de. Para reduzir e, deve-se aumentar o tamanho da amostra.

98 Teste de uma Afirmação sobre uma Média: Grandes Amostras

99 Métodos para conclusão dos testes 1) Método do valor P 2) Intervalos de confiança 3) Método Clássico (não será focado aqui). * Os três métodos levam à MESMA conclusão.

100 Hipóteses para testar afirmações sobre média populacional 1) A amostra é uma amostra aleatória simples. 2) A amostra é grande (n > 30). a) Aplica-se o Teorema Central do Limite b) Pode-se usar a distribuição normal 3) Se é desconhecido, podemos utilizar o desvio-padrão amostral s como uma estimativa para.

101 Teste de Hipóteses para uma Média Estatística de Teste para Afirmações sobre µ quando n > 30 x - µ 0 z = n

102 Exemplo: O Departamento de Agricultura alega que o custo para se criar uma criança (até 2 anos) é US$ Seleciona-se uma amostra com 900 crianças com 2 anos e determina-se que o custo médio é $ 8.275, com desvio-padrão Teste a afirmação do Departamento ao nível de significância de 0,05. Passos: 1,2,3) Identificar a Afirmação, H 0, H 1 Afirmação: = $ H 0 : = $ H 1 : $ ) Selecionar, se necessário, o nível : = 0,05

103 Método do Valor P para o Teste de Hipóteses O procedimento encontra a probabilidade (Valor P ou p-valor) de obter um resultado e rejeita-se a hipótese nula se esta probabilidade é muito baixa (menor que o nível de significância adotado). Valor P: é a probabilidade de obter um valor da estatística amostral de teste no mínimo tão extremo como o que resulta dos dados amostrais, na suposição de a hipótese nula ser verdadeira.

104 Valor P Valores P pequenos (tais como 0,05 ou menor) Valores P grandes (acima de 0,05 ) Interpretação Resultados amostrais incomuns. Diferença significante da hipótese nula. Os resultados amostrais não são incomuns. Não é uma diferença significante da hipótese nula.

105 Determinação dos Valores P Início Unilateral esquerdo Que tipo de teste? Bilateral Unilateral direito Valor P = área à esquerda da estatística de teste À esquerda Valor P = 2 vezes a área à esquerda da estatística de teste A estatística de teste está à direita ou à esquerda do centro? À direita Valor P = 2 vezes a área à direita da estatística de teste Valor P = área à direita da estatística de teste µ µ µ µ Estatística de teste Estatística de teste Estatística de teste Estatística de teste

106 Intervalos de Confiança (IC) Uma estimativa intervalar de um parâmetro populacional contém os valores prováveis daquele parâmetro, calculado a partir de uma amostra. Exemplo: IC para a média populacional, sob normalidade: IC 0,95 μ = X σ n, X σ n

107 Conclusão a partir de IC Se o Intervalo de Confiança obtido através da amostra contiver o parâmetro testado, não rejeitamos H 0 ; caso contrário, se o IC não contiver o parâmetro, rejeitamos H 0.

108 Teste de uma Afirmação sobre uma Média: Pequenas Amostras

109 Hipóteses * para testar afirmação sobre média populacional 1) A amostra é uma amostra aleatória simples. 2) A amostra é pequena (n 30). 3) O valor do desvio-padrão populacional é desconhecido. 4) A população original tem distribuição essencialmente normal.

110 Estatística de Teste t = x -µ x s n Valores Críticos Valores tabelados Distribuição t de Student. Graus de liberdade = n -1. Valores t críticos à esquerda da média são negativos; à direita, positivos.

111 Propriedades Importantes da Distribuição t de Student 1. A distribuição t de Student é diferente para cada tamanho de amostra. 2. A distribuição t de Student tem a mesma forma geral de sino da distribuição normal. Sua forma mais aberta reflete a maior variabilidade esperada em pequenas amostras. 3. A distribuição t de Student tem média t = 0 (tal como a distribuição normal padronizada que tem média z = 0). 4. O desvio-padrão da distribuição t de Student varia com o tamanho da amostra, e é maior do que 1 (ao contrário da distribuição normal padronizada, em que = 1). 5. À medida que o tamanho n da amostra aumenta, a distribuição t de Student se aproxima da distribuição normal. Para valores de n > 30, as diferenças são tão pequenas que podemos usar os valores críticos z em lugar de elaborar uma tabela muito maior de valores críticos de t. (Os valores na base da Tabela A-3 são iguais aos valores críticos z correspondentes da distribuição normal padronizada.)

112 Escolha entre a Distribuição Normal e a Distribuição t ao Testar uma Afirmação sobre a Média Populacional µ Início Use a distribuição normal com n > 30? Não Sim x - µ Z x / n (Se é desconhecido, use s.) A distribuição da população é essencialmente normal? (Trace um histograma) Não Use métodos não-paramétricos, que não exijam uma distribuição normal. Sim é conhecido? Não Use a distribuição t de Student com x - µ x t s/ n Use a distribuição normal com x - µ Z x / n (Este caso é raro.)

113 Teste de uma Afirmação sobre uma Proporção

114 Hipóteses para testar afirmação sobre proporção populacional 1) A amostra é uma amostra aleatória simples. 2) São verificadas as condições para um experimento binomial. 3) As condições np 5 e n(1-p) 5 são ambas satisfeitas, de modo que a distribuição binomial das proporções amostrais pode ser aproximada por uma distribuição normal com µ = np e = np(1-p)

115 Notação n = número de provas p = x/n (proporção amostral) p = proporção populacional (usada na hipótese nula) q = 1 - p

116 Estatística de Teste de uma Afirmação sobre uma Proporção z = p - p pq n

117 Inferências com Base em Duas Amostras 1. Inferências sobre Duas Médias: Amostras Independentes e Grandes 2. Inferências sobre Duas Médias: Amostras Dependentes

118 1. Inferências sobre Duas Médias: Amostras Independentes e Grandes

119 Definições Duas Amostras: Independentes Os valores amostrais escolhidos de uma população não tem qualquer relação com os valores amostrais extraídos da outra população. Se os valores de uma amostra estão relacionados com os valores de outra amostra, as amostras são dependentes. Estas amostras são freqüentemente chamadas amostras ligadas ou amostras emparelhadas.

120 Suposições 1. As duas amostras são independentes. 2. Os tamanhos das duas amostras são grandes. Ou seja, n 1 > 30 e n 2 > Ambas as amostras são amostras aleatórias simples.

121 Teste de Hipóteses Estatística de Teste para Duas Médias: Amostras Independentes e Grandes z = (x 1 - x 2 ) - (µ 1 - µ 2 ) n n 1 2

122 Teste de Hipóteses Estatística de Teste para Duas Médias: Amostras Independentes e Grandes e P-valor: Se e não são conhecidos, utilizar em seu seu lugar s 1 e s 2 desde que ambas as amostras sejam grandes. Usar o valor calculado da estatística de teste z, e determinar o P-valor através do procedimento já visto.

123 Exemplo: Coca versus Pepsi Conjunto de dados fornece pesos (em libras) de amostras de Coca e Pepsi (regulares). As estatísticas amostrais estão mostradas abaixo. Use o nível de significância de 0,01 para testar a afirmação que o peso médio da Coca regular é diferente do peso médio da Pepsi regular. Coca Pepsi n x 0, ,82410 s 0, ,005701

124 Coca Versus Pepsi

125 Afirmação: 1 2 H o : 1 = 2 H 1 : 1 2 Coca Versus Pepsi = 0,01 Rejeitar H 0 Não rejeitar H 0 Rejeitar H 0 Z = - 2,575 Z = 2, = 0 ou Z = 0

126 Coca Versus Pepsi Estatística de Teste para Duas Médias: Amostras Independentes e Grandes z = (0, ,82410) - 0 0, , = - 4,63

127 Afirmação: 1 2 Coca Versus Pepsi H o : 1 = 2 H 1 : 1 2 = 0,01 Há evidência significativa para apoiar a afirmação que há uma diferença entre os pesos médios da Coca e da Pepsi. Rejeita H 0 Não rejeita H 0 Rejeita H 0 Rejeita-se a Hipótese Nula Dados amostrais: z = - 4,63 Z = - 2,575 Z = 2, = 0 ou Z = 0

128 Intervalos de Confiança (x 1 - x 2 ) - E < (µ 1 - µ 2 ) < (x 1 - x 2 ) + E onde E = z n n 1 2

129 Inferências sobre Duas Médias: Amostras Dependentes

130 Suposições 1. Os dados amostrais consistem de amostras emparelhadas (amostras dependentes de duas populações). 2. As amostras são amostras aleatórias simples. 3. Se o número de pares de dados amostrais é pequeno (n 30), então a população de diferenças dos valores pareados deve ser aproximadamente normalmente distribuídas.

131 Notação para Amostras Dependentes µ d = média das diferenças d para a população de dados emparelhados d s d n = valor médio das diferenças d para os dados amostrais emparelhados (igual à média dos valores de x - y ) = desvio-padrão das diferenças d para os dados amostrais emparelhados. = número de pares de dados.

132 Estatística de Teste para Dados Amostrais Emparelhados t = d - µ d s d n T com graus de liberdade = n - 1

133 Valores Críticos Se n 30, os valores críticos são determinados através da Tabela t de student. Se n > 30, os valores críticos são determinados através da Tabela Normal.

134 Intervalos de Confiança d - E < µ d < d + E onde E = t / 2 s d n T com graus de liberdade = n -1

135 Exemplo: Alturas Relatadas e Medidas (em polegadas) de Estudantes Estudante A B C D E F G H I J K L Altura ,25 66, Relatada Altura 66,8 73,9 74,3 66,1 67,2 67,9 69,4 69,9 68,6 67,9 67,6 68,8 Medida Diferença 1,2 0,1 7,95 0,4 1,8 0,1 1,6 0,1 1,4-0,9 0,4 1,2 outlier Existem diferenças de alturas relatadas e medidas?

136 Exemplo Saída do Excel

137 Teste para Três ou mais Médias ANOVA : ANalysis Of VAriance Testa se a média de uma variável de interesse se difere por grupos da população. Hipóteses: As populações têm a mesma variância. As amostras são retiradas de populações com distribuição normal. As amostras são aleatórias e independentes. Hipótese nula: as médias são iguais Hipótese alternativa: Pelo menos uma média é diferente

138 Tabela ANOVA (I) k grupos n i : tamanho da amostra i, i =1,...,k; N: n n K X ij : j-ésima replicação da variável de interesse no i- ésimo grupo : média amostral do grupo i, i=1,...,k : média geral (ou grande média) de todas as observações SQT= : Soma de Quadrados Total SQD= : Soma de Quadrados Dentro

139 Tabela ANOVA(II) SQE = SQT SQD: Soma de Quadrados Entre Tabela: Fonte de Graus de Soma de Quadrado Variação liberdade Quadrados Médio F Entre k-1 SQE QME=SQE/(k-1) QME/QMD Dentro N-k SQD QMD=SQD/(N-k) Total N-1 SQT Rejeite a hipótese nula se F for MAIOR que o quantil 1-α de uma distribuição F com k-1 e N- k graus de liberdade.

140 ANOVA - Exemplo Médias de Proficiência, SAEB99, 4ª série, Português, por Raça Report PROFIC Você se considera: Branco Pardo/ Mulato Negro Amarelo Indígena Total Mean N St d. Dev iation 179, , , , , , , , , , , ,13448 PROFIC * Você se considera: Between Groups Within Groups Total ANOVA Table Sum of Squares df Mean Square F Sig , ,336, ,

141 Atividade 3

142 Referências

143 Bibliografia Magalhães, M.N. e Lima, A.C.P.L. Noções de Probabilidade e Estatística. Ed. Edusp, 6ª edição, Wild, C.J. e Seber, G.A.F. (LTC) Encontros com o Acaso: um Primeiro Curso de Análise de Dados e Inferência Laponi, J.C. Estatística usando Excel. Ed. Campus, 4ª edição, 2005.

144 Apêndice

145 Introdução à Probabilidade

146 Probabilidades Para variáveis categóricas, discretas ou contínuas Varia entre 0 e 1. Soma das probabilidades de cada categoria é igual a 1. (integral, no caso contínuo).

147 Caso discreto Se a variável assume valores {x 1, x 2,...,x n } (ou infinitos valores discretos): Prob(X=x i )=p i 0 < p i < 1 Soma de todos os p i s = 1

148 Caso contínuo A probabilidade entre 2 pontos é igual à área sob a curva, entre os dois pontos e o eixo x. Probabilidade no ponto é igual a 0 P{5 X 8}

149 Modelo Binomial Variável assume dois valores: sucesso (com probab. p) ou fracasso (com probab. 1-p) => Distrib. Bernoulli. Em n tentativas independentes de Bernoulli: X: nº de sucessos nas n tentativas. X tem distrib. Binomial, com parâmetros n e p. Abrir Binomial.html Quando o interesse está em modelar uma var. de Bernoulli => regressão logística.

150 Modelo Binomial - Exemplo Experimento: lançamento de uma moeda. X i : 1, se der cara no i-ésimo lançamento; 0 se coroa X: nº de caras em n lançamentos (independentes) da moeda. * Qualquer variável pode-se transformar em binária.

151 Outros modelos discretos (1) Exemplo: X: nº de acidentes em certo dia em certo cruzamento (Rio Branco com Independência) Valores de X: 0, 1, 2,... Modelo apropriado: Distrib. de Poisson (distribuição dos eventos raros, baixa probabilidade de ocorrência) Prob (X=k)=e -λ λ k /k! Parâmetro λ: taxa de sucesso

152 Outros modelos discretos (2) Exemplo: X: nº de tentativas até obter o 1º sucesso (ex, lançamento de uma bola na cesta de basquete). Valores de X: 1, 2,... Modelos apropriado: Distrib. Geométrica Prob (X=k)=(1-p) k p, k=1,2,3,...

153 Modelos Contínuos Existem vários: Uniforme, Exponencial, Normal, etc. Clicar em cada distribuição, para mostrar os gráficos.

154 Função Distribuição Acumulada F(x)=P(X x) Caso Discreto: F x = P(X = x i ) i:x i x Caso contínuo: F x = x f x dx

155 Distribuição Normal

156 Exploração de Dados Univariados Faça sempre um gráfico de seus dados Em geral, ramo-e-folhas ou um histograma Procure um padrão global e desvios acentuados Outliers Calcule um resumo numérico para descrever o centro e a dispersão Às vezes, o padrão global de um grande número de observações é tão regular que pode ser descrito por uma curva suave

157 Curva descreve toda a distribuição em uma única expressão Mais fácil para trabalhar A curva é um modelo matemático descrição matemática idealizada

158 Áreas das barras em um histograma representam contagens (ou proporções) Área sob a curva é exatamente 1 Área sob a curva representa proporção de observações área = freqüência relativa

159 Curvas Normais É uma classe importante de curvas de densidade Características: São simétricas, unimodais e tem forma de sino Descrevem distribuições normais (gaussianas)

160 Função de Densidade O gráfico tem o fomato de sino Parâmetros da distribuição normal: Média ( ) Desvio-padrão ( ) ou variância ( 2 )

161 Características Simétrica em torno da média ( ) área antes de = área depois de = 0,5 média = mediana = moda Varia de a +

162 Parâmetro de locação: Parâmetro de escala: ( 2 )

163 ** Erro na figura (à direita: +1S,+2S e +3S) Áreas de intervalos ± 68% ± 2 95% ± 3 99,7%

164 Distribuição Normal Padrão Z ~ N(0, 1) Média ( ) = 0 Desvio-padrão ( ) = 1 Valores de área tabelados

165 Tabela Normal Padrão (1)

166 Tabela Normal Padrão (2)

167 Distribuição Normal Cálculo de Probabilidades Seja a variável aleatória Z ~ N(0, 1) Calcule P{Z < 1,96} Roteiro: Esboce a curva normal Trace uma linha para z = 1,96 Verifique a área que se deseja calcular Determine a área a partir da tabela

168 Área sob a curva para Z < 1,96:

169 Leitura direta na Tabela 0 P {Z < 1,96} = 0,0250

170 Calcule P{ 1,96 < Z < 1,96} Tabela: P{Z<1,96} = 0,9750 0, P{ 1,96 < Z < 1,96} = 0,9750 0,0250 = 0,9500

171 Área sob a curva para Z < 1,96

172 Calcule P { Z > 1,96} Tabela: P{Z<1,96} = 0, ,9750 = 0,0250 0

173 Probabilidade contida em alguns intervalos Intervalo 1 < Z < 1 2 < Z < 2 3 < Z < 3 Proporção

174 Determinar x, tal que P{Z > x} = 0,05 Tabela: Valor mais próximo de P{Z<x} = 0,9500 0, x = 1,645 P { Z < 1,65} = 0,9505 P {Z < 1,64} = 0,9495

175 Intervalos Simétricos em Torno de Zero Proporção 90% 95% 99% Intervalo

176 Outras Distribuições Normais Caso Geral: Média: Desvio-padrão: Transformação: Mesmos procedimentos após transformação (tabela Normal Padrão)

177 Conversão na Normal Padrão Z X P{ < X < x } = P {0 < Z < z }

178 Exemplo As alturas de mulheres com 18 a 24 anos de idade é aproximadamente normal com média 164 cm e desvio-padrão 6,4 cm. X: altura de mulheres entre 18 e 24 anos (cm) X ~ N (164, 6,4)

179 1. Encontre a proporção de mulheres com altura inferior a 172 cm

180 Padronização Pela tabela P { Z < 1,25} = 0,8944 P { X < 100} = 0,8944 = 89,44% 2. Qual o valor de altura que delimita 5% das mulheres mais altas?