Hoje vamos analisar duas variáveis quantitativas conjuntamente com o objetivo de verificar se existe alguma relação entre elas.

Transcrição

1 Correlação e Regressão Hoje vamos analisar duas variáveis quantitativas conjuntamente com o objetivo de verificar se existe alguma relação entre elas. Vamos 1. definir uma medida de associação entre duas variáveis quantitativas chamada correlação e; 2. caso exista de fato associação, e faça sentido pensar numa relação de causa e efeito, propor um modelo linear de previsão de uma das variáveis, que chamaremos de variável dependente ou variável resposta, em função da outra variável, que chamaremos de variável explicativa. 1

2 Exemplo 1: Resultados no simulado e no teste final. Os dados a seguir referem-se às porcentagens de acertos num simulado e o resultado num teste final aplicado depois do simulado. Ao todo foram feitas 10 observações. Questões relevantes: Você diria que existe alguma relação entre o desempenho no simulado e no teste final? Em caso afirmativo, como poderíamos medir essa relação? 2

3 Você dirira que é possível prever o resultado no teste final, em função do resultado no simulado? Em caso afirmativo, como poderíamos fazer a previsão? Um gráfico de dispersão da variável x acertos no simulado versus a variável y resultado no teste final foi construído usando-se o Bioestat: Podemos verificar que existe sim uma tendência de ambas as variáveis crescerem no mesmo sentido, ou seja, quanto maior é o valor de x, maior é o valor de y. 3

4 Exemplo 2: Contas de Energia Os dados a seguir referem-se à temperatura média mensal e a quantidade de energia elétrica (em dólares) na conta mensal. Fonte: Rossman & Chance (1998). Workshop Statistics: Discovery with data and Minitab. Springer. 4

5 Questões relevantes: Você diria que existe alguma relação entre a temperatura e o consumo de energia? Em caso afirmativo, como poderíamos medir essa relação? Você diria que é possível prever o consumo mensal de energia, em função da temperatura do mês? Em caso afirmativo, como poderíamos fazer a previsão? 5

6 Exemplo 3: A tabela a seguir fornece informação sobre a expectativa de vida ao nascer (EVN) (em anos) para uma amostra de 22 países. Ela também lista o número de pessoas por aparelho de TV (NPTV) em cada país. País EVN NPTV País EVN NPTV Angola 44,0 200,0 México 72,0 6,6 Austrália 76,5 2,0 Marrocos 64,5 21,0 Camboja 49,5 177,0 Paquistão 56,5 73,0 Canadá 76,5 1,7 Rússia 69,0 3,2 China 70,0 8,0 África do Sul 64,0 11,0 Egito 60,5 15,0 Sri Lanka 71,5 28,0 França 78,0 2,6 Uganda 51,0 191,0 Haiti 53,5 234,0 Reino Unido 76,0 3,0 Iraque 67,0 18,0 Estados Unidos 75,5 1,3 Japão 79,0 1,8 Vietnam 65,0 29,0 Madagascar 52,5 92,0 Yemen 50,0 38,0 Fonte: Rossman e Chance (1998). Workshop Statistics. Springer. 6

7 7

8 Exemplo 4: Doze indivíduos foram submetidos a um teste de Inglês e, em seguida, mediu-se o tempo gasto para cada um aprender a operar uma máquina. As variáveis observadas foram X - resultado no teste (máximo 100 pontos) e Y tempo (em minutos) para operar a máquina satisfatoriamente. Os dados obtidos estão na tabela a seguir. Fonte: Dados Fictícios. ind. X Y A B C D E F G H I J K L

9 9

10 Exemplo 5: Considere o seguinte conjunto de dados bivariados. Fonte: Dados Fictícios. ind. X Y A -6 36,92 B -3 8,00 C -3 9,81 D -1 0,40 E 1 1,28 F 1 0,40 G 2 4,08 H 2 3,08 I 4 16,12 J 4 17,58 K 5 22,97 L 6 37,59 10

11 11

12 De acordo com os exemplos anteriores é possível perceber pelos respectivos diagramas de dispersão que: - no exemplo 1 as variáveis X e Y crescem no mesmo sentido; - nos exemplos 2 e 3, quanto maior é o valor da variável X, menor é o valor da vbariável Y ; - no exemplo 4, não parece haver nenhuma relação entre as variáveis X e Y e, - no exemplo 5, vemos que X e Y estão relacionadas, mas não de forma linear. A aparência dos pontos no diagrama de dispersão não é linear. 12

13 A correlação entre duas variávels X e Y é uma medida que justamente avalia o grau de magnitude da relação linear entre elas que pode ser visualizada pelo diagrama de dispersão. Definição: Seja (X 1, Y 1 ), (X 2, Y 2 ),...,(X n, Y n ) uma amostra aleatória bivariada de tamanho n. Define-se o coeficiente de correlação amostral entre X e Y, ou simplesmente, a correlação amostral entre X e Y, por em que S XY = r XY = r = S XY S X S Y n i=1 (X i X)(Y i Ȳ ), S X = n i=1 (X i X) 2 e S Y = n i=1 (Y i Ȳ ) 2. 13

14 Propriedades da correlação r: (R1): 1 r 1 qualquer que seja a amostra (X 1, Y 1 ), (X 2, Y 2 ),...,(X n, Y n ). (R2): Se r = ±1, então X e Y são linearmente relacionadas tal que Y = ax + b, com a > 0 se r = 1 e a < 0 se r = 1. correlação perfeita O valor de r mede o grau de linearidade do diagrama de dispersão. Se o valor de r estiver próximo de 1 ou -1, indica que há forte linearidade. Se o valor de r estiver próximo de 0 indica que não há linearidade, podendo não existir relação nenhuma entre X e Y ou uma relação não linear entre elas. 14

15 Com base no que acabamos de ver é possível estimar que a correlação: - no exemplo 1 deve estar próxima de 1, - nos exemplos 2 e 3 deve estar próxima de -1 e, - nos exemplos 4 e 5 deve estar próxima de zero. Vamos ver agora como calcular a correlação entre X e Y usando o Bioestat. O caminho é Estatísticas, seguido de Correlação, seguido de Correlação de Pearson. 15

16 Para o exemplo 1 obtemos Observe que r = 0, 9296 está próximo de 1 de acordo com o que avaliamos. Observe também que no quadro podemos realizar um teste para verificar se a correlação é significativamente diferente de zero. 16

17 Para o exemplo 2 obtemos Observe que r = 0, 6883 está próxima de -1 de acordo com o que avaliamos. A saída do Bioestat também nos fornece intervalos de confiança de 95% e de 99% para a verdadeira correlação. Lembre que o valor calculado no exemplo está baseado numa amostra da população. 17

18 Para o exemplo 3 obtemos Observe que r = 0, 8038 está próxima de -1 de acordo com o que avaliamos. 18

19 Para o exemplo 4 obtemos Observe que r = 0, 0649 está próxima de zero de acordo com o que avaliamos. 19

20 Para o exemplo 5 obtemos Observe que r = 0, 1073 está próxima de zero de acordo com o que avaliamos. 20

21 21

22 A seguir vamos apresentar vários exemplos de dados reais retirados de Dancey e Reidy. 22

23 23

24 24

25 25

26 Cuidados na Interpretação da correlação Uma correlação alta (próxima de 1 ou -1) pode indicar forte dependência linear entre as variáveis. Nesse caso, os pontos no diagrama de dispersão espalham-se em torno de uma reta. Pode haver pares de variáveis cuja correlação é próxima de 1 (ou -1), mas, na verdade, não são diretamente relacionadas: correlação espúria. Uma correlação zero ou próxima de zero indica ausência de linearidade, podendo significar uma dependência não-linear entre elas ou ausência de relação entre as variáveis. Uma correlação amostral entre duas variáveis próxima de 1 (ou -1) apenas indica que as variáveis crescem no mesmo sentido (ou em sentidos contrários). Ela não necessariamente indica que aumentos sucessivos em uma, acarretarão aumentos sucessivos (ou diminuições sucessivas) na outra. 26

27 Modelo de Regressão Linear Simples Quando as duas variáveis em análise são altamente correlacionadas e, de fato, existe uma relação de causa e efeito entre elas, o prolema de fazer previsão do valor de uma delas dado o valor da outra variável pode ser resolvido através de uma regressão linear simples: ajuste dos dados observados a uma reta pelo critério de mínimos quadrados. Uma das duas variáveis é considerada como a variável que pode ser controlada de alguma forma e é chamada variável explicativa (independente - preditora) e a outra, sobre a qual deseja-se fazer previsões, é chamada variável resposta (dependente). 27

28 Vimos que no exemplo 1, a correlação era alta e positiva. Faz sentido pensar numa relação de causa e efeito entre o resultado do simulado e o resultado no teste final? Parece que sim. Então, podemos pensar num modelo linear que explique o resultado no teste final em função do resultado no simulado. Voltemos ao diagrama de dispersão desses dados. 28

29 Existem formas diferentes de obter uma reta que se ajuste bem aos dados. Um critério usual para obter a reta é conhecido como critério de mínimos quadrados: obtém-se os coeficientes da reta de modo a minimizar a soma dos quadrados dos erros (resíduos). 29

30 O Bioestat ajusta a reta de mínimos quadrados, também conehcida como reta de regressão linear simples. O caminho é: Estatísticas, Regressão, Linear Simples. Tome cuidado na hora de indicar as colunas, pois agora as variáveis exercem papéis diferentes: uma é a variável explicativa (independente), mais fácil de ser controlada. A outra, é a variável dependente, também chamada variável resposta, para a qual faremos previsões com base nos valores da outra. No Bioestat devemos sempre indicar primeiro a coluna da variável dependente e, em seguida, a coluna da variável independente. Vejamos como fica a saída dessa função u- sando os dados do exemplo 1: lembre que na tabela de dados a variável independente (resultado no simulado está na coluna 1) e a variável dependente (resultado no teste final está na coluna 2). 30

31 A reta de regressão é Ŷ = 4, , 8917X. 31

32 Podemos usar a opção estimar Y, por exemplo, 32

33 E nos outros quatro exemplos apresentados no início da aula? Faz sentido pensar numa relação de causa e efeito? Faz sentido pensar num modelo linear para os dados bivariados? Vimos que não há nenhuma relação entre as variáveis X e Y no caso do exemplo 4 e que a relação é não linear no caso do exemplo 5. Logo, um modelo linear não é adequado a nenhum desses dois exemplos. No exemplo 3, temos que tomar um certo cuidado, pois apesar das variáveis apresentarem uma correlação negativa próxima de -1, não faz sentido pensar numa relação de causa e efeito, isto é, o fato das variáveis expectativa de vida e número de pessoas por TV crescerem em sentidos contrários, não significa que se diminuirmos o número de pessoas por TV num país, então automaticamente a expectativa de vida irá crescer. 33

34 O exemplo 3 ilustra o que costuma ser chamado de correlação espúria. De fato, existe uma terceira variável que é bem correlacionada a essas duas e, essa sim, tem uma relação mais direta com as outras. No caso desse exemplo poderia ser o IDH (Índice de Desenvolvimento Humano) do país. É razoável esperar uma correlação alta e positiva do IDH com a expectativa de vida ao nascer e também uma correlação alta e negativa do IDH com o número de pessoas por TV. Outras variáveis sócio-econômicas poderiam substituir o IDH citado neste exemplo. O importante é saber peceber, apesar de um conjunto de dados bivariados ter produzido uma correlação alta (positiva ou negativa), que isso não significa que essas variáveis apresentem uma relação direta de causa e efeito. Enfim, nesse caso, apesar da alta correlação, não faz sentido usar um modelo linear! 34

35 Finalmente, no caso do exemplo 2, temperatura versus conta de energia, vimos que existia uma correlação negativa próxima de -0,7 e, aqui faz sentido resolver o problema de prever o consumo de energia em função da temperatura. No caso do exemplo 2, a variável independente é a temperatura e, a dependente é o consumo de energia. Vejamos como fica a reta de regressão. 35

36 A reta de regressão estimada é Ŷ = 55, 03 0, 21X. 36

37 Verificação de Adequação do Modelo de Regressão: Análise de Resíduos. Todo modelo ajustado em estatística deve ser avaliado antes da apresentação de conclusões. A ferramenta mais comum de avaliação dos modelos de regressão linear é uma análise dos resíduos do modelo. Os resíduos do modelo são dados por D = }{{} Y valor observado Y (a + bx). }{{} Ŷ valor ajustado = O gráfico de resíduos (D) versus valores ajustados (Ŷ ) não deve apresentar nenhuma estrutura aparente e seus valores devem oscilar aleatoriamente em torno de zero. A seguir são apresentados os gráficos de resíduos versus valores ajustados dos modelos ajustados aos exemplos 1 e 2. 37

38 38

39 Em ambos verifica-se que, de fato, os resíduos oscilam aleatoriamente em torno de zero, em função dos valores ajustados. Portanto, os modelos podem ser considerados adequados para explicar Y em função de X. 39

40 Referências bibliográficas: (1) Busssab e Morettin - Estatística Básica. Editora Saraiva. (2) Triola. Introdução à Estatística. LTC. (3) Dancey e Reidy - Estatística sem Matemática para Psicologia. Penso. (4) Rossman & Chance (1998). Workshop Statistics: Discovery with data and Minitab. Springer. 40