MÓDULO V: Análise Bidimensional: Correlação, Regressão e Teste Qui-quadrado de Independência

Transcrição

1 MÓDULO V: Análise Bidimensional: Correlação, Regressão e Teste Qui-quadrado de Independência Introdução 1 Muito frequentemente fazemos perguntas do tipo se alguma coisa tem relação com outra. Estatisticamente falando, se existe algum tipo de relação entre duas ou mais variáveis! É exatamente neste contexto que a análise de correlação e regressão se aplica: a análise de correlação e regressão se preocupa com as relações existentes entre duas ou mais variáveis. Correlação Linear Simples Correlação: em termos gerais, podemos dizer que é uma técnica que envolve uma forma de estimação. Finalidade: verificar a existência e o grau de relação entre variáveis. Entendendo o mecanismo de correlação: Suponha que queremos estudar a renda e o tempo de estudo de indivíduos economicamente ativos. Tomemos uma amostra de tamanho k, onde cada elemento amostral é composto pelo tempo de estudo do indivíduo e o salário recebido por ele, da forma $ 1 1 $ $ 3 3 M M k Para cada elemento da amostra façamos o seguinte: Tomemos ( 1, $ 1 ), (, $ ),...,( k, $ k ), ou seja,, k pares de valores das duas variáveis. Plotando esses pares num plano cartesiano, obtemos o seguinte gráfico, por exemplo: $ $ k

2 Este gráfico é chamado de diagrama de dispersão! Observe, por este gráfico, que há uma tendência de variação conjunta entre as variáveis. Visualmente podemos notar uma correlação entre e (aqui entre e $), porém esta correlação é não-linear. Já como um segundo exemplo, suponha que numa outra situação obtivéssemos uma amostra que proporcionasse um diagrama de dispersão da forma: Este gráfico sugere, agora, uma correlação linear entre e. Num terceiro exemplo, temos o diagrama da forma Aqui já não há evidências de correlação entre as variáveis! Analise cada um dos casos a seguir:

3

4 Ok, tudo bem! Porém, como as conclusões obtidas através do diagrama de dispersão tendem a ser subjetivas, necessitamos de métodos que sejam mais precisos e objetivos na detecção (identificação) e na medição do grau de padrões lineares. Uma medida bastante adequada para este propósito é o que chamamos de coeficiente de Pearson ( ρ, lê-se rô), dado por e seu estimador é Cov(, ) ρ = σ σ ( xi x)( yi y) n xy ( x y) ( xi x) ( yi y) n( x ) ( x) n( y ) ( y), onde: r = x i é cada valor i da variável ; y i é cada valor i da variável ; x é a média amostral de ; y é a média amostral de ; n é o número de pares (x,y). Características de r: o valor de r varia de -1 a 1; um valor positivo de r indica que aumento em corresponde a aumento em ou diminuição em corresponde a diminuição em ; um valor negativo de r indica que aumento em corresponde a diminuição em ou diminuição em corresponde a aumento em ; um valor nulo de r indica que aumento em corresponde a diminuição e aumento em ou diminuição em corresponde a aumento e diminuição em ; Importante: mesmo r sendo próximo de 1, não quer dizer que e tenham algum relacionamento de causaefeito ou dependência funcional. Exemplo 1: Sejam os seguintes pares de variáveis e dados a seguir: 0,7 1,41,19,83,19 1,81 0,55 3,05 1,00 1,50 1,50 3,00,00 1,00 0,50,50 Pede-se: a) construa o diagrama de dispersão;

5 b) encontre o coeficiente de correlação de Pearson; c) determine se há correlação linear significativa entre as duas variáveis. Atenção Fazendo um teste de hipóteses com uma confiança de 95% (α =5%) do tipo: Ho: ρ =0, implicando que não há correlação significativa; H 1 : ρ 0, implicando que há correlação significativa. A estatística de teste é: r n 1 r, que segue uma distribuição tn que está tabulada na página 49. Exercício 1 Faça o mesmo que fora feito no Exemplo 1 para o conjunto abaixo. 1,0 1,5,5,5 5,0,0 3,0 4,7 5,3 10,0 Exercício Faça o mesmo que fora feito no Exemplo 1 para o conjunto abaixo. 1,0 1,5,5,5 5,0,0 0,0 5,0 1,7 0,7 Introdução Vimos que podemos detectar e quantificar uma relação linear entre duas variáveis através do estudo da correlação. Entretanto, caso este estudo indique a existência de relação linear, como seria, então o comportamento de uma variável em face de outra? Como podemos responder isso? A resposta está no estudo da regressão linear, mais precisamente na regressão linear simples: linear porque a forma de relação entre as variáveis é dessa forma (uma reta) e simples devido ao envolvimento de apenas duas variáveis. Na prática, a relação entre variáveis pode assumir um número muito grande de diferentes formas, entretanto, experiências sugerem que a suposição de linearidade proporciona uma representação adequada em muitas situações. Assim, em existindo evidências de haver uma relação linear entre duas variáveis, poderíamos pensar, por exemplo, em descrever a relação entre elas através de um modelo da forma:

6 = α + β CL CA Ok! Este é um modelo simples de ser pensado, mas insuficiente! Não devemos esperar que uma simples relação entre duas variáveis seja exata (precisa), ou seja, não há apenas a lei matemática ligando as variáveis em questão. De forma que devemos esperar, inevitavelmente, alguma diferença do valor real (diferença essa denominada de erro). Assim, um modelo mais coerente seria = α + β + e, onde e é o erro, que esperamos que seja zero! Assumindo respeitadas algumas condições estatísticas, podemos dizer que o modelo estimado de regressão linear entre duas variáveis e é dado por a = y bx, ( ) ( xi x)( yi y) xy n x y b = = ( x x) x nx i y = a + b, onde. Exemplo : Sejam os seguintes pares de variáveis e dados a seguir: 0,7 1,41,19,83,19 1,81 0,55 3,05 1,00 1,50 1,50 3,00,00 1,00 0,50,50 a) construa o diagrama de dispersão; b) estime a reta de regressão e a desenhe;

7 Atenção Também é possível fazer um teste de hipóteses com uma confiança de 95% (α =5%) do tipo: Ho: β =0, implicando que não há regressão linear entre as variáveis; H 1 : β 0, implicando que há regressão linear significativa. A estatística de teste neste caso seria de acordo com uma distribuição F. Não a apresentaremos aqui devido a uma relativa necessidade de cálculos, mas nos pacotes estatísticos esse problema é sanado. Exercício 3: Construa a reta de regressão linear para cada um dos conjuntos abaixo. 1,0 1,5,5,5 5,0,0 3,0 4,7 5,3 10,0 1,0 1,5,5,5 5,0,0 0,0 5,0 1,7 0,7 Exercício 4: Proponha um modelo de regressão linear simples que relacione o peso de uma espécie de peixe e a quantidade de ovos produzidos por ele, conforme dados abaixo: Peso Quantidade de ovos , De acordo com o modelo, quantos ovos seriam produzidos por um peixe de peso 30? E de peso 40? Exercício 5: A tabela a seguir mostra a altura e peso de 19 escolares de 7 anos, do sexo feminino, matriculados na rede municipal de ensino de uma cidade do Sudeste do país. Pergunta-se: é viável a associação dessas duas variáveis através de um modelo de regressão linear? Em caso afirmativo, qual?

8 Peso Altura 0, , ,4 114,0 118, ,6 11 4,8 13 5, 14 5,8 1 6,0 1 6,6 11 6,6 17 7, 14 7, 131 7,8 18 8, , , ,4 140 Mesmo rejeitando a hipótese nula, ou seja, encontrando evidências de se ter regressão linear, como proceder para indicarmos se essa é uma boa ou ruim relação entre as variáveis? Resposta: através do coeficiente de determinação r. O Coeficiente de determinação reflete o quanto os valores de estão relacionados com (quanto mais próximo de 1, mais eficiente é a reta proposta). Assim, r = ( xi yi nxy) xi nx yi ny (proporção da variação explicada pela reta!!!) Uma outra medida é o coeficiente de determinação corrigido, dado por:

9 1 (1 r n ~ r = r ) Introdução 3 Perceba que o que vimos em relação a detectar e quantificar uma relação duas variáveis, só fora feito para variáveis quantitativas (dê uma olhada nos exercícios e exemplos para comprovar isso). E aí, podemos detectar relações entre variáveis qualitativas? A resposta é sim e uma das maneiras de se fazer isso é através do teste qui-quadrado de independência, onde este tipo de teste é usado quando se tem pelo menos uma variável qualitativa. A maneira de se fazer tal teste é definindo duas ou mais categorias das variáveis envolvidas e tabulando as respectivas freqüências, como no esquema a seguir: suponha que se deseje verificar ou não a existência de relação entre preconceito racial e rendimento. Assim, a variável preconceito é subdividida em dois subgrupos: tem preconceito e não tem preconceito. Já a variável renda é subdividida em três categorias: baixo, médio e alto. Confeccionamos uma tabela de dupla entrada e registramos as freqüências de cada uma das intersecções. Preconceito Rendimento Baixo Médio Alto Total Tem fo 11 fo 1 fo 13 fo 1. Não tem fo 1 fo fo 3 fo. Total fo.1 fo. fo.3 fo Onde: fo 11 é o número de pessoas que tem preconceito e tem renda baixa; fo 1 é o número de pessoas que tem preconceito e tem renda média; fo 13 é o número de pessoas que tem preconceito e tem renda alta; fo 1 é o número de pessoas que não tem preconceito e tem renda baixa; fo é o número de pessoas que não tem preconceito e tem renda média; fo 3 é o número de pessoas que não tem preconceito e tem renda alta; fo 1. é o número total de pessoas que tem preconceito; fo. é o número total de pessoas que não tem preconceito; fo.1 é o número total de pessoas que tem renda baixa; fo. é o número total de pessoas que tem renda média; fo.3 é o número total de pessoas que tem renda alta;

10 fo é o número total de pessoas. Essas são ditas as freqüências observadas (fo). Essas freqüências observadas devem ser comparadas com as freqüências esperadas onde cada freqüência esperada (fe) é dada por: ( soma da linha i)( soma da coluna j) fe =, ou seja, para a tabela anterior ter-se-ia total de observações Preconceito Rendimento Baixo Médio Alto Tem fe 11= (fo 1.* fo.1 )/n fe 1= (fo 1.* fo. )/n fe 13= (fo 1.* fo.3 )/n Não tem fe 1= (fo.* fo.1 )/n fe = (fo.* fo. )/n fe 3= (fo.* fo.3 )/n Encontrando os valores das freqüências esperadas, podemos fazer o teste. Os procedimentos são: 1. Explicitar as hipóteses, onde Ho: as variáveis são independentes e H 1 : as variáveis não são independentes;. Fixar um valor α, que é o nível de significância e definir o valor de χ tab, que é o valor tabelado da distribuição que quadrado, com (L 1)*(C 1) graus de liberdade, onde L é o número de linhas da tabela e C o número de colunas que representam subgrupos. 3. Calcular o valor da estatística χ 4. Concluir da forma: se χ calc calc χtab, onde χ calc L C ( fo ) ij feij = ; i= 1 j= 1 <, não se pode rejeitar Ho, mas se χ fe ij calc χtab >, rejeita-se Ho. Exemplo 3: Vamos considerar que os dados de preconceito e rendimento sejam conforme abaixo: Preconceito Rendimento Baixo Médio Alto Total Tem Não tem Total Assim, a tabela de freqüências esperadas seria: Preconceito Rendimento Baixo Médio Alto

11 Tem Não tem Considerando um valor de alfa de 5%, e com graus de liberdade, temos que tab χ = 5,991 (veja na tabela da distribuição χ na página 48. Já calc χ = 34,01. Como χ calc χtab uma dependência entre ter ou não preconceito e o nível de renda. >, rejeitamos Ho e podemos dizer que há Exercício 6 A tabela abaixo apresenta os resultados de um experimento destinado a investigar o efeito da vacinação de animais contra determinada doença. Testar a independência dos resultados utilizando alfa de 5% e 1%. Vacinação Doença Contraíram Não contraíram Vacinados 14 4 Não vacinados 16 8 Exercício 7 Na tabela abaixo há registro de óbitos de menores de 5 anos classificados segundo três grupos de idade e nível de instrução da mãe. Dessa forma, verifique se com uma confiança de 95% podemos dizer que há dependência entre essas duas variáveis. Idade Nível de instrução Antes de 8 dias Entre 8 dias até 1 De 1 a 4 anos Total ano Secundário ou mais Primário Nenhum Total Tópicos do Módulo V: Correlação Regressão Linear Simples Teste Qui-quadrado de independência

12 TABELA - Distribuição Qui-Quadrado ϕ α ϕ = graus de liberdade 0,995 0,99 0,975 0,95 0,90 0,75 0,50 0,5 0,10 0,05 0,05 0,01 0,005 0, ,0004 0,00 0,001 0,004 0,016 0,10 0,455 1,33,706 3,841 5,04 6,635 7,879 10,88 0,010 0,00 0,051 0,103 0,11 0,575 1,386,773 4,605 5,991 7,378 9,10 10,597 13, ,07 0,115 0,16 0,35 0,584 1,13,366 4,108 6,51 7,815 9,348 11,345 1,838 16,66 4 0,07 0,97 0,484 0,711 1,064 1,93 3,357 5,385 7,779 9,488 11,143 13,77 14,860 18, ,41 0,554 0,831 1,145 1,610,675 4,351 6,66 9,36 11,071 1,833 15,086 16,750 0, ,676 0,87 1,37 1,635,04 3,455 5,348 7,841 10,645 1,59 14,449 16,81 18,548, ,989 1,39 1,690,167,833 4,55 6,346 9,037 1,017 14,067 16,013 18,475 0,78 4,3 8 1,344 1,646,180,733 3,490 5,071 7,344 10,19 13,36 15,507 17,535 0,090 1,955 6,15 9 1,735,088,700 3,35 4,168 5,899 8,343 11,389 14,684 16,919 19,03 1,666 3,589 7,877 10,156,558 3,47 3,940 4,865 6,737 9,34 1,549 15,987 18,307 0,483 3,09 5,188 9,588 11,603 3,053 3,816 4,575 5,578 7,584 10,341 13,701 17,75 19,675 1,90 4,75 6,757 31,64 1 3,074 3,571 4,404 5,6 6,304 8,438 11,340 14,845 18,549 1,06 3,337 6,17 8,99 3, ,565 4,107 5,009 5,89 7,04 9,99 1,340 15,984 19,81,36 4,736 7,688 9,819 34, ,075 4,660 5,69 6,571 7,790 10,165 13,339 17,117 1,064 3,685 6,119 9,141 31,319 36, ,601 5,9 6,6 7,61 8,547 11,036 14,339 18,45,307 4,996 7,488 30,578 3,801 37, ,14 5,81 6,908 7,96 9,31 11,91 15,338 19,369 3,54 6,96 8,845 3,000 34,67 39,5 17 5,697 6,408 7,564 8,67 10,085 1,79 16,338 0,489 4,769 7,587 30,191 33,409 35,718 40, ,65 7,015 8,31 9,390 10,865 13,675 17,338 1,605 5,989 8,869 31,56 34,805 37,156 43, ,844 7,633 8,907 10,117 11,651 14,56 18,338,718 7,04 30,144 3,85 36,191 38,58 43,80 0 7,434 8,60 9,591 10,851 1,443 15,45 19,337 3,88 8,41 31,410 34,170 37,566 39,997 45, ,034 8,897 10,83 11,591 13,40 16,344 0,337 4,935 9,615 3,671 35,479 38,93 41,401 46,797 8,643 9,54 10,98 1,338 14,04 17,40 1,337 6,039 30,813 33,94 36,781 40,89 4,796 48,68 3 9,60 10,196 11,689 13,091 14,848 18,137,337 7,141 3,007 35,17 38,076 41,638 44,181 49,78 4 9,886 10,856 1,401 13,848 15,659 19,037,337 8,41 33,196 36,415 39,364 4,980 45,559 51, ,50 11,54 13,10 14,611 16,473 19,939 4,337 9,339 34,38 37,65 40,646 44,314 46,98 5, ,160 1,198 13,844 15,379 17,9 0,843 5,336 30,434 35,563 38,885 41,93 45,64 48,90 54,05

13 7 11,808 1,879 14,573 16,151 18,114 1,749 6,336 31,58 36,741 40,113 43,194 46,963 49,645 55, ,461 13,565 15,308 16,98 18,939,657 7,336 3,60 37,916 41,337 44,461 48,78 50,993 56, ,11 14,57 16,047 17,708 19,768 3,567 8,336 33,711 39,087 4,557 45,7 49,588 5,336 58, ,787 14,954 16,791 18,493 0,599 4,478 9,336 34,800 40,56 43,773 46,979 50,89 53,67 59, ,458 15,655 17,539 19,81 1,434 5,390 30,336 35,887 41,4 44,985 48,3 5,191 55,003 61, ,134 16,36 18,91 0,07,71 6,304 31,336 36,973 4,585 46,194 49,480 53,486 56,38 6, ,815 17,074 19,047 0,867 3,110 7,19 3,336 38,058 43,745 47,400 50,75 54,776 57,648 63, ,501 17,789 19,806 1,664 3,95 8,136 33,336 39,141 44,903 48,60 51,966 56,061 58,964 65, ,19 18,509 0,569,465 4,797 9,054 34,336 40,3 46,059 49,80 53,03 57,34 60,75 66, ,887 19,33 1,336 3,69 5,643 9,973 35,336 41,304 47,1 50,998 54,437 58,619 61,581 67, ,586 19,960,106 4,075 6,49 30,893 36,336 4,383 48,363 5,19 55,668 59,89 6,883 69, ,89 0,691,878 4,884 7,343 31,815 37,335 43,46 49,513 53,384 56,896 61,16 64,181 70, ,996 1,46 3,654 5,695 8,196 3,737 38,335 44,539 50,660 54,57 58,10 6,48 65,476 7, ,707,164 4,433 6,509 9,051 33,660 39,335 45,616 51,805 55,758 59,34 63,691 66,766 73, ,41,906 5,15 7,36 9,907 34,585 40,335 46,69 5,949 56,94 60,561 64,950 68,053 74,745 4,138 3,650 5,999 8,144 30,765 35,510 41,335 47,766 54,090 58,14 61,777 66,06 69,336 76,084 43,859 4,398 6,785 8,965 31,65 36,436 4,335 48,840 55,30 59,304 6,990 67,459 70,616 77, ,584 5,148 7,575 9,787 3,487 37,363 43,335 49,913 56,369 60,481 64,01 68,710 71,893 78, ,311 5,901 8,366 30,61 33,350 38,91 44,335 50,985 57,505 61,656 65,410 69,957 73,166 80, ,991 9,707 3,357 34,764 37,689 4,94 49,335 56,334 63,167 67,505 71,40 76,154 79,490 86, ,534 37,485 40,48 43,188 46,459 5,94 59,335 66,981 74,397 79,08 83,98 88,379 91,95 99, ,75 45,44 48,758 51,739 55,39 61,698 69,335 77,577 85,57 90,531 95,03 100,45 104,15 11, ,17 53,540 57,153 60,391 64,78 71,145 79,335 88,130 96, , ,69 11,39 116,31 14, ,196 61,754 65,647 69,16 73,91 80,65 89,335 98, , , ,136 14,116 18,99 137, ,38 70,065 74, 77,99 8,358 90,133 99, , ,498 14,34 19, , , ,449 TABELA - Distribuição t de Student ϕ = graus de liberdade ϕ α 5% 10% 5%,5% 1% 0,5% α 5% 10% 5%,5% 1% 0,5% ϕ 1 1,0000 3,0777 6,3138 1,706 31,807 63, ,6799 1,300 1,6787,019,410,6870 0,8165 1,8856,900 4,307 6,9646 9, ,6797 1,998 1,6779,0117,4083, ,7649 1,6377,3534 3,184 4,5407 5, ,6796 1,994 1,677,0106,4066,68 4 0,7407 1,533,1318,7764 3,7469 4, ,6795 1,991 1,6766,0096,4049, ,767 1,4759,0150,5706 3,3649 4, ,6794 1,987 1,6759,0086,4033, ,7176 1,4398 1,943,4469 3,147 3, ,6793 1,984 1,6753,0076,4017, ,7111 1,4149 1,8946,3646,9980 3, ,679 1,980 1,6747,0066,400, ,7064 1,3968 1,8595,3060,8965 3, ,6791 1,977 1,6741,0057,3988, ,707 1,3830 1,8331,6,814 3, ,6791 1,974 1,6736,0049,3974, ,6998 1,37 1,815,81,7638 3, ,6790 1,971 1,6730,0040,3961, ,6974 1,3634 1,7959,010,7181 3, ,6789 1,969 1,675,003,3948, ,6955 1,356 1,783,1788,6810 3, ,6788 1,966 1,670,005,3936, ,6938 1,350 1,7709,1604,6503 3, ,6787 1,963 1,6716,0017,394, ,694 1,3450 1,7613,1448,645, ,6787 1,961 1,6711,0010,391, ,691 1,3406 1,7531,1315,605, ,6786 1,958 1,6706,0003,3901, ,6901 1,3368 1,7459,1199,5835, ,6785 1,956 1,670 1,9996,3890, ,689 1,3334 1,7396,1098,5669, ,6785 1,954 1,6698 1,9990,3880, ,6884 1,3304 1,7341,1009,554, ,6784 1,951 1,6694 1,9983,3870, ,6876 1,377 1,791,0930,5395, ,6783 1,949 1,6690 1,9977,3860, ,6870 1,353 1,747,0860,580, ,6783 1,947 1,6686 1,9971,3851, ,6864 1,33 1,707,0796,5177, ,678 1,945 1,6683 1,9966,384,654

14 0,6858 1,31 1,7171,0739,5083, ,678 1,943 1,6679 1,9960,3833, ,6853 1,3195 1,7139,0687,4999, ,6781 1,941 1,6676 1,9955,384, ,6848 1,3178 1,7109,0639,49, ,6781 1,939 1,667 1,9949,3816, ,6844 1,3163 1,7081,0595,4851, ,6780 1,938 1,6669 1,9944,3808, ,6840 1,3150 1,7056,0555,4786, ,6780 1,936 1,6666 1,9939,3800, ,6837 1,3137 1,7033,0518,477, ,6779 1,934 1,6663 1,9935,3793, ,6834 1,315 1,7011,0484,4671, ,6779 1,933 1,6660 1,9930,3785, ,6830 1,3114 1,6991,045,460, ,6778 1,931 1,6657 1,995,3778, ,688 1,3104 1,6973,043,4573, ,6778 1,99 1,6654 1,991,3771, ,685 1,3095 1,6955,0395,458, ,6777 1,98 1,665 1,9917,3764, ,68 1,3086 1,6939,0369,4487, ,6777 1,96 1,6649 1,9913,3758, ,680 1,3077 1,694,0345,4448, ,6776 1,95 1,6646 1,9908,3751, ,6818 1,3070 1,6909,03,4411, ,6776 1,94 1,6644 1,9905,3745, ,6816 1,306 1,6896,0301,4377, ,6776 1,9 1,6641 1,9901,3739, ,6814 1,3055 1,6883,081,4345, ,6775 1,91 1,6639 1,9897,3733, ,681 1,3049 1,6871,06,4314, ,6775 1,90 1,6636 1,9893,377, ,6810 1,304 1,6860,044,486, ,6775 1,918 1,6634 1,9890,371, ,6808 1,3036 1,6849,07,458, ,6774 1,917 1,663 1,9886,3716, ,6807 1,3031 1,6839,011,433, ,6774 1,916 1,6630 1,9883,3710, ,6805 1,305 1,689,0195,408, ,6774 1,915 1,668 1,9879,3705, ,6804 1,300 1,680,0181,4185, ,6773 1,914 1,666 1,9876,3700, ,680 1,3016 1,6811,0167,4163, ,6773 1,91 1,664 1,9873,3695, ,6801 1,3011 1,680,0154,4141, ,6773 1,911 1,66 1,9870,3690, ,6800 1,3006 1,6794,0141,411, ,677 1,910 1,660 1,9867,3685, ,677 1,90 1,660 1,984,364, ,677 1,89 1,658 1,980,358,617 0,674 1,8 1,645 1,960,36,576