Correlação. Frases. Roteiro. 1. Coeficiente de Correlação 2. Interpretação de r 3. Análise de Correlação 4. Aplicação Computacional 5.

Transcrição

1 Correlação Frases Uma probabldade razoável é a únca certeza Samuel Howe A experênca não permte nunca atngr a certeza absoluta. Não devemos procurar obter mas que uma probabldade. Bertrand Russel Rotero 1. Coefcente de Correlação. Interpretação de r 3. Análse de Correlação. Aplcação Computaconal 5. Referêncas 1

2 Coefcente de Correlação Dados Emparelhados Há uma relação? Se há, qual é a equação? Usar a equação para predção Correlação Entre duas varáves, exste correla ção quando uma delas está, de alguma forma, relaconada com a outra.

3 Suposções A amostra de dados emparelhados (X, Y) é uma amostra aleatóra. Os pares de dados (X, Y) tem dstrbução normal bvarada. Dagrama de Dspersão Gráfco de dados amostras emparelhados (x, y) com o exo das abcssas (exo x) e o exo das ordenadas (exo y). Cada par ndvdual (x, y) é plotado como um ponto. Exemplo Dados de algumas regões metropoltanas: Porcentagem da população economcamente atva empregada no setor prmáro Índce de analfabetsmo Planlha: analfabetsmo Fonte: Indcadores Socas para Áreas Urbanas, IBGE 1977 ( Bussab) 3

4 Regão Índce Setor Prmáro Analfabetsmo São Paulo,0 17,5 Ro de Janero,5 18,5 Belém,9 19,5 Belo Horzonte 3,3, Salvador,1 6,5 Porto Alegre,3 16,6 Recfe 7,0 36,6 Fortaleza 13,0 38, Fonte: Indcadores Socas para Áreas Urbanas - IBGE Dagrama de Dspersão 0 Dagrama de Dspersão Recfe F or taleza Índce de Analfabetsmo S alvad or Belo Horzonte B elém Ro de Jan ero São Paulo Porto Alegre % PEA no Set or Prmáro 1 1 Correlação Lnear Postva y y y Postva x Postva Forte x Postva Perfeta x Dagramas de Dspersão

5 Correlação Lnear Negatva y y y Negatva x Negatva Forte x Negatva Perfeta x Dagramas de Dspersão Sem Correlação Lnear y y Sem Correlação x Correlação não-lnear x Dagramas de Dspersão Notação x y x y : -ésmo valor observado da varável x : -ésmo valor observado da varável y : méda dos valores observados da varável x (méda amostral) : méda dos valores observados da varável y (méda amostral) 5

6 Soma de Quadrados Notação S S xx yy = = ( x x) = ( y y) = x y n( x) n( y) S = ( x x)( y y) = x y n ( x. y) xy Coefcente de Correlação Lnear Amostral Mede o grau de relaconamento lnear entre os valores emparelhados x e y em uma amostra. r = S S xx xy S yy Em geral, calculadoras fnanceras calculam o valor de r. Exemplo Regão Setor Índce Prmáro Analfabetsmo X Y X Y XY São Paulo 17,5,00 306,5 35,00 Ro de Janero,5 18,5 6,5 3,5 6,5 Belém,9 19,5 8,1 380,5 56,55 Belo Horzonte 3,3, 10,89 9,8 73,6 Salvador,1 6,5 16,81 70,5 108,65 Porto Alegre,3 16,6 18,9 75,56 71,38 Recfe 7 36,6 9, ,56 56,0 Fortaleza 13 38, 169,00 1.7,56 99,0 Total 39,10 195,80 8, ,5 1.16,9 x =,89 y =, 8 S 8,85 8(,89) xx = = 91, 75 = 5.313,5 8(,8) = 519,37 S yy S xy = 1.16,9 8(,89)(,8) = 188,83 r = 188,83 = 0,865 (91,75)(519,37) 6

7 HP 1C Cálculo do Coefcente de Correlação Para dados pareados: Dgte o valor y 1 Pressone ENTER Dgte o valor x 1 Pressone S + Repta a operação para todos os pares Pressone g ^x, r ou g ^y, r Pressone x? y e lea no vsor o valor de r HP 1C Correção de Estatístcas Acumuladas Caso tenha errado na entrada do últmo par de dados: Pressone g LST x e g S - Caso tenha errado algum par anteror ao últmo: Dgte novamente o par e pressone g S - Armazenamento das Estatístcas Acumuladas Regstro Estatístca R 1 (e vsor) n : # pares acumulados R? x : soma valores de x R? x : soma valores de x 3 R? y : soma valores de y R? y : soma valores de y 5 R 6? xy : soma valores de xy 7

8 Mntab Cálculo do Coefcente de Correlação Em Sesson, Edtor > Enable Comando. MTB > Correlaton 'set_prm' 'analfab' Correlatons: set_prm; analfab Pearson correlaton of set_prm and analfab = 0,867 P-Value = 0,005 Ou através de: Stat > Basc Statstcs > Correlaton Propredades de r Mede a ntensdade de relaconamento lnear r é admensonal e 1 = r = 1 A conversão da escala de qualquer das varáves não altera o valor de r. O valor de r não é afetado pela escolha de x ou y. Propredades de r O valor de r não é alterado com a permutação de valores de x e y. Uma correlação baseada em médas de mutos elementos, em geral, é mas alta do que a correlação entre as mesmas varáves baseada em dados para os elementos 8

9 Outra expressão para Cálculo de r r = ( x x)( y y) ( n 1) s s x y s x : desvo padrão amostral de x s y : desvo padrão amostral de y Interpretação de r Exemplo Número de anos de servço (X) por número de clentes (Y) de uma seguradora: Agente Anos Servço Qte. Clentes (X) (Y) A 8 B 3 50 C 56 D 5 5 E 3 F 6 60 G 7 6 H 8 58 I 8 6 J

10 Dagrama de Dspersão dos Dados Qt e. Clen tes Anos Servço 8 10 O coefcente de correlação lnear é tamb ém uma medda da proxmdade dos dados a uma reta Consdere a orgem passando no centróde dos dados 7 5 5, Q te. Clentes , Anos Servç o Maora dos pontos está no 1º e no 3º quadrantes Nesses quadrantes, o produto das coordenadas será sempre postvo (soma dos produtos será postva) Para se obter esta vsão transfere-se a orgem para o centro da nuvem de dados y- med a(y ) x-meda( x)

11 Outro problema relevante é quanto à escala dos dados Y tem varabldade muto maor que X e o produto fcara muto mas afetado pelos valores de Y do que pelos de X Podemos reduzr as duas varáves a uma mesma escala, dvdndo-se os desvos pelos respectvos desvos padrões Agente X Y Z x Z y Z xz y A 8-1,6-0,99 1,5 B ,06-0,76 0,81 C 56-0,67-0,06 0,0 D 5 5-0,8-0,53 0,1 E 3-0,67-1,58 1,06 F ,1 0,1 0,05 G 7 6 0,51 0,6 0,33 H ,91 0,18 0,16 I 8 6 0,91 0,88 0,79 J ,69 1,81 3,07 Total ,00 0,00 7,891 Méda 5,70 56,50 D.Padrão,5 8,55 Z x x x = s x Como esperado, a soma é postva Mudança das escala dos exos 0 1 Zy Zx 1 11

12 A soma dos produtos das coordenadas depende (muto) do número de pontos Para facltar a comparação usa-se a méda da soma dos produtos das coordenadas Por razões técncas, dvde-se por (n-1) 7,891 r = = 9 0,877 Grau de assocação lnear quantfcado por 87,7% Expressão Fnal para r 1 x x y y = n s 1 s x y r = S S xx xy S yy O numerador mede o total da concentração de pontos pelos quatro quadrantes Dá orgem uma medda bastante usada Covarânca Amostral Dados n pares (x 1, y 1 ),..., (x n, y n ), a covarânca amostral entre as varáves X e Y é dada por: cov( X, Y ) = ( x x)( y y) Sxy = ( n 1) ( n 1) A covarânca pode ser entendda como uma méda de produtos centrados das varáves 1

13 Coefcente de Correlação Amostral Pode-se usar a covarânca para calcular r: cov( X, Y ) r = s x s y r = Justfcação para a Fórmula de r ( x x)( y y) ( n 1) s s x y x = 3 y x - x = 7-3 = (7, 3) (x, y) centróde da nuvem de dados II Quadrante III Quadrante (x, y) I Quadrante IV Quadrante y - y = 3-11 = 1 y = x Explcação da Varação A quantdade 100r pode ser entendda como a porcentagem de varação total dos y s que é explcada por sua rela ção com x (ou vce-versa) Se r = 0,80 então 100%(0,8) = 6% da vara ção total de uma varável é explcada pela outra varável Se r = 0,0 teremos 16% de explcação total entre as varáves; A correlação r é vezes mas forte que a correlação r. 13

14 Lneardade: Correlação Erros Comuns r mede apenas a ntensdade de rela ções lneares Pode haver alguma relação entre x e y mesmo quando não há correlação lnear sgnfcatva Y1 7 6 r = 0, , 0 7,5 X1 10,0 1,5 15, Y 6 5 r=0, , 0 7,5 X 10,0 1,5 15, 0 Outlers São observações muto extremas do conjunto de dados; Tal como a méda e o desvo-padrão, a correlação não é robusta, sendo fortemente afetadas por outlers Não devem ser descartados, a não ser que exsta razão sólda; Utlze a correlação com cautela quando houver outlers: a melhor estratéga é relatar ambos os valores de r (com e sem o outler) 1

15 Y r = 0, , 0 7,5 X3 10,0 1,5 15, Y3 7 6 r = 1, , 0 7,5 X3 1 0,0 1,5 15, Y r = 0, X Sem o outler, não há varação em x e o coefcente de correlação não pode ser calculado Causaldade: Correlação Erros Comuns Uma correla ção forte (r vznho de +1 ou 1) não mplca uma rela ção de causa e efeto. O fato de duas grandezas tenderem a varar no mesmo sentdo não mplca a presença de relaconamento causal entre elas. 15

16 Correlação e Causaldade Perguntas pertnentes, no caso de correlação sgnfcante entre as varáves: Há uma relação de causa e efeto entre as varáves? (x causa y? ou vce-versa) Ex.: Relação entre gastos com propaganda e vendas É razoável conclur que mas propaganda resulta mas vendas É possível que a relação entre duas varáves seja uma concdênca? Ex.: Obter uma correlação sgnfcante entre o número de espéces anmas vvendo em determnada área e o número de pessoas com mas de carros, não garante causaldade É bastante mprovável que as varáves estejam dretamente relaconadas. É possível que a relação das varáves tenha sdo causada por uma tercera varável (ou uma combnação de mutas outras varáves)? Ex: Tempo dos vencedores das provas masculna e femnna dos 100 m rasos Os dados tem correla ção lnear postva é duvdoso dzer que a dmnução no tempo masculno cause uma dmnução no tempo femnno; A relação deve depender de outras varáves: técnca de trenamento, clma, etc. 16

17 Correlação e Causaldade A flutuação de uma 3ª varável faz com que X e Y varem no mesmo sentdo; Esta 3ª varável é chamada varável ntercorrente (não-conhecda); A falsa correla ção orgnada pela 3ª varável é denomnada correla ção espúra; Análse de Correlação Coefcente de Correlação Lnear Populaconal Mede o grau de assoca ção de todos os dados emparelhados da população. E( X µ X )( Y µ ) Y ρ = Var( X ) Var( Y ) cov( X, Y ) ρ = DP( X ) DP( Y ) 17

18 Inferênca sobre? O coefcente de correlação amostral r é apenas uma estmatva do parâmetro populaconal? Hpóteses: H 0 :? = 0 (não h á correlação sgnfcatva) vs H 1 :?? 0 (há correlação sgnfcatva) Estatístcas de teste: t r Método 1: Estatístca de teste é t Estatístca de teste: r n t = 1 r Dstrbução da estatístca: t-student com n graus de lberdade Suposção sobre a população: modelo normal bvarado Exemplo Amostra: n=7 e r = 0,8. Usar a = 0,05 Rejeta? = 0 Não Rejeta? = 0 Rejeta? = 0 -,060 0,060 t 5; 0,05 =,060 t obs = 0,8 5 1 (0,8) = 7,16 Conclusão: A correlação é sgnfcatva 18

19 Método : Estatístca de teste é r Exge menos cálculos Valores crítcos: Tabela de Valores Crítcos do Coefcente de Correlação de Pearson Coefcente de Correlação Valores Crítcos n α =,05 α =,01,950,999,878,959,811,917,75,875,707,83,666,798,63,765,60,735,576,708,553,68,53,661,51,61,97,63,8,606,68,590,56,575,,561,396,505,361,63,335,30,31,0,9,378,79,361,5,330,36,305,0,86,07,69,196,56 Exemplo Amostra: n=7 e r = 0,8. Usar a = 0,05 Rejetar r = 0 Não rejetar r = 0 Rejetar r = 0-1 r = - 0,396 0 r = 0,396 1 n = 5 => 0,396 Valor amostral: r = 0,8 Conclusão: A correlação é sgnfcatva 19

20 Aplcação Computaconal Objetvos Análse de duas varáves quanttatvas: traçar dagramas de dspersão, para avalar possíves relações entre as duas varáves; calcular o coefcente de correlação entre as duas varáves; obter uma reta que se ajuste aos dados segundo o crt éro de mínmos quadrados. Exemplo - Dagramas de Dspersão e Correlação Dados de algumas regões metropoltanas: Porcentagem da população economcamente atva empregada no setor prmáro Índce de analfabetsmo Planlha: analfabetsmo Fonte: Indcadores Socas para Áreas Urbanas, IBGE 1977 ( Bussab) 0

21 Regão Índce Setor Prmáro Analfabetsmo São Paulo,0 17,5 Ro de Janero,5 18,5 Belém,9 19,5 Belo Horzonte 3,3, Salvador,1 6,5 Porto Alegre,3 16,6 Recfe 7,0 36,6 Fortaleza 13,0 38, Fonte: Indcadores Socas para Áreas Urbanas - IBGE Problema Exste alguma rela ção entre a porcentagem da população economcamente atva no setor prmáro e o índce de analfabetsmo? Em caso afrmatvo, como quantfc á-la? Obter o dagrama de dspersão dos dados: Graph > Scatter Plot > Smple 1

22 Dagrama de Dspersão 0 Dagrama de Dspersão Recfe F or taleza Índce de Analfabetsmo S alvad or Belo Horzonte B elém Ro de Jan ero São Paulo Porto Alegre % PEA no Set or Prmáro 1 1 Há dependênca lnear entre as varáves? Coefcente de Correlação 1 n ( x x)( y y) r = n 1 = 1 = n n 1 1 ( x x) ( y y) n 1 = 1 n 1 = 1 S S XY XX S YY Cálculo do Coefcente de Correlação Em Sesson, Edtor > Enable Comando. MTB > Correlaton 'set_prm' 'analfab' Correlatons: set_prm; analfab Pearson correlaton of set_prm and analfab = 0,867 P-Value = 0,005 Ou através de: Stat > Basc Statstcs > Correlaton

23 Correlação Há alguma regão com comportamento dferente Dagrama de D spersão das demas? 0 F o rtale za Rec fe Índce de Analfa betsmo Sa lv ad or 5 Belo Ho rzo nte 0 Belém Ro de Janero São P aulo Po rto Aleg re % PEA no S eto r Prmáro Em caso afrmatvo, retre-a da base de dados e recalcule a correla ção. dados Dagrama de Dspersão 0 Fo rtaleza Rec fe Índce de A nalfabetsmo S alva do r Belo Horzonte Belém Ro de Janero São Paulo Porto Alegre % PEA no Setor Prmáro 1 1 Porto Alegre Correlação sem dados da regão metropoltana de Porto Alegre (lnha 6 da base de dados). MTB > correlaton 'set_prm' 'analfab'; SUBC> exclude; SUBC> rows 6. Correlatons: set_prm; analfab Excludng specfed rows: 6 1 rows excluded Pearson correlaton of set_prm and analfab = 0,908 P-Value = 0,005 3

24 Porcentagem de Varação r( ) r 100 r r: correlação calculada com todas as observações r():correla ção calculada sem a -ésma observação. 0,908 0, =,7% 0,867 Dagrama de Dspersão 0 Fo rtaleza Rec fe Índce de A nalfabetsmo S alva do r Belo Horzonte Belém Ro de Janero São Paulo Porto Alegre % PEA no Setor Prmáro 1 1 Fortaleza Correlação sem dados da regão metropoltana de Fortaleza (lnha 8 da base de dados). MTB > correlaton 'set_prm' 'analfab'; SUBC> exclude; SUBC> rows 8. Correlatons: set_prm; analfab Excludng specfed rows: 8 1 rows excluded Pearson correlaton of set_prm and analfab = 0,858 P-Value = 0,013 porcentagem de varação em relação à correlação ncal: 0,858 0, = 1,0% 0,867

25 Dagrama de Dspersão 0 Fo rtaleza Rec fe Índce de A nalfabetsmo S alva do r Belo Horzonte Belém Ro de Janero São Paulo Porto Alegre % PEA no Setor Prmáro 1 1 Recfe Correlação sem dados da regão metropoltana de Recfe (lnha 7 da base de dados). MTB > correlaton 'set_prm' 'analfab'; SUBC> exclude; SUBC> rows 7. Correlatons: set_prm; analfab Excludng specfed rows: 7 1 rows excluded Pearson correlaton of set_prm and analfab = 0,916 P-Value = 0,00 porcentagem de varação em 0,916 0,867 relação à correlação ncal: 100 = 5,7% 0,867 Dagrama de Dspersão 0 Fo rtaleza Rec fe Índce de A nalfabetsmo S alva do r Belo Horzonte Belém Ro de Janero São Paulo Porto Alegre % PEA no Setor Prmáro 1 1 5

26 Salvador Correlação sem dados da regão metropoltana de Salvador (lnha 5 da base de dados). MTB > correlaton 'set_prm' 'analfab'; SUBC> exclude; SUBC> rows 5. Correlatons: set_prm; analfab Excludng specfed rows: 5 1 rows excluded Pearson correlaton of set_prm and analfab = 0,88 P-Value = 0,009 porcentagem de varação em 0,88 0,867 relação à correlação ncal: 100 = 1,7% 0,867 Resumo Regão Retrada Porto Alegre Fortaleza Salvador Recfe Varação (%),8 1,0 1,7 5,7 Comentáros (1) As regões metropoltanas mas nfluentes no valor da correla ção são Porto Alegre e Recfe. Porto Alegre tem um comportamento dferente, pos sua taxa de analfabetsmo é pequena comparada à sua PEA em relação às demas regões. 6

27 Comentáros () Recfe tem uma taxa de analfabetsmo alta comparada sua PEA com as demas regões. Apesar de ser um ponto afastado dos demas, Fortaleza mantém o padrão da maora das regões. Referêncas Bblografa Recomendada Freund, J. E. e Smon, G. A. (Artmed) Estatístca aplcada: economa, admnstração e contabldade Bussab, W. O. e Morettn, P. A. (Sarava) Estatístca básca 7