ANÁLISE DE REGRESSÃO E CORRELAÇÃO

Transcrição

1 ANÁLISE DE REGRESSÃO E CORRELAÇÃO Quado se cosderam oservações de ou mas varáves surge um poto ovo: O estudo das relações porvetura estetes etre as varáves A aálse de regressão e correlação compreedem a aálse de dados amostras para saer se e como um certo cojuto de varáves está relacoado com outra varável Aálse de regressão: estuda o relacoameto etre uma varável chamada a varável depedete e outras varáves chamadas varáves depedetes Este relacoameto é represetado por um modelo matemátco, sto é, por uma equação que assoca a varável depedete com as varáves depedetes Este modelo é desgado por modelo de regressão lear smples se defe uma relação lear etre a varável depedete e uma varável depedete Se em vez de uma, forem corporadas váras varáves depedetes, o modelo passa a deomar-se modelo de regressão lear múltpla

2 Aálse de correlação: dedca-se a ferêcas estatístcas das meddas de assocação lear que se seguem: coefcete de correlação smples: mede a força ou grau de relacoameto lear etre varáves coefcete de correlação múltplo: mede a força ou grau de relacoameto lear etre uma varável e um cojuto de outras varáves lgadas As téccas de aálse de correlação e regressão estão tmamete

3 REGRESSÃO LINEAR SIMPLES Vamos cosderar a stuação em que duas varáves estão lgadas por um relacoameto lear A relação etre elas pode ser descrta matematcamete através do segute modelo: sedo, Y β + β X+ E X a varável eplcatva ou depedete medda sem erro (ão aleatóra); E a varável aleatóra resdual a qual se procuram clur todas as fluêcas o comportameto da varável Y que ão podem ser eplcadas learmete pelo comportameto da varável X; β e β parâmetros descohecdos do modelo (a estmar) Y a varável eplcada ou depedete (aleatóra); Eemplo: Supohamos que estamos teressados em desevolver um modelo para descrever a temperatura da água do mar A temperatura (Y) depede em parte da profuddade da água (X) Não estamos teressados em fazer ferêcas acerca da profuddade da água, mas sm, em descrever o comportameto da temperatura da água saedo à partda o valor eacto da sua profuddade 3

4 Se farmos a profuddade da água em, a temperatura va varar devdo a outras fluêcas aleatóras Assm, para cada fo estamos a ldar com uma varável aleatóra Y de méda µ Y (µ Y depede de, pos a temperatura méda da água à profuddade, deve de ser dferete da temperatura méda à profuddade j ) Num estudo de regressão temos oservações da varável X:,,, (assume-se que estas oservações são meddas sem erro) Temos etão varáves aleatóras Y, Y,, Y tas que: Y β + β + E,, Admte-se que E, E,, E são varáves aleatóras depedetes de méda zero e varâca σ Etão, para qualquer valor de X, Y é uma varável aleatóra de méda µ β + β e varâca σ Y Y Isto sgfca que para um dado podemos calcular a méda de Y, µ β + β, que depede de, e o desvo padrão σ que ão depede do valor fado σ é uma medda da dspersão dos valores de Y à volta da sua méda forma: µ Y Os dados para a aálse de regressão e correlação smples são da 4

5 (, ), (, ),, (, ) ode é o valor da varável X e a correspodete oservação da varável aleatóra Y (,,) Cada oservação oedece à segute relação: β + β µ Y + ε,, Realzação da va E De facto, o valor oservado de uma varável aleatóra ( ), usualmete dfere da sua méda ( µ ) por uma quatdade aleatóra ε Y Com os dados costro-se o DIAGRAMA DE DISPERSÃO, este deve er uma tedêca lear para que se possa usar a regressão lear Portato este dagrama permte decdr emprcamete se um relacoameto lear etre X e Y deve ser assumdo Por aálse do Dagrama de Dspersão pode-se tamém coclur (emprcamete) se o grau de relacoameto lear etre as varáves é forte ou fraco, coforme o modo como se stuam os potos em redor de uma recta magára que passa através do eame de potos A correlação é tato maor quato mas os potos se cocetram, com pequeos desvos, em relação a essa recta A partr dos dados dspoíves estmamos β e β e susttuímos estes parâmetros teórcos pelas suas estmatvas e para oter a equação de regressão estmada: 5

6 ŷ µ ˆ Y / + Esta equação estma o valor médo de Y para um dado valor de X, mas é usada para estmar o própro valor de Y De facto, o seso comum dz-os que uma escolha razoável para predzer o valor de Y para um dado de X, é o valor médo estmado ˆµ Por eemplo, se Y / quséssemos predzer a temperatura da água do mar a uma profuddade de metros uma escolha lógca é a temperatura méda a esta profuddade: ŷ µ ˆ / + Y Estmação pelo método dos mímos quadrados Cada par (, ) satsfaz a ode + + d d ŷ ( + ) é o -ésmo resíduo, sto é, a dstâca vertcal do poto (, ) à recta de regressão estmada Este método cosste em escolher e de modo a mmzar a soma dos quadrados dos resíduos d Desta forma estamos 6

7 7 essecalmete a escolher a recta que se aproma o mas possível de todos os potos dos dados smultaeamete Soma dos quadrados dos resíduos ) ( d SSE Para determar e de modo a mmzar SSE: ) ( ) ( SSE SSE méda dos valores oservados de X méda dos valores oservados de Y

8 REGRESSÃO LINEAR MÚLTIPLA O modelo de regressão lear múltpla postula a estêca de uma relação lear etre uma varável depedete ou eplcada Y e varáves depedetes ou eplcatvas X,,X a qual pode ser traduzda pela segute epressão: Y β + βx + + βx + E sedo, X,,X as varáves eplcatvas ou depedetes meddas sem erro (ão aleatóras); E a varável aleatóra resdual a qual se procuram clur todas as fluêcas o comportameto da varável Y que ão podem ser eplcadas learmete pelo comportameto das varáves X,,X e os possíves erros de medção; β,β,, β os parâmetros descohecdos do modelo (a estmar) Y a varável eplcada ou depedete (aleatóra); Eemplo: 8

9 Cosderemos as segutes varáves: Y Volume de vedas efectuadas durate um dado período de tempo por um vededor; X Aos de eperêca como vededor; X Score o teste de telgêca Se farmos o valor para os aos de eperêca X (por eemplo 4 aos) e outro valor para o score o teste de telgêca X (por eemplo 3), o volume de vedas va varar devdo a outras fluêcas aleatóras Isto é, vededores com 4 aos de eperêca e score 3 o teste de telgêca, podem apresetar volumes de vedas dferetes Assm, para e fos Y é uma varável aleatóra de méda µ Y Temos valores de cada varável depedete: X X X 9

10 Temos etão varáves aleatóras, Em otação matrcal, Y + β + β + + β E Y + β + β + + β E Y β + β + + β + E Y Y Y Y β E β E + β E E X β Y vector das respostas aleatóras X Matrz sgfcatva do modelo β Vector dos parâmetros do modelo E Vector dos erros aleatóros Outra forma de escrever o modelo é etão, YXβ+E

11 Admte-se que E, E,, E são varáves aleatóras depedetes de méda zero e varâca σ Etão, para quasquer valores,,, fos, Y é uma varável aleatóra de méda σ µ β + β + + β e varâca Y Isto sgfca que para um cojuto de valores fos,,, de X,,X, podemos calcular a méda de Y, µ β + β + + β, que depede de,,, O desvo Y padrão σ é uma medda da dspersão dos valores de Y à volta da sua méda µ Y e é sempre o mesmo quasquer que sejam os valores das varáves depedetes que femos forma: Os dados para a aálse de regressão e correlação múltpla são da (,,,, ), (,,,, ),, (,,,, ) Cada oservação oedece à segute relação: β + β + β µ Y + + β + ε,, Realzação da va E

12 Temos etão o segute sstema de equações, β β β + β + β + β + + β + + β + + β + ε + ε + ε Em otação matrcal o sstema pode ser represetado por, β ε β ε + β ε ε X β vector das oservações da varável depedete X Matrz sgfcatva do modelo β Vector dos parâmetros do modelo ε Vector das realzações da varável aleatóra resdual Isto é, Xβ+ε

13 A partr dos dados dspoíves (oservados) estmamos β,β,, β e susttuímos estes parâmetros teórcos pelas suas estmatvas,,, para oter a equação de regressão estmada: ŷ µ ˆ Y /,,, Esta equação estma o valor médo de Y para um cojuto de valores,,, fo, mas é usada para estmar o própro valor de Y Por eemplo, se quséssemos predzer o volume de vedas de um vededor com 4 aos de eperêca e score 3 o teste de telgêca, uma escolha lógca sera o volume médo de vedas dos vededores com estas característcas: µ ˆ ŷ Y / 4, Estmação pelo método dos mímos quadrados Assocado a cada oservação (,,,, ) está um resíduo, d ŷ ( ) Este método cosste em escolher,,, de modo a mmzar a soma dos quadrados dos resíduos d Soma dos quadrados dos resíduos ( ) SSE d 3

14 4 Para determar,,, de modo a mmzar SSE resolve-se o sstema de equações: SSE SSE SSE Otém-se o vector ( ) X X X t t estmatva para β β β β O estmador é ovamete, ( ) Y X X X ˆ ˆ ˆ ˆ t t β β β β Para (o caso da regressão smples) teríamos, ( ) X X X t t ode X tem apeas coluas (pos ), mas como vmos e podem tamém ser determados por, e Cada coefcete de regressão estmado,,, (estmatva de β ), estma o efeto sore o valor médo da varável depedete Y de uma alteração utára da varável depedete X, matedo-se costates todas as restates varáves depedetes

15 COEFICIENTE DE CORRELAÇÃO E DE DETERMINAÇÃO Seja a méda dos valores oservados para a varável depedete Para uma qualquer oservação tem-se: ( ) ( ŷ ) + (ŷ ) Pode-se mostrar que elevado ao quadrado amos os memros e somado para todas as oservações resulta que: ( ) ( ŷ ) + (ŷ ) SST SSE + SSR SST Soma dos quadrados totas SSE Soma dos quadrados dos resíduos SSR Soma dos quadrados da regressão Isto é: Varação total Varação que o Varação de Y à volta da sua méda ajustameto ão cosegue eplcar + eplcada pelo ajustameto Coefcete de determação r : 5

16 r SSR SST SST SSE SST SSE SST r é a proporção de varação da varável depedete Y que é eplcada pelo modelo, sto é pela equação de regressão ajustada, ou equvaletemete, é a proporção da varação de Y eplcada em termos leares pelas varáves depedetes Note que: r ; r (prómo de ) sgfca que grade parte da varação de Y é eplcada learmete pelas varáves depedetes r (prómo de ) sgfca que grade parte da varação de Y ão é eplcada learmete pelas varáves depedetes Neste setdo este coefcete pode ser utlzado como uma medda da qualdade do ajustameto, ou como medda da cofaça depostada a equação de regressão como strumeto de prevsão: r modelo lear muto pouco adequado r modelo lear astate adequado À raz quadrada de r dá-se o ome de: 6

17 coefcete de correlação smples (se está evolvda apeas uma varável depedete) coefcete de correlação múltplo (se estão evolvdas pelo meos varáves depedetes) Coefcete de Correlação Smples r ± r Y È uma medda do grau de assocação lear etre as varáves X e - r ; r> (postvo) dca que as duas varáves tedem a varar o mesmo setdo, sto é, em méda um aumeto a varável X provocará um aumeto a varável Y; r< (egatvo) dca que as duas varáves tedem a varar em setdo verso, sto é, em méda um aumeto a varável X provocará uma dmução a varável Y; r e r- dcam a estêca de uma relação lear perfeta etre X e Y, postva e egatva respectvamete; 7

18 r dca a estêca de qualquer relação ou tedêca lear etre X e Y podedo o etato estr uma relação ão lear etre elas Isto é, é possível que as duas varáves estejam fortemete assocadas (movmetos uma varável estão assocados a movmetos a outra) sem que o relacoameto seja lear r pode ser calculado a partr da segute fórmula: r ± r ± + com o sal do declve Coefcete de Correlação Múltplo È uma medda do grau de assocação lear etre Y e o cojuto de varáves X, X,,X r ; r dca a estêca de uma assocação lear perfeta, sto é, Y pode ser epresso eactamete como comação lear de X, X,,X ; r dca a estêca de uma relação lear etre a varável depedete Y e o cojuto de varáves depedetes X, X,,X 8

19 PROPRIEDADES DOS ESTIMADORES DOS MÍNIMOS QUADRADOS E TESTES DE HIPÓTESES O método dos mímos quadrados forece estmatvas potuas,,, para β, β,, β Os estmadores que forecem estas estmatvas são: β ˆ βˆ ˆ β β ˆ t t ( X X) X Y Se os erros E além de serem depedetes com valor esperado ulo e varâca costate - σ, segurem uma dstrução ormal, etão pode-se mostrar que os estmadoresβ ˆ, βˆ,, βˆ são tas que: β ˆ,,; E( ) β ˆ c Var( β ) σ ode c é o elemeto dagoal da lha + da matrz ( X t X) Na regressão smples estas varâcas podem ser dadas por: Var ( βˆ ) σ e Var( βˆ ) Cada ˆβ tem dstrução ormal: ˆβ ~ N(β, σ σ c) ; 9

20 Como, em geral, σ é descohecdo estmamos ( ˆ ) Var β por ˆ S β que se otém susttudo as formulas aterores σ pelo seu estmador, Etão, S SSE Sβˆ S c SSE c

21 Testes sore os coefcetes de regressão Ocasoalmete, poderá ser de suspetar que uma varável eplcatva partcular ão é muto útl, sto é, que a sua fluêca sore a varável depedete ão é sgfcatva Para saer se é este o caso testamos a hpótese ula de que o coefcete para esta varável é ulo: H H : β : β Saemos que ˆβ ~ N(β, σ c ), etão βˆ σ β c ~ N(,) Como σ é descohecdo, susttuímos σ pelo seu estmador vdo, βˆ β S βˆ SSE S βˆ S β c ~ t A estatístca do teste, se H é verdadera, é: βˆ S βˆ βˆ S c ~ t

22 Se H for rejetada etão temos evdêca de que β, sto é a varável eplcatva X é útl a predção do valor da varável depedete Se H ão for rejetada etão a varável eplcatva X é geralmete retrada da equação de regressão pos ão fluêca sgfcatvamete a varável resposta Y Mas geralmete, podemos testar a hpótese ula de que o coefcete seja gual a um determado valor β : H H : β : β β β A estatístca do teste, se H é verdadera, é: βˆ β S βˆ βˆ S β c ~ t Poderam tamém ser coduzdos testes ulateras em vez de testes lateras: H H : β : β β > β H H : β : β β < β

23 Teste F para testar a sgfcâca da regressão Este teste serve para saer se a regressão é ou ão sgfcatva A hpótese ula é: H : a equação de regressão ão eplca a varação a varável resposta ou equvaletemete, H : ão este relação lear etre a varável depedete e o cojuto de varáves depedetes utlzadas Matematcamete: H H : β β β : pelo meos um β Pode-se mostrar que se H for verdadera, a estatístca do teste SSR SSR F ~ F SSE ( ) S Note que, SSR SSR SSR F SSE ( ) SSE SSE SST SST R R 3

24 Rejetamos H para valores grades da estatístca do teste F À parte da costate a estatístca F é a razão etre a varação eplcada e a ão eplcada em Y É atural que dgamos que a regressão é sgfcatva só quado a proporção da varação eplcada é grade Isto ocorre só quado a razão F é grade Por esta razão devemos sempre rejetar H para valores de F muto grades Se H ão for rejetada etão é o mesmo que dzer que o cojuto de varáves eplcatvas cotruem pouco para a eplcação da varação da varável depedete Na regressão smples para testar a sgfcâca da regressão cosderamos as hpóteses, H H : β : β e portato a estatístca teste a usar pode ser, βˆ ~ t Sˆ So H β 4

25 Os resultados descrtos podem ser coveetemete resumdos a taela da ANOVA segute: Fote de Soma dos Graus de Quadrados Razão F varação Quadrados Lerdade Médos Devdo à Regressão SSR ( ) SSR Devdo aos resíduos SSE ( ) -- SSE S F SSR S Total SST ( ) - 5