Aálse de Regressão Prof. Paulo Rcardo B. Gumarães. Itrodução Os modelos de regressão são largamete utlzados em dversas áreas do cohecmeto, tas como: computação, admstração, egeharas, bologa, agrooma, saúde, socologa, etc. O prcpal objetvo desta técca é obter uma equação que explque satsfatoramete a relação etre uma varável resposta e uma ou mas varáves explcatvas, possbltado fazer predção de valores da varável de teresse. Este relacoameto pode ser por uma equação lear ou uma fução ão lear, coforme fgura abaxo: Fgura : formas leares e ão leares de relação etre pares de varáves LINEAR NÃO LINEAR. Regressão lear smples Se uma relação lear é válda para sumarzar a depedêca observada etre duas varáves quattatvas, etão a equação que descreve esta relação é dada por: Y a + b X Esta relação lear etre X e Y é determístca, ou seja, ela afrma que todos os potos caem exatamete em cma da reta de regressão. No etato este fato raramete rá ocorrer, ou seja, os valores observados ão caem todos exatamete sobre esta lha reta. Exste uma dfereça etre o valor observado e o valor forecdo pela equação. Esta dfereça é deomada erro e é represetada por ε, é uma varável aleatóra que quatfca a falha do modelo em ajustar-se aos dados exatamete. Tal erro pode ser devdo ao efeto, detre outros, de varáves ão cosderadas e de erros de medção. Icorporado esse erro à equação acma temos: Y a + bx +ε
que é deomado modelo de regressão lear smples. a e b são os parâmetros do modelo. A varável X, deomada varável regressora, explcatva ou depedete, é cosderada uma varável cotrolada pelo pesqusador e medda com erro desprezível. Já Y, deomada varável resposta ou depedete, é cosderada uma varável aleatóra, sto é, exste uma dstrbução de probabldade para Y em cada valor possível de X. É muto freqüete, a prátca, ecotrarmos stuações em que Y teha dstrbução Normal. Este é um dos prcpas pressupostos para aplcação desta técca. Exemplo : O preço de aluguel de automóves de uma agêca é defdo pela segute equação: Y 8 + 0.5 X, ode Y Taxa de aluguel (R$); X dstâca percorrda (km). Assm, a taxa de aluguel ca com o preço de R$ 8,00 e va aumetado à medda que a dstâca percorrda aumeta. Assm, se fosse percorrda uma dstâca de 00 km, a taxa de aluguel sera de 8 + 0,5 x 00 R$ 3,00. No etato, como essa equação fo obtda baseada em dados de automóves de dversas marcas certamete haverá uma varação o preço, por causa de dversos outros fatores. Assm, essa equação terá uma margem de erro, que é devda a esses úmeros fatores que ão foram cotrolados. Exemplo : Um pscólogo vestgado a relação etre o tempo que um dvíduo leva para reagr a um certo estímulo e sua dade obteve os segutes resultados: Tabela : Idade (em aos) e tempo de reação a um certo estímulo (em segudos) Y - Tempo de reação (segudos) X - Idade (em aos) 96 0 9 0 06 0 00 0 98 5 04 5 0 5 0 5 6 30 06 30 09 30 00 30 35 05 35 8 35 08 35 3 40 40 7 40 7 40
Fgura : dagrama de dspersão etre a dade (X) e o tempo de reação (Y) 40 30 0 TEMPO 0 00 90 80 5 0 5 30 35 40 45 IDADE A partr da represetação gráfca desses dados, mostrada a fgura acma, é possível vsualzar uma relação lear postva etre a dade e o tempo de reação. O coefcete de correlação de Pearso para esses dados resultou em r 0,768, bem como seu respectvo teste de sgfcâca em t cal 5,09, que comparado ao valor tabelado t tab, 5%,, forece evdêcas de relação lear etre essas duas varáves, ou seja, há evdêcas de cosderável relação lear postva etre dade e tempo de reação. Podemos, etão, usar um modelo de regressão lear smples para descrever essa relação. Para sso, é ecessáro estmar, com base a amostra observada, os parâmetros descohecdos a e b deste modelo. O método de estmação deomado Mímos Quadrados Ordáros (MQO) é freqüetemete utlzado em regressão lear para esta faldade e será apresetado mas adate. Cotuado a aálse dos dados do exemplo, é possível obter o segute modelo de regressão lear smples ajustado: Y 80,5 + 0,9X Fgura 3: reta de regressão ajustada aos dados
TEMPO 40 30 0 0 00 90 80 5 0 5 30 35 40 45 IDADE Como a varação dos dados em X ão clu x 0, ão há terpretação prátca do coefcete a 80,5. Por outro lado, b 0,9 sgfca que a cada aumeto de ao a dade das pessoas, o tempo de reação médo (esperado) aumeta em 0,9 segudos. Assm, se: x 0 aos, teremos y 98,5 seg. Para x aos, y 99,4 seg. x aos, y 00,3 seg. Assm, de ao para ao, o aumeto o tempo de reação esperado é de 0,9 segudos. Exemplo 3: Uma certa peça é maufaturada por uma compaha, uma vez por mês, em lotes que varam de tamaho de acordo com as flutuações a demada. A tabela abaxo cotém dados sobre tamaho do lote e úmero de horas gastas a produção de 0 recetes lotes produzdos sob codções smlares. Estes dados são apresetados grafcamete a fgura 4, tomado-se horas-homem como varável depedete ou varável resposta (Y) e o tamaho do lote como varável depedete ou predtora (X). Tabela - Tamaho de lote e úmero de horas gastas a produção de cada lote. Lote () Horas (Y ) Tamaho do lote (X ) 73 30 50 0 3 8 60 4 70 80 5 87 40 6 08 50 7 35 60 8 69 30 9 48 70 0 3 60 Fgura 4 - Relação estatístca etre Y e X, referete aos dados da tabela.
DIAGRAMA DE DISPERSÃO ENTRE TAMANHO DO LOTE (X) E HORAS(Y) 00 50 HORAS 00 50 0 0 0 40 60 80 00 TAMANHO DO LOTE A fgura sugere claramete que há uma relação lear postva etre o tamaho do lote e o úmero de horas, de modo que, maores lotes tedem a correspoder a maores úmeros de horas-homem cosumdas. Porém, a relação ão é perfeta, ou seja, há uma dspersão de potos sugerdo que alguma varação o úmero de horas ão é depedete do tamaho do lote. Por exemplo, dos lotes de 30 udades ( e 8) demadaram quatdades um pouco dferetes de horas. Na fgura fo traçada uma lha (reta) de relacoameto descrevedo a relação estatístca etre horas e tamaho do lote. Ela dca a tedêca geral da varação em horas-homem quado há trocas o tamaho do lote. Observa-se que grade parte dos potos da fgura ão ca dretamete sobre a lha de relacoameto estatístco. A dspersão dos potos em toro da lha de relacoameto represeta a varação em horas que ão é assocada ao tamaho do lote, e que é usualmete cosderada aleatóra. Relações estatístcas são geralmete útes, mesmo ão tedo uma relação fucoal exata. 3. Método dos mímos quadrados ordáros (MQO) Para estmar os parâmetros do modelo é ecessáro um método de estmação. O método estatístco utlzado e recomedado pela sua precsão, é o método dos mímos quadrados que ajusta a melhor equação possível aos dados observados. Com base os pares de observações (y,x ), (y,x ),..., ( y, x ), o método de estmação por MQO cosste em escolher a e b de modo que a soma dos quadrados dos erros, ε (,..., ), seja míma. Para mmzar esta soma, que é expressa por: SQ ε ( y a bx ) I devemos, calmete, dferecar a expressão com respeto a a e b e, em seguda, gualar a zero as expressões resultates. Feto sso, e após algumas operações algébrcas, os estmadores resultates são:
b x y yx x x a y bx ode y é a méda amostral dos y s e x a méda amostral dos x s. Logo, E(Y x) a + bx é o modelo de regressão lear smples ajustado, em que E(Y x), deotado também Yˆ por smplcdade, é o valor médo predto de Y para qualquer valor X x que esteja a varação observada de X. No exemplo, as estmatvas dos parâmetros resultaram em a 80,5 e b 0,9. Veja como esses valores foram obtdos: X 600 Y 50 0 X Y 65400 X 30 Y 07, 5 X 9000 b x y yx 65400 0.07,5.30 x x 9000 0.(30) 900 000 0,9 a y bx 07,5 0,9.30 80,5 No exemplo 3 as estmatvas dos parâmetros a e b são: X 500 Y 00 0 X Y 6800 X 50 Y 0 X 8400 b x y yx 6800 0.0.50 6800 x x 8400 0.(50) 3400 a y β x 0.50 ˆ 0
Assm, a equação de regressão lear etre X e Y será dada por: Y 0 + X + ε Iterpretado o modelo acma, poderemos observar que, aumetado o tamaho do lote em uma udade, o úmero de horas gastas a produção será aumetado de horas. Obtedo a reta de regressão com ajuda da plalha Excel, teremos que selecoar a opção REGRESSÃO o módulo de Aálse de dados (em ferrametas): A saída forecda pela plalha é a segute:
Observe que o Excel forece, além dos coefcetes de correlação, a Aova da regressão para testar a sua sgfcâca e os coefcetes estmados com seus respectvos testes de sgfcâca. 4. Aálse de Varâca da Regressão Para verfcar a adequação do modelo aos dados, algumas téccas podem ser utlzadas. A aálse de varâca da Regressão é uma das téccas mas usadas. Assm, podemos aalsar a adequação do modelo pela ANOVA da regressão a qual é geralmete apresetada como a tabela abaxo: Fote de Varação g.l. S.Q. Q.M. F p-valor Regressão p- SQreg SQreg/p- QMreg/QMres Resíduos -p SQres SQres/-p Total - SQtotal Sqtotal/- Ode: - SQreg soma dos quadrado devdo à regressão: SQreg ( Y ) y) - SQres soma dos quadrado devdo aos erros:
) SQres SQtotal Sqreg ( y Y ) - SQtotal soma dos quadrados totas: - p úmero de varáves do modelo - umero de observações. SQtotal ( y y) Caso o p-valor seja feror ao ível de sgfcâca estabelecdo etão cosderamos a regressão como sgfcatva. Uma maera auxlar de medr o gaho relatvo troduzdo pelo modelo é usar o coefcete de determação o qual é defdo por R que é calculado por SQreg/SQtotal. Exemplo : Para os exemplos e 3, a tabela da ANOVA sera costruída de segute forma: SQreg ( Y ) y) (80,5 + 0,9x 07,5) 80 Para obter a soma de quadrados acma, deveremos substtur em x todos os valores de Idade da tabela. SQtotal ( y y) ( y 07,5) 373 Para obter a soma de quadrados acma, deveremos substtur em y todos os valores de tempo de reação da tabela. SQres 373 80 563 Fote de Varação g.l. S.Q. Q.M. F p-valor Regressão 80 80 5,90 <0,0 Resíduos 8 563 3,7 Total 9 373 O que dca que a regressão etre X e Y é sgfcatva. O modelo Y 80,5 +0,9 X pode ser cosderado adequado para realzar predções de Y. O coefcete r de determação para esse modelo é de 0,59 o que represeta um poder apeas razoável de explcação dos valores de tempo de reação pela Idade. Muto provavelmete outras varáves estejam fluecado o tempo de reação. Exemplo 3:
SQreg ( Y ) y) (0 + x 0) 3600 Para obter a soma de quadrados acma, deveremos substtur em x todos os valores do tamaho do lote da tabela. SQtotal ( y y) ( y 07,5) 3660 Para obter a soma de quadrados acma, deveremos substtur em y todos os valores de úmero de horas gastas da tabela. SQres 3660 3600 60 Fote de Varação g.l. S.Q. Q.M. F p-valor Regressão 3600 3600 83,33 <0,0 Resíduos 8 60 7,5 Total 9 3660 O que dca que a regressão etre X e Y é sgfcatva. O modelo Y 0 + X pode ser cosderado de boa qualdade para realzar predções de Y. O coefcete r de determação para esse modelo é de 0,996. 5. Erro padrão de estmação e tervalos de predção O erro padrão da estmação é um desvo padrão codcoal, a medda em que dca o desvo padrão da varável depedete Y, dado um valor específco da varável depedete X. O erro padrão baseado em dados amostras é dado por: σ ˆ u ( y Yˆ ) Para fs de cálculo, é mas coveete uma versão alteratva da fórmula: ode S y ( y y ) σ ˆ u S y ( r ) O erro padrão pode ser usado para estabelecer um tervalo de predção para a varável depedete, dado um valor específco da varável depedete.
Uma vez que o erro padrão de estmação está baseado em dados de amostra, é aproprado o uso da dstrbução t de Studet com - graus de lberdade. Assm, um tervalo de predção para a varável depedete Y, em aálse de regressão smples é: ^ [ Y ± ˆ. σ t ; α / u ] Para os dados do exemplo teríamos o erro padrão da estmação dado por: Dado que S y 68,65 e r 0,59 etão ˆ σ r u S y ( ) 68,65( 0,59 ) 6, 683 E o tervalo de predção, com 95% de cofaça, para um valor de Y sera: ^ [ Y ± t. ˆ ; α / σ u ] [ ±,0. 6, 68 ] [ 97,96 ; 6, 03 ] Ou seja, para uma pessoa com 35 aos, o tempo de reação predto estara etre 97,96 e 6,03 segudos, com 95% de cofaça. Para os dados do exemplo 3 teríamos o erro padrão da estmação dado por: Dado que S y 366 e r 0,996 etão ˆ σ u S y r ( ) 366( 0,996 ) 3, 3 E o tervalo de predção, com 95% de cofaça, para um valor predto de Y 0 sera: ^ ± t ; α / u [ Y. ˆ σ ] [0 ±,3.3,3] [ 0,37 ; 7,6 ] Ou seja, para um lote de tamaho 50, seram ecessáras de 0,37 a 7,6 horas, com 95% de cofaça. 6. Aálse de Resíduos Os desvos e y - ŷ (,..., ) são deomados resíduos e são cosderados uma amostra aleatóra dos erros. Por este fato, uma aálse gráfca dos resíduos é, em geral, realzada para verfcar as suposções assumdas para os erros ε.
Para verfcação dos pressupostos ecessáros para ajuste de um modelo de regressão é ecessáro realzar uma Aálse de Resíduos. Os 3 tpos de resíduos mas comumete utlzados são: Resíduos brutos; Resíduos padrozados; Resíduos estudetzados. 7. Amplado seus cohecmetos Aálse de Regressão Múltpla A regressão múltpla evolve três ou mas varáves, ou seja, uma úca varável depedete, porém duas ou mas varáves depedetes (explcatvas). A faldade das varáves depedetes adcoas é melhorar a capacdade de predção em cofroto com a regressão lear smples. Mesmo quado estamos teressados o efeto de apeas uma das varáves, é acoselhável clur as outras capazes de afetar Y, efetuado uma aálse de regressão múltpla, por razões: a) Para reduzr os resíduos. Reduzdo-se a varâca resdual (erro padrão da estmatva), aumeta a força dos testes de sgfcâca; b) Para elmar a tedecosdade que podera resultar se smplesmete gorássemos uma varável que afeta Y substacalmete. Uma estmatva é tedecosa quado, por exemplo, uma pesqusa em que se deseja vestgar a relação etre a aplcação de fertlzate e o volume de safra, atrbuímos erroeamete ao fertlzate os efetos do fertlzate mas a precptação pluvométrca. O deal é obter o mas alto relacoameto explaatóro com o mímo de varáves depedetes, sobretudo em vrtude do custo a obteção de dados para mutas varáves e também pela ecessdade de observações adcoas para compesar a perda de graus de lberdade decorrete da trodução de mas varáves depedetes. A equação da regressão múltpla tem a forma segute: Y a + b x + b x + +b k x k + e, ode: a tercepto do exo y; b coefcete agular da -ésma varável; k úmero de varáves depedetes. Equato uma regressão smples de duas varáves resulta a equação de uma reta, um problema de três varáves resulta um plao, e um problema de k varáves resulta um hperplao. Também a regressão múltpla, as estmatvas dos mímos quadrados são obtdas pela escolha dos estmadores que mmzam a soma dos quadrados dos desvos etre os valores observados Y e os valores ajustados Yˆ.
Na regressão smples: b aumeto em Y, decorrete de um aumeto utáro em X. Na regressão múltpla: b aumeto em Y se X for aumetado de udade, matedo-se costates todas as demas varáves X j. extraído de http://www.erudto.fea.usp.br/portalfea/ 8. Atvdades de Aplcação. Os ecargos dáros com o cosumo de gás propao (Y) de uma empresa depedem da temperatura ambete (X). A tabela segute apreseta o valor desses ecargos em fução da temperatura exteror: Temperatura ( o C) 5 0 5 0 5 Ecargos (dólares) 0 7 3 9 Seja Y β 0 + β X +ε o correspodete modelo de regressão lear. (a) Determe, usado o método dos mímos quadrados, a respectva reta de regressão e represete-a o dagrama de dspersão. (b) Quatfque a qualdade do ajuste obtdo e terprete. (c) Determe um tervalo de cofaça a 95% para os ecargos médos com gás propao um da em que a temperatura ambete é de 7 o C.. Supoha que um aalsta toma uma amostra aleatóra de 9 carregametos fetos recetemete por camhões de uma compaha. Para cada carregameto regstra-se a dstâca percorrda em Km (X) e o respectvo tempo de etrega (Y). Obteve-se: (a) Estme, usado o modelo de regressão lear, o tempo esperado de etrega para uma dstâca de 050 Km. (b) Comete a afrmação o tempo de etrega é explcado em aproxmadamete 94% pela dstâca percorrda. 3. Seja Y o úmero de chamadas telefôcas ateddas um determado servço de atedmeto a cletes decorrdos X mutos após as 8h30. Em determado da da semaa observaram-se os segutes pares de valores: Tempo após 8h30 (m) 3 4 5 6 Número de chamadas ateddas 5 0
Seja Y β 0 + β X +ε o correspodete modelo de regressão lear. (a) Estme β 0 e β usado o método dos mímos quadrados e represete a correspodete reta de regressão o dagrama de dspersão. (b) Determe o correspodete coefcete de determação, bem como o coefcete de correlação; como terpreta os valores obtdos? (c) Estme a varâca do erro. (d) Seja E [Y ()] E [Y x ]. Estme E [Y ()]; determe um tervalo de cofaça para E [Y ()] com 95% de cofaça.