Regressao Simples. Parte I: Introdução

Transcrição

1 Regressao Smples Parte I: Itrodução

2 Curso A aplcação da aálse de regressão requer cohecmeto teórco e eperêca com aálse de dados. Este curso procura combar a teora estatístca com a prátca, dado mas efâse a aplcação. cobrr ão apeas tópcos covecoas a regressão, mas por eemplo, modelos de regressão com varáves predtoras qualtatvas, regressão ão lear.

3 Termo Regressão O termo regressão fo empregado pela prmera vez por Fracs Galto (8-9) um estudo da relação etre as alturas dos pas e flhos. Os modelos de regressão são largamete utlzados em todas as áreas do cohecmeto, tas como: computação, admstração, egeharas, bologa, agrooma, saúde, socologa, etc. Os modelos de regressão usam varáves cotíuas ou dscretas como sedo as de teresse ou objetvo (target). Desejamos apromar uma fução de varáves de etrada (puts) aos dados. O prcpal objetvo dos modelos de regressão é modelar o relacoameto etre dversas varáves predtoras e uma varável resposta. Este relacoameto pode ser por uma equação lear ou uma fução ão lear.

4 Uso de Regressão em Meração de Dados Etrar modelos de teresse em grades bacos de dados. Os modelos São chamados de modelos predtvos, sto é, são usados para predzer um valor umérco cotíuo que está assocado a um regstro do baco de dados. Eemplo: o tempo até o abadoo de um determado clete (Aálse de sobrevvêca) ou a probabldade do clete saldar um empréstmo (regressão logístca). É uma área (regressão e data mg) recete, ode pode ser desevolvda pesqusa o setdo de melhorar a performace dos métodos tradcoas de regressão em grades bases de dados. Pode-se aplcar as metodologas já desevolvdas.

5 Relações Todos os das, a mída se ecarrega de formar resultados de aálses e pesqusas do tpo: O valor da empresa depede do lucro futuro, a taa de juro depede da flação. O saláro depede da escolardade do trabalhador etc.

6 Eemplo O objetvo do dretor de vedas de uma rede de varejo é aalsar a relação etre o vestmeto realzado em propagada e as vedas das lojas da rede, para realzar projeções de vedas de futuros vestmetos em propagada. A tabela segute regstra uma amostra represetatva etraída dos regstros hstórcos das lojas de tamaho equvalete, com os valores de Propagada e Vedas em mlhões. Aalsar a possbldade de defr um modelo que represete a relação etre as duas varáves ou amostras.

7 Solução Para aalsar a relação etre as duas varáves fo costruído o gráfco de dspersão das vedas auas em fução do vestmeto aual em propagada. Nesse gráfco pode-se ver que, os últmos dez aos, o aumeto de vestmeto em propagada gerou aumeto das vedas, e vce-versa. Vedas Propagada

8 Solução O objetvo deste Eemplo é ajustar uma reta a partr dos valores das amostras retradas da população, cosderado que o vestmeto em propagada é a varável depedete, e as vedas auas, a varável depedete y. Uma prmera forma de fazer sso é ajustar maualmete essa reta tetado equlbrar os potos acma e abao dessa reta, como fo feto o gráfco deste Eemplo. Como esse procedmeto permte o ajuste de dversas retas, é ecessáro estabelecer um objetvo de efcêca de ajuste possível de medr, como é mostrado a segur.

9 Modelo do Ajuste de uma Reta O ajuste de uma reta é um modelo lear que relacoa a varável depedete y e a varável depedete por meo da equação de uma reta do tpo: y + É mportate observar que os potos ão caem eatamete a reta e a equação deve ser modfcada. A dfereça é chamada de erro é uma varável aleatóra e y ( + ) Etão o modelo mas pláusível é: y + + e Se farmos o valor de e observar um valor de y e supormos que o erro e é um compoete aleatóro com méda zero e varaca costate σ, méda da varável resposta dado é e a varâca de y dado é: E ) ( y / ) E( + + e + V ( y / ) V ( e σ + + )

10 Eemplo Este uma dstrbução de y a cada valor de e a varâca dessa dstrbução é costate

11 Coleta de dados Checagem prelmar da qualdade dos dados Coleta e preparação dos dados Estmação dos parâmetros do modelo Costrução do Modelo Meddas corretvas Aálse de resíduos e dagóstco São ecessáras Meddas Corretvas? Não Selecoe modelos de pesqusa Refameto e seleção de modelos Checar valdade Modelo fal De regressão Valdação do modelo

12 Coleta e Preparação dos dados Coletados os dados Orgazar, resumr, eplorar, Verfcar erros grosseros, outlers Sempre que possível o pesqusador deve estar presete a coleta dos dados Os erros devem ser corrgdos ates de car a costrução do modelo (crítco em grades bases de dados)

13 Métodos de Coleta Dados hstórcos: São dados que uca foram coletados Iformações coveetes para coletar Sofre erros de trascrção Estudos observacoas Geralmete X e Y são varáves aleatóras. Assegura acuráca e cofabldade Mmza outler Colaredade Epermetal Caracterzam-se por apresetarem mapulação de terveções dretas sobre os dvíduos em estudo. Eemplo típco esao clíco. Geralmete X (doses, tempo) é determado pelo pesqusador X é fo. Y está sujeto à varações físcas, bológcas, de meddas, etc. Y é uma varável aleatóra. Elma colaredade

14 Cosderações Dos modelos: X fo: ajusta-se um modelo para a méda da v. aleatóra Y como uma fução de X fo (lha reta). Estma-se os parâmetros do modelo para caracterzar o relacoameto. X aleatóro: caracterza-se o relacoameto (lear) etre X e Y através da correlação etre elas e estma-se o parâmetro de correlação. Sutleza: em stuações ode X é uma varável aleatóra, mutos vestgadores desejam ajustar um modelo de regressão tratado X como fo. Isto porque, embora o coef. de correlação descreve o grau de assocação etre X e Y, ele ão caracterza o relacoameto através de um modelo de regressão. Se X e Y são varáves aleatóras, e ós ajustarmos um modelo de regressão para caracterzar o relacoameto, teccamete, todas as aálses posterores são cosderadas como sedo codcoas aos valores de X presetes o estudo. Isto sgfca que ós cosderamos X fo, embora ele ão seja. Etretato, é váldo fazer-se prevsões. Dado (codcoal) que se observa um partcular valor de altura de plata, ele quer obter o melhor valor para produção. O pesqusador ão está dzedo que ele pode cotrolar as alturas e, assm, fluecar as produções.

15 Crostrução do modelo Dados fdedgos Pesar a costrução do modelo Dagóstcos: Dagrama de dspersão, ajuste de fuções de regressão para verfcar relacoametos, terações, ecessdade de trasformações. Usar a eperêca do vestgador. ) a forma fucoal de como as varáves predtoras devem etrar o modelo de regressão; ) terações mportates que devem ser cluídas o modelo.

16 Cosderações Um modelo com poucas varáves é mas fácl de trabalhar e eteder A preseça de varáves correlacoadas mplca um acréscmo da varâca amostral dos coefcetes de regressão, dmudo a capacdade predtva e, porado, também o poder descrtvo A capacdade predtva do modelo dmu quado varáves eplaatóras ão relacoadas com a varável resposta são matdas o modelo, dado que as outras varáves eplaatóras estão o modelo. A elmação de varáves predtoras mprescdíves prejudca o modelo. O modelo que cotver mas varáves do que o ecessáro a varâca das estmatvas dos parâmetros será grade em comparação com modelos mas smples.

17 Refameto do Modelo Gráfco de resíduos versus terações e/ou termos quadrátcos, cúbcos, etc. ada ão cluídos o modelo; é útl para detfcar termos que podem melhorar o ajuste do modelo. Aplca regressão stepwse (processo automátco de seleção) Verfcar o úmero de v. regressoras retdas o modelo. Ecotrar outros possíves modelos

18 Valdação do Modelo Refere-se a qualdade (establdade e razoabldade) dos coefcetes de regressão; ao bom poder descrtvo (plausível, útl) da parte fucoal do modelo. - Coleta de ovos dados (dados depedetes) para checar o modelo e seu poder predtvo; - Comparar os resultados com valores teórcos esperados, resultados empírcos aterores ou resultados smulados; 3 - Usar uma parte da amostra para checar o modelo e o poder predtvo do mesmo.

19 Modelo: sem especfcação de dstrbução de ormaldade Cosdere o modelo com uma varável predtora e que a fução de regressão é lear. O modelo é dado por: Y + X + ε,,..., Y é o -ésmo valor da varável resposta; e são os parâmetros (coefcetes de regressão); X é o -ésmo valor da varável predtora (é uma costate cohecda, fo). ε é o termo do erro aleatóro com E(ε) e σ(ε) σ; ε e εj ão são correlacoados σ(ε, εj) para todo,j; j; (covarâca é ula).,,...,. Covarâca (o resultado em qualquer epermeto ão tem efeto o termo do erro de qualquer outro epermeto)

20 Iterpretação dos parâmetros E(y / ) + θ Δ Δy Δy Δ + (tercepto); quado a regão epermetal clu X, é o valor da méda da dstrbução de Y em X, ão tem sgfcado prátco como um termo separado (solado) o modelo; (clação) epressa a taa de mudaça em Y, sto é, é a mudaça em Y quado ocorre a mudaça de uma udade em X. Ele dca a mudaça a méda da dstrbução de probabldade de Y por udade de acréscmo em X.

21 Método dos Mímos Quadrados De acordo com o método de mímos quadrados, os estmadores de e são os valores e, respectvamete, que mmzam o crtéro S para a amostra (X,Y ),..,(X,Y ). Dervado e gualado a zero ( ) X Y S ), ( ( ) X Y S ( ) X Y S + + y y

22 Método dos Mímos Quadrados y y y XX S ) ( A solução para as duas equações ormas são: XX XY S S XY y S ) ( ) ( y y y e + Resíduo y + Modelo ajustado

23 Propredades dos estmadores de mímos quadrados São combações leares das observações. São estmadores ão evesados. Teorema de Gauss-Markov: assumdo erro com méda zero e varâca costate para o modelo de regressão, os estmadores são ão evesados e de varâca míma comparado com os outros estmadores ão tedecosos que são combações leares das observações. A soma dos resíduos do modelo que cotém o tercepto é sempre zero. A soma dos valores observados de Y são guas a soma dos valores ajustados de Y. A lha de regressão sempre passa através do cetrode e e y e (, y)

24 Estmatva de σ É usada para costrur tervalos de cofaça pertete ao modelo de regressão. Idealmete sso é feto depedetemete da adequacdade do modelo ajustado. Isto é quado estem dversas observações de y para pelo meos um valor de. Quado esta abordagem ão pode ser obtda etão estma-se pela soma de quadrados dos resíduos SS Re s e ( y y ) Podemos reescrever essa fórmula por Mas Assm Tem-se que y y ( y y) SST S SSRes SST XY SS Re s y y SS S E( SSRe s ) ( ) σ Re s σ MSRe s XY

25 Forma alteratva do modelo Supoha que o varável regressora é redefda A fm de mater os mesmos valores ajustados, o modelo de regressão é y + ) + + ε ( + ) + ( ) + ε ( ' y + ) + ε ( A relação etre o terceptos orgal e o ovo é ' + O estmador da clação ão é afetado. Além dsso os estmadores são ão correlacoados. Isso tora algumas aplcações do modelo mas fáces tal como ecotrar tervalos de cofaça da méda de Y. Falmete, o modelo ajustado é y y + ( )

26 Testado Hpótese sobre os coefcetes (parâmetros ) É ecessáro supor que erros tem dstrbução ormal, são depedetes e tem méda zero e varâca costate Assm os valores observados y são ormalmete e depedete dstrbuídos com méda e varâca costate Assm temos Hpóteses H H a : : Usado os resultados acma temos Se a varâca ão é cohecda Rejeta H se (, ND σ / S XX > t /, t ) e NID(, σ ) y NID( +, σ ) Z σ / S N XX t MSRe s / S XX (,) t α Erro padrão da estmatva

27 Testado Hpótese sobre os coefcetes (parâmetros ) Hpóteses H a : Se a varâca ão é cohecda t Rejeta H se H : t MSRe s (/ + / S XX ) t > tα /, Erro padrão do tercepto