A forma geral de um modelo de regressão linear para uma amostra de tamanho n e p variáveis é apresentada a seguir.

Transcrição

1 2 Regressão O termo regressão fo proposto pela prmera vez por Sr Fracs Galto (885) um estudo ode demostrou que a altura dos flhos ão tede a refletr a altura dos pas, mas tede sm a regredr para a méda da população. Atualmete, o termo Aálse de Regressão defe um cojuto vasto de téccas estatístcas usadas para modelar relações etre varáves e predzer o valor de uma ou mas varáves depedetes (ou de resposta) a partr de um cojuto de varáves depedetes (ou predtoras). A relação etre as varáves pode ser de depedêca fucoal (.e. a magtude da varável depedete é fução da magtude da(s) varável(s) depedete(s), mas o cotráro já ão se aplca) ou de mera assocação (.e. ehuma das varáves pode ser tda como depedete da outra, mas apeas que elas varam em cojuto). O termo varável depedete mplca geralmete uma relação do tpo causa-e-efeto. Porém, a aálse de regressão pode ser usada para modelar a relação fucoal etre duas ou mas varáves.e. uma relação que pode ser epressa através de uma fução matemátca depedete de estr ou ão uma relação de tpo causa-e-efeto, o que ão é o caso.

2 9 2. Regressão Lear 2.. O Modelo de Regressão Lear Na regressão lear a relação etre a varável depedete e as varáves depedete é uma reta o caso de estr apeas uma varável depedete ou por etesão da reta para múltplas dmesões plao hpergeométrco o caso de duas ou mas varáves depedetes. A forma geral de um modelo de regressão lear para uma amostra de tamaho e p varáves é apresetada a segur. y = β β + β β p p ε (2...) ode (,..., ) =, Y é a varável depedete, X j (j =,..., p) são as varáves depedetes, β j (j =,,..., p) são os chamados coefcetes de regressão e ε represeta os erros ou resíduos do modelo. Os coefcete de regressão β j (j =,.., p) represetam os declves parcas, sto é, represetam uma medda de fluêca de X j em Y (varação de Y por udade de varação de X j ) equato que β é a ordeada a orgem (ou seja, é o valor de y -ésma observação da varável depedete quado j =, sto é, quado todas as observações de todas as varáves depedetes são ulas). Caso o modelo seja composto por apeas uma varável depedete ele é deomado MODELO DE REGRESSÃO LINEAR SIMPLES MRLS e é reduzdo a forma a segur. É o caso deste estudo ode magtude da varável depedete (cosumo de eerga elétrca em kwh) é fução das varáves depedetes (posses dos dversos tpos de equpametos elétrcos).

3 2 y = β + β + ε (2...2) Fgura 2... Eemplo de Regressão Lear Smples 2 Na Fgura 2... percebe-se que os potos dstrbuem-se aleatoramete em toro de uma reta ode β é o tercepto (ou seja o poto ode a reta corta o eo y), β é o coefcete de clação da reta (coefcete agular). Porém, como se pode observar a maora dos potos marcados a fgura 2... ão pertecem à reta. Nas equações 2... e o termo de erro (resíduo) ε serve justamete para cosderar os desvos dos potos a reta que é a dfereça etre o valor observado y e a reta. O erro pode ser ecarado como a soma de duas compoetes: o erro de medção e o erro amostral/aleatóro/estocástco. O erro de medção deve-se ao fato de que tato a medção de y como de pode ser defcete e o erro amostral, aleatóro ou estocástco deve-se a rreplcabldade dos feômeos em estudo, ode este últmo pode ser terpretado como a represetação da fluêca, em y, de mutas varáves omssas o modelo.

4 Os Pressupostos do Modelo de Regressão Lear Á semelhaça do que acotece com todos os outros modelos estatístcos, o modelo de regressão é baseado em algus pressupostos. Os prcpas pressupostos recaem sobre a compoeteε de erro do modelo. Os pressupostos são os segutes:. A méda da dstrbução de probabldade dos resíduos ε é ula.. A varâca da dstrbução de probabldade de ε é costate, ou seja, o erro é homocedástco.. A dstrbução de probabldade do erro ε é ormal. v. O valores do erro ε assocados a dos valores quasquer observados de y são depedetes, sto é, o valor de ε assocado a um valor de y ão tem qualquer relação com o valor de ε assocado com qualquer outro valor de y. v. Não este assocação etre as varáves depedetes. 2 Resumdo: o erro é ε ~ (, σ ) dstrbuídos). N e d (depedetes e detcamete Fgura Dstrbução dos Resíduos 3 2 Fgura adaptada de Maroco (23). 3 Fgura retrada de Maroco (23).

5 O Método dos Mímos Quadrados Ordáros (MQO) 4 Este método utlza como modelo a curva 5 cuja soma dos quadrados da dstâcas etre os dados e a curva seja a meor possível. Vamos supor um prmero mometo o MRLS. Como a população ão é cohecda deve-se prmero estmar os coefcetes do modelo de regressão a partr de uma amostra represetatva da população sob estudo usado os estmadores aproprados: ˆ = ˆ β + ˆ ode ˆβ é a estmatva e b o estmador de β ; e ada ˆβ y β é a estmatva e b o estmador de β. Seja o modelo de regressão lear smples a segur, y = + β β + ε (2.2.) Seja ada o úmero de potos observados e SQE a soma dos quadrados das dstâcas vertcas etre os potos observados e a reta (veja fgura 2.2. a segur). 4 O MQO está aqu descrto de forma resumda, para um maor detalhameto este ampla bblografa sobre o assuto. 5 Reta o caso de duas varáves. Plao o caso de três varáves. Hperplao o caso de mas varáves.

6 23 Fgura 2.2. Resíduos a regressão lear 6 predto e Isto é, sedo y a -ésma observação da varável depedete, ŷ o valor eˆ = y yˆ, tem-se que o método cosste a mmzação da soma dos quadrados deste últmo. SQE = 2 e = ˆ (2.2.2) Substtudo (2.2.2) em (2.2.), tem-se: SQE = = [ ( )] 2 + β y β (2.2.3) Para mmzar Q com relação a β e β faz-se: SQE β ( y β ) = 2 β = (2.2.4) e 6 Fgura retrada de Maroco 23.

7 24 SQE β ( y β ) = 2 β = (2.2.5) Igualado a zero as dervadas acma temos β = β + = y (2.2.6) = + β = = 2 β = y (2.2.7) = Para se obter b (estmador de β ) e b (estmador de β ), defe-se: = = e y = y = Resolvedo as equações (2.2.6) e (2.2.7) para β e βobtêm-se: y y = b = (2.2.8) 2 2 = b y b = (2.2.9) Estededo para o caso multvarado (modelo com duas ou mas varáves depedetes), temos: Defe-se fução de regressão (Marda, Ket e Bbby 979) de Y em X,..., X p como sedo a esperaça codcoal de Y dados quasquer valores de X,..., X p ou seja E(Y, 2,..., p ). Sedo assm cosdera-se o modelo geral da regressão lear:

8 25 y = β + β β + ε (2.2.) p p Reescrevedo a equação (2.2.) sob a forma matrcal temos: Y = Xβ + E (2.2.) Ode: Y = y y : 2 y X = : 2 : 2 22 : p 2 p : p β β = β : β p ε E = ε 2 : ε ou seja, Y é o vetor ( ) de observações, X é a matrz [ (p+)] de varáves depedetes, β é o vetor [(p+) ] dos coefcetes de regressão, E é o vetor ( ) dos erros. Mmzado a equação (2.2.) temos: Q = = ε 2 = E' E = ( Y Xβ )'( Y Xβ ) (2.2.2) Dervado (2.2.2) em fução de β e gualado a zero, tem-se o estmador de mímos quadrados ( X ' X ) X ' Y B = (2.2.3)

9 Regressão Robusta Coforme eplaado o capítulo sobre regressão lear, o método mas utlzado de regressão lear é o Método dos Mímos Quadrados Ordáros (MQO), porém este método estatístco possu pressupostos que devem ser observados a aálse e que a prátca, ão raramete, são volados. Surge daí etão a ecessdade de métodos robustos em relação aos desvos destes pressupostos. Os dados obtdos para este estudo coforme é mostrado mas a frete ão fogem a este problema. Neste trabalho etão foram aplcados os dos métodos para a realzação da Aálse de Demada Codcoal para comparação etre ambos. Segudo S-Plus (997), as téccas de regressão robusta são um mportate complemeto às téccas clásscas de mímos quadrados, uma vez que forecem respostas smlares a regressão por mímos quadrados quado este relação lear etre as varáves com os erros ormalmete dstrbuídos, porém dferem sgfcamete dos ajustes de mímos quadrados quado os erros ão são ormalmete dstrbuídos ou quado os dados cotêm outlers sgfcates. O uso da regressão robusta justfca-se por ser esta cosderada uma técca robusta ão somete com respeto aos outlers, mas também com relação aos potos etremos, que são potos o modelo matrcal com ecessva fluêca sobre o resultado,e porque quato maor o úmero de varáves de um modelo, mas dfícl se tora a detfcação de outlers com o uso das téccas de regressão clásscas (Cuha, Machado e Flho 22). A segur descreve-se resumdamete algus cocetos ecessáros à realzação da aálse de regressão va Estmadores Robustos.

10 Outlers Barett & Lews (995) defram outler em um cojuto de dados como sedo uma observação que parece ser cosstete com o cojuto de dados remaescetes. Os outlers podem dcar algumas característcas mportates sobre um modelo, como modelo compatível com os dados e omssão de varáves mportates. Para Draper & Smth (98), a rejeção automátca de outlers ão é um procedmeto correto e as regras propostas para rejeção de outlers devem clur a reaálse sem essas observações, que, depededo das crcustâcas, podem ser portadoras de formações vtas dos dvíduos de uma população. Uma observação é chamada de outler de regressão, ou outler a dreção y, se ela se afasta do padrão lear defdo pelas outras (ou pela maora das outras) observações, este tpo de oultler em geral dá orgem à grades resíduos. Por outro lado, quado uma observação se destaca das demas o espaço das varáves eplaatóras (depedetes), é chamada de poto de alavaca. Cabe ressaltar que um que um poto de alavaca ão tem que ser ecessaramete um outler de regressão. Quado um poto de alavaca é também um outler de regressão, ou seja, quado um poto é um valor dscrepate tato detre os valores da varável depedete quato detre os valores das varáves depedetes, terá grade fluêca sobre os ajustes clásscos (Medes 999). Esta grade fluêca reforça a déa da busca de um método que seja robusto em relação a um cojuto de dados que seja cotamado, sto é, que possua valores aberrates.

11 Equvarâca Estem 3 tpos de equvarâca, regressão, escala e afm. Um estmador de regressão T é dto equvarate de regressão se: T ((( y + v) ; =,..., ) ) = T ((( ; y ); =,..., ) ) v ; (2.3.2.) + ode v é um vetor qualquer. Um estmador T é dto afm equvarate se: T ((( A; y ); =,..., ) ) = A T ((( ; y ); = ) ),..., ode A é uma matrz quadrada, ão sgular. ( ) Um estmador T é dto equvarate de escala se: T ((( ; cy );,..., ) ) = ct ((( ; y ); = ) ) = ( ),...,

12 Poto de Ruptura Devdo ao fato de que uma smples observação ão codzete com o resto das observações poder dstorcer sgfcatvamete os resultados obtdos com o método clássco, o uso de métodos robustos que utlzem estmadores que resstam a um certo percetual de dados cotamados poderá forecer resultados sgfcatvamete mas cofáves. De modo a formalzar o quão resstete a dados cotamados é um estmador, surge o coceto de poto de ruptura. Neste trabalho será descrto apeas o coceto de poto de ruptura para amostra fta troduzda por DONOHO e HUBER (983). Poto de ruptura é uma medda global de robustez. Ele mede qual sera a maor porcetagem de cotamação que um estmador podera suportar e ada assm forecer formação cofável sobre o parâmetro cosderado. No coteto de regressão, a versão amostral (fta) do poto de ruptura sgfca a meor fração de outlers com o potecal de dstorcer por completo as estmatvas. Um estmador robusto adequado etão, é aquele que possu poto de ruptura gual a,5, ou seja, é o estmador que resste a um percetual de até 5% dos dados cotamates. Um valor de poto de ruptura maor que,5 ão fara setdo pos se mas da metade das observações fosse de valores dscrepates, ão sera mas possível dferecar quas seram os dados rus. Seja um cojuto de dados com observações de p varáves depedetes (varáves eplcatvas) e uma varável depedete (varável resposta), de acordo com a equação {( X, X,..., 2 X, Y ); } Z = (2.3.3.) p Com estes dados segudo o modelo de regressão Y = β + β X β ( ) P X P

13 3 Seja também T um estmador dos parâmetros de regressão β, dode aplcado T ao cojuto de dados Z, tem-se T ( Z ) ( β ˆ ˆ,..., β ) = ( ) p Supoha que o cojuto teha m (m ) observações orgas substtuídas por m valores arbtráros (aberrates) produzdo assm uma amostra m cotamada Z. Logo esta amostra tem uma fração ε = de valores cotamates. O poto de ruptura, versão fta de T(.) em Z é etão defdo como sedo * ε a meor fração de outlers que pode dstorcer por completo a estmatva. como Seja ada o víco mámo causado pela fração ε de cotamação defdo v ( m ( T, Z )) = sup T ( Z' ) T ( Z ) ; ( ) ode o supremo é obtdo eamado-se todas as amostras corrompdas possíves de Z. O poto de ruptura, versão fta pode ser etão defdo como * m r ( T, Z) = m ; v, Z ( m; ( T )) ( ) Para o caso clássco, estmado de mímos quadrados ordáros, o poto de ruptura é dado por * r ( T, Z ) = ( )

14 3 Dode pode-se coclur que quato maor o tamaho da amostra meor o poto de ruptura do estmador clássco, ada, se o tamaho da amostra tede ao fto o poto de ruptura do estmador clássco tede a zero. Se * etão ( T, Z) r Para lustrar o comportameto de um estmador com alto poto de ruptura, utlza-se como eemplo o dagrama de dspersão dos dados Ro Kooteay e também lustra a comparação etre um estmador de alto poto de ruptura o MMQ, e o estmador clássco MQO. Observa-se que a reta de mímos quadrados fo atraída pelo poto de alavaca e ão represeta bem o padrão lear defdo pela maora dos potos. Fgura Poto de alavaca 7 Mutos autores têm se baseado o crtéro global do alto poto de ruptura para desevolver propostas robustas em relação aos potos de alvaca. Cotudo, váras dessas propostas precsam de sacrfcar as propredades locas de robustez, propredades estas determadas pela fução de fluêca. 7 Eemplo retrado de Medes (999).

15 Fução de Ifluêca A fução de fluêca vestga a robustez local de um estmador ao descrever a fluêca de uma cotamação local a estmatva, meddo portato se o estmador respodera suavemete a pequeas modfcações os dados, sto é, a fução de fluêca mede a efcáca de um estmador date de uma cotamação ftesmal em uma observação qualquer da amostra. Segudo Medes (999), um prmero aspecto a se cosderar sobre a robustez de um estmador é relacoado com sua establdade local. A fução de fluêca (IF) de um estmador de regressão T em uma dstrbução F é defda como IF (( y ); T, F ) (( ε ) F + εδ ) T ( F ) T, = lm (2.3.4.) ε ε p ( y ) R para os quas este lmte este e ode ( ),, y é a observação cotamada. Para um maor detalhameto sobre este tópco, veja Medes (999) e Hampel et al. (986) Posção Geral para Regressão Para p, um cojuto de dados é dto estar em posção geral para regressão se apeas um hperplao passa através de cada um de seus subcojutos de tamaho p, e se ão estem dos destes hperplaos guas para dferetes subcojutos de tamaho p, sto é, só este um e somete um hperplao para cada subcojuto dos dados e dos subcojutos dferetes ão possuem o mesmo hperplao.

16 Prcpas Estmadores Robustos Deomam-se estmadores robustos, os estmadores de regressão que possuem certas propredades que os permtem estmações cofáves mesmo quado os dados possuem um certo percetual de cotamação, sto é, são estmadores lteralmete robustos a desvos dos pressupostos báscos do método de mímos quadrados. Mutos autores vêm propodo ovos métodos a tetatva de resolver o problema quase sempre ecotrado a prátca de desvo de pressupostos. De modo geral, estes autores propõem métodos que substtuem a fução a ser mmzada (que coforme já cometado, o caso do método dos mímos quadrados ordáros é a soma dos quadrados dos resíduos) por outra que ão seja tão sesível a outlers Estmadores L Os estmadores L, que se baseam a mmzação da soma dos valores absolutos dos resíduos, sto é, mmzam a fução dos resíduos. L = r ( ) = ode é o úmero de observações e r = y β é o -ésmo resíduo. Estes foram os prmeros estmadores robustos para regressão e foram propostos por Edgeworth em 887. Os estmadores L são robustos em relação a outlers a em Y (varável depedete). Cotudo, estes estmadores ão são melhores que os estmadores de mímos quadrados em relação ao poto de ruptura vsto que os mesmos ão são

17 34 robustos a outlers em X (varáves depedetes), ou seja, eles ão são robustos s potos de alavaca possudo portato poto de ruptura gual a zero. Os estmadores L ão podem etão ser cosderados bos pos um bom estmador deve ser robusto em relação a outlers em Y e em X e possur certas propredades de equvarâca M-estmadores Os M-estmadores foram propostos por HUBER (973), geeralzado o coceto de estmação de máma verossmlhaça. Estes são a verdade uma classe de estmadores muto geral e clu, como um de seus casos partculares, o estmador de mímos quadrados ordáros e o estmador L. Pode-se defr os M-estmadores como os valores ( β, σ ) que mmzam a segute fução de dspersão dos resíduos: ' y β r S( β ) = ρ = ρ ( ) = σ = s GM-estmadores ou M-estmadores Geeralzados Os Gm-estmadores, foram troduzdos por Maroa et al. (979) e seu prcpal objetvo é lmtar a fluêca dos potos de alavaca através da aplcação de alguma fução peso ω = ω( ) em. Porém como mostrou Maroa et al. (979), o poto de ruptura dos Gm-estmadores decresce com o aumeto do úmero p de varáves depedetes ão podedo ser maor que /p.

18 Least Meda of Squares LMS e Least Trmmed Squares - LTS O estmador LMS Least Meda of Squares (em português Meor Medaa dos Quadrados dos Resíduos MMQ), fo proposto por Rousseeuw (984). Rousseeuw propôs que se tomasse como estmador a meor medaa dos quadrados dos resíduos. ( ( r ) 2 m medaa ( ) b ode r = y β é o -ésmo resíduo. O estmador LMS é robusto em relação aos outlers em X e Y, e possu poto de ruptura,5, apresetado também propredades de equvarâca. Cotudo são efcetes quados os erros seguem uma dstrbução ormal vsto 3 que possuem leta taa de covergêca dada por. Ada, os estmadores LMS possuem ão suave resposta a dscretas alterações os valores cetras dos dados, provocado assm grades alterações as estmatvas (Hettmasperger & Sheather 992 e Daves 993). Algum tempo depos Rousseeuw propôs o estmador LTS Least Trmmed Squares (em português Mímos Quadrados Podados MQP) dado por: q m y b ( ) b = 2 ( ) O estmador LTS possu a mesma robustez a outlers do LMS, porém o mesmo é mas efcete pos possuem taa de covergêca dada por.

19 MM-estmadores O estmador agora em questão é por ser o escolhdo a eecução deste trabalho. Esta ova classe de estmadores robustos pra regressão fo troduzdo por Yoha (985), e marcou um grade avaço detre a classe de estmadores robustos. Os MM-estmadores, possuem as segutes propredades: - poto de ruptura de 5%; - cosstêca - efcêca asstótca Estes estmadores são defdos através de um procedmeto em três estágos: estágo: obtém-se estmatvas para os parãmetros β com alto poto de ruptura utlzado-se o estmador LTM por eemplo, para sso ão há mposção de efcêca do estmador. 2 estágo: calcula-se um M-estmador de escala s (S-estmador) a partr dos resíduos obtdos o prmero estágo. 3 estágo: fado-se este estmador de escala como uma escala aular, calcula-se um M-estmador de regressão baseado em uma fução ψ redescedete. ( )