Regressão Múltipla. Parte I: Modelo Geral e Estimação

Transcrição

1 Regressão Múltpla Parte I: Modelo Geral e Estmação

2 Regressão lnear múltpla Exemplos: Num estudo sobre a produtvdade de trabalhadores ( em aeronave, navos) o pesqusador deseja controlar o número desses trabalhadores e o bônus pago (remuneração) Num estudo sobre a resposta à uma droga, o pesqusador deseja controlar as doses da droga e o método de aplcação Num estudo sobre o tempo de CPU, para avalar a demanda por recursos, o pesqusador decdu verfcar o efeto de dsk I/O e memory sze Em todos os exemplos foram necessáras váras varáves predtoras no modelo para um bom ajuste do mesmo Um modelo contendo váras varáves predtoras resulta numa estmação mas acurada

3 Modelo de regressão com duas varáves predtoras O modelo de regressão lnear é dado por: () onde é a resposta da -ésma observação, e são os valores das duas varáves predtoras da -ésma observação Os parâmetros do modelo são,, e o termo do erro é Vamos assumr que E( ), portanto, a função de regressão do modelo de prmera ordem é: E( ) A representação gráfca desta função é um plano no espaço A fgura segunte mostra este plano para a função: E( ) 5 A função de regressão na regressão múltpla é chamada de superfíce de resposta () (3)

4 Plano de resposta E( ), (,33;,67)

5 Sgnfcado dos coefcentes de regressão: O parâmetro é o ntercepto do plano de regressão Se a abrangênca do modelo nclu e então representa a resposta méda E() neste ponto O parâmetro ndca a mudança na resposta méda E() por undade de acréscmo em quando é mantdo constante Da mesma forma ndca a mudança na resposta méda por undade de aumento em quando é mantdo constante Neste modelo, o efeto de sobre a resposta méda não depende de e vce-versa, assm, dssemos que as varáves predtoras tem efeto adtvo ou não nteragem Temos um modelo sem nteração

6 Modelo lnear geral de regressão Vamos supor que temos,,, p- varáves predtoras Vamos defnr o modelo de regressão, com erros normas, em termos das varáves predtoras: p, p (4) onde:,,, p-, são os parâmetros;,,,p- são constantes conhecdas; são ndependentes com dstrbução N(, σ ),,,n A função resposta para o modelo, como E( ),é dada por: E( ) p p (5) Algumas stuações em que podemos usar o modelo em consderação

7 Modelo lnear geral de regressão ) Temos p- varáves predtoras: todas as varáves predtoras apresentam efeto adtvo, ou seja, não apresentam um efeto de nteração entre elas (o efeto de uma varável predtora não depende dos níves da outra varável predtora) ) As varáves predtoras são qualtatvas: neste caso temos varáves como: sexo, nvaldez (normal, parcalmente nváldo, nváldo) Usamos varáves ndcadoras, que recebem valores e para dentfcar as categoras de uma varável qualtatva Exemplo: desejamos fazer uma análse de regressão para estmar a dstânca de um hosptal (), baseado na cdade dos pacentes ( ) e sexo ( ) O modelo de regressão é: (6) onde dade dos pacentes; se se o o pacente pacente é é do do sexo sexo femnno masculno

8 Modelo lnear geral de regressão A resposta méda do modelo (6) é: E( ) (7) Para pacentes do sexo masculno,, temos: E( ) Para pacentes do sexo femnno,, temos: (8) E( ) ( ) (9) As duas funções respostas representam duas retas paralelas com dferentes nterceptos Outro exemplo: vamos consderar uma tercera varável no modelo, o status sobre a nvaldez dos pacentes, a qual apresenta três categoras Em geral, representamos uma varável qualtatva com c categoras, por meo de c- varáves ndcadoras Portanto, no exemplo, vamos defnr as varáves 3 e 4 como:

9 4 3 O modelo com dade, sexo e status da nvaldez fca: () ) Regressão polnomal: contém termos quadrátcos e de maor ordem nas varáves predtoras Exemplo: () Modelo lnear geral de regressão Se o pacente é normal Se o pacente está em outra categora Se o pacente é parcalmente nváldo Se o pacente está em outra categora

10 Gráfco: Uma parábola Dagrama de dspersão para os dados de produção de mlho 9 Produção de Mlho Doses de fósforo Apesar da natureza curvlínea da função resposta do modelo () ele é um caso especal do modelo (4) Fazendo-se e, temos o modelo ()

11 Modelo usado de segunda ordem com nteração: E( ) 74 4x x x 3x 3 Observe que o modelo apresenta ponto de máxmo em x x

12 Modelo lnear geral de regressão 4)Varáves transformadas: uma transformação bastante utlzada é a logarítmca: O modelo fca: ' log ' 3 3 () A função resposta é complexa Porém, o modelo () é da forma do modelo lnear geral de regressão Exercíco: coloque o modelo (3) na forma do modelo de regressão lnear geral (4) Basta fazer: ' ' (3)

13 6) Combnando modelos: Exemplo: (5) Fazendo-se: Z Z Z Z Z temos o modelo lnear geral de regressão (4) Observe que fazendo-se 3 obtemos um caso do modelo lnear geral de regressão (4) (4) 3 5) Modelos com efeto da nteração entre varáves predtoras O efeto de uma varável predtora depende dos níves das outras varáves predtoras Exemplo: Modelo lnear geral de regressão

14 Modelo de regressão lnear múltpla em termos matrcas (6) p p, A expressão do modelo lnear geral de regressão é dada por: Em termos matrcas, precsamos defnr: n p p n n p p n p x,,, n x p n x n x

15 Modelo de regressão lnear múltpla em termos matrcas Em termos matrcas, o modelo de regressão lnear geral é dado por: é um vetor de varáves aleatóras ndependentes e normalmente dstrbuídas com esperança (méda), E() e matrz de varânca-covarânca dada por: σ ( ) σ σ σ Assm, o vetor das observações tem esperança e varânca dadas por: E( ) σ ( ) σ I n x n x n σ I (7) (8)

16 Estmação dos coefcentes de regressão O sstema de equações normas para o modelo (7) é: ' b ' (9) E os estmadores de mínmos quadrados são dados por: b ' ( ) ' () Método de máxma verossmlhança L Vamos consderar o modelo com erros normas (7) A função de máxma verossmlhança é dada por: n, σ ) n / exp ( (πσ ) σ p (, p ) () Os estmadores de máxma verossmlhança são exatamente os mesmos obtdos com o método de mínmos quadrados

17 Valores estmados e resíduos Os valores estmados são obtdos por: ˆ b n x () Os resíduos são obtdos através da expressão matrcal: e nx ˆ b (3)

18 Análse de varânca Soma de quadrados e quadrados médos SS SS SS T M R '[ I ( n ' [ H ( ) J] n ) J] com n - graus de lberdade com p - graus de lberdade ' ( I H) com n - p graus de lberdade Onde J é uma matrz n x n de un s e H( ) - é a matrz de projeção y ˆ Hy Os quadrados médos são dados por: MS MS M R SSM p SSR n p

19 Teste F para regressão Hpóteses em teste: H H : p a : pelo menos um k é dferente de zero A estatístca de teste é dada por: F * MS MS M R ( 4 ) Se F * > F(α; p-,n-p), rejetamos a hpótese nula, caso contráro, não rejetamos a hpótese nula Não devemos esquecer de usar o valor p

20 Coefcente de determnação (R ) Defne-se R por: R SSM SSR (5) SST Mede a redução da varabldade total de assocada com o uso do conjunto de varáves,, p- Como na regressão lnear smples, temos: R Assm, R se todas as estmatvas k (k,,p-), e R quando todas as observações caírem exatamente na superfíce de regressão ajustada, sto é, quando: ˆ para SST todo Como R aumenta com a adção de varáves explanatóras, sugerese utlzar o coefcente de determnação ajustado (corrgdo) para os graus de lberdade O coefcente de determnação ajustado é dado por: SSR ( ) n p n SSR Ra SST n p SST (6) n

21 Coefcente de determnação (R ) Um alto valor de R não necessaramente mplca que o modelo ajustado se presta para se fazer nferêncas precsas, pos apesar de um valor alto de R, o MS R anda pode ser grande O modelo pode não ser exatamente lnear Coefcente de correlação múltpla (R) O coefcente de correlação múltpla mede o relaconamento lnear entre e Ŷ R R (7)