Aula 2 Uma breve revisão sobre modelos lineares

Transcrição

1 Aula Uma breve revisão sobre modelos lineares

2 Processo de ajuste de um modelo de regressão O ajuste de modelos de regressão tem como principais objetivos descrever relações entre variáveis, estimar e testar parâmetros associados e predizer resultados não observados de variáveis aleatórias. Vamos tratar de modelos de regressão paramétricos, em que a distribuição de uma variável aleatória (resposta), ou, mais especificamente, algum parâmetro dessa distribuição (como a média) pode ser expressa como função de um conjunto de variáveis independentes (explicativas) e de outros parâmetros. O ajuste de um modelo de regressão segue, em linhas gerais, as seguintes etapas:

3 ) Fase de especificação - Com base na teoria estatística e nos dados disponíveis, propor um modelo de regressão, contemplando as seguintes etapas: o Determinar, dentre as variáveis disponíveis, quais são relevantes para explicar a variável resposta; o Especificar o escopo do modelo a região de valores para as variáveis explicativas que será considerada no estudo; o Especificar uma distribuição pertinente para a variável resposta (condicional às variáveis explicativas); o Determinar a forma funcional que relaciona a variável resposta (ou, mais especificamente, algum parâmetro de sua distribuição, como a média) e as variáveis explicativas. Nota A análise preliminar dos dados, com utilização de técnicas descritivas, é fundamental para a especificação adequada do modelo. 3

4 ) Fase de ajuste - Usando a teoria estatística estimar os parâmetros do modelo; 3) Fase de diagnóstico - Analisar a adequação e validar o modelo ajustado; o Avaliar se o modelo ajustado é compatível com os dados disponíveis; o Comparar as predições produzidas pelo modelo aos valores de fato observados; o Caso o modelo não se mostre adequado, deve-se voltar ao primeiro passo e rever sua especificação. 4) Fase de análise - Se o ajuste se mostrar adequado, o modelo pode ser usado para fins de descrição, inferência e predição. 4

5 O modelo linear clássico O modelo linear clássico pode ser expresso, de forma geral, por: y = β 0 + βx + βx β px p + ε = x β + ε β β β,..., β em que β (, ) é o vetor de parâmetros do modelo, ( x x, x,..., x ) = 0, p x é o vetor de = 0, p variáveis independentes (fixas e observadas) e ε representa o erro aleatório, não observável, sobre o qual recaem as seguintes suposições: o ~ ( 0, σ ) ε Normal - erros normalmente distribuídos, com variância constante; ε o Cor(, ) = 0 i ε j, para qualquer par de observações i, j - erros independentes. 5

6 Representação alternativa do modelo linear clássico podemos expressar de forma equivalente o modelo linear clássico por meio da distribuição de y condicional ao vetor de variáveis explicativas x, sem fazer menção explicita aos erros, em duas etapas: o Especificação da distribuição de y condicional a x: (, ) µ x y x ~ Normal σ ; o Especificação da relação funcional da média da distribuição condicional de y com as variáveis explicativas: E ( y ) = µ = xβ = β0 + βx + βx β p x x px. Nota: Essa representação é mais flexível e será utilizada na extensão para os modelos lineares generalizados. 6

7 Em modelos lineares o termo linear refere-se à forma como os parâmetros aparecem no modelo, e não as variáveis explicativas; No contexto apresentado, dizemos que um modelo é linear nos parâmetros se toda derivada parcial do tipo: µ β y x k j = 0,,,..., p não depender de qualquer parâmetro. 7

8 Logo, são exemplos de modelos lineares: µ β β + β o y x = 0 + x x; o 3 y x = β0 + βx + βx β3x ; µ + µ y x = β0 + β ln x + β ; x o ( ) µ x β β β + β... o y = 0 + x + x 3xx São exemplos de modelos não lineares: x y = β0 βe β x ; µ + o o µ 0 y x = ; β x + β e o µ = β sen( β + x) y 0 β x... 8

9 9 Representação matricial do modelo linear clássico Vamos considerar n pares ( ) ( ) ( ) n y n y y,,...,,,, x x x. O modelo linear clássico fica representado na forma matricial por: ( ) n n n N I 0 ε ε Xβ y, ~, σ + = onde n N representa a distribuição Normal variada n, n I a matriz identidade n n e ( ) ( ) 0 ; ; ; + + = = = = n n p p p n np n n p p n n x x x x x x x x x y y y ε ε ε β β β M M L M O M M M L L M ε β X y. Nota Como casos particulares de modelos lineares temos os modelos de regressão linear, de análise de variância e de análise de covariância.

10 Estimação dos parâmetros do modelo linear clássico Baseada na minimização da soma de quadrados dos erros (método de mínimos quadrados) com relação aos β s: SQE n β. j ( β) = y i 0 + β j xij = ( y Xβ) '( y Xβ) i= Por se tratar de uma soma de quadrados, a minimização de SQE pode ser determinada pela solução do seguinte conjunto de equações: SQE β ( β) j = 0, j = 0,,,..., p. Após alguma álgebra matricial, os estimadores de mínimos quadrados, resultantes da solução do sistema de derivadas parciais, ficam dados por: βˆ = ( X X) X y Propriedades dos estimadores de mínimos quadrados 0

11 Sob as pressuposições do modelo linear clássico, os estimadores de mínimos quadrados apresentam, dentre outras, as seguintes propriedades: o São estimadores lineares (são funções lineares dos y s); o São não viciados; o Na classe dos estimadores lineares não viciados, são eficientes (apresentam menor variância);

12 o São equivalentes aos estimadores de máxima verossimilhança (logo, são consistentes e eficientes); o Distribuição amostral dos estimadores de mínimos quadrados: βˆ ~ ( β σ ( X ) ) N, p+, X de tal forma que: ( β, σ ( x x ) ), j = 0,, p ˆ β j ~ N j j j,...,. Inferência em modelos lineares

13 Testes de hipóteses e intervalos de confiança para os parâmetros do modelo linear clássico podem ser obtidos com base na distribuição amostral dos estimadores. Testes de hipóteses para β j: o Hipóteses: H H 0 : β : β j j = β β j0 j0, sendo β j0 algum valor postulado para β j. o Então, sob a hipótese nula, a estatística 3

14 Z = ˆ β β σ j j0 ( x x ) j j tem distribuição normal de média zero e desvio padrão igual a. o Substituindo σ pelo seguinte estimador não viciado: ( y Xβˆ )'( y Xβˆ ) SQRe s ˆ σ = =, n p + n p + a estatística t = ˆ β β ˆ σ j j0 ( x x ) j j tem distribuição t Student com n p + graus de liberdade. 4

15 o Assim, o teste procede com a comparação do valor calculado da estatística t com os quantis da distribuição tn p. Por exemplo, considerando nível de significância igual a α, H 0 será rejeitada se: t > t n p+; α /. Intervalos de confiança o Um intervalo de 00( α )% de confiança para β j é dado por: ( j n p+ ; / ˆ j j ) ( ; α ) = ˆ β ± t σ ( x x ) IC β α. j 5

16 Testes de hipóteses conjunto para dois ou mais parâmetros o O teste da nulidade conjunta de r parâmetros baseia-se na partição da variação total dos dados (análise de variância): o Suponha uma partição do vetor de parâmetros de um modelo linear do tipo: β β = L, β em que β é um vetor de dimensão p r + e β tem dimensão r. o Com base na partição, o modelo linear pode ser expresso da seguinte forma: y + = Xβ + X β ε. 6

17 o Suponha que se deseja testar a nulidade conjunta dos parâmetros pertencentes a β, o que pode ser expresso pelo seguinte par de hipóteses: H H 0 0 : β : β = 0 0 r r. o Repare que a hipótese nula impõe uma restrição ao modelo original, estando associada ao seguinte sub-modelo: y + = Xβ ε. o O teste baseia-se na diferença das somas de quadrados de resíduos sob o modelo restrito ( SQR 0) e não restrito ( SQR): ( SQR0 SQR) r SQR ( n p ) F =. 7

18 o Sob a hipótese nula, a estatística F tem distribuição F Snedecor com parâmetros r e n p +, resultado que fundamenta o teste da nulidade de β. o Para um nível de significância α, rejeita-se H 0 se. > F r, n p+ ; α F. 8

19 Diagnóstico do modelo Objetivos Avaliar a qualidade geral do ajuste; Checar se as pressuposições do modelo são atendidas; Identificar possíveis outliers e pontos influentes e o impacto ocasionado por tais pontos no ajuste do modelo. 9

20 Métodos Análise de resíduos; Cálculo e análise de medidas de influência; Coeficientes de qualidade do ajuste; Avaliação da capacidade preditiva. 0

21 Análise de resíduos Resíduo Medida da diferença entre os valores observados e os correspondentes valores ajustados pelo modelo. Alguns tipos de resíduos em modelos lineares: Resíduo ordinário: ei = yi yˆ i, i =,,..., n, sendo y ˆ = x βˆ o valor ajustado pelo modelo para o i-ésimo elemento. Os resíduos ordinários não i i tem variância constante, o que dificulta a utilização no diagnóstico do modelo. As versões padronizadas deste resíduo são mais apropriadas.

22 Resíduo padronizado: yi yˆ i ei =, i =,,..., n, ˆ σ h i sendo h i o ésimo i elemento da diagonal da matriz H = X( X X) X. Resíduo studentizado: yi yˆ i ei =, i =,,..., n, ˆ σ ( i) hi sendo σˆ ( i) a estimativa de σ calculada sem considerar a i-ésima observação.

23 Gráficos para análise dos resíduos Os seguintes gráficos podem ser aplicados para analisar os resíduos de um modelo linear: Gráfico probabilístico normal dos resíduos avaliar a pressuposição de normalidade dos erros e detectar possíveis out-liers e observações influentes; Resíduos versus cada variável explicativa X j, j =,,..., p - detectar possível falta de ajuste em relação às variáveis explicativas incluídas no modelo; Resíduos versus valores ajustados - investigar a pressuposição de homogeneidade dos erros bem como a presença de observações discrepantes e/ou influentes; Resíduos versus ordem de coleta, caso se tenha tal informação investigar possível dependência nos erros, induzida pela ordem de coleta dos dados; Resíduos versus variáveis não incluídas no modelo detectar variáveis não incluídas que deveriam ser consideradas no ajuste do modelo. 3

24 Medidas de influência Medidas do impacto de cada observação no ajuste do modelo. Alguns exemplos: Leverage Medida de afastamento da i-ésima observação, no espaço das variáveis explicativas, com relação ao centróide das demais observações; Distância de Cook Medida de distância quadrática das estimativas obtidas para modelos ajustados na presença e na ausência da i-ésima observação; DFFITS - Medida de diferença dos valores ajustados para a i-ésima observação obtidos para modelos ajustados na presença e na ausência da i-ésima observação; DFBETAS - Medida de diferença das estimativas individuais dos parâmetros dos modelos obtidas para modelos ajustados na presença e na ausência da i-ésima observação; 4

25 COVRATIO - Medida de alteração na precisão das estimativas dos parâmetros obtidas para modelos ajustados na presença e na ausência da i-ésima observação; A análise de influência segue com a construção de gráficos para as medidas apresentadas (versus o índice), buscando identificar observações que apresentam valores demasiadamente grandes para tais medidas. 5

26 Exemplo (modelo de regressão linear) - Pretende-se investigar a utilização de um modelo de regressão linear múltipla para explicar a viscosidade de um polímero ( y) em função da temperatura de reação, x, e da taxa de alimentação do catalisador, x. Um experimento é realizado com esse objetivo, produzindo os seguintes resultados: Polímero y x x Polímero y x x Vamos ao R! 6

27 Exemplo (modelo de análise de variância) - Deseja-se avaliar o potencial de vendas de um produto em quatro embalagens distintas. Para isso, um experimento foi realizado considerando doze estabelecimentos comerciais de portes e localizações semelhantes, sendo alocados lotes de mesmo tamanho, mas com diferentes tipos de embalagens, para grupos de três estabelecimentos. A alocação dos lotes aos estabelecimentos foi realizada aleatoriamente e as quantidades de unidades vendidas em uma semana foram as seguintes: Embalagem Voltemos ao R! 7