Modelagem de dados complexos por meio de extensões do modelo de

Transcrição

1 Modelagem de dados complexos por meio de extensões do modelo de regressão clássico Luiz R. Nakamura Departamento de Informática e Estatística Universidade Federal de Santa Catarina luiz.nakamura@ufsc.br Florianópolis 04 de Julho de 2018

2 Sumário 1 Motivação 2 Contexto histórico 3 GAMLSS 4 Referências

3 Dados sobre aluguel Os dados sobre aluguel são provenientes de uma pesquisa conduzida em Abril de 1993 pela Infratest Sozialforschung, em que uma amostra aleatória sobre imóveis com novos contratos de locação nos últimos quatro anos em Munich foi selecionada. Para este conjunto de dados temos 1,967 observações e cinco variáveis:

4 Dados sobre aluguel R: valor do aluguel mensal (variável resposta) Fl: tamanho do imóvel em metros quadrados A: ano de construção H: fator de dois níveis, se existe (0), ou não (1), aquecimento central no imóvel loc: fator que indica a qualidade da localização do imóvel sendo: abaixo da média (1), na média (2) e acima da média (3)

5 input output X Y

6 Variável resposta: valor do aluguel Frequency Mínimo Máximo Mediana Média Desvio Padrão Assimetria 1.07 Curtose R R

7 Gráficos de dispersão R R Fl A R R H loc

8 Como explicar o relacionamento entre o valor do aluguel mensal e as variáveis explicativas disponíveis?

9 Como explicar o relacionamento entre o valor do aluguel mensal e as variáveis explicativas disponíveis? All models are wrong, but some are useful (George E.P. Box)

10 Modelo de regressão linear clássico

11 Modelo de regressão linear clássico Definição Y i = β 0 + β 1 X i β r X ir + ɛ i, i = 1,..., n em que ɛ i N (0, σ 2 )

12 Modelo de regressão linear clássico Definição Y i = β 0 + β 1 X i β r X ir + ɛ i, i = 1,..., n em que ɛ i N (0, σ 2 ) Matricialmente Y = X β + ɛ

13 Modelo de regressão linear clássico Definição Y i = β 0 + β 1 X i β r X ir + ɛ i, i = 1,..., n em que ɛ i N (0, σ 2 ) Matricialmente ou ainda, Y = X β + ɛ µ = X β, em que Y N(µ, σ 2 )

14 Suposições do modelo

15 Exemplo: dados sobre aluguel R: Modelo de regressão linear

16 Exemplo: dados sobre aluguel R: Modelo de regressão linear library(gamlss) data(rent) #do pacote gamlss.data

17 Exemplo: dados sobre aluguel R: Modelo de regressão linear library(gamlss) data(rent) #do pacote gamlss.data r1 <- gamlss(r Fl + A + H + loc, family=no, data=rent)

18 Exemplo: dados sobre aluguel R: Modelo de regressão linear library(gamlss) data(rent) #do pacote gamlss.data r1 <- gamlss(r Fl + A + H + loc, family=no, data=rent) summary(r1)

19 Exemplo: dados sobre aluguel R: Modelo de regressão linear library(gamlss) data(rent) #do pacote gamlss.data r1 <- gamlss(r Fl + A + H + loc, family=no, data=rent) summary(r1) Saída Estimate Std. Error t value Pr(> t ) (Intercept) e-09 *** Fl < 2e-16 *** A e-10 *** H < 2e-16 *** loc e-07 *** loc e-14 ***

20 Análise de resíduos plot(r1)

21 Análise de resíduos plot(r1) Against Fitted Values Against index Quantile Residuals Quantile Residuals Fitted Values index Density Estimate Normal Q Q Plot Density Sample Quantiles Quantile. Residuals Theoretical Quantiles

22 Análise de resíduos worm plot wp(r1)

23 Análise de resíduos worm plot wp(r1) Deviation Unit normal quantile

24 Modelo linear generalizado (GLM) (Nelder e Wedderburn, 1972)

25 Modelo linear generalizado (GLM) (Nelder e Wedderburn, 1972) Definição g(µ) = X β, em que Y ExpFamily(µ, φ) em que g(µ) é chamada de função de ligação

26 Família exponencial f (y θ; φ) = exp { φ 1 [yθ b(θ) + c(y; φ)] }

27 Família exponencial f (y θ; φ) = exp { φ 1 [yθ b(θ) + c(y; φ)] } Exemplos normal gamma normal inversa Poisson binomial entre outras...

29 Exemplo: dados sobre aluguel R: GLM (distribuição gamma)

30 Exemplo: dados sobre aluguel R: GLM (distribuição gamma) r2 <- gamlss(r Fl + A + H + loc, family=ga, data=rent) summary(r2)

31 Exemplo: dados sobre aluguel R: GLM (distribuição gamma) r2 <- gamlss(r Fl + A + H + loc, family=ga, data=rent) summary(r2) Saída Estimate Std. Error t value Pr(> t ) (Intercept) e-07 *** Fl < 2e-16 *** A e-07 *** H < 2e-16 *** loc e-10 *** loc e-15 ***

36 Modelo aditivo generalizado (GAM) (Hastie e Tibshirani, 1990)

37 Modelo aditivo generalizado (GAM) (Hastie e Tibshirani, 1990) Definição J g(µ) = X β + h j (x j ), em que Y ExpFamily(µ, φ) j=1 em que h j (x j ) são funções de suavização não-paramétricas

38 Comportamento de uma função de suavização

39 Comportamento de uma função de suavização µ variável explicativa

40 Exemplo: dados sobre aluguel R: GAM (distribuição gamma)

41 Exemplo: dados sobre aluguel R: GAM (distribuição gamma) r3 <- gamlss(r pb(fl) + pb(a) + H + loc, family=ga, data=rent) summary(r3)

42 Exemplo: dados sobre aluguel R: GAM (distribuição gamma) r3 <- gamlss(r pb(fl) + pb(a) + H + loc, family=ga, data=rent) summary(r3) Saída Estimate Std. Error t value Pr(> t ) (Intercept) e-08 *** pb(fl) < 2e-16 *** pb(a) e-06 *** H < 2e-16 *** loc e-10 *** loc < 2e-16 ***

43 Exemplo: dados sobre aluguel R: GAM (distribuição gamma) r3 <- gamlss(r pb(fl) + pb(a) + H + loc, family=ga, data=rent) summary(r3) Saída Estimate Std. Error t value Pr(> t ) (Intercept) e-08 *** pb(fl) < 2e-16 *** pb(a) e-06 *** H < 2e-16 *** loc e-10 *** loc < 2e-16 *** NOTE: Additive smoothing terms exist in the formulas: i) Std. Error for smoothers are for the linear effect only.

44 Comportamento das funções de suavização term.plot(r3, pages=2)

45 Comportamento das funções de suavização term.plot(r3, pages=2) Partial for pb(fl) Partial for pb(a) Fl A

50 Modelos aditivos generalizados para locação, escala e forma (GAMLSS) (Rigby e Stasinopoulos, 2005)

51 Modelos aditivos generalizados para locação, escala e forma (GAMLSS) (Rigby e Stasinopoulos, 2005) Definição g k (θ k ) = X k β k + J k j=1 h jk (x jk ), k = 1,..., p em que Y D(θ k ) e D denota qualquer distribuição (não necessariamente da família exponencial) com p parâmetros

53 GAMLSS Modelos de regressão semi-paramétricos paramétrico: envolve uma distribuição para a variável resposta (que não necessariamente pertence à família exponencial) semi: pode envolver partes lineares (paramétrica) e/ou termos de suavização não-paramétricos Pacote gamlss no R (Stasinopoulos e Rigby, 2007)

54 Os GAMLSS podem ser reescritos como (h j = Zγ)

55 Os GAMLSS podem ser reescritos como (h j = Zγ) J 1 g 1 (µ) = X 1 β 1 + Z j1 γ j1 j=1 J 2 g 2 (σ) = X 2 β 2 + Z j2 γ j2 j=1 J 3 g 3 (ν) = X 3 β 3 + Z j3 γ j3 j=1 J 4 g 4 (τ ) = X 4 β 4 + Z j4 γ j4 em que Z é uma matriz de bases, γ é um conjunto de coeficientes sujeitos à penalização quadrática λγ Gγ, λ é um parâmetro de suavização, G = D D é uma matriz conhecida e D é uma matriz de diferenças j=1

56 Distribuições

57 Distribuições Tipos de distribuição Existem, atualmente, mais de 100 distribuições implementadas junto ao pacote gamlss.dist, entre elas:

58 Distribuições Tipos de distribuição Existem, atualmente, mais de 100 distribuições implementadas junto ao pacote gamlss.dist, entre elas: Contínuas Discretas Mistas

59 Distribuições Tipos de distribuição Existem, atualmente, mais de 100 distribuições implementadas junto ao pacote gamlss.dist, entre elas: Contínuas Discretas Mistas Importante Parametrizações diferentes das habituais!

60 Alguns pacotes no R

61 Alguns pacotes no R gamlss gamlss.dist gamlss.data gamlss.add gamlss.cens gamlss.demo gamlss.nl gamlss.tr gamlss.mx gamlss.spatial gamlss.util o pacote original todas as distribuições disponíveis conjuntos de dados para outros termos aditivos variáveis respostas com censura demos para distribuições e suavizações modelos não-lineares distribuições truncadas distribuições de mistura e efeitos aleatórios modelos espaciais outros

62 Seleção de modelos

63 Seleção de modelos Os GAMLSS podem ser representados por M = {D, G, T, L}, em que D especifica a distribuição da variável resposta; G especifica o conjunto de funções de ligação para os parâmetros da distribuição µ, σ, ν e τ; e T especifica os termos que aparecem nos preditores para µ, σ, ν e τ. L especifica os parâmetros de suavização associados a cada um dos parâmetros da distribuição da variável resposta

64 Estratégia de seleção Para o ajuste de um GAMLSS, todos os componentes citados no slide anterior devem ser especificados

65 Estratégia de seleção Para o ajuste de um GAMLSS, todos os componentes citados no slide anterior devem ser especificados Componente D: seleção da distribuição

66 Estratégia de seleção Para o ajuste de um GAMLSS, todos os componentes citados no slide anterior devem ser especificados Componente D: seleção da distribuição 1 Ajuste:

67 Estratégia de seleção Para o ajuste de um GAMLSS, todos os componentes citados no slide anterior devem ser especificados Componente D: seleção da distribuição 1 Ajuste: qual o suporte da variável resposta?

68 Estratégia de seleção Para o ajuste de um GAMLSS, todos os componentes citados no slide anterior devem ser especificados Componente D: seleção da distribuição 1 Ajuste: qual o suporte da variável resposta? Critério de informação de Akaike generalizado (GAIC), dado por GAIC(κ) = 2 ˆl + κ df em que df são os graus de liberdade. O modelo com menor GAIC é selecionado

69 Estratégia de seleção Para o ajuste de um GAMLSS, todos os componentes citados no slide anterior devem ser especificados Componente D: seleção da distribuição 1 Ajuste: qual o suporte da variável resposta? Critério de informação de Akaike generalizado (GAIC), dado por GAIC(κ) = 2 ˆl + κ df em que df são os graus de liberdade. O modelo com menor GAIC é selecionado 2 Diagnóstico: utilização de gráficos de resíduos

70 Componente G: seleção das funções de ligação

71 Componente G: seleção das funções de ligação Em geral (por default), nos GAMLSS, utilizamos as funções de ligação baseados no espaço dos parâmetros. Por exemplo, para a distribuição normal, temos:

72 Componente G: seleção das funções de ligação Em geral (por default), nos GAMLSS, utilizamos as funções de ligação baseados no espaço dos parâmetros. Por exemplo, para a distribuição normal, temos: < µ <, logo utilizamos a função identidade

73 Componente G: seleção das funções de ligação Em geral (por default), nos GAMLSS, utilizamos as funções de ligação baseados no espaço dos parâmetros. Por exemplo, para a distribuição normal, temos: < µ <, logo utilizamos a função identidade σ > 0, logo utilizamos a função logaritmica

74 Componente G: seleção das funções de ligação Em geral (por default), nos GAMLSS, utilizamos as funções de ligação baseados no espaço dos parâmetros. Por exemplo, para a distribuição normal, temos: < µ <, logo utilizamos a função identidade σ > 0, logo utilizamos a função logaritmica A utilização de diferentes funções de ligação também pode ser comparada por meio do GAIC e de gráficos de resíduos

75 Componente T : seleção das covariáveis do modelo

76 Componente T : seleção das covariáveis do modelo Procedimento stepwise baseado no GAIC:

77 Componente T : seleção das covariáveis do modelo Procedimento stepwise baseado no GAIC:

78 Componente T : seleção das covariáveis do modelo Procedimento stepwise baseado no GAIC: Após a realização dos passos supracitados, seleciona-se o modelo final. Observe que, por meio deste procedimento, conjuntos de variáveis explicativas distintas podem ser selecionadas para cada um dos parâmetros da distribuição da variável resposta

79 Componente L: seleção dos parâmetros de suavização do modelo

80 Componente L: seleção dos parâmetros de suavização do modelo Métodos globais (fora dos algoritmos do GAMLSS) e métodos locais (dentro dos algoritmos do GAMLSS) Máxima verossimilhança Critério de informação de Akaike generalizado Validação cruzada

81 Exemplo: dados sobre aluguel R: GAMLSS

82 Exemplo: dados sobre aluguel R: GAMLSS f1 <- fitdist(rent$r 1, type = realplus ) f1$fits[1:5]

83 Exemplo: dados sobre aluguel R: GAMLSS f1 <- fitdist(rent$r 1, type = realplus ) f1$fits[1:5] Saída BCCGo GG BCPEo GIG BCTo

84 Exemplo: dados sobre aluguel R: GAMLSS f1 <- fitdist(rent$r 1, type = realplus ) f1$fits[1:5] Saída BCCGo GG BCPEo GIG BCTo Distribuição BCCGo µ > 0: Mediana σ > 0: Coeficiente de variação < ν < : Assimetria

85 Seleção do modelo baseado na distribuição BCCGo

86 Seleção do modelo baseado na distribuição BCCGo r4 <- gamlss(r 1, data=rent, family=bccgo)

87 Seleção do modelo baseado na distribuição BCCGo r4 <- gamlss(r 1, data=rent, family=bccgo) r4 <- stepgaicall.a(r4, scope=list(lower= 1, upper= pb(fl)+pb(a)+h+loc))

88 summary(r4)

89 summary(r4) Mu Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) *** pb(fl) < 2e-16 *** H < 2e-16 *** pb(a) e-11 *** loc e-10 *** loc < 2e-16 *** Sigma Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-14 *** pb(a) < 2e-16 *** pb(fl) loc loc * H Nu Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) H * pb(a)

90 Comportamento das funções de suavização para µ term.plot(r4, pages=2)

91 Comportamento das funções de suavização para µ term.plot(r4, pages=2) Partial for pb(fl) Partial for pb(a) Fl A

92 Comportamento das funções de suavização para σ term.plot(r4, what= sigma, pages=2) Partial for pb(fl) Partial for pb(a) Fl A

93 Comportamento das funções de suavização para ν term.plot(r4, what= nu )

94 Comportamento das funções de suavização para ν term.plot(r4, what= nu ) Partial for pb(a) A

99 Comparação entre os modelos ajustados AIC(r1,r2,r3,r4) df AIC r r r r

100 Deviation Deviation Unit normal quantile Unit normal quantile Deviation Deviation Unit normal quantile Unit normal quantile

101 References P.K. Dunn and G.K. Smyth. (1996). Randomized quantile residuals. Journal of Computational and Graphical Statistics 5, P.H. Eilers and B.D. Marx. (1996). Flexible smoothing with B-splines and penalties. Statistical Science 11, P.H. Eilers, B.D. Marx and M. Durbán. (2015). Twenty years of P-splines. SORT 39, J.A. Nelder and R.W.M. Wedderburn. (1972). Generalized linear models. Journal of the Royal Statistical Society: Series A 135, R.A. Rigby and D.M. Stasinopoulos (2005). Generalized additive models for location, scale and shape. Journal of the Royal Statistical Society: Series C 54, D.M. Stasinopoulos and R.A. Rigby (2007). Generalized Additive Models for Location Scale and Shape (GAMLSS) in R. Journal of Statistical Software 23, D.M. Stasinopoulos, R.A. Rigby, G.Z. Heller, V. Voudouris and F. De Bastiani (2017). Flexible Regression and Smoothing: using GAMLSS in R, CRC Press. S. van Buuren and M. Fredriks. (2001). Worm plot: a simple diagnostic device for modelling growth reference curves. Statistics in Medicine 20,

102