VALIDAÇÃO DE MODELOS DE REGRESSÃO POR BOOTSTRAP. João Riboldi 1

Transcrição

1 VALIDAÇÃO DE MODELOS DE REGRESSÃO POR BOOTSTRAP João Riboldi 1 1. Introdução Na construção de um modelo de regressão, de uma maneira geral segue-se três etapas: executa-se o ajuste do modelo, obtendo-se a equação de regressão e procedendo-se as inferências pertinentes; faz-se a verificação da qualidade do ajuste, através dos diagnósticos de adequabilidade e de influência e verificação da capacidade preditiva e procede-se a validação do modelo, verificando-se a performance do modelo frente a realidade. Alguma evidência da validade interna do modelo ajustado pode ser obtida avaliandose a estatística PRESS e comparando com a SQE, soma dos quadrados dos resíduos de ajustamento. Um valor de PRESS razoavelmente próximo da SQE, é um indicador da validade do modelo de regressão ajustado. De uma forma mais específica, no que se refere a validação, conforme Neter et al(1996) pode-se seguir alguns procedimentos: (1) coletar novos dados para avaliar o modelo, (2) comparar com a teoria, buscando uma evidência empírica com base em resultados de simulação e (3) subdividir os dados. Quanto ao procedimento (1) tem-se as dificuldades decorrentes da repetição do estudo e o procedimento (3) tem-se constituído no procedimento preferido de validação de modelos. Consiste em subdividir os dados em dois grupos, os conjuntos de desenvolvimento e de validação do modelo, respectivamente, em geral, com 60% e 40% dos dados, conhecido como validação cruzada. Quando o conjunto de dados é pequeno, perde-se consistência no desenvolvimento e validação do modelo, pela subdivisão dos dados e, tem-se procedido, com freqüência, validação por Bootstrap. Bootstrap é um método estatístico moderno, desenvolvido por Efron(1982), originalmente para se obter a precisão das estimativas por ponto. Tem sido estendido para executar teste de hipótese, calcular intervalos de confiança, proceder seleção e validação de modelos preditivos, dentre outros tópicos estatísticos. 1 Departamento de Estatística, UFRGS, riboldi@mat.ufrgs.br

2 2. Material e Métodos Os dados utilizados no presente trabalho referem-se ao banco de dados Fitness da biblioteca de dados do SAS(SAS Institute, Inc, ). Este banco de dados contém medidas obtidas de um grupo de 31 homens de um curso de educação física na Universidade da Carolina do Norte. As variáveis são as seguintes: age idade, em anos; weight peso, em quilogramas; oxygen taxa de absorção de oxigênio, em milímetros por quilograma de peso corporal por minuto; runtime tempo para correr 1.5 milhas, em minutos; rstpulse batimento cardíaco em descanso; runpulse batimento cardíaco enquanto corre; maxpulse máximo batimento cardíaco durante a corrida; group identificação do grupo dos sujeitos. Desenvolveu-se o modelo de regressão utilizando-se procedimentos de seleção de variáveis, através de métodos automáticos(stepwise) e de todas as regressões possíveis( C de Mallows). Procedeu-se a verificação de qualidade do ajuste, avaliando-se a capacidade preditiva e executando-se os diagnósticos de adequabilidade e de influência. Na condição de performance satisfatória do modelo de regressão desenvolvido, procedeu-se a validação do modelo por Bootstrap. Uma amostra bootstrap é obtida pela amostragem de dados observados com reposição(reamostragem). Simplificadamente poder-se-ia pensar o procedimento da seguinte forma: (1)cria-se B conjuntos de dados, B amostras aleatórias, sendo cada amostra aleatória produzida por um processo de amostragem com reposição dos dados originais; (2) para i=1,2,...,b; i conjuntos de dados analisados exatamente como os dados originais, produzse os resultados para R(i); (3) R(1),...,R(B) constitui uma aproximação da distribuição amostral de R. A aproximação funciona melhor para um número grande de amostras. Em muitas aplicações um número entre 200 e 2000 é satisfatório. No presente trabalho utilizaram-se amostras bootstrap. Estatísticas estimadas da distribuição amostral aproximada servem como as estimativas desejadas. Efron e Tibshirani(1993) apresentam detalhes do método. As analises foram procedidas utilizando-se o SAS versão 9.2(SAS Institute, Inc, ), valendo-se do PROC SRUVEYSELECT para geração das amostras bootstrap. O PROC SRUVEYSELECT do SAS possibilita criar com facilidade amostras bootstrap, seguindo-se as instruções apresentadas a seguir: proc surveyselect data= Sasuser.Fitness method=urs n=31 out=samplerep outhits rep=10000; run; p

3 Acionando-se o PROC SRUVEYSELECT gera-se amostras(especificada com a opção rep=10000) e cada amostra tem 31 sujeitos(especificada com a opção n=31). Em geral cada amostra bootstrap tem o mesmo tamanho do conjunto de dados originais, assim n=opção tipicamente é igual ao tamanho da amostra original. É comum gerar de 200 a 2000, ou até amostras bootstrap. Methods=urs possibilita amostragem aleatória irrestrita e corresponde a um plano amostral que dá igual probabilidade para cada sujeito da amostra ser selecionado e executa a amostragem com reposição. A opção out=opção especifica o conjunto de dados no qual as amostras bootstrap são salvas. A opção outhits enumera quantas vezes cada sujeito da amostra foi selecionado. Os resultados apresentam uma variável chamada Replicate que identifica a amostra bootstrap e auxilia bastante nas análises posteriores. 3.Resultados e Discussão As variáveis explicativas selecionadas como harmonia dos diferentes métodos de seleção de variáveis, para predição de oxygen taxa de absorção de oxigênio, em milímetros por quilograma de peso corporal por minuto, foram age idade, em anos; runpulse batimento cardíaco enquanto corre e runtime tempo para correr 1.5 milhas, em minutos. Ajustou-se o modelo de regressão múltipla com as variáveis explicativas selecionadas e seguiu-se- as demais etapas da modelagem. Os resultados obtidos para o ajuste do modelo encontram-se na tabela 1. Procedeu-se a verificação de qualidade do ajuste, avaliando-se a capacidade preditiva e executando-se os diagnósticos de adequabilidade e de influência, e conclui-se que a performance do modelo ajustado é plenamente satisfatória(resultados não mostrados), justificando seguir no procedimento de validação do modelo. Procedendo-se a validação do modelo por Bootstrap obtem-se os resultados apresentados na tabela 2. A distribuição amostral para os coeficientes estimados para o modelo de regressão ajustado, considerando-se as amostras bootstrap se aproxima da gaussiana(resultados não mostrados). As estimativas por ponto para as médias dos coeficientes obtidos para as amostras bootstrap, bem como seus desvios padrões, são muito próximos dos valores obtidos na amostra original. Os coeficientes obtidos na amostra original encontram-se inseridos nos IC calculados para a médias dos coeficientes das amostras bootstrap, espelhando a validade do modelo de regressão ajustado.

4 4. Conclusões O procedimento bootstrap constitui um procedimento extremamente útil e eficiente para a validação de modelos de regressão, possibilitando avaliar com acuracidade a performance de modelos desenvolvidos. 5. Referências Bibliográficas EFRON, B. The jackknife, the bootstrap and other resampling plans. Philadelphia, Penn.: Society for Industrial and Applied Mathematics, EFRON, B,; TIBSHIRANI, R. An introduction to the bootstrap.new york: Chapman & Hall NETER, J., KUTNER, M., NACHTSHEIM,C.J.; WASSERMAN, W. Applied Linear Statistical Models. Fourth Edition, McGraw-Hill SAS Institute, Inc. SAS statistical software, release 9.2. Cary, NC: SAS Institute, Inc,

5 Tabela 1: Resultados para o modelo ajustado Analysis of Variance Source DF Sum of Squares Mean Square F Value Pr > F Model <.0001 Error Corrected Total Root MSE R-Square Dependent Mean Adj R-Sq Coeff Var Parameter Estimates Variable Label DF Parameter Estimate Standard Error t Value Pr > t 95% Confidence Limits Intercept Intercept < age Age in years runpulse Heart rate while running runtime Min. to run 1.5 miles < Tabela 2: Resultados da Validação do modelo por Bootstrap Analysis Variable : Estimate Parameter Estimate Variable N Obs Mean Std Dev Lower 95% CL for Mean Upper 95% CL for Mean Intercept age runpulse runtime