Ajuste e validação de modelos preditivos

Transcrição

1 Ajuste e validação de modelos preditivos 1

2 O modelo de regressão logística é frequentemente utilizado com o objetivo de predizer (classificar) indivíduos com base nos valores de suas covariáveis. Modelos preditivos são utilizados em diversos contextos: o Predição do comportamento de clientes que solicitam empréstimo ( pagadores ou não pagadores ); o Predição do desfecho clínico de pacientes com certa doença ( curados ou não curados ); o Predição da condição real de acusados, na área criminal ( culpados ou inocentes ); o Predição dos resultados de jogos de basquete ( vitória ou derrota de um particular time). 2

3 Nota - Embora nos concentremos no uso do modelo de regressão logística para predição e classificação, fique claro que os métodos apresentados servem para qualquer tipo de modelagem preditiva, como árvores de classificação, análise discriminante, redes neurais, ponderação de modelos... Uma vez ajustado um modelo de regressão logística, teremos, para qualquer indivíduo, uma probabilidade estimada para a resposta de interesse. Exemplo ilustrativo: Considere, num problema de predição, dez indivíduos para os quais se dispõe da probabilidade estimada do desfecho de interesse ( ˆ P( Y = 1) ou 1). i = i π ) e dos reais desfechos (0 3

4 Indivíduo (i) πˆ i 0,89 0,25 0,54 0,29 0,44 0,74 0,95 0,05 0,12 0,66 y i Uma possível regra de classificação seria classificar todos os indivíduos para os quais fracasso e os demais, para os quais seria o ponto de corte de nossa regra. πˆ p como πˆ p, como sucesso, para algum valor 0 < p < 1. Então, p i i < 4

5 Cenário 1 Ponto de corte: p = 0, 5. Indivíduo (i) πˆ i 0,89 0,25 0,54 0,29 0,44 0,74 0,95 0,05 0,12 0,66 y i ŷ i Cenário 2 Ponto de corte: p = 0, 6. Indivíduo (i) πˆ i 0,89 0,25 0,54 0,29 0,44 0,74 0,95 0,05 0,12 0,66 y i ŷ i

6 Cenário 2 Ponto de corte: p = 0, 4. Indivíduo (i) πˆ i 0,89 0,25 0,54 0,29 0,44 0,74 0,95 0,05 0,12 0,66 y i ŷ i Questão: cada valor de p produz uma diferente regra de classificação. Qual regra de classificação considerar? 6

7 A escolha de uma regra de classificação adequada deve ser baseada em indicadores de qualidade preditiva avaliados para cada possível regra. Dois indicadores amplamente utilizados na avaliação de modelos preditivos são a sensibilidade e a especificidade: o Sensibilidade: probabilidade de o indivíduo ser classificado como sucesso, dado que ele realmente é um sucesso ; o Especificidade: probabilidade de o indivíduo ser classificado como fracasso, dado que ele realmente é um fracasso. Na prática, a sensibilidade e a especificidade de um modelo preditivo são desconhecidas. 7

8 O mais recomendável é usarmos os resultados de uma amostra de validação (dados não utilizados no ajuste do modelo) para estimá-las. Medidas de qualidade preditiva calculadas com base nos dados do ajuste tendem a ser excessivamente otimistas. Suponha que n indivíduos, para os quais se conhece a resposta e que não tenham sido utilizados no ajuste do modelo. Considere que estes indivíduos tenham suas probabilidades de sucesso ( π i ) estimadas pelo modelo e que eles sejam classificados em fracasso ou sucesso segundo uma regra do tipo πˆ p ou πˆ p, para algum valor de p entre 0 e 1. i < i 8

9 Podemos apresentar os resultados reais e as predições numa tabela de dupla entrada: Predição Sucesso Fracasso Total Sucesso Realidade Fracasso Total n SS n SF n S n FS n FF n F n S n F n Assim, teríamos as seguintes estimativas para a sensibilidade e a especificidade do modelo: o o Sens = n n Espec = SS S n n ; FF F. 9

10 Voltando ao exemplo ilustrativo: o Para o ponto de corte p = 0, 5: Predição Realidade Sucesso Fracasso Total Sucesso Fracasso Total nss 4 Sens = = = 0,67. n 6 S nff 3 Espec = = = 0,75. n 4 F 10

11 o Para o ponto de corte p = 0, 6: Predição Realidade Sucesso Fracasso Total Sucesso Fracasso Total nss 4 Sens = = = 0,67. n 6 S nff 4 Espec = = = 1. n 4 F 11

12 o Para o ponto de corte p = 0, 4: Predição Realidade Sucesso Fracasso Total Sucesso Fracasso Total nss 5 Sens = = = 0,83. n 6 S nff 3 Espec = = = 0,75. n 4 F É importante notar que a medida que aumentamos o ponto de corte, a regra de classificação tem sua sensibilidade diminuída e sua especificidade aumentada. 12

13 Como para cada valor de p tem-se uma regra de classificação distinta, é usual estimar a sensibilidade e a especificidade para diferentes valores de p. Uma forma de se fazer isso é através da construção da curva ROC. Na curva ROC representamos, no eixo horizontal, 1-Especificidade, e no eixo vertical a Sensibilidade, calculados com base em diferentes valores para o ponto de corte. Os pontos de corte são representados no interior do gráfico. Uma boa regra de decisão, em casos gerais, concilia elevadas sensibilidade e especificidade. Assim, pontos de corte localizados no canto superior esquerdo da curva ROC são preferíveis. 13

14 Sensibilidade Especificidade Figura Ilustração de uma curva ROC. 14

15 Nota 1 A área sob a curva ROC é uma medida de qualidade preditiva do modelo. Diferentes modelos preditivos podem ser comparados com base em suas sensibilidades, especificidades, áreas sob a curva ROC... Nota Em alguns problemas têm-se custos de má-classificação diferentes decorrentes da classificação de um sucesso como fracasso e vice-versa. Nestes casos, tais custos podem ser incorporados na busca por uma regra de classificação / modelo preditivo adequados. 15