Medidas do Valor Preditivo de Modelos de Classificação Aplicados a Dados de Crédito

Transcrição

1 CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico PROJETO DE PESQUISA DE INICIAÇÃO CIENTÍFICA Medidas do Valor Preditivo de Modelos de Classificação Aplicados a Dados de Crédito Paulo Henrique Ferreira da Silva Orientador/PQ-CNPq: Francisco Louzada Neto Centro de Estudos do Risco (CER) Departamento de Estatística Universidade Federal de São Carlos São Carlos, 29 de agosto de

2 Sumário 1. Introdução 3 2. Modelo de Credit Scoring: Etapas de Desenvolvimento Introdução Planejamento Amostral Descrição de um Problema - Credit Scoring Determinação do Escore Transformação e Seleção de Variáveis Regressão Logística Regressão Logística com Seleção de Amostra State-Dependent Validação do Modelo Medidas de Desempenho e Curva ROC Capacidade de Acerto dos Modelos Considerações Finais Simulação Introdução Simulação Computacional Simulação Bootstrap Método Bootstrap Não-Paramétrico Intervalo de Confiança Bootstrap Método dos Percentis Considerações Finais Resultados da Simulação Descrição das Bases de Dados Geradas e Procedimentos Adotados Resultados das Simulações Probabilidades Estimadas Resultados das Simulações Medidas de Desempenho Conclusão Bibliografia

3 Capítulo 1 Introdução Historicamente, os modelos de Credit Scoring vêm sendo utilizados por várias empresas como uma das principais ferramentas de suporte à concessão de crédito. Além disso, mudanças ocorridas no cenário financeiro mundial, a partir dos anos 90, tais como desregulamentação das taxas de juros e câmbio, aumento de liquidez e aumento da competição bancária, fizeram com que as instituições financeiras se preocupassem cada vez mais com o risco de crédito, ou seja, com o risco que elas estavam correndo ao aceitar alguém como seu cliente. Assim, a necessidade de controle e gerenciamento eficaz do risco fez com que as instituições financeiras passassem a utilizar cada vez mais a modelagem estatística como uma das principais ferramentas de controle de risco, e por isso passaram a buscar continuamente o aprimoramento dos modelos. A concessão de crédito ganhou força na rentabilidade de empresas do setor financeiro se tornando uma das principais fontes de receita de bancos e instituições financeiras em geral, por isso esse setor percebeu cada vez mais forte a necessidade de se aumentar o volume de recursos concedidos sem perder a agilidade e a qualidade dos empréstimos, e nesse ponto a contribuição da modelagem estatística foi essencial. Os primeiros modelos de Credit Scoring foram desenvolvidos por volta de 1950 e 1960, e os métodos aplicados nesse tipo de problema se referiam aos métodos de discriminação sugeridos por Fisher (1936) onde os modelos eram baseados na sua função discriminante. Conforme assinala Thomas (2000, p.6), David Durand, em 1941, foi o primeiro a reconhecer que a técnica de análise discriminante, inventada por Fisher em 1936, poderia ser usada para separar bons e maus empréstimos. De acordo com Kang e Shin (2000, p.2198), Durand apresentou um modelo que atribuía pesos para cada uma das variáveis usando análise discriminante. Assim, a abordagem de Fisher pode ser vista como um ponto inicial para a evolução e modificações das metodologias utilizadas nesse tipo de problema até os dias atuais, em que técnicas como regressão por árvores, regressão logística, regressão logística limitada, algoritmos genéticos e redes neurais dentre outras são utilizadas. O objetivo principal desse trabalho é, além de descrever e aplicar os procedimentos estudados em dados de Credit Scoring, o de comparar, por meio de um estudo de simulação, a capacidade preditiva de modelos de classificação ajustados a partir das 3

4 técnicas de Regressão Logística usual (Hosmer & Lemeshow, 1989) e Regressão Logística com seleção de amostra state-dependent (quando apenas uma parcela da categoria mais freqüente os bons pagadores, por exemplo - é considerada para o ajuste). Dentre as medidas comumente utilizadas para avaliar o valor preditivo da modelagem, podemos citar a sensibilidade, a especificidade, os valores de predição positivo e negativo, a acurácia, o coeficiente de correlação de Matthews, a correlação aproximada, a entropia relativa e a medida de informação mútua, as quais serão consideradas neste trabalho. O relatório é organizado da seguinte maneira. No Capítulo 2 são descritas as principais etapas de desenvolvimento de um modelo de Credit Scoring e a metodologia apresentada é ilustrada em um conjunto de dados reais, considerando o ajuste de um modelo de Regressão Logística. No Capítulo 3 é discutida a importância da simulação como ferramenta em inúmeros projetos, sendo também descrito o método de simulação Bootstrap, que é um dos mais utilizados. No Capítulo 4 são apresentados os principais resultados do estudo de simulação realizado, quando da comparação das técnicas de Regressão Logística e Regressão Logística com seleção de amostra state-dependent, por meio das medidas de desempenho mencionadas anteriormente. Comentários finais e conclusões, no Capítulo 5, finalizam o relatório. 4

5 Capítulo 2 Modelo de Credit Scoring: Etapas de Desenvolvimento 2.1. Introdução O desenvolvimento de um modelo de Credit Scoring consiste, de uma forma geral, em buscar características dos clientes que estejam relacionadas significativamente com o seu risco de crédito. Ou seja, esses modelos visam à segregação de características que permitam distinguir os bons dos maus empréstimos (Lewis, 1992). Os modelos de classificação são desenvolvidos a partir de bases históricas do comportamento dos clientes, bem como a partir de bases que contenham informações pertinentes às características cadastrais dos mesmos, tais como sexo, idade, estado civil, entre outras. Segundo Sicsu (1999), o desenvolvimento de um modelo de Credit Scoring compreende as seguintes etapas: i) Planejamento e definições; ii) Identificação de variáveis potenciais; iii) Planejamento Amostral; iv) Determinação do escore: aplicação da metodologia estatística; v) Validação e verificação de performance do modelo estatístico; vi) Determinação do ponto de corte ou faixas de escore; vii) Determinação de regra de decisão; Neste trabalho, as etapas iii, iv e v serão apresentadas com mais detalhes por estarem intimamente relacionadas com o objetivo do mesmo. A construção de um modelo de Credit Scoring está inserida no contexto de Data Mining. Segundo Thomas et al (2002), Data Mining tem a base de suas metodologias e técnicas estatísticas originadas em um problema de Credit Scoring, porém seu conceito sendo aplicado de forma mais abrangente. Data Mining é o processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou sequências temporais, para detectar 5

6 relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados. O conceito de Data Mining está muito relacionado com a construção de modelos e, no caso de um problema de Credit Scoring, o interesse é predizer e conhecer os fatores relacionados ao risco de crédito de indivíduos interessados nos serviços prestados pelas instituições financeiras Planejamento Amostral Para a definição do delineamento amostral na construção de um modelo de Credit Scoring, é importante que o planejamento e as definições iniciais do problema sejam observados também para a amostra. Dessa maneira, definições como para qual produto ou família de produtos e para qual ou quais mercados o modelo será desenvolvido, também devem ser levados em consideração para a obtenção da amostra. As bases de dados a partir das quais um modelo é construído são formadas por clientes cujos créditos foram concedidos e seus desempenhos foram observados durante um período de tempo no passado que deve ser o mais recente possível a fim de que não se trabalhe com operações de crédito muito antigas que podem ser menos representativas da realidade atual. Assim, uma premissa fundamental na construção de modelos de Credit Scoring e preditivos em geral, é que as características e a forma como essas se relacionaram com o desempenho de crédito, ou seja, com o evento de interesse, no passado serão parecidos no futuro. Um fator importante que deve ser considerado na construção do modelo é o horizonte de previsão, sendo necessário estabelecer um espaço de tempo para a previsão do Credit Scoring, ou seja, o intervalo entre a solicitação do crédito e a classificação do cliente como bom ou mau pagador. A regra é de 12 a 18 meses, porém na prática se observa que um intervalo de 12 meses é o mais utilizado. Thomas (2002) também propõe um período de 12 meses para modelos de Credit Scoring, sugerindo que a taxa de inadimplência dos clientes das instituições financeiras em função do tempo aumenta no início e se estabiliza somente após 12 meses. Assim, qualquer horizonte de previsão mais breve do que esse pode não refletir de forma real o percentual de maus clientes, prejudicando uma possível associação entre as características dos indivíduos e o evento de interesse modelado (inadimplência). Por outro lado, a escolha de um intervalo de tempo muito longo para o horizonte de previsão também pode não trazer benefícios, 6

7 fazendo com que a eficácia do modelo diminua, uma vez que pela distância temporal os eventos se tornam pouco correlacionados com potenciais variáveis explanatórias normalmente obtidas no momento da solicitação do crédito. Outro aspecto importante a ser levado em consideração na construção de modelos preditivos baseados em dados históricos é o fator tempo, onde o objetivo é garantir que o passado realmente sirva como preditor do futuro. Porém, o fato é que modelos podem se ajustar bem no passado, possuindo uma boa capacidade preditiva, mas o mesmo não ocorrendo quando aplicado a dados mais recentes. O desempenho desses modelos pode ser afetado também pela raridade do evento modelado, onde há dificuldade em encontrar indivíduos com a característica de interesse, sendo que um exemplo clássico é o risco de fraude em cartões de crédito, mas no contexto de Credit Scoring isso também pode ocorrer, principalmente quando a amostra é selecionada pontualmente, em um único mês ou semana, por exemplo, não havendo número suficiente de indivíduos para identificar as diferenças de padrões desejadas entre bons e maus pagadores. Assim, o dimensionamento da amostra é um fator muito relevante no desenvolvimento de modelos de Credit Scoring e no contexto de Data Mining de uma forma geral. É interessante que a amostra seja suficientemente grande tal que permita uma possível divisão da mesma em duas partes de desenvolvimento (ou treinamento) e teste. Mas essa divisão jamais deve substituir a validação dos modelos, sempre que possível, em um conjunto de dados mais recente, o que permite trazer ganhos na metodologia de desenvolvimento de um Credit Scoring de forma geral, obtendo assim resultados das avaliações dos modelos mais próximos da realidade atual, verificando assim o real desempenho dos modelos que servirão de ferramentas para as tomadas de decisões. Lewis (1992) sugere que, em geral, amostras com menos de 1500 clientes bons e 1500 clientes maus podem inviabilizar a construção de modelos com capacidade preditiva aceitável para um modelo de Credit Scoring, além de não permitir a sua divisão em amostra de desenvolvimento (treinamento) e amostra de teste. É comum na prática, quando se desenvolve um modelo de Credit Scoring, observarmos um desbalanceamento significativo entre o número de bons e maus pagadores nas bases de clientes das instituições financeiras, muitas vezes da ordem de 20 bons para 1 mau. Isso pode prejudicar o desenvolvimento do modelo, visto que o número de maus pagadores pode ser muito pequeno e insuficiente para estabelecer perfis com relação às variáveis explanatórias e também para observar possíveis diferenças em relação aos bons pagadores, além de ocorrer como que se praticamente um único resultado estivesse 7

8 sendo considerado pelo modelo, no caso os bons clientes, principalmente quanto maior for esse desbalanceamento entre o número de bons e maus. Assim, uma amostragem aleatória simples nem sempre é indicada nessa situação, sendo necessário utilizar uma metodologia conhecida como Oversampling, a qual consiste em aumentar a proporção do evento raro, ou mesmo não sendo tão raro, da categoria menos frequente na amostra. Como essa técnica trabalha com proporções diferentes de cada categoria, daí o fato de ser conhecida também como Amostra Aleatória Estratificada. Berry e Linoff (2000) expressam, em um problema com variável resposta binária, a idéia de se ter na amostra de desenvolvimento para a categoria mais rara ou menos freqüente entre 10% e 40% dos indivíduos - e que valores entre 20% e 30% normalmente produzem bons resultados para modelos no contexto de Data Mining de uma forma geral. Thomas (2002) sugere que as amostras em um modelo de Credit Scoring tendem a estar em uma proporção de 1:1, de bons e maus clientes, ou algo em torno desse valor. É comum também na prática selecionar todos os maus pagadores possíveis juntamente com uma amostra de mesmo tamanho de bons pagadores para o desenvolvimento do modelo. A sazonalidade na ocorrência do evento modelado é outro fator importante a ser considerado no planejamento amostral, visto que a seleção da amostra em momentos específicos no tempo em que o comportamento do evento é atípico pode acabar afetando e comprometendo diretamente o desempenho do modelo de classificação. Outro aspecto também importante é com relação à variabilidade da ocorrência do evento de interesse, uma vez que ele pode estar sujeito a fatores externos e não-controláveis, como a conjuntura econômica, por exemplo, que fazem com que a seleção da amostra pontualmente em algum momento específico do tempo também traga problemas de nãorepresentatividade da mesma com relação ao evento e assim uma maior instabilidade do modelo. Um delineamento amostral alternativo e que minimiza o efeito desses fatores descritos anteriormente (e que podem causar instabilidade nos modelos) consiste em compor a amostra de forma que os clientes possam ser selecionados em vários pontos ao longo do tempo, comumente chamado de safras de clientes. No contexto de Credit Scoring, por exemplo, a escolha de 12 safras ao longo de um ano minimiza consideravelmente a instabilidade do modelo provocada pelos fatores descritos. Por fim, deve-se destacar que a definição do delineamento amostral está intimamente relacionada também com o volume de dados históricos e a estrutura de armazenamento dessas informações encontrada nas empresas e instituições financeiras, os quais podem 8

9 permitir ou não que a modelagem do evento de interesse se aproxime mais ou menos da realidade observada Descrição de um Problema - Credit Scoring Geralmente, em problemas de Credit Scoring, as informações disponíveis para correlacionar com a inadimplência são as próprias características dos clientes. Assim, um modelo de Credit Scoring consiste em avaliar quais fatores estão associados ao risco de crédito dos clientes, bem como a intensidade e a direção de cada um desses fatores, gerando um escore final, através do qual potenciais clientes podem ser ordenados e/ou classificados segundo uma probabilidade de inadimplência. O conjunto de dados (estudo de caso) utilizado neste trabalho constitui de informações de uma instituição financeira (banco) onde os clientes adquiriram um produto de crédito. Esse banco tem como objetivo, a partir desse conjunto de dados, medir o risco de inadimplência de potenciais clientes que busquem adquirir o produto. As variáveis disponíveis no banco de dados correspondem às características cadastrais dos clientes, o valor referente ao crédito concedido, bem como um flag descrevendo seu desempenho de pagamento nos 12 meses seguintes ao da concessão do crédito. Essas informações servirão para a construção do modelo preditivo a partir da metodologia estudada, a Regressão Logística, o qual poderá ser aplicado em futuros potenciais clientes, permitindo que eles possam ser ordenados segundo uma probabilidade de inadimplência, a partir da qual as políticas de crédito da instituição possam ser definidas. A figura seguinte (Figura 1) mostra a idéia do desenvolvimento e aplicação de um modelo de Credit Scoring. Figura 1: Esquema - Aplicação de um modelo de Credit Scoring. 9

10 A base total de dados é de 5909 clientes. Para a construção do modelo preditivo utilizando a metodologia de Regressão Logística, uma amostra de desenvolvimento correspondente a 70% dessa base de dados foi utilizada para o ajuste de um modelo de Regressão Logística usual (Hosmer & Lemeshow, 1989) e o restante 30% dos dados foi utilizado como amostra de teste para verificação da adequabilidade do modelo Determinação do Escore Determinado o planejamento amostral e obtidas as informações necessárias para o desenvolvimento do modelo, o passo seguinte é estabelecer a técnica estatística ou matemática a ser utilizada para a determinação dos escores. Mas, antes disso, uma análise exploratória (descritiva) dos dados deve sempre ser realizada a fim de que uma maior familiarização com os dados possa ser obtida, ocorrendo uma melhor definição da técnica a ser utilizada e, conseqüentemente, o desenvolvimento do modelo podendo também ser aprimorado. Essa análise inicial tem alguns objetivos, dentre os quais se destacam: identificação de eventuais inconsistências e presença de outliers; comparação dos comportamentos das variáveis explanatórias, no caso de um Credit Scoring, entre a amostra de bons e maus pagadores, identificando assim potenciais variáveis correlacionadas com o evento modelado (inadimplência) e também para definir possíveis transformações de variáveis, bem como a criação de novas a serem utilizadas no modelo Transformação e Seleção de Variáveis Quando se desenvolve modelos de Credit Scoring, é muito comum na prática tratar as variáveis como categóricas, independente de sua natureza discreta ou contínua, buscando sempre a simplicidade na interpretação dos resultados obtidos. Segundo Thomas (2002), essa categorização ou reagrupamento deve ser feito tanto para variáveis originalmente contínuas como para as categóricas. Para as variáveis de origem categórica, a idéia é construir categorias com números suficientes de indivíduos para que se faça uma análise robusta, principalmente quando o número de categorias é originalmente elevado e, em algumas delas, a freqüência é muito baixa. As variáveis contínuas, ao serem transformadas em categorias, apresentam ganhos com relação à 10

11 interpretabilidade dos parâmetros. Gruenstein (1998), assim como Thomas (2002), afirma que esse tipo de transformação nas variáveis contínuas pode trazer ganhos também no poder preditivo do modelo de classificação, principalmente quando a variável explanatória em questão se relaciona de forma não-linear com o evento de interesse, como pode ocorrer, por exemplo, no caso de um Credit Scoring. Uma técnica bastante utilizada para realizar a transformação de variáveis contínuas em categóricas ou a recategorização de uma variável discreta é a técnica CHAID (Chi- Squared Automatic Interaction Detector), que consiste em dividir a amostra em grupos menores a partir da associação de uma ou mais variáveis independentes com a variável resposta (a ocorrência ou não do evento de interesse, por exemplo, a inadimplência). Essa divisão da amostra, ou seja, a criação de categorias para as variáveis explanatórias de natureza contínua ou o reagrupamento das discretas, é baseada no teste de associação Qui-Quadrado, buscando a melhor categorização da amostra com relação a cada uma dessas variáveis ou conjunto delas, de forma que o valor da estatística desse teste seja maximizado, tornando assim disponíveis as novas variáveis que são potenciais de fazer parte do modelo, agora em categorias e normalmente tratadas como dummies, que são variáveis indicadoras que determinam se o cliente está ou não na categoria de interesse, assumindo valor 1 se pertence a essa categoria e 0 caso contrário. Assim, essas novas variáveis podem ser utilizadas na Regressão Logística, podendo ser escolhidas para compor o modelo final através de algum método de seleção de variáveis, como por exemplo, o Stepwise, que é o mais utilizado. Os níveis de significância de entrada e saída das variáveis utilizadas pelo método Stepwise podem ser considerados com valores inferiores aos tradicionalmente utilizados em Estatística, que são de 0,05 (5%), a fim de que a entrada e a permanência de variáveis sem efeito prático sejam minimizadas. Além do critério estatístico, a experiência de especialistas da área de crédito, juntamente com o bom-senso na interpretação dos parâmetros, devem ser considerados, sempre que possível, na seleção de variáveis Regressão Logística Na maioria das vezes, os modelos de regressão estabelecem a relação entre uma variável resposta e uma ou mais variáveis independentes (explanatórias). No caso da Regressão 11

12 Logística, a variável resposta é discreta, podendo, dessa forma, ser utilizada para descrever a relação entre a ocorrência ou não de um evento de interesse e um conjunto de variáveis explanatórias. No contexto de Credit Scoring, a variável resposta corresponde ao desempenho creditício dos clientes durante um determinado período de tempo (geralmente, de 12 meses), e um conjunto de características dos indivíduos (sexo, estado civil, etc.) bem como informações a respeito do próprio produto de crédito a ser utilizado (número de parcelas, finalidade, valor do crédito, etc.) são observadas no momento em que eles solicitam o crédito. Essa metodologia foi aplicada na amostra de desenvolvimento (70% da base total de dados) adotando um horizonte de previsão de 12 meses e foi considerada como variável resposta a ocorrência - maus clientes: flag = 1 - ou não - bons clientes: flag = 0 - de falta de pagamento dentro desse período. O modelo construído a partir da amostra de desenvolvimento utilizando a Regressão Logística fornece escores que, quanto maior o valor obtido para os clientes pior o desempenho de crédito esperado para eles, uma vez que o mau pagador (inadimplência) foi considerado como o evento de interesse. Os valores utilizados como escore final foram obtidos através da sua parte linear, ou seja, pelo valor de ^ ' x β. O modelo de Regressão Logística é determinado pela seguinte relação: log p = ' x β = β + 0 β1x β pxp, 1 p onde p é definido como a probabilidade de um cliente com o perfil definido pelas p covariáveis, X1, X 2,..., X p, ser, por exemplo, um mau pagador. Algumas dessas covariáveis foram obtidas pelas categorizações sugeridas pela Análise de Agrupamento (Cluster Analysis) e selecionadas através do seu p-valor considerando um nível de significância de 0,05 (5%). Sendo assim, variáveis com p-valor inferior a 0,05 foram mantidas no modelo. O modelo final obtido através da Regressão Logística para a amostra de desenvolvimento encontra-se na Tabela 1 a seguir. 12

13 Tabela 1: Resultados do modelo de Regressão Logística obtido para a amostra de desenvolvimento (70% da base de dados), extraída de uma carteira de um banco (dados financeiros). Variáveis Descrição das Variáveis Estimativa Erro- Padrão 2 χ p-valor Intercepto - -1,1818 0, ,698 <,0001 Odds- Ratio L.I. (95%) L.S. (95%) var1 Tipo de cliente: 1 0,5014 0, ,952 <,0001 2,726 2,328 3,192 var4 Sexo: Feminino -0,1784 0, ,570 <,0001 0,700 0,598 0,820 var5_c Est. Civil: Casado -0,4967 0, ,351 <,0001 0,450 0,318 0,637 var5_d Est. Civil: Divorciado 0,4604 0,1551 8,814 0,0030 1,171 0,715 1,918 var5_s Est. Civil: Solteiro -0,2659 0,0910 8,541 0,0035 0,567 0,392 0,819 var11c_1 T. residência 8 anos 0,5439 0,2273 5,724 0,0167 1,545 0,765 3,122 var11c_3 8 < T. residência 20 0,1963 0,2284 0,738 0,3903 1,091 0,539 2,209 var11c_2 20 < T. residência 35-0,0068 0,2476 0,001 0,9780 0,891 0,423 1,875 var11c_4 T. residência > 49 anos -0,8421 0,8351 1,017 0,3133 0,386 0,045 3,310 var12c_3 Idade 22 anos 1,8436 0, ,638 <,0001 8,158 6,078 10,950 var12c_1 22 < Idade 31 1,3207 0, ,033 <,0001 4,836 3,802 6,152 var12c_2 31 < Idade 43 0,2452 0,1123 4,767 0,029 1,650 1,314 2,072 var12c_5 55 < Idade 67-1,2102 0, ,967 <,0001 0,385 0,269 0,550 var12c_6 67 < Idade 78-1,3101 0, ,132 <,0001 0,348 0,212 0,572 var12c_4 Idade > 78 anos -0,6338 0,4470 2,010 0,1562 0,685 0,243 1,929 Analisando o resultado do modelo obtido para a amostra de desenvolvimento e sabendo que a odds ratio é uma medida que representa o quão mais provável é de se observar o evento de interesse (no caso, a inadimplência) para um indivíduo classificado em uma categoria específica da variável explanatória em relação às quais foram deixadas como referência, pode ser observado o seguinte a respeito de cada variável presente no modelo final: TIPO DE CLIENTE: o fato do cliente ser do tipo 1 (cliente há mais de um ano) faz com que o risco de crédito aumente quase 3 vezes (2,726) em relação àqueles que são do tipo 2 (há menos de um ano na base); SEXO: o fato do cliente ser do sexo feminino reduz o risco de apresentar algum problema de crédito com a instituição financeira, onde o valor da odds de 0,7 na Regressão Logística indica que a chance de se observar algum problema para os 13

14 clientes que são do sexo feminino é aproximadamente 70% do que para os que são do sexo masculino. ESTADO CIVIL: a categoria viúvo (referência) contribui para o aumento do risco de crédito em relação às categorias casado e solteiro, mas não se pode afirmar isso em relação à categoria divorciado, visto que a odds não é estatisticamente significativa (o valor 1 está contido no intervalo de 95% de confiança para a odds). TEMPO DE RESIDÊNCIA: pode-se notar que quanto menor o tempo que o cliente tem na atual residência maior o seu risco de crédito, embora nenhuma das odds seja estatisticamente significante para essa variável. IDADE: para essa variável, fica evidenciado que quanto menor a idade dos clientes maior o risco de inadimplência Regressão Logística com Seleção de Amostra State-Dependent A Regressão Logística com seleção de amostra state-dependent é uma técnica empregada em situações em que a amostra utilizada para o desenvolvimento do modelo, a selected sample, contém apenas uma parcela dos indivíduos que compõem um dos dois grupos em estudo, em geral o grupo mais freqüente (em Credit Scoring, por exemplo, espera-se que o grupo predominante seja o de bons pagadores). Em suma, esta técnica realiza uma correção na probabilidade predita (estimada) de um indivíduo ser, por exemplo, um mau pagador, segundo o modelo de Regressão Logística. Considere uma amostra grande de observações com variáveis preditoras x i e variável resposta Y i binária (0,1), em que o evento Y i = 1 (o i-ésimo cliente é um mau pagador, por exemplo) é pouco freqüente, enquanto o complementar Y i = 0 (o i-ésimo cliente é um bom pagador) é abundante. O modelo especifica que a probabilidade de que o i- ésimo cliente seja um mau pagador, como uma função dos x i, é dada por: ( x ) ( θ x ) P Y p p * * i = 1 i =, i = i. Queremos estimar θ a partir de uma selected sample, a qual é obtida descartando parte das observações de 0 (bons pagadores), por razões de conveniência. Supondo que a full sample inicial seja uma amostra aleatória com fração amostral α e que somente uma 14

15 fração γ das observações de 0 é retida (aleatoriamente), então a probabilidade de que o cliente i seja um mau pagador ( 1) Y = e esteja incluído na amostra, é dada por: i α p * i, enquanto para Y i = 0 é * ( p i ) γα 1. Portanto, pelo Teorema de Bayes, temos que a probabilidade de que um elemento qualquer da selected sample seja um mau pagador ( Y = 1) i, é dada por: pɶ = i p p * i * * i + γ ( 1 pi ). A verossimilhança da amostra observada, em termos de pɶ i, é log L = Yi log pɶ i ( θ, xi, γ ) + ( Yi 1) log pɶ i ( θ, x i, γ ). Se γ é conhecido, os parâmetros de qualquer especificação de * p i podem ser estimados a partir da selected sample por métodos padrões de Máxima Verossimilhança. Para o caso em que o modelo em estudo é o modelo de Regressão Logística, ser calculado por: pɶ i pode ' ( xi β ) ' ( xi β ) ' ( xiβ ) ' ( xiβ ) ' ( xi β γ ) ' ( xi β γ ) exp 1.exp γ exp ln pɶ i = = = exp + γ exp 1+ exp ln γ Na expressão acima, vemos que o pɶ i da selected sample também obedece ao modelo de Regressão Logística e, com exceção do intercepto, os mesmos parâmetros β se aplicam à full sample. No caso, o intercepto da full sample pode ser obtido adicionando lnγ ao intercepto da selected sample.. 15

16 2.4. Validação do Modelo Em suma, um bom modelo é aquele cujo escore produzido consegue distinguir os eventos, ou seja, os bons e maus pagadores, uma vez que o que se deseja é identificar previamente esses grupos e tratá-los de maneira distinta através de diferentes políticas de relacionamento. Uma das idéias envolvidas em medir o desempenho do modelo está em saber o quão bem ele classifica os clientes. A lógica e a prática sugerem que a avaliação do modelo na própria amostra de treinamento, utilizada para o seu desenvolvimento, apresenta resultados melhores do que se avaliado em outra amostra, uma vez que o modelo incorpora peculiaridades inerentes da amostra utilizada para sua construção (Abreu, 2004). Desta forma, um procedimento sugerido consiste na consideração de uma amostra distinta da de seu desenvolvimento na avaliação do modelo, chamada de holdout ou amostra de teste. Em Credit Scoring, muitas vezes o tamanho da amostra, na ordem de milhares de registros, permite que uma nova amostra seja obtida para a validação do modelo, onde a situação ideal para se testar um modelo é a obtenção de amostras mais recentes, a fim de que uma medida de desempenho mais próxima da real e atual utilização do modelo seja alcançada. Em Estatística, existem alguns métodos padrões para descrever o quanto duas populações são diferentes com relação a alguma característica medida e observada. No contexto de Credit Scoring, esses métodos medem o quão bem os escores produzidos por um modelo construído separam os grupos de bons e maus pagadores. Uma medida de separação muito utilizada para avaliar um modelo de Credit Scoring é a estatística de Kolmogorov-Smirnov (KS), mas o modelo pode também ser avaliado através da curva ROC (Receiver Operating Characteristic), a qual permite comparar o desempenho de modelos através da escolha de critérios de classificação dos clientes em bons e maus pagadores de acordo com a escolha de diferentes pontos de corte ao longo das amplitudes dos escores observadas para os modelos obtidos. Porém, muitas vezes, o interesse está em avaliar o desempenho do modelo em um único ponto de corte escolhido e, assim, medidas da capacidade preditiva do mesmo podem ser também consideradas. No contexto de Data Mining, onde o problema de Credit Scoring está inserido, o objetivo principal dos modelos construídos é o de produzir escores que estejam diretamente correlacionados com a probabilidade de se observar o evento de interesse (a 16

17 inadimplência, por exemplo), a fim de que um maior número possível de classificações (previsões) corretas tanto de bons quanto de maus clientes possam ser obtidas. Thomas e Stepanova (2002) afirmam ser duvidoso que a utilização de gráficos de resíduos para diagnósticos em modelos de Credit Scoring sejam úteis para a identificação de possíveis problemas dos mesmos, devido ao fato de um grande número de observações estar geralmente envolvido, o que é bastante comum no contexto de Data Mining Medidas de Desempenho e Curva ROC Os escores obtidos para os modelos de Credit Scoring devem normalmente ser correlacionados com a ocorrência do evento de interesse (inadimplência), permitindo assim fazer previsões a respeito da ocorrência desse evento, para que diferentes políticas de relacionamento possam ser adotadas pelo nível de escore obtido para os indivíduos. Uma forma de se fazer previsões consiste em estabelecer um ponto de corte no escore produzido pelo modelo de forma que indivíduos com valores iguais ou maiores a esse são classificados, por exemplo, como maus e abaixo desse valor, como bons pagadores. A tabela 2x2 a seguir (Tabela 2), chamada de matriz de confusão, é uma forma simples de se estabelecer e visualizar o cálculo dessas medidas. Tabela 2: Medidas utilizadas em um estudo de validação de modelos de classificação que produzem respostas dicotomizadas. Resultado Real Do modelo de classificação positivo negativo positivo (inadimplente) verdadeiro-positivo (VP) falso-negativo (FN) negativo (adimplente) falso-positivo (FP) verdadeiro-negativo (VN) As medidas muito comuns e bastante utilizadas no contexto de Credit Scoring, sendo, por exemplo, a categoria de interesse o mau pagador (inadimplência), são: a sensibilidade, a especificidade, os valores de predição positivo e negativo, a acurácia, o coeficiente de correlação de Matthews, a correlação aproximada, a entropia relativa e a medida de informação mútua, que podem ser definidas como: 17

18 Sensibilidade (S): proporção de maus pagadores, classificados corretamente pelo modelo. Ou seja, é a probabilidade de um indivíduo ser classificado como mau pagador, dado que realmente é mau. VP S =. VP + FN Especificidade (E): proporção de bons pagadores, classificados corretamente pelo modelo. Ou seja, é a probabilidade de um indivíduo ser classificado como bom pagador, dado que realmente é bom. E VN =. VN + FP Valor Preditivo Positivo (VPP): proporção de maus pagadores, dado que o modelo assim os identificou. VPP VP =. VP + FP Valor Preditivo Negativo (VPN): proporção de bons pagadores, dado que o modelo assim os identificou. VPN VN =. VN + FN Capacidade Total de Acerto ou Acurácia (CTA): proporção de acertos de um modelo. Ou seja, é a proporção de verdadeiros-positivos e verdadeiros-negativos em relação a todos os resultados possíveis. VP + VN CTA =. VP + FP + VN + FN Coeficiente de Correlação de Matthews (CCM): este coeficiente proposto por Matthews (1975) é considerado uma medida balanceada que pode ser usada mesmo quando as 18

19 classes em estudo (bons e maus pagadores, por exemplo) são de tamanhos muito desiguais. Assume valores entre -1 e +1, onde um valor igual a +1 corresponde a predição perfeita (total acordo), 0 corresponde a predição completamente aleatória e -1, a predição inversa (total desacordo). Tal coeficiente é dado por CCM = VP VN FP FN ( VP + FP) ( VP + FN ) ( VN + FP) ( VN + FN ). Se qualquer uma das quatro somas no denominador for zero, o denominador pode ser arbitrariamente fixado em 1, resultando em um CCM de zero. Correlação aproximada (AC): Burset e Guigó (1996) definiram uma medida de correlação aproximada para compensar um problema do coeficiente de correlação de Matthews: ele não está definido quando qualquer das somas VP+FN, VP+FP, VN+FP, ou VN+FN for zero. Assim, em substituição ao CCM, eles usaram a probabilidade condicional média (ACP), que é definida por 1 VP VP VN VN ACP = VP + FN VP + FP VN + FP VN + FN se todas as somas forem não-nulas; caso contrário, será a média apenas das probabilidades condicionais que estão definidas. A correlação aproximada (AC) é uma transformação simples do ACP: ( ACP ) AC = 2 0,5. Esta medida assume valores entre -1 e +1 e sua interpretação é análoga à do CCM. Além disso, o valor observado de AC é próximo do valor real da correlação (Burset & Guigó, 1996). Informação mútua: Seja D a verdadeira condição do cliente e M a predição do modelo, ambas binárias (0,1). A informação mútua entre D e M é mensurada por 19

20 VP VN FP FN VP FN FP I ( D, M ) = H,,, log dm log d (1 m) log (1 d ) m N N N N N N N VN log ((1 d )(1 m) ) N (Wang, 1994), onde N é o tamanho da amostra, d = ( VP + FN ) / N, m = ( VP + FP) / N e VP VN FP H,,, N N N FN N ( ) ( ) ( ) VP VP VN VN FP FP = log log log N N N N N N FN N FN log N é a entropia usual, cujas raízes estão em teoria da informação (Kullback, 1959; Kullback & Leibler, 1986; Baldi & Brunak, 1998). Note que a informação mútua sempre satisfaz 0 I ( D, M ) H ( D), onde H ( D) = m log m (1 m) log(1 m). Assim, para a avaliação da performance de um modelo de classificação, costuma-se usar o coeficiente de informação mútua normalizada (Rost & Sander, 1993; Rost et al., 1994), dado por I( D, M ) IC( D, M ) =. H ( D) A informação mútua normalizada satisfaz 0 IC( D, M ) 1. Se IC( D, M ) = 0, então I ( D, M ) = 0 e a predição é completamente aleatória (D e M são independentes). Quando IC( D, M ) = 1, então I ( D, M ) = H ( D) = H ( M ) e a predição é perfeita. A curva ROC (Zweig e Campbell, 1993) é construída variando os pontos de corte (cutoff) ao longo da amplitude dos escores fornecidos pelos modelos, a fim de se obter diferentes classificações para os clientes. Para cada ponto de corte P C obtemos os respectivos valores para as medidas de sensibilidade e especificidade. Assim, a curva ROC é construída tendo no seu eixo horizontal os valores de (1-Especificidade), ou seja, a proporção de bons clientes que são classificados como maus pelo modelo, e no eixo vertical a Sensibilidade, que é a proporção de maus clientes que são classificados realmente como maus. Uma curva ROC obtida ao longo da diagonal principal corresponde a uma classificação obtida sem a utilização de qualquer ferramenta preditiva, ou seja, sem a utilização de modelos. Consequentemente, a curva ROC deve ser interpretada de forma que, quanto mais a curva estiver distante da diagonal 20