Análise de Risco de Crédito Bancário

Transcrição

1 UNIVERSIDADE FEDERAL DE CAMPINA GRANDE UFCG Curso de Mestrado em Informática Aluno: Francisco Fabian de Macedo Almeida Disciplina: Mineração de Dados Professor: Marcos Sampaio Data: 20 de dezembro de 2007 Análise de Risco de Crédito Bancário

2 Índice 1. Introdução 2. Etapas 2.2 Pré-Processamento 2.3 Transformação 2.4 Garimpagem 2.5 Análise e Assimilação 3. Conclusão 4. Bibliografia 1. Introdução

3 O problema de análise de risco de crédito bancário consiste em poder identificar, a partir de acervo de informações de clientes, perfis de bons e maus pagadores. Uma empresa financeira precisa de um sistema robusto de apoio à decisão de conceder crédito. Por robustez, devemos entender que os riscos de crédito devem ser minimizados, isto é, o número de inadimplentes deve se situar abaixo de um certo limiar -- taxa tolerável de inadimplência. Felizmente, a empresa dispõe de um rico acervo de informação: o histórico de seus clientes. Entretanto, a empresa não sabe como sintetizar esses dados: em suma, qual são os perfis confiáveis dos bons pagadores? e os dos maus pagadores? Para resolver o problema, evitou-se uma inspeção puramente manual dos dados. Para a solução do problema a um custo baixo, técnicas de mineração de dados foram investigadas, visando à indução automática de modelos de adimplência. Esta categoria de algoritmos possui esta denominação porque a aprendizagem do modelo é supervisionada, ou seja, é fornecida uma classe à qual cada amostra no treinamento pertence. Estes algoritmos são preditivos, pois suas tarefas de mineração desempenham inferências nos dados com o intuito de fornecer previsões ou tendências, obtendo informações não disponíveis a partir dos dados disponíveis. 2. Etapas Para desenvolver o sistema de análise de risco de crédito, dividi a tarefa em etapas de processamento. Primeiramente será feito um Pré-Processamento, Transformação, Garimpagem e por fim Análise e Assimilação. 2.2 Pré-Processamento Seleção de Atributos Nas tarefas de mineração, algumas podem requerer todos os atributos, mas outras aplicações podem melhorar se forem selecionados apenas os melhores atributos. O uso de atributos irrelevantes pode diminuir drasticamente o potencial de acertos de um algoritmo de aprendizado. Por isso, é comum uma fase de seleção de atributos antes do aprendizado, até porque a manipulação de um conjunto menor de atributos é menos custosa computacionalmente. Essa seleção pode ser feita manualmente, quando se tem um conhecimento profundo do problema modelado, ou automaticamente, geralmente com medidas estatísticas que julgam a relevância dos atributos. O Weka permite determinar automaticamente quais os atributos mais importantes para a tarefa. Como a tarefa de mineração de análise de risco de crédito não exige a seleção de atributos, pois com os 21 atributos a execução é bastante rápida, não utilizei a

4 remoção de atributos Discretização É de conhecimento comum que muitos algoritmos de aprendizado de máquina não conseguem manipular atributos numéricos diretamente, pois geralmente utilizam a contagem discreta do número de ocorrências de um determinado valor no treinamento para a construção de seus modelos. Desta maneira, caso exista atributos em valores contínuos, é necessário um processo de discretização do atributo. Podemos classificar os métodos de discretização naqueles mais simples onde apenas dividem o comprimento do intervalo dos valores do atributo por um número fixo de intervalos iguais, como também métodos mais complexos onde tentam minimizar possíveis perdas no processo de discretização. Temos duas opções de discretização em Weka: supervisionada e não-supervisionada. A primeira utiliza técnicas de Fayyad & Irani's para obter um melhor resultado, levando em conta que o atributo de classificação é o atributo class. Já o método não supervisionado é simples, onde divide igualmente os intervalos. De forma inesperada, constatei à primeira vista que o método nãosupervisionado foi melhor (76.3% contra 75.8%). Mas quando fiz a remoção de instâncias anormais (outliers), constatei que o método supervisionado foi melhor ( % contra % ). Ou seja, confirma-se a dependência do método supervisionado em relação à correta classificação (good/bad) das instâncias Substituição de valores ausentes (nulls) Foi feita uma inspeção através da GUI do Weka. Quando se clica num atributo da lista, algumas informações sobre o atributo selecionado são exibidas, entre elas a informação Missing, onde exibe a quantidade de valores nulos. No conjunto de dados, não foram encontrados dados nulos Eliminação de instâncias anormais (outliers): limpeza Sujeira ou instâncias anormais, ocorrem freqüentemente nos problemas reais de aprendizado de máquina. Como a diferenciação entre dados reais anormais e sujeira é muito sutil, o que se faz é remover instâncias que são classificadas incorretamente pelo algoritmo de aprendizado de máquina escolhido, o que o filtro RemoveMisclassified faz. É o mesmo que rodar um algoritmo de classificação que procura ser espelho do conjunto de treinamento, ou seja, 100% de acurácia de treinamento. Porém, esse filtro deve ser usado com bastante cautela, já que as instâncias podem não ser outliers: os erros de classificação podem estar associados à incapacidade do próprio classificador em se ajustar aos dados. O filtro RemoveMisclassified tem, incluindo como parâmetro, o algoritmo de classificação. Escolhi functions.smo, pois apresentou uma boa acurácia em testes Normalização A normalização, diferentemente da discretização, procura enquadrar os valores originais num intervalo fixo, de 0 a 1. Muitos algoritmos assumem que os valores numéricos de diferentes atributos têm o mesmo peso, o que nem sempre é verdadeiro. Geralmente, essa suposição leva a um mau desempenho do sistema.

5 Assim, cabe-se a utilização da normalização automática para aumentar o desempenho Padronização A padronização modifica os valores numéricos para ter média zero e variância unitária Resumo do pré-processamento A partir desta análise dos recursos de pré-processamento do Weka, aplicarei algumas combinações de algoritmos, gerando diferentes conjuntos de dados. Eis os casos: 1. Não utilizar nenhum pré-processmento; 2. Padronização apenas; 3. Normalização apenas; 4. Normalização -> discretização (unsup); 5. Normalização -> discretização -> limpeza(smo); 6. Padronização -> discretização; 7. Padronização -> discretização -> limpeza; 2.3 Transformação Selecionar os algoritmos de pré-processamento não é uma questão trivial. Houve então a necessidade de verificar quais algoritmos resultam num aperfeiçoamento nas taxas de acurária. Para isto, um comando batch foi criado para gerar varias combinações de algoritmos de pré-processamento, especificamente aquelas constantes do item Garimpagem Este é um problema de classificação supervisionada, portanto posso citar alguns algoritmos que o Weka fornece e que utilizei para este tipo de classificação: lazy.ibk (implementação do K-means), bayes.naivebayes, rules.jrip, rules.decisiontable, trees.j48, functions.smo (Support Vector Machine). Na primeira etapa, realizamos o pré-processamento, gerando sete conjunto de dados diferentes. Para cada um destes, executamos os algoritmos de classificação e assim obtemos os resultados a seguir: 1. Conjunto de dados original(1):

6 Date: 12/20/07 8:33 AM credit (100) * * (v/ /*) (0/1/0) (0/1/0) (0/0/1) (0/1/0) (0/0/1) 2. Padronização apenas: Date: 12/20/07 8:42 AM credit-weka.filters.unsup(100) * * (v/ /*) (0/1/0) (0/1/0) (0/0/1) (0/1/0) (0/0/1) 3. Normalização apenas: Date: 12/20/07 8:38 AM credit-weka.filters.unsup(100) * * (v/ /*) (0/1/0) (0/1/0) (0/0/1) (0/1/0) (0/0/1)

7 4. Normalização -> discretização (unsup); Date: 12/20/07 8:47 AM credit-weka.filters.unsup(100) * * * * (v/ /*) (0/1/0) (0/0/1) (0/0/1) (0/0/1) (0/0/1) 5. Normalização -> discretização -> limpeza(smo); Date: 12/20/07 8:57 AM 'credit-weka.filters.unsu(100) v * * * * (v/ /*) (1/0/0) (0/0/1) (0/0/1) (0/0/1) (0/0/1) 6. Padronização -> discretização; Date: 12/20/07 8:53 AM credit-weka.filters.unsup(100) * * * 72.43

8 (v/ /*) (0/1/0) (0/0/1) (0/0/1) (0/0/1) (0/1/0) 7. Padronização -> discretização -> limpeza; Date: 12/20/07 8:58 AM (1) bayes.nai (2) functi (3) lazy.i (4) trees. (5) rules. (6) rules credit-weka.filters.unsup(100) (v/ /*) (0/1/0) (0/1/0) (0/1/0) (0/1/0) (0/1/0) 2.5 Análise e Assimilação Testamos vários modelos de aprendizagem supervisionada, com combinações diferentes de pré-processamento. Pertenciam a famílias de algoritmos Lazy, bayes, rules, trees, e functions. De acordo com o resultado da execução, a melhor combinação foi com o pré-processamento Normalização -> discretização e com o algoritmo de classificação bayes.naivebayes. Este por sinal se mostrou com um desempenho muito rápido em comparação com os demais. Seu resultado completo com a matriz de confusão está abaixo: TP Rate FP Rate Precision Recall F-Measure Class good bad === Confusion Matrix === a b <-- classified as a = good b = bad Para uma análise de crédito bancário, uma taxa de acertos de 75.93% poderá

9 auxiliar nas tomadas de decisões de concessão de crédito, a depender da exigência do cliente. 3. Conclusão A mineração de dados é um instrumento fundamental para a aprendizagem de máquinas. Muitos algoritmos estão disponíveis para utilização, onde somente a habilidade, experiência e conhecimento do problema em particular, poderá fazer um uso efetivo das ferramentas de mineração. Um detalhe que achei importante foi o desempenho de algoritmos estatísticos como o NaiveBayes. Já o algoritmo Support Vector Machine se mostrou bem mais lento, porém com resultados muito próximos. Para futuras atividades, sugeriria a modelagem de um sistema que combinasse de uma melhor forma o pré-processamento. Talvez uma árvore de busca, onde os critérios de descoberta dos nodos fosse a esperança de que o algoritmo fosse bom. 4. Bibliografia Wiley - Data Mining Methods And Models (2007) Principles of Data Mining (2001) A migração do SuPor para o WEKA: potencial e abordagens.