Mineração de dados: um estudo de caso de concessão de crédito explorando o software Weka

Transcrição

1 Mineração de dados: um estudo de caso de concessão de crédito explorando o software Weka Andreia Smiderle, Alessandra Marchiori de Oliveira Depto de Sistemas de Informação, Faculdade MATER DEI, , Pato Branco, PR andreiasmiderle@brturbo.com.br, alemarchiori@ibest.com.br A sociedade está inserida em uma época, onde a informação e o conhecimento exercem papéis fundamentais e estão se disseminando em toda parte. Com o advento da informática, as pessoas em geral e as organizações passaram a fazer grande uso da informação e, a partir disso, novas formas de armazenamento surgiram. Então, busca-se aproveitar de maneira otimizada a grande quantidade de informações que existe nos bancos de dados informatizados das organizações, para melhorar a sua performance perante o mercado competitivo e auxiliar na importante tarefa de tomada de decisão. Porém, surge a questão, em que um grande banco de dados pode influenciar na tomada de decisão? Em muitos aspectos, pois destes bancos de dados pode-se extrair conhecimentos valiosos e úteis como, por exemplo, construção de perfis de consumidores. No entanto, devido ao seu grande volume de dados, que ultrapassam a habilidade técnica e a capacidade humana de interpretação, a maioria das organizações é incapaz de aproveitar totalmente o que está armazenado em seus arquivos. Para suprir a ineficiência da habilidade técnica e a capacidade humana em filtrar uma informação de um banco de dados surge o KDD Knowledge Discovery in Database (Descoberta de Conhecimento) como ferramenta para viabilizar a análise de grandes bancos de dados. A descoberta de conhecimento em bases de dados é um processo que envolve a automação da identificação e do reconhecimento de padrões em um banco de dados. Sua principal característica é a extração não trivial de informações a partir de uma base de dados de grande porte, identificando padrões em dados que sejam válidos, potencialmente úteis e compreensíveis, de acordo com [3]. Neste contexto, surge o Data Mining que é o procedimento que define o processo extração e análise de enormes conjuntos de dados, na maioria das vezes desordenados, para então extrair um significado. Essa tecnologia está sendo usada para descrever características do passado, assim como reconhecer tendências para o futuro. Sua utilização permite avanços tecnológicos e descobertas científicas, fornecendo às organizações estratégias fundamentais para obter conhecimento sobre seu próprio negócio, além de garantir uma vantagem competitiva invejável. O administrador necessita, hoje, saber como obter o máximo de informações úteis e como utilizá-las adequadamente. Hoje, as organizações têm grandes dificuldades em conhecer seus atuais e em avaliar seus novos clientes, bem como lhes conceder crédito. Desta forma, justificase o estudo de caso proposto neste trabalho, onde se busca obter informações úteis de uma grande quantidade de dados. Com a descoberta do conhecimento (informações) as organizações passam a construir seus sistemas de apoio à decisão, seu marketing direcionado, sua forma de concessão de crédito (limite) e, até mesmo, traçando o perfil de seus clientes. Assim, organizações que detém ou fornecem o conhecimento adquirido com confiabilidade, rapidez e de forma organizada, têm grandes chances de permanecerem de forma competitiva no mercado, e esta é uma das poucas áreas de negócios em que se conseguem vantagens competitivas. O objetivo principal deste estudo é minerar a base de dados dos clientes encarteirados da empresa, buscando utilizar as características de clientes adimplentes e inadimplentes como conhecimento prévio para agilizar a operação de concessão de crédito a novos clientes. Bem como transformar os dados dos clientes armazenados no banco da organização em subsídios que auxiliem na tomada de decisão; utilizar regras de classificação para analisar e classificar novos clientes para concessão de créditos e explorar algoritmos do Software Weka buscando identificar aquele que melhor se adapta para este estudo de caso, de acordo com a confiabilidade do mesmo. De acordo com [2] uma organização ou empresa é: um grupo de pessoas, que trabalham juntas, sob orientação de um líder, visando a consecução de um objetivo. Ou ainda, segundo [2] uma integração impessoal, altamente racionalizada, de um grande número de especialistas que operam para atingir algum objetivo e sobre a qual é importante uma estrutura de autoridade altamente elaborada. Para as organizações o objetivo principal é obter lucro, que só poderá ser alcançando com a obtenção e fidelização dos clientes. Para [1] cliente é a pessoa que recebe os produtos ou serviços resultantes de um processo, no intuito de satisfazer suas necessidades e de cuja aceitação depende a sobrevivência de quem os fornece.

2 Mas, infelizmente, a relação entre a organização e seus clientes pode não ser amigável quando o assunto é crédito. Analisar um crédito significa avaliar os riscos envolvidos em um negócio e a capacidade do cliente liquidar a dívida nas condições contratadas. As empresas tentam prevenir-se dos novos clientes que tem uma forte tendência a serem inadimplentes da melhor forma possível: fazendo uma ficha cadastral, consultando outras empresas onde o cliente já compra, consultando o Serasa (Centralização de Serviços dos Bancos S.A.), SPC (Serviço de Proteção ao Crédito) e outros órgãos especializados. Desta forma, buscase minimizar o prejuízo e, é possível que durante o detalhamento da carteira, identifiquem-se quais produtos este cliente consome, a qual região pertence e de que maneira cumpre seus compromissos. Vale lembrar que, apesar de conhecer o comportamento do cliente encarteirado, sempre existe o risco de inadimplência, ou seja, que esta pessoa falte ao cumprimento de suas obrigações no prazo estipulado. Segundo [1] a concessão de crédito e as práticas de cobrança influenciam grandemente os volumes de venda e níveis de receita alcançados pelo vendedor. Decisões creditícias altamente restritivas aceitam somente as contas com solvência, mas podem perder vendas e receitas. Por outro lado, o acompanhamento agressivo de cobrança pode gerar relações problemáticas com os clientes. Assim como existem os 4P s (Praça, Preço, Promoção, Produto), os 4A s (Análise, Adaptação, Ativação, Avaliação) que são muito utilizados pelos agentes de marketing, na hora de planejar uma nova estratégia de mercado, também existem os 5C s que auxiliam como roteiro para a investigação de crédito, facilitando que nenhum aspecto relevante seja ignorado ou esquecido ao avaliar uma ficha cadastral: Caráter, Capacidade, Capital; Colateral e Condições. Ações desta natureza reforçam a imagem da organização perante o seu cliente, dando-lhe a sensação de contar com sua organização nos momentos difíceis ou importantes para o seu crescimento ou necessidades diversas. O monitoramento gera uma fotografia precisa dos negócios, permitindo traçar estratégias de crescimento e rentabilidade da carteira, reduzindo perdas e aumento a receita. Descrição do processo utilizado pela organização Atualmente, o sistema de crédito da organização é lento, impreciso, manual e com uma grande probabilidade de erros. Por mais que sejam consultadas outras organizações onde o cliente já possua um relacionamento, verifique-se SPC e Serasa, pode ficar omitido algo importante que traz a possibilidade de, mais tarde, ocasionar problemas maiores. A concessão de crédito ocorre após uma pesquisa de alguns dados fundamentais do cliente, como: nome e endereço completo, data de nascimento, naturalidade, número de CPF e RG, condição da moradia, empresa onde trabalha, cargo que ocupa, renda média mensal, estado civil, nome do cônjuge, data de nascimento de cônjuge, filiação, bancos que opera, referências comerciais e relação de bens. Sendo que os dados mais relevantes são os pesquisados nas referências comerciais, que são: tempo de relação com o fornecedor, o valor da maior compra, o valor médio mensal de compras, data e valor da última compra, forma de pagamento, pontualidade e o conceito que esta referência comercial tem sobre o cliente pesquisado: ótimo, bom ou ruim. Aplicação das ferramentas de Data Mining como proposta de análise para a concessão de crédito Com as ferramentas do Data Mining pode-se extrair informações não triviais e também podem ser definidos os campos a serem analisados, de acordo com a necessidade de implementação, de acordo com [4]. Assim, no caso específico deste estudo, ele irá confrontar as informações dos clientes já existentes no banco de dados, buscando uma regra de classificação em adimplente e inadimplente, e depois comparando o perfil do novo cliente, classificando-o de acordo com a regra. Para isso, foram realizados testes utilizando 29 atributos que a organização considera relevante para a concessão de crédito a seus clientes. Os atributos relevantes são informados por outras organizações onde o cliente já tem relacionamento, que são tempo de relação com o fornecedor, forma de pagamento, o valor médio mensal de compras, o valor da maior compra, data da maior compra, valor da última compra, data da última compra, pontualidade e o conceito que esta referência comercial tem sobre o cliente pesquisado: ótimo, bom, ruim ou inativo. Essas referências são consideradas 3 vezes, pois são consultadas três organizações diferentes para se obter o maior número de informações possíveis. Ainda são consultados o SPC, Serasa ou outros órgãos qualificados. E o último atributo seria a opinião da pessoa que está preenchendo o cadastro, se ela concederá crédito ao cliente ou não, baseada nas informações que ela obteve nos contatos indicados. No desenvolvimento deste estudo, três etapas foram realizadas: na primeira etapa foram utilizados vários

3 testes com diversos algoritmos e, a partir dos resultados destes testes, de acordo com a confiabilidade dos mesmos, partiu-se para as segunda e terceira etapas, que foram as de treinamento, classificação e inclusão de novos clientes. Este estudo foi desenvolvido com o software Weka. O Weka é uma ferramenta de Data Mining desenvolvida pela Universidade de Waikato (Nova Zelândia), que vem sendo utilizado em pesquisas na área de aprendizagem de máquinas, pois disponibiliza componentes que auxiliam a implementação de classificação e agrupamentos, este ambiente também permite que novos algoritmos sejam comparados a outros já consolidados na área de aprendizagem. Com este pacote podemos obter resultados estatísticos comparativos da execução simultânea de diversos programas de aprendizagem em domínios variados. O Weka é formado por um conjunto de pacotes, que são: attribute selection (seleção de atributos), classifiers (implementação de algoritmos de aprendizagem supervisionada), clustering (implementação de algoritmos de aprendizado não supervisionado), association rules (generalização de regras de associação usando taxonomias), filters (seleção de instância de uma base) e estimators (estimadores). Attribute Selection é usado como o próprio nome diz para selecionar atributos de uma base de dados para a extração de padrões. O Classifiers é formado por implementações de algoritmos de aprendizagem, tais como: IBK (K-nearest neighbor), o J48.J48 e J48.PART. Cluster contém uma implementação de dois métodos de aprendizagem não supervisionada: Cobweb e o algoritmo EM. O Associations contém duas classes, ItemSet e Apriori, que juntos implementam esse algoritmo. Estimators contém subclasses que são utilizadas pelo algoritmo Naive Bayes para computar os diferentes tipos de distribuição de probabilidade. Filters permite aos usuários selecionar um subconjunto de atributos ou selecionar um subconjunto de instâncias de dados baseada em algum critério. A ferramenta Weka dispõe também de métodos de meta aprendizagem que são utilizados para a construção de conjuntos de classificadores. A escolha da ferramenta Weka para o desenvolvimento deste estudo, deve-se a várias razões. Pode-se citar o fato de que foi desenvolvida em Java, tendo como principal característica à portabilidade (multi plataforma), assim, pode ser executada na mais diversas plataformas. Possui o código fonte aberto, e aproveitando os benefícios de uma linguagem orientada a objetos como modularidade, polimorfismo (mesma operação pode se comportar diferentemente em classes diferentes), encapsulamento (consiste em separar os aspectos externos de um objeto, que são acessíveis para outros objetos, dos detalhes internos de implementação do objeto), reutilização de código (mecanismo de criação de novas classes de objetos a partir de outras já existentes). E, além disso, encontra-se disponível na Internet, caracterizando a fácil instalação. Ao contrário da maioria das ferramentas de Data Mining, a ferramenta Weka apresenta uma interface gráfica para o usuário. O formato de arquivo aceito pelo Weka é o arff que, inicialmente apresenta os valores possíveis dos atributos da base (cabeçalho) e, em seguida, os dados propriamente dito, separados por vírgula. Supondo ter alguns dados para gerar regras de associação, e sendo possível armazená-los de alguma forma, que pode ser na forma de uma planilha ou de um banco de dados., pode-se aplicar as técnicas de mineração de dados. Antes de aplicar os dados a qualquer algoritmo do pacote Weka, os mesmos devem ser convertidos para o formato ARFF que consiste basicamente de duas partes. A primeira contém uma lista de todos os atributos, onde devemos definir o tipo do atributo ou os valores que ele pode representar, quando utilizamos os valores estes devem estar entre { } e separados por vírgulas. A segunda parte consiste da listagem das instâncias, ou seja, os registros a serem minerados com o valor dos atributos para cada instância, separado por vírgula. A ausência de um item em um registro deve ser registrada pelo símbolo?. Para isso, pode-se usar programas de planilhas eletrônicas e banco de dados, os quais permitem exportar os dados em um arquivo onde as virgulas são os separadores ou criar o arquivo diretamente em um editor de texto. Neste estudo de caso, foram utilizados os Microsoft Excel e Microsoft Word, pelo fato estar disponível na empresa pesquisada, entretanto, ressalta-se que pode ser utilizada qualquer outra plataforma além do MICROSOFT WINDOWS, como por exemplo: LINUX, UNIX, SOLARES. Uma vez feito isso, é necessário apenas carregar o arquivo em um editor de texto e adicionar o nome do conjunto de dados nome_do_conjuto_de_dados. Para cada atributo e, após, colocar uma linha e logo em seguida os dados em si, salvando o arquivo como texto puro com extensão ARFF. 1. Primeira Etapa A primeira etapa de testes foi realizada com um conjunto de 100 clientes, aplicando-se cinco algoritmos de Classify (ConjunctiveRule, Decision, DecisionStump, J48, ADTree). Sendo que a base de

4 clientes possui 29 atributos, porém, dependendo do algoritmo, nem sempre são considerados os 29 atributos. Na tabela 1 pode-se comparar a eficiência dos algoritmos utilizados nesta etapa, onde destacam-se os Algoritmos ADTree e Decision que serão analisados na etapa seguinte também para a posterior escolha de qual algoritmo melhor se adapta a este estudo de caso. Decision Decision Stump J ADTree Tabela 2 Tabela comparativa no uso dos algoritmos realizados com um conjunto de 80 clientes para treinamento e um conjunto de 20 clientes para testes in in Conjunctive Rule Decision Decision Stump J ADTree Tabela 1- Tabela comparativa no uso dos algoritmos realizados com um conjunto de 100 clientes 3. Terceira Etapa: Inclusão de um novo Cliente Para melhor visualizar e comprovar a utilidade e viabilidade da ferramenta Weka, foram utilizados os dois algoritmos de maior confiabilidade das etapas anteriores: o algoritmo Decision e o algoritmo J48 para testes de inclusão de um novo cliente. Foi criada uma base com 100 clientes e outra com apenas um cliente, para avaliar o comportamento dos algoritmos. As características deste cliente teste podem ser digitadas pela funcionária do setor responsável na empresa, numa planilha do Microsoft Excel, de acordo com a figura 1 abaixo: 2. Segunda etapa A segunda etapa foi realizada explorando os mesmo cinco algoritmos de Classify (ConjunctiveRule, Decision, DecisionStump, J48, ADTree), porém utilizando uma base de 80 clientes pra treinamento e uma base de 20 clientes para teste. Na tabela 2 pode-se observar a eficiência dos algoritmos utilizados nesta segunda etapa, onde destaca-se o Algoritmo Decision e os Algoritimos ConjunctiveRule, DecisionStump e J48 que obtiveram a mesma porcentagem de confiabilidade e enquanto o Algoritmo ADTree obteve uma confiabilidade baixíssima. De modo que, os Algoritmos que serão analisados na etapa seguinte serão o Decision e o J48. Justificando-se o uso do Algoritmo Decision pelo seu nível de confiabilidade e o Algoritmos J48 por ser um dos mais conhecidos na literatura. in in Figura 1 Planilha para coleta de informações dos clientes Partindo do conjunto de treinamento, que é a base de dados dos 100 clientes (adimplentes e inadimplentes), foram realizados 7 testes de inclusão de novos clientes. Na tabela 3 pode-se confirmar que os dos Algoritmos Decision e J48 obtiveram os resultados esperados com um nível de confiabilidade muito grande, e mesmo quando tentamos corrompê-lo, concedendo crédito a um cliente com perfil de inadimplente, o algoritmo não concordou com a prévia classificação. Conjunctive Rule

5 in in Decision Teste Teste Teste Teste J48 Teste Teste Teste Tabela 3- Tabela comparativa no uso dos algoritmos para a inclusão de um novo cliente Conclusões Verificou-se através do desenvolvimento deste estudo de caso, que os dados dos clientes cadastrados podem transformar-se em informações que auxiliem a empresa na concessão de crédito a novos clientes. Com os testes realizados, aplicando as ferramentas do Data Mining através da exploração do Software Weka, foi possível a criação de regras de classificação para analisar e classificar novos clientes para concessão de créditos. Explorou-se algoritmos do Software Weka identificando como os dois mais aptos para este estudo de caso os algoritmos Decision e J48, de acordo com a taxa de acerto, ou seja, confiabilidade dos mesmos. A utilização de Data Mining possibilitou que fossem minerados os dados pertinentes aos clientes encarteirados, avaliando somente os campos de maior relevância, desta forma encontrando regras de classificação, que não só auxiliam na tomada de decisão, mas também, possibilitam uma maior agilidade e confiabilidade na difícil hora da concessão ou não de crédito. As classificações realizadas com a utilização do software Weka e os 5 algoritmos selecionados: ConjunctiveRule, Decision, DecisionStump, J48, ADTree, com uma base de 100 clientes, apresentaram níveis de acerto altos, variando de 83% a 95%. Os treinamentos realizados com uma base de 80 clientes e uma base de teste com 20 clientes, utilizando os mesmos algoritmos citados, também apresentaram uma boa taxa de acerto, num intervalo de 60% a 80%. No momento dos testes para inclusão de um novo cliente, selecionaram-se dois algoritmos, de acordo com sua taxa de acerto na etapa anterior. Treinando os algoritmos com uma base de 100 clientes, os testes de inclusão de um novo cliente foram satisfatórios, pois em 6 testes de 7 que foram realizados, as ferramentas do Weka comprovaram a pré-análise da funcionária. No caso da não confirmação da pré-análise da atendente pelo software, verificou-se que ela havia realizado uma classificação inadequada do perfil do cliente. Partindo-se destas conclusões, percebe-se que seria viável a implementação destes procedimentos no setor responsável da empresa, ressaltando que, é interessante que cada novo cliente, após sua pré-análise e devida classificação pelo software, tenha seus dados inclusos no conjunto de dados de treinamento, visando enriquecer a base de dados. Desta forma, o banco de dados da empresa para a análise da concessão de crédito será sempre alimentado, proporcionando um conjunto de informações cada vez mais confiáveis para a classificação de novos clientes. Entende-se que este assunto é extremamente importante para as organizações e para o desenvolvimento de novos trabalhos acadêmicos, assim, sugere-se que, a partir das regras de classificação do Software Weka, um software de consulta seja implementado em alguma linguagem. Desta forma, não seria necessária uma pessoa, com todo o conhecimento do Software Weka, de seus algoritmos e do Data Mining, estar disponível para fazer a análise de um novo cliente. Esta análise poderia ser facilmente realizada pela pessoa responsável do setor que faz a pesquisa das informações. Referências [1] A. BLATT, Elementos Fundamentais na Concessão de Crédito. Disponível em < articulistas/comunidade_artigos_adrianoblatt_2000_5.htm. Acesso em: 28/05/04. [2] G. R. CARAVANTES, Teoria Geral da Administração: Pensando & Fazendo. Editora AGE, [3] C. A. DINIZ, Data Mining: Uma Introdução. São Calos: Editora UFSCAR, [4] M. T. A. STEINER, A. SMIDERLE, Redes Neurais e Árvores de Decisão na Análise do Crédito Bancário. In: Simpósio Brasileiro de Pesquisa Operacional, 36.. São João del-rei, 2004.