Detecção de fraude no sistema de custas judiciais. Dissertação para obtenção do Grau de Mestre em. Engenharia Informática e de Computadores

Transcrição

1 Knowledge Discovery is the most desirable end-product of computing. Finding new phenomena or enhancing our knowledge about them has a greater long-range value than optimizing production processes or inventories, and is second only to task that preserve our world and our environment. It is not surprising that it is also one of the most difficult computing challenges to do well. (Wiederhold, G., 1996) Detecção de fraude no sistema de custas judiciais Usando métodos de aprendizagem não supervisionada Diana Isabel dos Santos Belo Neves Dissertação para obtenção do Grau de Mestre em Engenharia Informática e de Computadores Júri Presidente: Professor Pedro Manuel Moreira Vaz Antunes de Sousa Orientador: Professor Arlindo Manuel Limede de Oliveira Vogais: Professora Helena Isabel de Jesus Galhardas Setembro 2007

2

3 Agradecimentos Ao longo deste ano foram várias as pessoas que contribuíram para a realização desta tese de mestrado. Foi fundamental o apoio do meu orientador, Professor Arlindo Oliveira, que acompanhou, sugeriu e corrigiu a tese encaminhando a para o resultado final. Quero agradecer lhe por todo o apoio dado neste caminho. Ao grupo da Link, em particular ao Eng. João Damásio, à Eng. Carla Penedo, ao Eng. André Silva e ao Eng. João Farinha agradeço pelo apoio dado ao longo deste ano de trabalho, pela disponibilidade e boa vontade, que permitiram uma valiosa aprendizagem na área BI e no negócio do IGFPJ. Aproveito para agradecer ao IGPFJ, em particular à Dra. Isabel Brito que permitiu a realização da tese e contribuiu vivamente para o seu encaminhamento. Não podia deixar de agradecer às pessoas mais importantes da minha vida. À minha família, pais e irmã pelo apoio incondicional que sempre me deram. Sei que estão orgulhosos de mim por ter concluído mais esta fase, e este trabalho é em parte para vós. Especialmente quero agradecer aos meus pais por terem suportado os encargos dos meus estudos, e pela confiança que me incutiram ao longo dos meus anos de vida, sei que é a vós que devo o facto de ser aquilo que sou hoje. Em especial tenho de agradecer ao Paulo, companheiro e amigo, pelo apoio nos bons e maus momentos ajudando me sempre que possível. Por todo o amor e carinho, confiança em mim depositada, ajuda, motivação e companhia, quero retribuir lhe um forte agradecimento. Por último gostaria de estender os meus agradecimentos a todos aqueles de uma forma ou de outra, fornecendo ideias e criticando, foram ajudando anonimamente nas inúmeras discussões ao longo deste ano. i

4 ii

5 Resumo Palavras chave: Detecção de Fraude; Sistema de Custas Judiciais; Data mining; Aprendizagem não supervisionada; Clustering O Instituto de Gestão Financeira e Patrimonial da Justiça (IGFPJ) é o organismo responsável pela gestão financeira e patrimonial. Este organismo detém o Sistema de Custas Judiciais. Neste trabalho pretende se auditar o Sistema de Custas Judiciais (SCJ) de modo a detectar possíveis fraudes. A técnica usada para detecção de fraude foi data mining, mais precisamente método de clustering. Tal escolha deveu se essencialmente à falta de conhecimento de informação de fraude que impossibilitou o uso para conjunto de treino para algoritmos de aprendizagem supervisionada. Para efectuar as análises de data mining e toda a preparação que antecede, estipulou se uma metodologia a seguir e seleccionaram se as tecnologias adequadas. A metodologia seguida no trabalho divide se em 3 macro fases, que são: O enquadramento no negócio, que incluiu o levantamento e contextualização dos tópicos de análise; A Construção dos data marts e processos ETL; A aplicação dos algoritmos de clustering e análise dos resultados, que vai desde a aplicação de algoritmos de clustering, até à documentação dos resultados. A tecnologia utilizada para esta tese foi essencialmente da Microsoft. Foi também incluído o Power Designer 11 da Sybase para o desenho dos data marts e geração do código SQL. Para os processos ETL e aplicação de algoritmos de data mining foi usado o Microsoft SQL Server 2005 e o Microsoft Excel DM para a análise dos resultados obtidos. Seguiu se a fase de desenvolvimento de acordo com a metodologia seleccionada. Foram analisados 5 tópicos escolhidos por um perito no sistema de custas judiciais, tendo sido eles: Emissão de Guias de reposição de Entidade Especial, Notas, Cheques para Secretários, Actos Avulso e operações sobre Cheques. Foram construídos os data marts referentes a cada tópico de análise. Realizaram se os processos ETL necessários ao preenchimento das dimensões e tabelas de facto e preparam se as views para a fase de data mining. Na fase de data mining, para cada tópico foram aplicados os algoritmos de clustering EM e k means. Como última análise, foram retiradas macro conclusões para cada tópico de análise, que em conjunto com as tabelas detalhadas para cada algoritmo, foram demonstradas a peritos do SCJ e do negócio das custas, de modo a conseguir enquadrar no negócio as conclusões retiradas. iii

6 iv

7 Abstract Key words: Fraud Detection; Sistemas de Custas Judiciais; Data mining; Unsurpervised learning; Clustering The Instituto de Gestão Financeira e Patrimonial da Justiça IGFPJ, is the responsible organism for the financial and patrimonial management. This organism manages the system of judicial costs. The objective of this work is to audit the Sistema de Custas Judiciais SCJ, in order to detect possible frauds. The technique used for fraud detection was data mining clustering method. This choice was mainly due to the lack of knowledge in fraud information. This made impossible the use of a training set for supervised learning algorithms. To apply the data mining algorithm, we followed a methodology used the adequate technologies. The methodology followed in the work could be divided in 3 macro phases: The business context includes the finding and contextualization of the topic analysis; The construction of the data marts and ETL processes; The application of clustering algorithms and results analysis goes from the application of clustering algorithms, until the documentation of the results. The technology used for this thesis was essentially Microsoft. The Power Designer 11 from Sybase was used to draw the data marts and to generate SQL code. For ETL processes and application of data mining algorithms the Microsoft SQL Server 2005 was used and to analyze the results the Microsoft Excel DM was used. Following the methodology, 5 topics were chosen to analyze: Guides emission of Special Entity; Note emission; Checks operations; Checks emissions for Secretaries and Single Acts Emission. The data marts referring to each topic analysis were built. Then the necessary ETL processes were carried out to fill the dimensions and fact tables and prepare views for the data mining. When the data mining phase was reached, the algorithm of clustering was varied between the EM and k means, for each topic. For the final analysis, macro conclusions for each analysis topic were made. These macro conclusions, with the tables results of each topic, were shown to the business expert in order to contextualize the results and possibly find fraud actions. v

8 vi

9 Índice 1 INTRODUÇÃO MOTIVAÇÃO PROBLEMA E OBJECTIVOS ORGANIZAÇÃO DA TESE ENQUADRAMENTO TEÓRICO DATA MINING APRENDIZAGEM SUPERVISIONADA APRENDIZAGEM NÃO SUPERVISIONADA FERRAMENTAS DE DATA MINING TRABALHO RELACIONADO TRANSACÇÕES PELA INTERNET TELECOMUNICAÇÕES INSTITUIÇÕES FINANCEIRAS BOLSA DE VALORES METODOLOGIA E TECNOLOGIAS DESENVOLVIMENTO ENQUADRAMENTO NO NEGÓCIO ENTIDADES E DOCUMENTOS DO SCJ DESCRIÇÃO DOS TÓPICOS DE ANÁLISE CONSTRUÇÃO DOS DATA MARTS E PROCESSOS ETL DIMENSÕES DE ANÁLISE DATA MARTS PROCESSOS ETL APLICAÇÃO DO ALGORITMO DE CLUSTERING E ANÁLISE DE RESULTADOS DATA MINING SOBRE EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL DATA MINING SOBRE EMISSÃO DE NOTAS DATA MINING SOBRE OPERAÇÕES SOBRE CHEQUES DATA MINING SOBRE EMISSÃO DE CHEQUES PARA SECRETÁRIOS (AS) vii

10 4.3.5 DATA MINING SOBRE EMISSÃO DE ACTOS AVULSO CONCLUSÃO MOTIVAÇÃO DA TESE CONTRIBUIÇÕES DA TESE TRABALHO FUTURO CONSIDERAÇÕES FINAIS BIBLIOGRAFIA ANEXOS viii

11 Lista de Figuras FIGURA 1 VISTA GERAL DAS ETAPAS QUE COMPÕEM O PROCESSO KDD... 5 FIGURA 2 DESCRIÇÃO DE DATA MINING (REZENDE, PUGLIESI, E.A., & M.F., 2003)... 6 FIGURA 3 SUBCONJUNTO DAS FERRAMENTAS DE DATA MINING FIGURA 4 INTELLIGENT MINER RESULTADOS DE CLUSTERING FIGURA 5 FERRAMENTAS DO ENTERPRISE MINER RESULTADO DE CLUSTERING FIGURA 6 CLEMENTINE FIGURA 7 WEKA FIGURA 8 PGA NA DETECÇÃO DE FRAUDE DE OPERAÇÕES DE CARTÃO DE CRÉDITO FIGURA 9 A ASSINATURA DA ACTIVIDADE DE LIGAÇÕES ESTABELECIDAS DE UM GRANDE CLIENTE QUE REALIZA APROXIMADAMENTE POR SEMANA FIGURA 10 A EXIBIÇÃO DO NICHEWORKS PARA 8 HORAS DE CHAMADAS INTERNACIONAIS. OS PONTOS REPRESENTAM OS CLIENTES E AS LINHAS ENTRE OS PONTOS E OS PAÍSES REPRESENTAM A CODIFICAÇÃO DO NÚMERO TOTAL DE CHAMADAS. OS PONTOS MAIORES REPRESENTAM UM COMPORTAMENTO ANÓMALO FIGURA 11 UMA VISTA DETALHADA DO AMA RECORD DATA, QUE MOSTRA 97 CHAMADAS SUSPEITAS QUE MAIS TARDE FORAM CONFIRMADAS COMO CHAMADAS FRAUDULENTAS FIGURA 12 METODOLOGIA FIGURA 13 TIPOS DE GUIAS NO SCJ FIGURA 14 VIEW DO TÓPICO DE ANÁLISE: EMISSÃO DE GUIAS FIGURA 15 DIAGRAMA DE CLUSTERS DO TÓPICO DE ANÁLISE EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS COM TODOS OS ATRIBUTOS FIGURA 16 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM VANILLA COM TODOS OS ATRIBUTOS FIGURA 17 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS VANILLA COM ATRIBUTOS REDUZIDOS FIGURA 18 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM VANILLA COM ATRIBUTOS REDUZIDOS FIGURA 19 VIEW CRIADA COM OS ATRIBUTOS E INDICADORES DO TÓPICO EMISSÃO DE CHEQUES PARA SECRETÁRIOS FIGURA 20 DIAGRAMA DE CLUSTERS: MÉTODO K MEANS VANILLA COM TODOS OS ATRIBUTOS FIGURA 21 PERFIL PARCIAL DOS CLUSTERS: MÉTODO K MEANS VANILLA COM TODOS OS ATRIBUTOS FIGURA 22 DIAGRAMA DE CLUSTERS: MÉTODO EM VANILLA COM TODOS OS ATRIBUTOS FIGURA 23 DIAGRAMA DE CLUSTERS: MÉTODO K MEANS VANILLA COM ATRIBUTOS REDUZIDOS FIGURA 24 DIAGRAMA DE CLUSTERS: MÉTODO EM VANILLA COM ATRIBUTOS REDUZIDOS FIGURA 25 VIEW DO TÓPICO DE ANÁLISE EMISSÃO DE ACTOS AVULSO FIGURA 26 DATA MART REFERENTE AO TÓPICO DE EMISSÃO DE ACTOS AVULSO FIGURA 27 DATA MART REFERENTE AO TÓPICO DE EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL FIGURA 28 DATA MART REFERENTE AO TÓPICO DE EMISSÃO DE NOTAS ix

12 FIGURA 29 DATA MART REFERENTE AO TÓPICO OPERAÇÕES DE CHEQUES FIGURA 30 DATA MART REFERENTE AO TÓPICO EMISSÃO DE CHEQUES PARA SECRETÁRIOS FIGURA 31 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE NOTAS: MÉTODO EM COM ATRIBUTOS REDUZIDOS FIGURA 32 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE NOTAS: MÉTODO EM COM TODOS OS ATRIBUTOS FIGURA 33 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE NOTAS: MÉTODO K MEANS COM ATRIBUTOS REDUZIDOS FIGURA 34 DIAGRAMA DE CLUSTERS DO TÓPICO EMISSÃO DE NOTAS: MÉTODO K MEANS COM TODOS OS ATRIBUTOS x

13 Lista de Tabelas TABELA 1 DIMENSÕES DE ANÁLISE TABELA 2 VALORES DE ATRIBUTOS QUE CARACTERIZAM O CLUSTER 3 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 3 VALORES DE ATRIBUTOS QUE CARACTERIZAM O CLUSTER 7 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO: MÉTODO EM COM TODOS OS ATRIBUTOS TABELA 4 VALORES DOS ATRIBUTOS QUE CARACTERIZAM O CLUSTER 3 DO TÓPICO EMISSÃO DE CHEQUES PARA SECRETÁRIO: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 5 PERFIL DOS CLUSTERS DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 6 CARACTERÍSTICAS DO CLUSTER 3 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 7 DISCRIMINAÇÃO DO CLUSTER 3 EM RELAÇÃO AO SEU COMPLEMENTO DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 8 TUPLOS PARA ANÁLISE DO CLUSTER 3 DO TÓPICO DE EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 9 CARACTERÍSTICAS DO CLUSTER 7 DO TÓPICO DE ANÁLISE EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM TODOS OS ATRIBUTOS TABELA 10 DISCRIMINAÇÃO DO CLUSTER 7 EM RELAÇÃO AO SEU COMPLEMENTO DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM TODOS OS ATRIBUTOS TABELA 11 DISCRIMINAÇÃO DO CLUSTER 7 EM RELAÇÃO AO SEU VIZINHO CLUSTER 2 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM TODOS OS ATRIBUTOS TABELA 12 TUPLOS PARA ANÁLISE DO CLUSTER 7 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM TODOS OS ATRIBUTOS TABELA 13 PERFIL DOS CLUSTERS DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 14 CARACTERÍSTICAS DO CLUSTER 8 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 15 DISCRIMINAÇÃO DO CLUSTER 8 EM RELAÇÃO AO SEU COMPLEMENTO DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 16 VALORES DOS ATRIBUTOS QUE CARACTERIZAM O CLUSTER 8 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 17 CARACTERÍSTICAS DO CLUSTER 4 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 18 DISCRIMINAÇÃO DO CLUSTER 4 EM RELAÇÃO AO SEU COMPLEMENTO DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS xi

14 TABELA 19 VALORES DOS ATRIBUTOS QUE CARACTERIZAM O CLUSTER 4 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 20 CARACTERÍSTICAS DO CLUSTER 12 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 21 DISCRIMINAÇÃO DO CLUSTER 12 EM RELAÇÃO AO SEU COMPLEMENTO DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 22 VALORES DOS ATRIBUTOS QUE CARACTERIZAM O CLUSTER 12 DO TÓPICO EMISSÃO DE GUIAS DE REPOSIÇÃO DE ENTIDADE ESPECIAL: MÉTODO EM COM ATRIBUTOS REDUZIDOS TABELA 23 TUPLOS PARA ANÁLISE DO CLUSTER 5 DO TÓPICO EMISSÃO DE NOTAS: MÉTODO K MEANS COM TODOS OS ATRIBUTOS TABELA 24 VALORES DOS ATRIBUTOS QUE CARACTERIZAM O CLUSTER 4 DO TÓPICO DE EMISSÃO DE CHEQUES PARA SECRETÁRIOS: MÉTODO EM COM TODOS OS ATRIBUTOS TABELA 25 VALORES DOS ATRIBUTOS QUE CARACTERIZAM O CLUSTER 6 DO TÓPICO DE EMISSÃO DE CHEQUES PARA SECRETÁRIOS: MÉTODO EM COM TODOS OS ATRIBUTOS xii

15 Siglas BD CGT CPAS CRM DGT DM EM ETL IA IGFPJ IST KDD KNN SCB SCCS SCEG SCP SCSM SCJ SIP SNRD SSMJ SP SPP ST PGA Base de Dados Cofre Geral dos Tribunais Caixa de Previdência dos Advogados e Solicitadores Customer Relationship Management Marketing direccionado Direcção Geral do Tesouro Data Mining Expectation Maximization Extract, Transform and Load Inteligência Artificial Instituto de Gestão Financeira e Patrimonial da Justiça Instituto Superior Técnico Knowledge Discovery in Databases Processo de descoberta de conhecimento em Bases de Dados k nearest neighbour Subsistema de Contas Bancárias Subsistema Central de Coordenação do SCJ Subsistema de Controlo e Emissão de Guias Subsistema de Contas do Processo Subsistema de Controlo de Saldos e Movimentos Sistemas de Custas Judiciais Subsistema de Informação de Processos Subsistema de Notas e Recibos de despesa Serviços Sociais do Ministério da Justiça Subsistema de Pagamentos Subsistema de pré pagamentos Subsistema de Transferências Peer Group Analysis xiii

16

17 1 Introdução O Instituto de Gestão Financeira e Patrimonial da Justiça (IGFPJ) é o organismo responsável pela gestão financeira e patrimonial, respectivamente, dos recursos financeiros provenientes do Cofre Geral dos Tribunais, actualmente designado por Instituto de Gestão Financeira (IGF), do Cofre dos Conservadores, Funcionários de Justiça e dos bens afectos ao Ministério da Justiça. Este organismo detém o Sistema de Custas Judiciais. O Sistema de Custas Judiciais (SCJ) é o sistema de informação financeira dos processos judiciais. As custas judiciais são o somatório de todas as despesas que as partes são obrigadas a fazer para a condução do processo em tribunal, e compreendem a taxa de justiça e os encargos. O SCJ lida com elevadas quantidades de dados e transacções. O sistema gere as contas correntes de mais de 3 M de processos e 500 M de euros de recebimentos por ano e lida com aproximadamente 9000 utilizadores e 450 tribunais. Todos os anos são registadas aproximadamente 5.8 M operações de negócio principais. 1.1 Motivação O facto do SCJ lidar com elevadas quantidades de informação limita a análise manual das transacções de modo a evitar fraude no sistema. Sendo assim, surge a motivação da realização deste trabalho para a análise da base de dados do sistema de modo a verificar possíveis fraudes cometidas. Outro incentivo à realização do trabalho deve se à descoberta de fraude nos últimos tempos no IGFPJ. 1.2 Problema e Objectivos O IGFPJ pretende controlar e auditar a informação do SCJ. Um dos objectivos presentes é a detecção de fraude no SCJ. Para tal irão ser aplicados paradigmas de data mining, de aprendizagem não supervisionada, mais especificamente clustering, para cumprir esse objectivo. O algoritmo de clustering permite detectar agrupamentos que fogem ao padrão normal através do agrupamento da informação em clusters e da relação de distância entre eles. Pretende se descobrir utilizadores, ou de um modo mais geral, tribunais, que possam ter realizado qualquer tipo de actividade fraudulenta. Numa última análise pretendem se descobrir dados anómalos inseridos no sistema por erro. 1

18 1.3 Organização da Tese A tese divide se em três macro tópicos, sendo eles: Enquadramento Teórico Onde se descreve essencialmente o que é data mining e se referem alguns trabalhos relacionados com detecção de fraude focados na área de aprendizagem não supervisionada; Metodologia e Tecnologias Onde se visualizam as várias etapas do trabalho e tecnologias utilizadas; Desenvolvimento Onde se encontram descritas todas as fases práticas do trabalho para atingir o objectivo da tese. 2

19 2 Enquadramento Teórico Durante várias décadas, desde a invenção do primeiro computador, o principal objectivo concentrase na solução de problemas operacionais de organizações. Estas organizações contêm bases de dados com numerosas informações sobre o negócio da empresa, que não geram conhecimento. A dificuldade de gerir conhecimento deve se muitas vezes à falta de conhecimento da existência de técnicas de data mining, ao elevado custo de certas ferramentas de data mining (apesar de já existirem ferramentas de domínio público), ao custo inerente aos funcionários ou empresa de outsourcing que realiza este tipo de tarefas e muitas vezes à falta de parâmetros de referência na escolha da técnica e da ferramenta mais adequada a cada problema. Este trabalho concentra se na aplicação de paradigmas de data mining à detecção de fraude em sistemas, focando se essencialmente em exemplos que usam aprendizagem não supervisionada. De seguida é apresentada uma pequena definição de fraude. Num sentido amplo, fraude é um esquema inventado para obter ganhos pessoais, apesar de ter, juridicamente, outros significados legais mais específicos. A fraude é difundida em muitas áreas da vida, incluindo a fraude científica. Num sentido legal amplo, uma fraude é qualquer crime ou acto ilegal para lucro daquele que se utiliza de algum logro ou ilusão praticada na vítima como seu método principal. Fraudes podem ser cometidas através de muitos métodos, incluindo fraude de correspondência, por meios de tecnologia de informação, fraude por telefone e fraude por Internet. 2.1 Data Mining As técnicas de data mining são aplicadas com o objectivo de obter conhecimento através da pesquisa de informação estratégica, da determinação de padrões, classificações e associação entre elas (Goebel & Gruenwald, 1999). Podem ser aplicadas em diversas áreas entre elas (Cratochvil, 1999) (Mannila, 1997) (Viveros, Nearhos, & Rothman, 1996): Marketing direccionado (CRM) para descobrir preferências do consumidor e padrões de compra, com o uito de realizar marketing de acordo com o perfil do consumidor; Detecção de fraudes para detectar padrões fraudulentos no uso do cartão de crédito ou encontrar correlações escondidas entre diferentes indicadores financeiros; Ciência uso de técnicas de data mining para encontrar padrões em estruturas moleculares, dados genéticos, mudanças globais de clima, de modo a que os cientistas possam retirar conclusões valiosas; 3

20 Banca para desenvolver modelos preditivos para bancos onde têm como target a descoberta da fiabilidade de pagamento de um cliente perante um empréstimo, ou seja, realizar predições sobre o comportamento do pagamento do cliente; Controle de processos e controle de qualidade para auxiliar no planeamento estratégico de linhas de produção e procurar por padrões de condições físicas na embalagem e armazenamento de produtos; Seguros na análise de reivindicações determinar que procedimentos médicos são reivindicados juntos, prever quais os clientes que comprarão novas apólices, identificar padrões de comportamento de clientes e detectar comportamento fraudulento; Text mining para agrupamento e classificação de documentos. Uma boa definição de data mining pode ser vista como: "...o processo não trivial de identificar padrões válidos, novos, potencialmente úteis e compreensíveis existentes numa base de dados (Fayyad, Piatesky Shapiro, & Smyth, 1996)." ou é a exploração e a análise, por meio automático ou semi automático, de grandes quantidades de dados, a fim de descobrir padrões e regras significativas (Berry & Linoff, 1997). Este processo descobre informações relevantes, como padrões, associações, mudanças, anomalias e estruturas em grandes quantidades de dados armazenados em bases de dados. É portanto um método valioso que pode ser usado na detecção de fraude em sistemas, por exemplo através da detecção de desvios do padrão normal do comportamento de um cliente num sistema de operações sobre cartões de crédito pela Internet. As tarefas de data mining são vistas também como um sinónimo do processo de descoberta de conhecimento em base de dados (Knowledge Discovery in Databases) ou KDD. Alternativamente, outras visões de data mining, definem no como uma simples etapa no processo KDD. O processo KDD utiliza conceitos de base de dados, métodos estatísticos, ferramentas de visualização e técnicas de eligência artificial (IA). O processo KDD divide se em várias etapas como pode ser observado na figura 1. De uma forma resumida as etapas são(silva, 2004): 4

21 Definição do tipo de conhecimento a descobrir, o que pressupõe uma compreensão do domínio da aplicação bem como do tipo de decisão que tal conhecimento pode contribuir para melhorar; Criação de um conjunto de dados a analisar (Data selection): seleccionar um conjunto de dados, ou focar num subconjunto, onde a procura deve ser realizada; Limpeza de dados e pré processamento (Preprocessing): operações básicas tais como remoção de ruídos quando necessário, junção da informação necessária para modelar ou estimar ruído, escolha de estratégias para manipular campos de dados ausentes e formatação de dados de forma a adequá los à ferramenta de data mining; Redução de dados e projecção (Data transformation): localização de características úteis para representar os dados dependendo do objectivo da tarefa, visando a redução do número de variáveis e/ou instâncias a serem consideradas para o conjunto de dados, bem como o enriquecimento semântico das informações; Data Mining: seleccionar os métodos a serem utilizados para localizar padrões nos dados, seguida da procura por padrões de eresse numa forma particular de representação ou conjunto de representações; procura do melhor ajuste dos parâmetros do algoritmo para a tarefa em questão; Interpretação dos padrões submetidos aos paradigmas de data mining (Interpretation/Evaluation), com um possível retorno aos passos 1 6 para posterior iteração; Consolidação do conhecimento descoberto (Knowledge): incorporar este conhecimento no sistema e/ou documentá lo e reportá lo às partes eressadas. Figura 1 Vista geral das etapas que compõem o processo KDD 5

22 KDD onde são o aplicados paradigmas dee data mining g representa o processo d de A etapa do processo K descobertta de conheciimento ere essante em grandes quanttidades de daados armazen nados tanto eem bases de d dados, como em data warrehouses ou eem repositório os (Han & Kam mber, 2001). Neste pro ocesso é usuaal a utilização de algoritmo os de diferenttes áreas do cconhecimento o entre elas: Inteligência arttificial (especialmente macchine learning g); Baase de dados (todos os reccursos que exxistem para m manipular gran ndes bases dee dados); Esstatística (gerralmente na aavaliação e vaalidação dos rresultados). A tarefa d de data minin ng pode ser d dividida em dois tipos de aaprendizagen ns(rezende, P Pugliesi, E.A., & M.F., ): Ap prendizagem m supervision nada, onde se realizam in nferências no os dados com m o uito de d reealizar predições, envolvendo o uso do os atributos d de um conjun nto de dadoss para preverr o vaalor futuro do o target. Este tipo de actividade é direccionado à tom mada de deciisões; Ap prendizagem m não supervisionada, ond de o tipo de actividades são descritivvas e procuraam paadrões erp pretáveis pelo os humanos q que descreveem os dados. Permitem a descoberta d de paadrões e novo o conhecimen nto. Os algorittmos de claassificação, re egressão, clu ustering, reggras de associação e sumarização sãão divididos eem actividadees preditivas e descritivas como demon nstrado na Figgura 2. Data Min ning Aprendizagem nada supervision actividades prreditivas Classifficação Regressão Aprendizage em não supervision nada actividades de escritivas Cllustering Regras de associaçção Figuraa 2 Descrição d de data mining g (Rezende, Pu ugliesi, E.A., & M.F., 2003) 6 Sumarização

23 2.1.1 Aprendizagem Supervisionada A aprendizagem supervisionada tem como objectivo identificar a classe a que pertence uma nova amostra de dados, a partir do conhecimento adquirido de um conjunto de amostras com classes previamente conhecidas. Neste tipo de aprendizagem é sempre conhecida a classe dos dados que são usados para treino e existe um histórico de dados que permite prever sobre dados futuros. As tarefas preditivas podem ser divididas em classificação e regressão. A classificação prediz valores discretos (classes) e a regressão modela funções contínuas(rezende, Pugliesi, E.A., & M.F., 2003) Classificação Algoritmos de classificação permitem determinar o valor de um atributo, o rótulo, através dos valores de um subconjunto dos demais atributos da base de dados. A classificação tem como objectivo a construção de modelos capazes de gerar classificações para novos dados, permitindo o agrupamento deles em classes. Estes modelos são construídos através da análise do conjunto de treino que é retirado aleatoriamente do conjunto de dados. Após essa análise são criadas regras de classificação que são testadas com o conjunto de teste que serve para determinar a precisão das regras de classificação. O WEKA, ferramenta de data mining referido no capítulo 4.4 disponibiliza vários algoritmos para a selecção de atributos, entre eles: InformationGain, PrincipalComponents e ConsistencyEval(Silva, 2004). Alguns dos algoritmos e técnicas de classificação mais conhecidos são: árvores de decisão, naive e rede bayesiana, k nearest neighbour (KNN) e redes neuronais Regressão Os métodos de regressão têm como objectivo definir um valor numérico de alguma variável desconhecida a partir de valores de variáveis conhecidas usando um conjunto de dados históricos como modelo. A regressão trata principalmente valores numéricos em detrimento das variáveis categóricas (Han & Kamber, 2001). Algumas das técnicas de regressão mais conhecidas são: Apriori e FP tree. 7

24 2.1.2 Aprendizagem Não Supervisionada Neste tipo de aprendizagem, o rótulo da classe de cada amostra de treino não é conhecida e o número ou conjunto de classes a ser treinado pode não ser conhecido a priori. São algoritmos descritivos, pois descrevem de forma concisa os dados disponíveis, fornecendo características das propriedades gerais dos dados submetidos a data mining(silva, 2004). As actividades descritivas trabalham com conjuntos de dados que não possuem uma classe determinada e têm o objectivo de identificar padrões de comportamento semelhantes nestes dados (Gonçalves & Pantoja, 2005) Regras de associação Os algoritmos para as regras de associação determinam um padrão de relacionamento entre itens de dados(gonçalves & Pantoja, 2005) Clustering É considerada a tarefa mais comum nas actividades descritivas, onde existe um número finito de categorias ou agrupamentos (clusters) que descrevem os dados. Este é um algoritmo de aprendizagem não supervisionada, que tem como objectivo o agrupamento de um conjunto de objectos em classes com elementos similares que se dão o nome de clusters e/ou identificar excepções, chamados outliers (Groth, 1998). Um outlier é um objecto que difere ou é inconsistente com um determinado conjunto de dados. Estes muitas vezes podem ser causados por erro de execução. Por exemplo a idade de um aluno do IST que seja inserida como 211, num sistema que não esteja preparado para impedir este tipo de situações. Alternativamente, outliers podem resultar da variação de dados. Muitos algoritmos tentam minimizar a influência dos outliers ou chegam mesmo a eliminá los. No entanto, tal pode resultar numa perda de informação importante, como por exemplo no caso de detecção de fraude que estamos a abordar, onde estes outliers podem indiciar actividades fraudulentas. Através de clustering é possível a identificação de regiões dispersas ou densas, e consequentemente descobrir a distribuição dos padrões e correlações eressantes entre atributos (Han & Kamber, 2001). Algumas aplicações deste algoritmo podem ser vistas na área de Marketing, tendo como objectivo encontrar grupos de clientes com comportamentos similares; na WEB, onde é desejada a classificação de documentos ou a padronização dos utilizadores; em planos reguladores de 8