Estudo Comparativo entre Proposicionalização e Mineração de Dados Multidimensional sobre um Banco de Dados Relacional

Transcrição

1 Estudo Comparativo entre Proposicionalização e Mineração de Dados Multidimensional sobre um Banco de Dados Relacional Rosalvo Neto 12, Paulo Jorge Adeodato 2, Ana Carolina Salgado 2, Murilo Boratto 3 1 Universidade Federal do Vale do São Francisco rosalvo.oliveira@univasf.edu.br 2 Universidade Federal de Pernambuco {pjla, acs}@cin.ufpe.br 3 Universidade do Estado da Bahia muriloboratto@uneb.br Abstract. Propositionalization and multidimensional data mining are the two main approaches applied in a relational database during the pre-processing stage of a knowledge discovery project for relational classication. Much has been discussed whether there are dierences between them on the nal performance of the intelligent system, however, few studies have been performed with public data of real problems to help resolve this issue. This paper presents a preliminary performance comparison between these two approaches, applied to the database from a known benchmark of an international competition organized by PKDD 1999, for a binary classication problem in the credit risk domain. The comparison performed using the stratied cross-validation process was repeated 10 times to set condence interval for the evaluation of performance measured by the statistical maximum value of the Kolmogorov-Smirnov curve (KS2), using a Multilayer Perceptron neural network as classier. The one-tailed paired t-test showed that the Propositionalization approach gives better performance to the nal classier with a condence level of 95%. Resumo. Proposicionalização e mineração de dados multidimensional são as duas principais abordagens aplicadas em um banco de dados relacional durante a fase de pré-processamento em um projeto de descoberta do conhecimento para classicação relacional. Muito tem sido discutido se há diferença entre eles no desempenho do sistema inteligente nal, porém poucos trabalhos foram realizados com dados públicos de problemas reais para ajudar a resolver esta questão. Este trabalho apresenta uma comparação de desempenho preliminar entre essas duas abordagens, aplicadas ao banco de dados de um conhecido benchmark da competição internacional organizada pela PKDD 1999, para um problema de classicação binária no domínio de análise de risco de crédito. A comparação foi realizada através do processo de validação cruzada estraticada, repetido 10 vezes para denir os intervalos de conança para a avaliação de desempenho, medido pela estatística de máximo valor da curva Kolmogorov-Smirnov (KS2), utilizando uma rede neural MultiLayer Perceptron como classicador. O teste t-student emparelhado unicaudal mostrou que a abordagem de proposicionalização gera um melhor desempenho ao modelo nal com o nível de conança de 95%. Categories and Subject Descriptors: H.Information Systems [H.m. Miscellaneous]: Databases Keywords: Mineração de dados multidimensional, Proposicionalização, Classicação binária. 1. INTRODUÇÃO O conceito Data Mining surgiu da necessidade de extração do conhecimento a partir de volumosas massas de dados geradas pelas empresas. Aplicações de mineração de dados frequentemente envolvem dados complexos, múltiplas fontes de dados em larga escala, distribuídas e heterogêneas. Geralmente nestes repositórios são encontradas informações sobre dados demográcos, como sexo, idade, e também dados comportamentais, como histórico de pagamentos, compras, reclamações entre outras informações. O principal desao em realizar mineração de dados em ambientes relacionais é como incluir informações essenciais de várias relações (tabelas) para um problema de classicação. Pesquisas

2 2 Rosalvo Neto et al. mostram que quando a mineração de dados é realizada em ambientes relacionais é importante não apenas considerar as informações da relação alvo, mas também é essencial considerar informações que estão distribuídas em outras entidades relacionadas com a Tabela Alvo, pois informações adicionais aumentam a precisão do sistema inteligente. No entanto, problemas como redundância de informação e criação excessiva de informações adicionais podem degradar a qualidade do sistema inteligente. A etapa de preparação dos dados tem alto custo e, em geral, consome cerca de 50 a 80% do tempo total do projeto [Witten and Frank 2005]. É nesta etapa que os dados contidos em um banco de dados relacional são preparados e transformados para aplicação de técnicas de mineração de dados. Embora esta fase consuma mais da metade do tempo de um projeto de Knowledge Discovery in Databases (KDD), as pesquisas na área são focadas principalmente na etapa principal do processo, algoritmos de mineração de dados, e proporcionalmente poucos trabalhos são encontrados na literatura referentes à fase de preparação dos dados. Segundo [Pyle 1999], existem dois objetivos gerais na fase de préprocessamento: os dados devem ser transformados no formato que permita o algoritmo de mineração de dados seja aplicado, e também possibilite as análises necessárias para avaliação dos resultados após aplicação da técnica de mineração. Os objetivos especícos da fase de pré-processamento são: construção de características, seleção de características e agregação. As duas abordagens encontradas na literatura aplicadas na fase de pré-processamento para transformação dos dados contidos em um banco de dados relacional, antes da aplicação de uma técnica de Data Mining são: proposicionalização e mineração de dados multidimensional. Técnicas convencionais de mineração de dados, como árvore de decisão, redes neurais articiais e regressão logística, aplicadas no processo de KDD necessitam como entrada de uma tabela contendo uma linha para cada objeto de interesse, e um conjunto de colunas que descrevem as características destes objetos. As abordagens de proposicionalização transformam a representação multidimensional dos dados dentro de uma simples relação organizada em uma tabela desnormalizada na granularidade em que se pretende tomar a decisão, a qual serve como entrada para algoritmos de mineração de dados convencionais. Uma corrente contrária chamada mineração de dados multidimensional [Dvzeroski 2003] [Cao et al. 2011] propõe que o conhecimento seja extraído de cada relação isoladamente, e posteriormente combinado, ao invés de juntar as diversas relações, alegando que informações serão perdidas ao se realizar a integração. O objetivo deste trabalho é realizar um estudo preliminar para averiguar qual das duas abordagens proporciona uma maior precisão ao sistema inteligente de classicação nal quando aplicados em problemas de análise de risco de crédito. No estudo comparativo foram secionadas a metodologia RE- LAGGS [Krogel and Wrobel 2003] como representante da abordagem proposicionalização e Validação de Múltiplas Visões baseado em Correlação [Guo and Viktor 2006] como representante da mineração de dados multidimensional. O trabalho utiliza uma metodologia experimental com rigorosa base estatística sobre um banco de dados, de um conhecido benchmark de importante competição internacional, para realização da comparação. O restante do trabalho está estruturado da seguinte forma: A Seção 2 aborda a denição do problema de mineração de dados em banco de dados relacionais. A Seção 3 apresenta trabalhos relacionados. A Seção 4 detalha as abordagens selecionadas. A Seção 5 descreve a base de dados selecionada para o estudo. A Seção 6 mostra a metodologia experimental. A Seção 7 apresenta os resultados experimentais e conclusões e sugere trabalhos futuros. 2. DEFINIÇÃO DO PROBLEMA Em um problema de classicação relacional, há um banco de dados R contendo uma dada relação alvo R 1 e um conjunto de relações background R b1,...,r bn. A tupla alvo representada por T r1 inclui um atributo chave primária única x.k (identicador da tupla) em uma variável categórica y, que representa o conceito a ser aprendido. A tarefa de classicação relacional é encontrar uma função F (x) que mapeia cada tupla x da relação alvo para a categoria y. A Figura 1 ilustra o problema de classicação relacional binária no domínio de aplicação concessão de crédito. A relação alvo é representada pela tabela de empréstimo na qual a coluna status representa a variável categórica que

3 Estudo comparativo entre Proposicionalização e Mineração de Dados Multidimensional 3 a função F (x) deve aprender. Esta variável possui dois valores: bom, se o empréstimo foi pago em dia ou mau, caso contrário. As relações de background são representadas pelas tabelas que possuem relacionamento com a Tabela Alvo, o que é o caso no exemplo da Figura 1 das Tabelas Parcela e Cliente. Fig. 1. Exemplo de uma classicação relacional. 3. TRABALHOS RELACIONADOS Poucos estudos são encontrados na literatura confrontando diretamente estas duas abordagens. Os primeiros trabalhos avaliavam apenas abordagens dentro da mesma corrente, como os trabalhos de [Krogel and Wrobel 2003] e [Reutemann et al. 2004], que comparam frameworks da abordagem de proposicionalização. Nestes trabalhos, os autores testaram o desempenho dos principais frameworks desta abordagem que são: o LINUS [Lavrac 1990], DINUS [Lavrac and Dzeroski 1994], proposicionalização baseada em Progol [Muggleton 1995] e o RELAGGS (RELational AGGregationS) proposto por [Krogel and Wrobel 2003]. Nesses estudos, os autores concluíram que o RELAGGS é o framework que apresenta o melhor desempenho quando aplicado em um processo de KDD. No trabalho de [Yin et al. 2004], no qual foram comparados frameworks da abordagem de mineração de dados multidimensional, os autores propuseram um novo método, o CrossMine, que foi comparado com os principais frameworks desta abordagem que são: FOIL [Quinlan and Cameron-jones 1993] e TILDE [Blockeel 1999]. No estudo os autores concluíram que o CrossMine possui melhor desempenho. No entanto, um estudo posterior realizado por [Guo and Viktor 2006] mostrou que uma nova abordagem, Validação de Múltiplas Visões baseadas em Correlação, apresenta melhor desempenho do que o CrossMine quando aplicada em oito bases de dados de diferentes domínios. Recentemente um estudo foi desenvolvido com bases de dados públicas [Thakkar and Kosta 2012]. Nesse estudo, uma comparação de desempenho entre frameworks das duas abordagens foi realizada com a base de dados utilizada no presente estudo (referente ao problema de crédito disponibilizado pela PKDD 1999), porém sua metodologia experimental não possuía uma fundamentação estatística rigorosa para assegurar que exista diferença signicativa entre as duas abordagens. Uma diferença adicional entre os estudos é que os frameworks selecionados foram diferentes. Em suma, o trabalho aqui proposto difere desse estudo por três motivos principais: (1) A métrica de avaliação de desempenho utilizada para o problema de avaliação de risco de crédito é a mais adequada; (2) A técnica de mineração de dados utilizada é mais apropriada para o domínio de análise de crédito; (3) A utilização do teste de hipótese para averiguar a existência de diferenças entre as duas abordagens, uma vez que

4 4 Rosalvo Neto et al. no estudo de [Thakkar and Kosta 2012] são utilizadas medições pontuais extremamente inuenciadas pelo particionamento dos dados. 4. ABORDAGENS COMPARADAS Neste artigo, comparamos o framework mais importante de cada abordagem para ilustrar que elas produzem resultados com diferença estatisticamente signicativa para o domínio de análise de risco de crédito. 4.1 Agregações Relacionais O framework selecionado para representar a abordagem de proposicionalização foi o RELAGGS (RE- Lational AGGregationS) proposto por [Krogel and Wrobel 2003], por ter sido adotado pela plataforma WEKA [Witten and Frank 2005], uma das principais ferramentas gratuitas de mineração de dados. Em sua abordagem é aplicada a idéia de agregação, comumente utilizada na área de Data WareHouse. Agregação é uma operação que substitui um conjunto de valores por um simples valor que sumariza as propriedades destes conjuntos. Para valores numéricos, estatísticas descritivas simples podem ser utilizadas, tais como o valor máximo, médio e mínimo, para valores categóricos pode ser utilizado a moda (o valor mais frequente). As tabelas abaixo ilustram o processamento do RELAGGS para duas relações: Cliente (Tabela I) e Parcela (Tabela II). Este é um tipo de relacionamento um para muitos, onde um cliente pode possuir várias parcelas. O conceito que se deseja aprender está localizado na relação Cliente (atributo Alvo). Desta forma, após a aplicação do framework RELAGGS, uma terceira relação é gerada, representada pela Tabela III, com os valores agregados das parcelas por cliente. Tabela I. Relação Cliente. Cliente Codigo Sexo Estado Civil Alvo 1 M C S 2 F S N 3 M C S Tabela II. Relação Parcela. Parcela Cod_Cliente Num_Parcela Vencimento Valor /06/2012 R$ 3, /07/2012 R$ 68, /06/2012 R$ 61, /06/2012 R$ 20, /07/2012 R$ 51, /06/2012 R$ 68, /06/2012 R$ 81,25 Tabela III. Relação gerada através do RELAGGS. Cliente_Parcela Codigo Sexo Estado Civil Alvo Minimo_Parcela Media_Parcela Maximo_Parcela 1 M C S R$ 3,49 R$ 44,44 R$ 68,20 2 F S N R$ 0,00 R$ 0,00 R$ 0,00 3 M C S R$ 20,16 R$ 55,32 R$ 81,25,49

5 Estudo comparativo entre Proposicionalização e Mineração de Dados Multidimensional Validação de Múltiplas Visões baseado em Correlação O framework selecionado para representar a abordagem de mineração de dados multidimensional foi o Validação de Múltiplas Visões baseado em Correlação (Correlation-based Multiple View Validation) proposto por [Guo and Viktor 2006]. O framework é dividido em três passos: Primeiro os relacionamentos entre as tabelas são representados em forma de um grafo, por meio do qual são gerados caminhos que são as combinações das visões entre a Tabela Alvo e as demais. Para garantir a geração de caminhos não cíclicos, não são permitidos valores repetidos, e todo caminho sempre inicia a partir da relação alvo. Em Segundo selecionam-se quais as visões relevantes para o problema. Para isso, o autor propõe um algoritmo que calcula a relevância das visões através do cálculo de índices, levando em consideração a correlação entre os atributos da visão, e também a correlação entre os atributos e o conceito alvo. As visões que possuem a menor correlação entre si, e maior correlação com o alvo. Após selecionar as visões relevantes, o algoritmo entra no Terceiro e último passo, no qual um classicador é construído para cada visão e, por m, utiliza como entrada as respostas dos modelos individuais de cada visão. Vale salientar que esta abordagem já larga na desvantagem teórica da redução da capacidade funcional do modelo causada pelo input space sampling, como analisado em Teoria da Aprendizagem Computacional [Anthony and Biggs 1992]. O nosso cérebro usa desse artifício de input space sampling em duas situações que merecem destaque: 1) na extração de características das imagens capturadas pela retina [Ng et al. 2007] em que a redundância e a integração multi-camadas compensa as visões parciais e 2) em percepção multi-sensorial em que divergências entre percepções de canais distintos levam a falhas de processamento do cérebro, como em lmes dublados em que a fala não bate com o movimento labial, levando a entendimento distinto de ambos [Buonomano 2012]. 5. BASE DE DADOS Uma das duas bases de dados fornecidas no desao PKDD em 1999 se refere a operações nanceiras dos clientes de uma instituição bancária Checa. Esses dados são comumente referenciados na literatura como nancial data set e vários trabalhos utilizaram esta base de dados, que é pública e está disponível em [Berka 2000]. Os dados descrevem os clientes do banco com as suas contas, empréstimos e outras operações sobre essas contas, também seus cartões de crédito e aspectos das regiões onde os clientes e agências bancárias estão situados. A Figura 2 exibe o esquema relacional do banco de dados. Fig. 2. Esquema relacional do banco de dados do PKDD Para o desao, as tarefas de aprendizagem não foram especicadas. No entanto, várias tarefas acabaram por se popularizar entre os participantes. Entre essas tarefas está a classicação dos empréstimos quanto ao risco de inadimplência que é o foco deste artigo. O objetivo da tarefa é permitir melhores decisões sobre a concessão de empréstimos pela instituição aos solicitantes. Para a tarefa de aprendizagem, a Tabela Loan (empréstimo) serviu como relação alvo e o atributo status foi utilizado como atributo Alvo. Este atributo possui quatro valores diferentes, são eles: Classe A: Empréstimo nalizado sem problemas; Classe B: Empréstimo nalizado com problemas; Classe C: Empréstimo

6 6 Rosalvo Neto et al. não nalizado sem problemas até o momento; Classe D: Empréstimo não nalizado com problemas até o momento. Os problemas podem ser atrasos ou pagamentos incompletos. Seguindo a idéia dos participantes do desao, as classes A e C foram agrupadas dentro de uma classe positiva e as classes B e D foram agrupadas dentro de uma classe negativa. Desta forma, passamos a ter um problema de classicação binária. 6. METODOLOGIA EXPERIMENTAL Para averiguar qual abordagem de pré-processamento de dados produz a melhor acurácia para uma técnica de mineração de dados, o mesmo algoritmo foi aplicado às bases de dados geradas por ambas as abordagens. A técnica escolhida foi uma das mais populares na área de inteligência articial para problemas de classicação binária, as redes neurais articiais MultiLayer Perceptron (MLP) [Haykin 2007]. O método de treinamento para a rede MLP utilizado neste estudo foi o algoritmo de retropropagação do erro (error backpropagation algorithm) [Rumelhart et al. 1986]. Como o principal objetivo desta pesquisa foi realizar uma comparação entre as abordagens proposicionalização e mineração de dados multidimensional, o formalismo apresentado nesta seção é crucial para a relevância do artigo. Tanto o particionamento dos dados como a métrica de avaliação de desempenho foram escolhidos de acordo com a adequação ao problema. 6.1 Validação Cruzada k-fold O método de Validação Cruzada k-fold é uma forma amplamente aceita para dividir uma única amostra [Jain and Mao 2000] em k conjuntos de testes estatisticamente independentes, permitindo a construção de intervalos de conança para a medida de desempenho utilizada como critério de avaliação, que será descrito a seguir. Cada experimento foi repetido 10 vezes (k=10), para obtenção de estimativas mais conáveis, como recomendado pelos tradicionais autores [Witten and Frank 2005]. 6.2 Kolmogorov-Smirnov Curve (KS) Para técnicas que produzem saídas contínuas, a decisão binária é tomada a partir de um limiar, abaixo do qual a decisão é feita para uma classe ou outra. Porém, a denição deste limiar é inuenciada de acordo com o objetivo do problema, levando-se em consideração, geralmente, que os custos dos erros são diferentes para cada classe [Adeodato and Monteiro 2004]. Para o estudo foi utilizada uma métrica que é independente deste limiar. A métrica escolhida foi o Kolmogorov-Smirnov Curve (KS2) [Conover 1999] [West 2000]. Esta métrica tem sido utilizada em importantes competições internacionais como a da PKDD O KS é um método estatístico não paramétrico utilizado para medir a aderência entre funções de distribuições acumuladas [Conover 1999] [West 2000]. Em problemas de classicação binária a curva do KS é a diferença entre duas funções de distribuição acumuladas de cada classe tendo a pontuação como variável independente. Uma distribuição acumula os exemplos da classe positiva e, a outra, os da classe negativa, em função da pontuação calculada pelo classicador. A métrica do KS máximo é a distância medida no ponto de maior diferença entre as duas distribuições; quanto maior a diferença maior o poder discriminante do sistema inteligente. 6.3 Teste t-student emparelhado O teste t-student emparelhado é um caso especial que se aplica quando as observações nas duas populações de interesse são coletadas em pares tendo cada par de observações tomado sob condições homogêneas [Montgomery and Runger 2010]. Para este estudo, a métrica de desempenho de interesse é a diferença na média do KS2 máximo obtido pela rede neural articial quando aplicado paralelamente às duas abordagens de pré-processamento, para cada conjunto de teste. A conguração do teste utilizada neste estudo está detalhada abaixo.

7 Estudo comparativo entre Proposicionalização e Mineração de Dados Multidimensional 7 Hipótese nula. µ d = µ 1 µ 2 Hipótese alternativa. µ 1 > µ 2 onde µ 1. representa a média do KS2 máximo para rede neural utilizando a abordagem de proposicionalização; µ 2. representa a média do KS2 máximo para rede neural utilizando a abordagem de mineração multidimensional. 7. RESULTADOS EXPERIMENTAIS As simulações foram realizadas de acordo com a conguração experimental descrita acima para cada uma das duas abordagens, resultando em 10 conjuntos de teste, todos estatisticamente independentes. O valor do KS2 máximo foi calculado para cada conjunto de teste, gerado pelas duas abordagens de pré-processamento, após aplicação da mesma técnica de mineração como denido na Seção 6. A Tabela IV exibe o resumo dos resultados obtidos no teste-t emparelhado. Uma vez que o p-value é menor que 0, 05, concluímos que as duas abordagens de pré-processamento fornecem resultados diferentes. Especicamente, os dados indicam que a abordagem de proposicionalização produz, em média, maior poder de classicação para o sistema inteligente do que o método de mineração de dados multidimensional com um nível de conança de 95%. Tabela IV. Resumo do t-student emparelhado. µ d = µ 1 µ 2 Limite Superior p-value 0,0805 0, CONCLUSÕES E TRABALHOS FUTUROS Este trabalho apresentou uma comparação inicial entre as abordagens de transformação dos dados, proposicionalização e mineração de dados multidimensional, no domínio de análise de risco de crédito. A comparação foi realizada utilizando um banco de dados relacional de importante competição internacional, considerada um benchmark da área. Como metodologia experimental, foi aplicado o teste t-student emparelhado unicaudal sobre o desempenho medido pelo KS2 máximo nos conjuntos de teste gerados pelo processo de validação cruzada 10 fold. O estudo mostrou que a abordagem de proposicionalização supera de forma estatisticamente signicativa a abordagem de mineração de dados multidimensional em desempenho, quando aplicada ao domínio de crédito, com um nível de conança de 95%, diferente dos resultados mostrados por [Thakkar and Kosta 2012]. A diferença de desempenho pode ser justicada pelas escolhas mais adequadas das métricas de avaliação de desempenho e técnica de Inteligência articial utilizadas na fase de mineração de dados, que neste trabalho são mais adequadas ao domínio de análise de risco de crédito. No entanto, a explicação mais plausível é a redução da capacidade funcional do modelo causada pelo input space sampling inerente a abordagem de mineração de dados multidimensional. Essa abordagem cria várias soluções locais com visões parciais do sistema, enquanto a abordagem de proposicionalização gera uma visão com todas as variáveis usufruindo de toda a capacidade funcional da rede neural que é um aproximador universal de funções [Hornik et al. 1989]. Como trabalhos futuros, este estudo será expandido para considerar outras técnicas de mineração de dados como regressão logística e support vector machine, e também a utilização de mais bases de dados deste mesmo domínio. A conclusão deste estudo vem reforçar uma tendência da área de mineração de dados, de que as melhores soluções devem levar em consideração as peculiaridades do domínio e

8 8 Rosalvo Neto et al. não soluções genéricas independentes de domínio. Este é o princípio da nova geração de metodologias de mineração de dados que tem como principal representante o Domain Driven DataMining (D3M) [Cao and Zhang 2007]. REFERÊNCIAS BIBLIOGRÁFICAS Adeodato, P., V.-G. A. A. S. R. C. R. and Monteiro, D. Neural networks vs logistic regression: a comparative study on a large data set. In International Conference on Pattern Recognition. Cambridge, Anthony, M. and Biggs, N. Computational Learning Theory: An Introduction. Cambridge Tracts in Theoretical Computer Science. Cambridge University Press, Berka, P. Guide to the nancial data set. PKDD2000 Discovery Challenge, Blockeel, H. Top-down induction of rst order logical decision trees. AI Commun. (1-2): , Buonomano, D. Brain Bugs: How the Brain's Flaws Shape Our Lives. W. W. Norton, Incorporated, Cao, L. and Zhang, C. The evolution of kdd: towards domain-driven data mining. In International Journal of Pattern Recognition and Articial Intelligence, Cao, L., Zhang, H., Zhao, Y., Luo, D., and Zhang, C. Combined mining: Discovering informative knowledge in complex data. IEEE Transactions on Systems, Man, and Cybernetics, Part B, Conover, W. Practical nonparametric statistics. Wiley series in probability and statistics. Wiley, Dvzeroski, S. Multi-relational data mining: an introduction. SIGKDD Explor. Newsl. 5 (1): 116, July, Guo, H. and Viktor, H. L. Mining relational data through correlation-based multiple view validation. In KDD'06. pp , Haykin, S. Neural Networks: A Comprehensive Foundation. Prentice-Hall, Inc., Upper Saddle River, NJ, USA, Hornik, K., Stinchcombe, M., and White, H. Multilayer feedforward networks are universal approximators. Neural Netw. 2 (5): , July, Jain, A., D.-W. and Mao, J. Statistical pattern recognition: A review. In IEEE Transactions on Pattern Analysis and Machine Intelligence (22): 437, Krogel, M. and Wrobel, S. Facets of aggregation approaches to propositionalization. In Proceedings of the 13th International Conference on Inductive Logic Programming (ILP2003), Array (Ed.). Lecture notes in computer science. Springer Verlag, pp. S. 3039, Lavrac, N. Principles of knowledge acquisition in expert systems. Ph.D. thesis, University of Maribor, Faculty of Technical Science, Lavrac, N. and Dzeroski, S. Inductive Logic Programming: Techniques and Applications. Ellis Horwood, New York, USA, Montgomery, D. and Runger, G. Applied Statistics and Probability for Engineers. John Wiley & Sons, Muggleton, S. H. Inverse entailment and progol. New Generation Computing, Ng, J., Bharath, A. A., and Zhaoping, L. A survey of architecture and function of the primary visual cortex (v1). EURASIP J. Appl. Signal Process (1): , Jan., Pyle, D. Data Preparation for Data Mining. Data Preparation for Data Mining. Morgan Kaufmann Publishers, Quinlan, J. R. and Cameron-jones, R. M. Foil: A midterm report. In In Proceedings of the European Conference on Machine Learning. LNCS. Springer-Verlag, London, UK, pp. 320, Reutemann, P., Pfahringer, B., and Frank, E. A toolbox for learning from relational data with propositional and multi-instance learners. In Proceedings of the 17th Australian joint conference on Advances in Articial Intelligence. AI'04. Springer-Verlag, Berlin, Heidelberg, pp , Rumelhart, D. E., Hinton, G. E., and Williams, R. J. Parallel distributed processing: explorations in the microstructure of cognition, vol. 1. MIT Press, Cambridge, MA, USA, Learning internal representations by error propagation, pp , Thakkar, A. and Kosta, Y. P. Survey of Multi Relational Classication (MRC) Approaches & Current Research Challenges in the eld of MRC based on Multi-View Learning. In International Journal of Soft Computing and Engineering (1): , West, D. Neural network credit scoring models. In Computers & Operations Research (27): , Witten, I. H. and Frank, E. Data Mining: Practical Machine Learning Tools and Techniques. Morgan Kaufmann Series in Data Management Sys. Morgan Kaufmann, Yin, X., Han, J., Yang, J., and Yu, P. S. Crossmine: Ecient classication across multiple database relations. In Proceedings of the 20th International Conference on Data Engineering. ICDE '04. IEEE Computer Society, Washington, DC, USA, pp , 2004.