UNIJUI - UNIVERSIDADE REGIONAL DO NOROESTE DO ESTADO DO RIO GRANDE DO SUL. DCEEng DEPARTAMENTO DE CIÊNCIAS EXATAS E ENGENHARIAS

1 UNIJUI - UNIVERSIDADE REGIONAL DO NOROESTE DO ESTADO DO RIO GRANDE DO SUL DCEEng DEPARTAMENTO DE CIÊNCIAS EXATAS E ENGENHARIAS APLICAÇÃO DE PROCESSOS DE DESCOBERTA DE CONHECIMENTO EM BANCO DE DADOS PROVENIENTE DE UM ERP PABLO BOFF PIGOZZO Ijuí Novembro / 2013

2 UNIJUI - UNIVERSIDADE REGIONAL DO NOROESTE DO ESTADO DO RIO GRANDE DO SUL DCEEng DEPARTAMENTO DE CIÊNCIAS EXATAS E ENGENHARIAS APLICAÇÃO DE PROCESSOS DE DESCOBERTA DE CONHECIMENTO EM BANCO DE DADOS PROVENIENTE DE UM ERP PABLO BOFF PIGOZZO Trabalho de Conclusão de Curso apresentado ao Curso de Ciência da Computação do Departamento de Ciências Exatas e Engenharias (DCEEng), da Universidade Regional do Noroeste do Estado do Rio Grande do Sul (UNIJUÍ), como requisito para a obtenção do título Bacharel em Ciência da Computação. Orientador: Prof. Me. Vinícius Maran Ijuí Novembro / 2013

3 APLICAÇÃO DE PROCESSOS DE DESCOBERTA DE CONHECIMENTO EM BANCO DE DADOS PROVENIENTE DE UM ERP PABLO BOFF PIGOZZO Trabalho de Conclusão de Curso apresentado ao Curso de Ciência da Computação do Departamento de Ciências Exatas e Engenharias (DCEEng), da Universidade Regional do Noroeste do Estado do Rio Grande do Sul (UNIJUÍ), como requisito para a obtenção do título Bacharel em Ciência da Computação. Orientador: Prof. Me. Vinícius Maran BANCA EXAMINADORA Prof. Me. Rogério Samuel de Moura Martins Ijuí Novembro / 2013

4 A menos que modifiquemos a nossa maneira de pensar, não seremos capazes de resolver os problemas causados pela forma como nos acostumamos a ver o mundo. Albert Einstein

5 AGRADECIMENTOS A Deus, por ter iluminado e mostrado o caminho para chegar até aqui. Aos meus pais, Loreno e Terezinha, exemplo de pessoas, ensinaramme acima de tudo que, impossível e desistência, são duas palavras que não devem fazer parte do cotidiano. Todo o apoio, incondicional, diga-se de passagem, pois nunca mediram esforços para me ajudar a realizar este sonho, dedicação, amor, paciência, compreensão e carinho passado foram fundamentais. apoiadora. A minha irmã, Paola, que acompanhou de perto, sempre presente e A todos os meus familiares, especialmente o tio Vilmar, que esteve junto em todos os momentos. Aos amigos e colegas. A todos os meus professores pelo direcionamento e por contribuir diretamente nessa conquista, em especial, ao professor Vinícius pela paciência, dedicação e empenho durante o desenvolvimento do presente trabalho de conclusão de curso. conquista. E a todos que participaram, direta ou indiretamente, desta grande

6 LISTA DE SIGLAS ACID Atomicidade, Consistência, Isolamento e Durabilidade DCBD Descoberta de Conhecimento em Banco de Dados MD Mineração de Dados DM Data Mining DW Data Warehouse ODM Oracle Data Miner KDD Knowledge Discovery in Databases CRISP-DM Cross-Industry Standard Processo of Data Mining MBA Market Basket Analysis ERP Enterprise Resource Planning WEKA Waikato Environment for Knowledge Analysis SGBD Sistema Gerenciador de Banco de Dados ETL Extract Transform Load SSL Secure Sockets Layer SQL Structured Query Language

7 LISTA DE TABELAS Tabela 1: Campos necessários dos Clientes e suas Categorias...46 Tabela 2: Amostra dos dados extraídos dos Clientes...47 Tabela 3: Campos necessários das Vendas, Produtos e Categorias de Produtos...49 Tabela 4: Primeira parte da amostra dos dados exportados das Vendas...50 Tabela 5: Segunda parte da amostra dos dados exportados das Vendas...50 Tabela 6: Resultados da Associação de Produtos, gerado pelo algoritmo Apriori...64 Tabela 7: Resultado da Associações de Categorias de produtos nas Vendas...68

8 LISTA DE FIGURAS Figura 1: Etapas do processo de melhoria na qualidade dos dados (SCHREIBER et al., 2000)...16 Figura 2: Etapas do Processo de DCBD (Adaptada de Fayyad et al.,1996)..18 Figura 3: Processo CRISP-DM (CRISP-DM, 2000)...20 Figura 4: Fases do conceito de CRISP-DM (Camilo et al., 2009)...23 Figura 5: Etapas da implementação...37 Figura 6: Interface de usuário do Oracle Data Miner...42 Figura 7: Exemplo de Fluxo de Trabalho do Oracle Data Miner...42 Figura 8: Análise de um modelo de árvore de decisão...43 Figura 9: Interface de usuário do Aqua Data Studio...44 Figura 10: Diagrama Entidade-Relacionamento das tabelas de Clientes e Grupo de Clientes...46 Figura 11: Diagrama Entidade-Relacionamento das tabelas envolvidas em uma Venda...48 Figura 12: Modelo de objeto usado pelo ODM para MD...52 Figura 13: Fluxo de trabalho do problema de Analise de Risco à Inadimplência...54 Figura 14: Fluxo de trabalho da busca por Associação de Produtos nas Vendas...56 Figura 15: Resultado da implementação do algoritmo Árvore de Decisão...59 Figura 16: Resultado gerado para o Nó 2...59 Figura 17: Resultado gerado para o Nó 8...60 Figura 18: Resultado gerado para o Nó 1...60 Figura 19: Exemplo de Regras Associativas geradas pelo algoritmo Apriori.65 Figura 20: Variação do suporte com relação ao Lift...66 Figura 21: Resultado das Regras Associativas satisfatórias geradas pelo algoritmo Apriori...68

9 RESUMO As empresas estão necessitando aprimorar, cada vez mais, seus negócios devido a alta competitividade, e esta não é uma tarefa fácil. Uma alternativa que tem se mostrado muito viável parte do conceito de que, quanto maior for o conhecimento de causa, mais precisas e otimizadas serão as decisões sobre o domínio. Como as empresas armazenam, comumente, grandes quantidades de dados, parte destes, oriundos de suas atividades administrativas diárias, é possível obter conhecimento útil através de técnicas específicas e direcionadas a este propósito. Diante deste contexto, o principal objetivo deste trabalho é aplicar processos de Descoberta de Conhecimento em Banco de Dados, mais especificamente, Mineração de Dados e seus algoritmos, visando agregar conhecimento relevante e decisório para a empresa. O projeto foi desenvolvido com o auxílio de diversas ferramentas direcionadas a para este fim, as quais, serviram para tarefas que partiram desde a extração de dados até a análise dos resultados e submissão à empresa para aproveitamento e posterior feedback. Palavras-chave: Data Warehouse, Mineração de Dados, Apriori, Árvore de Decisão, Processo de Descoberta de Conhecimento em Banco de Dados.

10 ABSTRACT Companies, more often, need to improve their business due to high competitively, and that is not an easily accomplished task. An alternative that has been showing highly viable considers that, the more you know about the case, more precise the decisions can be. As the companies stores, usually, big chunks of data, some of them derived from daily administrative tasks, it is possible to obtain useful knowledge by using specific and directed techniques for that purpose. With this context, the main goal of this project is to implement processes of Knowledge Discovery in Databases, more specifically, Data Mining and its algorithms, to gather relevant knowledge and decisions for the company. The project was developed with the help of various tools, its were used from tasks like the data extraction to the analysis of the results and the submission to the company for approval and future feedback. Keywords: Data Warehuse, Data Mining, Apriori, Decision Tree, Knowledge Discovery in Databases.

11 SUMÁRIO 1 INTRODUÇÃO... 13 1.1 PROBLEMA... 13 1.2 ORGANIZAÇÃO DO TEXTO... 14 2 DESCOBERTA DE CONHECIMENTO EM BANCO DE DADOS (DCBD)... 15 2.1 TRATAMENTO DOS DADOS... 16 2.2 CONCEITOS DE DCBD... 18 2.2.1 Processo de Fayyad... 18 2.2.2 Etapas do conceito CRISP- DM... 20 3 DATAWAREHOUSE E MINERAÇÃO DE DADOS... 24 3.1 DATAWAREHOUSE... 24 3.2 MINERAÇÃO DE DADOS (MD)... 24 3.2.1 Classificação... 26 3.2.2 Associação... 27 3.2.3 Agrupamento ou Categorização... 29 3.2.4 Padrões Sequenciais... 29 3.3 ALGORITMOS DE MINERAÇÃO... 30 3.3.1 Algoritmo Apriori... 30 3.3.2 Algoritmo de Árvores de Decisão... 32 4 PROCESSO DE DESCOBERTA DE CONHECIMENTO EM BANCO DE DADOS DE UM ERP. 34 4.1 CONTEXTO DA APLICAÇÃO... 34 4.1.1 Análise e Identificação de Grupos de Risco à Inadimplência.... 35 4.1.2 Cesta de Produtos e Vendas Associadas... 36 4.2 APLICAÇÃO DA MINERAÇÃO DE DADOS... 37 4.3 AMBIENTE DE TRABALHO UTILIZADO... 38 4.4 FERRAMENTAS... 38 4.4.1 PostgreSQL e PgAdmin... 40 4.4.2 Oracle Database... 41 4.4.3 Oracle Data Mining (ODM)... 41 4.4.4 Aqua Data Studio... 43 4.5 EXTRAÇÃO E PROCESSAMENTO DOS DADOS... 44 4.6 IMPLEMENTAÇÃO DE UM DATA WAREHOUSE... 50 4.7 APLICAÇÃO DOS MODELOS DE MINERAÇÃO DE DADOS E SEUS ALGORITMOS... 51 4.7.1 Aplicação do algoritmo de Árvore de Decisão na análise de grupos de risco à inadimplência... 52 4.7.2 Aplicação do algoritmo Apriori na busca de novos padrões associativos nas vendas de produtos... 54 5 ANÁLISE DOS RESULTADOS E FEEDBACK... 56 5.1 ANÁLISE DE GRUPOS DE RISCO À INADIMPLÊNCIA... 57 5.2 ANÁLISE DE RESULTADOS DA BUSCA DE PADRÕES ASSOCIATIVOS DE PRODUTOS E SUAS CATEGORIAS NAS VENDAS... 63 5.3 SUBMISSÃO DOS RESULTADOS E FEEDBACK... 69

12 6 CONCLUSÕES E TRABALHOS FUTUROS... 70 REFERÊNCIAS BIBLIOGRÁFICAS... 71

13 1 INTRODUÇÃO Com a crescente e necessária utilização e evolução de sistemas informatizados nos diversos ramos empresariais, tem-se a consequência de um significativo aumento na quantidade de dados manipulados e armazenados. Também considera-se como um agravante, o custo de armazenamento atualmente barato, tornando-se assim um facilitador deste processo de geração de grandes massas de dados. Emergindo às dificuldades em recuperar estes através do uso de métodos convencionais, sejam eles estatísticos, em formato de planilhas e/ou relatórios, exige-se então procedimentos mais avançados e complexos para a descoberta de novos conhecimentos em bancos de dados, conhecidos como Processos de Descoberta de Conhecimento em Banco de Dados (KDD - Knowledge Discovery in Databases). No contexto de um ambiente coorporativo, é de fundamental importância obter informações relevantes e detalhadas, auxiliando os diversos níveis gerenciais na difícil tarefa de tomada de decisões, melhorando os índices de acerto e criando um diferencial em relação as concorrentes do mesmo ramo (ELMASRI; NAVATHE, 2000, pg. 699). 1.1 Problema Segundo Fayyad et al (1996), corporações tem promovido um crescimento em larga escala de seus bancos de dados, ultrapassando os limites usuais e incapacitando-as de posteriormente, extrair estas informações para análise, gerando a necessidade de novas técnicas e ferramentas para fazer esta tarefa. Diante desse problema, uma das alternativas mais adequadas é a utilização de Processos de Descoberta de Conhecimento em Banco de Dados, mais especificamente, Mineração de Dados. Suas técnicas e ferramentas para a obtenção e extração de conjuntos de informações são capazes de servir de apoio nas áreas estratégicas e de tomada de decisões de uma empresa, auxiliando no negócio como um todo e otimizando seus respectivos processos e resultados.

14 Desta forma, o principal objetivo deste trabalho é classificar e catalogar dados para a aplicação de uma técnica de mineração visando obter novas informações relevantes e conhecimento implícito no domínio de um ERP comercial. As informações resultantes do processo serão utilizadas para auxiliar a tomada de decisões nas áreas de negócios de uma organização empresarial. 1.2 Organização do Texto Este trabalho está estruturado da seguinte forma: o Capítulo 2 apresenta o referencial teórico, descrevendo as tecnologias e conhecimentos envolvidos na realização do trabalho. No capítulo 3 é apresentada a escolha das técnicas, algoritmos e ferramentas de análise, demonstrando como é feito o desenvolvimento e aplicação dos conhecimentos obtidos. O Capítulo 4 apresenta o processo de descoberta de conhecimento em uma base de dados utilizada por um ERP comercial. O Capítulo 5 apresenta a análise dos resultados e o feedback apresentado à empresa. O Capítulo 6 apresenta as conclusões deste trabalho.

15 2 DESCOBERTA DE CONHECIMENTO EM BANCO DE DADOS (DCBD) O Processo de Descoberta de Conhecimento em Banco de Dados (KDD) é um conjunto de passos para efetuar a extração de coleções de dados onde as técnicas comuns não conseguem efetividade à frente de grandes quantidades de dados, transformando esses dados em informações úteis e conhecimento. Para Goldschmidt (2005), independentemente do campo de estudo e também da quantidade de dados que tem-se sobre um determinado domínio, nada significa quando não se pode interpretá-los a fim de obter conhecimentos úteis. Com o constante aumento na quantidade de dados armazenados, indaga-se cada vez mais sobre o que são, para que servem esses e qual é o seu valor no contexto que está alocado. Tanto no universo corporativo, no qual serão focados os estudos do presente trabalho e os processos de mineração, como em diversos outros, conhecer os dados que se está manipulando é extremamente importante. A visão obtida sobre uma análise de dados de má qualidade compromete diretamente o resultado do processo como um todo, portanto é fundamental definir os tipos de dados que serão utilizados. Assim, podemos classificar os dados em dois tipos: quantitativos e qualitativos. Os dados quantitativos são representados utilizando valores numéricos, podendo ter valores discretos e contínuos. Define-se para esse tipo, dados nos quais apontam informações que representam quantidade propriamente dita. A qualitativa sempre é apresentada por valores nominais ou ordinais, sendo que o último é geralmente representado em forma categórica. Fayyad (1997) afirma que nos ramos de negócios, os dados detêm importantes informações mercadológicas. Através destes dados então, temse a oportunidade de melhorar o desempenho, otimizar processos e resolver problemas da organização, tornando-a mais eficiente e competitiva. Entendendo-se que os conjuntos de dados puros não são informações e precisam ser transformados, pode-se então definir informação como um conjunto de dados que tem sentido e valor em um determinado contexto. O

16 objetivo de trabalhar com esses dados, é a obtenção do conhecimento que venha a auxiliar na prática, as pessoas a tomarem uma decisão ou criar novos conhecimentos sobre o domínio em questão. 2.1 Tratamento dos Dados Para conseguir dados mais claros e úteis, tem-se formas de normalizálos antes de qualquer análise. Segundo Han et al. (2006), pode-se chamar esse trabalho de pré-processamento e é constituído basicamente de quatro etapas (Figura 1): Figura 1: Etapas do processo de melhoria na qualidade dos dados (SCHREIBER et al., 2000) Limpeza dos Dados A primeira etapa no processo de tratamento de dados é a de limpeza, na qual verifica-se dados com diversas inconsistências, como valores errados, nulos e inválidos. As formas de corrigir esses problemas vão desde remoção de registros com problema, até a substituição e aplicação de métodos de agrupamento para descoberta de conhecimento comum. Toda e

17 qualquer atividade executada nessa etapa, tem que ser feita de forma que não altere o resultado final e nem descaracterize o dado. Integração dos Dados A etapa de integração tem um nível de dificuldade e trabalho elevado, pois geralmente tem-se dados de diversas fontes e dos mais variados tipos, portanto deve-se unificá-los em um lugar só de forma concisa e que não prejudique a integridade dos mesmos. Transformação dos Dados Esta etapa visa ajustar os valores para que tenham sentido diante da técnica aplicada, por exemplo, transformando valores numéricos em categóricos e vice-versa. Algumas tarefas que são feitas neste etapa são: remoção de valores errados, agrupamentos e classificações, conversão de diversos valores diferentes em valores padronizados e geração de novos dados a partir dos já existentes, visando melhorar a qualidade destes. (HAN; KAMBER, 2006). Redução dos Dados A última etapa visa reduzir as quantidades de dados pois, geralmente, quando se objetiva a aplicação de mineração de dados, o volume de dados é alto, consequentemente demorando mais tempo e consumindo mais recursos no processamento dos mesmos. Com uma boa redução de dados, tem-se ganhos significativos nos resultados finais, tornando o processo todo mais ágil, eficiente e exato. Para fazer a redução de dados, podemos utilizar estruturas de dados otimizadas, seleção de subconjuntos de atributos, buscas por duplicidades e dimensionalidade. Através dos processos de melhoria da qualidade dos dados, tem-se uma probabilidade maior de transformá-los em conhecimento, sendo este então, um dos bens mais valiosos para os processos decisórios e estratégicos das empresas, portanto, tem-se como foco principal a obtenção do mesmo. Este conhecimento pode ser obtido através de ferramentas, metodologias e processos, nas quais serão vistas a seguir (WEISS; INDURKHYA, 1998).

18 2.2 Conceitos de DCBD Após ter os dados trabalhados a fim de obter melhor qualidade, devese aplicar os processos de DCBD. Serão abordados dois conceitos de processos, um definido por Fayyad et al. (1996) e o CRISP-DM. 2.2.1 Processo de Fayyad As etapas do processo definido por Fayyad et al. (1996) são: Seleção, Pré-processamento, Transformação, Mineração de Dados e por fim a Interpretação. A Figura 2 apresenta uma representação das etapas definidas por Fayyad et al. (1996). Figura 2: Etapas do Processo de DCBD (Adaptada de Fayyad et al.,1996) Seleção de Dados Como no primeiro passo, faz-se a seleção de dados que interessam ao objetivo à partir do(s) banco(s) de dados disponíveis. Os dados resultantes desta etapa são de extrema importância para o alcance dos resultados adequados, visto que se não forem os corretos pré-selecionados, as análises e aplicações das técnicas propostas não farão sentido. A fim de reafirmar a importância dessa etapa, Brauner (2003), define que [...] o sucesso do processo depende da escolha correta dos dados que formam o conjunto de dados alvo, pois é neste subconjunto que, mais adiante

19 no processo, serão aplicados os algoritmos para descoberta de conhecimento. Pré-processamento Esta fase do processo consiste em pegar os dados fornecidos pela etapa de seleção e efetuar um pré-processamento, eliminando possíveis problemas de redundância, falta de formatação, dados incompletos, ruído e qualquer anormalidade que possa comprometer os resultados, ou seja, efetuando uma espécie de limpeza da seleção dos dados. Transformação Neste momento os dados podem ser padronizados de acordo com as necessidades das técnicas de mineração de dados e seus algoritmos, pois estas podem exigir uma formatação para conseguir obter melhores resultados. Normalmente, são realizados agrupamentos de dados e consequentemente, uma melhora na disposição dos dados, como a criação de coleções de informações repetidas para otimizar o desempenho e execução do algoritmo proposto. Aqui, pode-se também, realizar a transformação de dados para reduzir a sua quantidade (ELSAMRI; NAVATHE, 2000). Mineração de Dados (MD) Esta etapa é considerada como a mais importante do processo de DCBD e é a caracterização e busca de padrões nas informações. Aplica-se técnicas e algoritmos em busca de conhecimento implícito e útil no resultado de todos os passos anteriores (BRAUNER, 2003). Interpretação dos Resultados Sendo a última etapa do processo, cabe a ela fazer a interpretação do resultado gerado pelo processo de mineração de dados. Os resultados podem ser exibidos de diversas formas, relatórios, demonstrativos ou arquivos de texto, desde que atendam o objeto de propiciar uma análise minuciosa destes.

20 Quando não atinge a meta prevista, é possível que se volte à qualquer uma das etapas anteriores para refazê-la, gerando um novo conjunto de informações que serão reanalisadas. 2.2.2 Etapas do conceito CRISP-DM O método de CRISP-DM (Cross-Industry Standard Processo of Data Mining) é um dos métodos mais utilizados e documentados do processo de KDD. Consiste em 6 fases, separando algumas etapas (Figura 3) como a Distribuição da Interpretação (Olson et al., 2008). Figura 3: Processo CRISP-DM (CRISP-DM, 2000) A Figura 3 apresenta os fluxos multidirecionais, ou seja, podemos ir e voltar entre algumas fases. As fases são descritas a seguir. Entendimento do Negócio Nesta etapa, tem-se como principal objetivo a concepção do problema e qual é a necessidade da utilização de mineração de dados. Visa portanto, definir claramente o que se deseja ter como resultado palpável e

21 compreensível e, qual é o nível de sucesso que deseja-se atingir. A clara compreensão do negócio irá auxiliar bastante nas próximas etapas. Entendimento dos Dados A fase de entendimento dos dados começa com a coleta e extração, e prossegue com atividades que visam familiarizar-se com os dados obtidos. Busca-se juntamente com isso, identificar problemas de qualidade, descobrir os primeiros resultados ou sinais, detectar subconjuntos interessantes para formar hipóteses sobre informações ocultas. Existe uma estreita ligação entre o entendimento do negócio e compreensão dos dados. A formulação do problema de mineração de dados e plano do projeto, requerem, pelo menos, alguma compreensão dos dados disponíveis. Preparação dos Dados A fase de preparação de dados abrange todas as atividades necessárias para construir os conjuntos de dados que serão usados para alimentar as ferramentas de modelagem, a partir dos dados iniciais. A tarefa de preparação de dados pode ser executada diversas vezes e não necessita de uma ordem pré-estabelecida. As tarefas incluem, seleção de tabelas, registros e atributos, bem como a transformação e limpeza para normalizar, corrigir e melhorar ao máximo a qualidade dos dados. Modelagem Depois de ter os dados compreendidos e preparados para uso, começa a fase de modelagem, na qual várias técnicas de modelagem são selecionadas, aplicadas e feito a calibragem dos parâmetros. Normalmente existem diversas técnicas para o mesmo tipo de problema, porém algumas delas requerem tipos de dados em formatos específicos, o que agrega um pouco de complexidade e trabalho ao processo. Existe uma forte ligação entre a etapa de Preparação de Dados e a Modelagem, visto que na Modelagem pode-se idealizar novos formatos e conjuntos de dados para a etapa anterior, alterando-a em busca de melhora no processo e resultado.

22 Avaliação Esta fase, segundo Camilo et al., (2009) é considerada uma fase crítica do processo de mineração, nesta etapa é necessária a participação de especialistas nos dados, conhecedores do negócio e tomadores de decisão. Faz-se uso de ferramentas gráficas para ajudar na visualização e análise dos resultados e modelos. Antes de executar os processamentos finais, é necessário fazer uma reavaliação e teste de confiabilidade do modelo e os passos utilizados ao logo de todo o seu processo de construção, para estar seguro e certo que serão atingidos os objetivos do negócio. Os testes que podem ser executados são cross validation, suplied test set, use training set, percentage Split (Camilo et al., 2009). Após a realização dos testes, é necessário verificar os indicadores de análise de resultados obtidos para auxiliar na análise dos mesmos. Também de acordo com Camilo et al., (2009), estes indicadores são: matriz de confusão; índice de correção e incorreção de instâncias mineradas; estatísticas kappa; erro médio absoluto; erro relativo médio; precisão, F-measure dentre outros. Distribuição Criação do modelo não é necessariamente o fim do projeto. Mesmo que o propósito do modelo é aumentar o conhecimento dos dados, o conhecimento adquirido terá de ser organizado e apresentado de uma forma que o cliente possa usá-lo. Isso, na maioria das vezes, envolve a aplicação de modelos dinâmicos nos processos de na tomada de decisões de uma organização, por exemplo, a personalização em tempo real de páginas da Web ou de pontuação repetida de bases de dados de marketing. Dependendo dos requisitos, a fase de distribuição pode ser tão simples como gerar um relatório, ou tão complexo, como a implementação de um processo de mineração de dados em toda a empresa. Em muitos casos, é o cliente, não o analista de dados, que realiza as etapas de distribuição, no entanto, mesmo quando o analista a fizer, é importante para o cliente entender para saber quais ações devem ser tomadas e também escolher quais dos modelos criados devem ser seguidos.

23 A Figura 4 apresenta o resumo de todas as fases do CRISP-DM, acompanhadas das tarefas genéricas e seus resultados. Figura 4: Fases do conceito de CRISP-DM (Camilo et al., 2009) Após o estudo do processo de KDD, foi realizado um estudo sobre os principais algoritmos e ferramentas que implementam os algoritmos de mineração. Este estudo é apresentado no capítulo a seguir.

24 3 DATAWAREHOUSE E MINERAÇÃO DE DADOS 3.1 Datawarehouse Os dados cabíveis de aplicação dos processos de DCBD são dos mais variados tipos e origens, desde bancos de dados operacionais, até Data Warehouse (DW) e Data Marts. Quando se usa as duas últimas opções, consequentemente é possível ter uma qualidade melhor de dados, pois já foram anteriormente trabalhados e melhorados, sendo este um preceito desses sistemas de armazenamento. Um Data Warehouse (DW) é um conjunto de dados baseado em assuntos, integrado, não-volátil e variante em relação ao tempo, de apoio às decisões gerenciais segundo (INMON, 1997, pg. 33). A proposta inicial de um DW, em sua concepção, era ser simplesmente um depósito de dados, ou seja, armazém de informações captadas ao longo do tempo. No entanto, foram surgindo usos e necessidades para essas informações, resultando no incremento e criação de conjuntos de ferramentas, metodologias e técnicas para se utilizar em um DW. Atualmente ele é muito mais que armazém de dados, é responsável por prover dados transformados em informações, que suportam e auxiliam facilmente áreas estratégicas de tomada de decisões e tornando-se invariavelmente um diferencial de competitividade, quando bem extraído. Ao comparar-se um banco de dados transacional comum e um Data Warehouse, tem-se claramente a visão de que o segundo é um conjunto de dados com histórico, não atualizável e estático, já um banco de dados comum está em constante atualização e manipulação, perdendo a capacidade temporal, visto que ao alterar um registro, perde-se seu estado anterior. O conceito de Data Mart, é exatamente o mesmo que Data Warehouse, porém é voltado para uma área específica. 3.2 Mineração de Dados (MD) Para Silva (2000), Mineração de Dados é uma técnica para determinar padrões de comportamento em grandes bases de dados, auxiliando na tomada de decisão. Para Guizzo (2000), mineração de dados é a extração

25 de informações potencialmente uteis e previamente desconhecidas de grandes bancos de dados, servindo de forma prática para a descoberta perfis de consumidores e outros comportamentos que não seriam identificados nem por especialistas em processos típicos. Baseando-se nas definições acima, pode-se afirmar que MD é um procedimento para a extração de conhecimento implícito e útil de um banco de dados, no qual, métodos comuns não atingem os objetivos, considerandose que é a parte fundamentas das transformações de dados em informações significativas. A mineração de dados difere de técnicas estatísticas, porque, ao invés de verificar padrões hipotéticos, utiliza os próprios dados para descobrir tais padrões. Acredita-se também que o volume de informações e dados no mundo duplique a cada 20 meses. O crescimento em tamanho e em quantidade dos bancos de dados, é provavelmente, ainda mais rápido (FRAWLEY et al., 1992). Para extrair informações dos mais variados tipos e áreas, precisa-se de diversas técnicas e algoritmos, portanto, pode-se dizer, que cada objeto de estudo, enquadra-se melhor em determinada técnica. O processo de escolha da melhor técnica, e também, a mais adequada, depende então do conhecimento a respeito dos dados e resultados a serem visados, ou seja: quais atributos, quais relacionamentos são importantes e possíveis, o que é mais útil ao usuário, padrões já conhecidos e assim por diante. O processo de escolha, se deve ao fato de que não existe um método de MD universal, que possa ser aplicado a todas as situações (FAYYAD et al., 1996). Segundo Witten et al. (2005), Olson et al. (2008) e Bramer (2007), a mineração de dados pode ser usada, entre tantas outras, nas seguintes áreas: Retenção de clientes: identificação de perfis para determinados produtos e venda cruzada; Bancos: identificar padrões para auxiliar no gerenciamento de relacionamento com o cliente;

26 Cesta de Supermercado: identificar associações de produtos em vendas; Cartão de Crédito: identificar segmentos de mercado, identificar padrões de rotatividade; Cobrança: detecção de fraudes; Telemarketing: acesso facilitado aos dados do cliente; Eleitoral: identificação de um perfil para possíveis votantes; Medicina: indicação de diagnósticos mais precisos; Segurança: na detecção de atividades terroristas e criminais; Auxílio em pesquisas biométricas; RH: identificação de competências em currículos; Tomada de Decisão: filtrar as informações relevantes, fornecer indicadores de probabilidade. Diante das várias tarefas desenvolvidas em Data Mining, tem-se claro que seu objetivo primário é a predição ou a descrição. A predição usa atributos para predizer os valores futuros de uma ou mais variáveis (atributos) de interesse. A descrição contempla o que foi descoberto nos dados sob o ponto de vista da interpretação humana. Existem diversas técnicas que atingem os mais variados objetivos e propósitos. Serão descritas as mais utilizadas somente, dentre estas, foram escolhidas duas para utilização e obtenção dos resultados no presente trabalho. Estas duas terão seus algoritmos explicados de forma mais detalhada e as outras somente uma breve introdução a respeito. Dentre as técnicas mais utilizadas tem-se: 3.2.1 Classificação Segundo Elmasri e Navathe, (2000), classificação é o processo de encontrar um modelo que descreva classes de diferentes dados. As classes são predeterminadas. Pode-se chamar isso de atividade de aprendizado supervisionado, pois quando o modelo é construído, ele serve para classificar diversos outros dados. As etapas para o aprendizado são claras, começam com um treinamento baseado em conjuntos de dados que já foram trabalhados,