Projecto de Licenciatura

Transcrição

1 Instituto Politécnico do Porto Instituto Superior de Engenharia do Porto Departamento de Engenharia Informática Projecto de Licenciatura A aluna: Celina Maria Rodrigues Pereira O orientador: Jorge Morais Setembro de 2002

2 Indice Glossário 7 1 Introdução O Tema Os Objectivos A estrutura do Relatório 11 2 O que é o Data Mining? Principais Características de uma ferramenta de Data Mining O Processo de Descoberta de Conhecimento Fase de Selecção Fase de Pré-Processamento Fase de Transformação Fase de Data Mining Objectivos de Data Mining Técnicas de Data Mining Fase de Interpretação e Avaliação Fase de Integração de novo Conhecimento Bases das técnicas de Data Mining A estatística Inteligência Artificial Aprendizagem Automática (Machine Learning) Utilização das ferramentas de Data Mining 28 3 Apresentação de Ferramentas de Data Mining Clementine Como é usado o Clementine Como o Clementine interpreta os dados Como o Clementine lê os dados Intelligent Miner (IM) Utilização do Intelligent Miner Administration Mode Discovery Mode Entidades de Dados, Origens de Dados e Objectos de Data Mining Mining Studies Warehouses (Armazéns) Schema Editor Batch Mode Enterprise Miner Utilização do Enterprise Miner 45 2

3 3.3.2 Três visões sobre o Enterprise Miner Interface Comparação estatística e financeira dos métodos Produção Alice Utilização de Alice Árvores de Decisão Uma ferramenta de Data Mining poderosa para o utilizador Preparação dos dados Árvore de decisão Gráficos Módulos KnowledegeSEEKER Funcionamento do KnowledgeSeeker ª Fase: Preparação dos Dados ª Fase: Análise dos Dados Avaliação dos Dados Selecção e Acesso aos dados Transformação de Dados Valores em Falta Exploração Visualização Estatística Descritiva DBMiner Porquê o uso do DBMiner? Principais características OLAP Browser D Cube Explorer Associação Classificação Clustering Vantagens do DBMiner Miner3D EXCEL Processo de Descoberta de Conhecimento Intellix Designer Como funciona o Intellix Designer? Características do Intellix Descrição da aplicação 78 4 Comparação das Ferramentas Ferramentas avaliadas Plataformas Dados de Entrada e de Saída Algoritmos 89 3

4 4.5 Visualização Automação Forças e Fraquezas das ferramentas 96 5 Conclusão 98 Bibliografia 101 Livros 101 Publicações Electrónicas 101 Informações sobre Data Mining 101 Informações sobre as ferramentas apresentadas 102 Outras bibliografias 102 4

5 Indice das Figuras FIGURA 1: PROCESSO DE DESCOBERTA DE CONHECIMENTO 17 FIGURA 2: ÁRVORE DE DECISÃO 22 FIGURA 3: REDE NEURONAL 24 FIGURA 4: BASES DAS TÉCNICAS DE DATA MINING 26 FIGURA 5: EXEMPLO DA APLICAÇÃO DO FICHEIRO PROJECTO 33 FIGURA 6: INTERFACE DO CLEMENTINE 35 FIGURA 7: MATRIZ DE CORRELAÇÃO DO CLEMENTINE DATA MINING SYSTEM 39 FIGURA 8: GRÁFICO DE CORRELAÇÕES DO CLEMENTINE DATA MINING SYSTEM 39 FIGURA 9: GRÁFICO DE MÚLTIPLAS VARIÁVEIS OBTIDO NO CLEMENTINE DATA MINING SYSTEM 40 FIGURA 10: GRÁFICO DE DISTRIBUIÇÃO DO CLEMENTINE DATA MINING SYSTEM 40 FIGURA 11: UM PROCESSO DE ESTUDO INTEGRADO CONSTRUÍDO A PARTIR DE FERRAMENTAS COMPLETAS 47 FIGURA 12: RESULTADOS GRÁFICOS E DINÂMICOS 47 FIGURA 13: POSSIBILIDADE DE AVALIAR POTÊNCIAS E REGRESSÕES SOBRE INVESTIMENTOS PARA DETERMINAR UMA ESTRATÉGIA 48 FIGURA 14: ÁRVORE DE DECISÃO DE ALICE 52 FIGURA 15: REPRESENTAÇÃO DE ASSOCIAÇÕES COM O DBMINER 66 FIGURA 16: VISUALIZAÇÃO DA CLASSIFICAÇÃO NO DBMINER 68 FIGURA 17: REPRENTAÇÃO DE CLUSTERING NO DBMINER 70 FIGURA 18: UMA VISUALIZAÇÃO POSSÍVEL NO MINER3D 73 FIGURA 19 ARQUITECTURA INTELLIX 75 FIGURA 20: AMBIENTE DE TRABALHO NO INTELLIX 78 FIGURA 21: EXEMPLO DE PROPRIEDADES DE UM DOCUMENTO NO INTELLIX 79 FIGURA 22: EXEMPLO 80 FIGURA 23 ÁREA DE TESTES PARA OS DOCUMENTOS 81 FIGURA 24 - USANDO O ACTIVE KNOWLEDGE ACQUISITION 81 FIGURA 25 - INTERFACE DO WEB - TEST BENCH 82 FIGURA 26 - DISTRIBUIÇÃO DE RESULTADOS 82 FIGURA 27 ESPAÇO EXEMPLO UTILIZADO 83 FIGURA 28: EXEMPLO DE HISTOGRAMAS 92 FIGURA 29: EXEMPLO DE PIE CHART 93 FIGURA 30: EXEMPLO DE LINE PLOT 93 FIGURA 31: EXEMPLO DE CLASSIFICATION DECISION REGIONS 94 5

6 Indice de Tabelas TABELA 1: INFORMAÇÃO PARA CONSTRUÇÃO DE ÁRVORE DE DECISÃO 21 TABELA 2: APRESENTAÇÃO DAS FERRAMENTAS COMPARADA S 84 TABELA 3: PLATAFORMAS 85 TABELA 4: DADOS DE ENTRADA E DE SAÍDA 87 TABELA 5: ALGORITMOS 89 TABELA 6: VISUALIZAÇÃO 91 TABELA 7: AUTOMAÇÃO 95 TABELA 8: FORÇAS E FRAQUEZAS DAS FERRAMENTAS 96 6

7 Glossário Armazéns de dados (Data Warehouse) Sistema de suporte à decisão para armazenar grandes quantidades de informação. Árvore de Decisão Representação gráfica das relações entre um conjunto de dados de variáveis independentes (inputs). Usualmente são representadas em forma de arvores que representam um conjunto de regras. As arvores podem ser binárias ou com múltiplo ramos, dependendo do algoritmo utilizado. C5.0 - Um algoritmo de Machine learning que tem um conjunto de regras que podem ser aplicadas a um conjunto de dados para fazer uma previsão. Este algoritmo foi desenvolvido por J. Ross Quinlan. C5.0 foi o sucessor dos algoritmos C4.5 e ID3 (Iterative Dichotomiser). CART Classification And Regression Trees. Algoritmo estatístico, técnica utilizada na segmentação de uma base de dados. O algoritmo cria árvores binárias e segmentos em duas partes. Este algoritmo foi desenvolvido por L.Briemen em Classificação Processo de divisão de um conjunto de dados em grupos mutuamente exclusivos. Clustering Processo pelo qual um conjunto de dados é dividido em conjuntos agrupados por um valor semelhante ou clusters. Não tem, como o processo de classificação um número pré-definido de classes. Data Mining É a análise de dados para detectar relações ainda não descobertas. Os resultados de um processo de data Mining incluem: associações, correlações, sequências, classificações, clustering e previsões. 7

8 ODBC (Open DataBase Connectivity) Especificação projectada pela Microsoft para permitir ás aplicações do Windows o acesso a dados múltiplos através de um método simples sem considerar os diversos formatos dos arquivos de dados. OLAP Online Analytical Processing. Refere-se a uma aplicação de Base de Dados que permite ao utilizador ver, navegar, manipular e analisar Bases de Dados multi-dimensionais. Redes neuronais de Kohonen Arquitectura neuronal que utiliza aprendizagem automática para fazer analise de clusters. Foi desenvolvida por Teuvo Kohonen. SGBD Sistema Gestor de Bases de Dados 8

9 A cada ano, companhias acumulam mais e mais informações em seus bancos de 1 Introdução Todos os anos, as empresas acumulam cada vez mais informação nas Bases de Dados. Em consequência, estas Bases de Dados passam a conter verdadeiros tesouros de informação sobre vários dos procedimentos dessas companhias. Toda esta informação pode ser usada para melhorar seus procedimentos, permitindo que a empresa detecte tendências e características disfarçadas, e reaja rapidamente a um evento que ainda pode estar por vir. No entanto, apesar do enorme valor desses dados, a maioria das organizações é incapaz de aproveitar totalmente o que está armazenado em seus arquivos. Esta informação preciosa está na verdade implícita escondida sob uma montanha de dados, e não pode ser descoberta utilizando-se sistemas de Bases de Dados convencionais. A solução existe, e chama-se Data Mining. A quantidade de informação armazenada em Bases de Dados está explodindo, e ultrapassa a habilidade técnica e a capacidade humana na sua interpretação. A necessidade de transformar estas Bases de Dados em informações significativas é óbvia. Felizmente, técnicas computacionais foram desenvolvidas para analisar os dados, ou ao menos ajudar o analista a encontrar ordem no caos: conhecimento. Algumas formas de conhecimento existentes são as regras associativas. Para um dado conjunto de itens e um conjunto de registos contendo esses itens, podem existir afinidades entre os registos, que são expressas na forma de regras. As regras de associação mais fortes de uma tabela são as dependências funcionais. 9

10 Data Mining é uma tecnologia usada para revelar informação estratégica escondida em grandes massas de dados. É usada em diversas áreas, como análise de riscos, marketing direcionado, controle de qualidade, análise de dados científicos, etc. Data Mining define o processo automatizado de captura e análise de enormes conjuntos de dados, para extrair um significado. Esta tecnologia está sendo usada para descrever características do passado, assim como predizer tendências para o futuro. Sua utilização permite avanços tecnológicos e descobertas científicas, além de garantir uma vantagem competitiva invejável. 1.1 O Tema Para utilizar a técnica de Data Mining nas Bases de Dados e, consequentemente, utilizar nas empresas interessadas em utilizar esta nova tecnologia, existem muitas empresas que desenvolveram aplicações para manipular as Bases de Dados, segundo as técnicas de Data Mining. O tema associado a este relatório de projecto é o Estudo comparativo das principais ferramentas de extracção de conhcimento em Bases de Dados. 1.2 Os Objectivos Pretende-se, neste trabalho, fazer um levantamento do estado da arte em relação ás ferramentas de extracção de conhecimento em Bases de Dados, comparando as várias caracteristicas a definir no próprio trabalho. Assim dever-se-ão, em primeiro lugar, definir quais as principais características a ter em conta numa possível classificação das ferramentas. Em seguida, fazer a comparação de várias ferramentas existentes (particularmente no ISEP), podendo ser sugerido um modelo de classificação 10

11 geral ou por áreas de actividade: ensino, industria, companhias de seguros, etc A estrutura do Relatório O segundo capítulo explica o que é o Data Mining e para que é utilizado. No primeiro ponto, são descritas as principais caracteristica de uma ferramenta de Data Mining e são dados exemplos de empresas que utilizam esta nova tecnologia. O processo de Descoberta de Conhecimento, em que o Data Mining se insere, é descrito no segundo ponto. É dada uma particular ênfase à fase de Data Mining em que são vistos os objectivos desta fase e as técnicas utilizadas para tratar dos dados segundo as técnicas de Data Mining. No terceiro ponto, é feita uma abordagem sobre as bases das técnicas de Data Mining, explicando que se baseia na estatística e na inteligência artificial. No último ponto deste capitulo, são descritas utilizações das técnicas de Data Mining. O terceiro capítulo descreve as ferramentas de Data Mining que vão ser comparadas, mostrando as principais caracteristica associadas a cada uma e como são utilizadas. As ferramentas apresentadas são as seguintes: Clementine Intelligent Miner Enterprise Miner Alice KnowlwdgeSEEKER DBMiner Miner3D EXCEL Intellix Designer 11

12 Foram escolhidas estas ferramentas e não outras porque pareceram ser as mais utilizadas e as mais interressantes a nível das técnicas de Data Mining. O quarto capítulo faz uma comparação das ferramentas, numa primeira parte recapitula as principais caracteristicas de cada uma, e de seguida faz uma comparação a nível de plataformas utilizadas, algoritmos, visualização e automação. Este capitulo acaba mostrando os pontos fortes e pontos fracos de cada uma. 12

13 2 O que é o Data Mining? Ter uma Base de Dados completa e com muita informação é importante, mas essa informação pode à partida não fazer muito sentido. Não se conseguem retirar grandes conclusões com muitos registos diferentes. Segundo o manual do Clementine, o termo Data Mining refere-se a utilizar uma variedade de técnicas de inteligência artificial e análise de dados para identificar pepitas (nuggets) de conhecimento ou informação no corpo dos dados, extraindo essas informações por forma a serem utilizadas em áreas como suportes de decisão, previsão e estimação. Por oposição às ferramentas OLAP On-Line Analytical Processing, em que a exploração de dados é conduzida pelo utilizador, nas ferramentas de Descoberta de Conhecimento a exploração dos dados toma um carácter semiautónomo de descoberta, através de algoritmos de Data Mining. O poder do Data Mining está em utilizar ferramentas que utilizam vários tipos de algoritmos para procurar padrões nos dados, uma combinação que envolve associações lógicas, estatística, análise e visualização. No ponto 1, vai ser mostrada a utilidade e as caracteristicas do Data Mining. O ponto 2 explica o processo de Descoberta de Conhecimento dando ênfase à fase de Data Mining. O ponto 3 explica a base das técnicas de Data Mining e o ponto 4 mostra a utilização das mesmas. 13

14 2.1 Principais Características de uma ferramenta de Data Mining Os paradigmas de negócio fizeram evoluir e mudar as questões a serem respondidas pelos Sistemas de Informações, ao longo do tempo. A evolução foi a seguinte: Data Collection (anos 60) - "Qual foi o valor total de vendas nos últimos dois anos?" Data Access (anos 80) - "Quanto rendeu a nossa filial A no semestre passado?" Data Warehousing & Decision Support (anos 90) - " Quanto rendeu a nossa filial B no semestre passado? Que consequências teve na filial B? " (drill down/slice-and-slice) Data Mining (Hoje) - "O que irá acontecer com as vendas na filial A no próximo mês? Por quê?" Data Mining é uma técnica que permite buscar em grandes bases de dados, informação que, aparentemente, estão camufladas ou escondidas, permitindo, com isso, agilidade nas tomadas de decisão. Uma empresa que utiliza as técnicas de Data Mining é capaz de : Criar parâmetros para entender o comportamento do consumidor; Identificar afinidades entre as escolhas de produtos e serviços; Prever hábitos de compras; Analisar comportamentos habituais para se detectarem fraudes. As ferramentas de Data Mining podem determinar padrões de comportamento, como associação de produtos durante um processo de 14

15 compras. Com isto as ferramentas de Data Mining indicam a presença de oportunidades em relação ao consumidor. As descobertas de padrões de consumo dão-se por uma lógica de algoritmos com base numa rede neuronal de raciocínios. São ferramentas de descoberta matemáticas, feitas sobre os registos já processados, contra descobertas empíricas. Alguns exemplos: A rede americana Wall-Mart, pioneira no uso de Data Mining, descobriu ao explorar seus números que 60% das mães que compram uma boneca Barbie, levam também uma barra de chocolate; O banco Itaú conseguiu aumentar sua taxa de retorno do envio directo para 30% reduzindo a conta do correio a um quinto, armazenando e analisando a movimentação financeira de seus 3 milhões de clientes nos últimos 18 meses. A Sprint, um dos líderes no mercado americano de telefone de longa distância, desenvolveu, com a análise de Data Mining no seu armazém de dados, um método capaz de prever com 61% de segurança se um consumidor trocaria de companhia telefónica dentro de um período de dois meses. Com um marketing agressivo, conseguiu evitar a deserção de clientes e uma perda de 35 milhões de dólares em facturação. O governo de Massachusetts, nos Estados Unidos, compilava informações financeiras imprimindo telas e mais telas nos terminais de grande porte. Só com papel foram economizados dólares por ano, além de permitir que o orçamento anual fosse assinado e analisado, antes do início do ano fiscal. E o clássico exemplo de uma grande rede de vendas americana que descobriu, através das técnicas de Data Mining, que as vendas de fraldas estavam intimamente ligadas às vendas de cerveja. Explicação, os pais que saiam à noite para comprar fraldas, compravam cerveja também. 15

16 Por isso e por outros inúmeros exemplos, as ferramentas de Data Mining crescem em importância, principalmente porque as empresas preocupam-se com o futuro do negócio. O Data Mining pode ser considerado como sendo uma das fases do processo de descoberta de conhecimento em bases de dados (KDD Knowledge Discovery in Databases), área de pesquisa em evidência no momento, que envolve Inteligência Artificial e base de dados. 2.2 O Processo de Descoberta de Conhecimento Sob a perspectiva de Descoberta de Conhecimento, o Conhecimento é quantificado em termo de utilidade, validade, simplicidade/complexidade e novidade. Estas medidas são aplicadas às relações/modelos sempre sob a perspectiva de Interesse. As fases de Descoberta de Conhecimento são as seguintes: Selecção Pré-processamento Transformação Data Mining Interpretação/Avaliação 16

17 Figura 1: Processo de Descoberta de Conhecimento Fase de Selecção Os dados são escolhidos de acordo com os objectivos de descoberta. Os parâmetros de selecção são o volume de dados necessário, a periodicidade de recolha das amostras e a frequência de repetição dos exercícios de exploração Fase de Pré-Processamento Gera dados generalizados ou reduzidos. A redução dos dados pode ser feita em linhas ou colunas. Na redução em linhas, os atributos categóricos são generalizados e os atributos contínuos são discretizados; para a discretizacão dos atributos contínuos são utilizados dois tipos de algoritmos: não sensíveis à classe ou orientados por classes. Os dados são também normalizados. Na redução em colunas, as variáveis de Entrada não correlacionadas são combinadas e as variáveis correlacionadas são eliminadas. É feita uma análise sensitiva e uma análise dos componentes principais. É utilizada a teoria dos Rough Sets. Também pode ser feita uma aproximação empacotadora ou filtro. 17

18 Converte dados categóricos para valores numéricos e conversão de unidades. Dois termos interessantes aparecem nesta fase: sobre-ajustamento e sub-ajustamento. Utiliza-se o termo sobre-ajustamento quando o modelo prevê os resultados baseados em particularidades dos dados usados no seu treino. Existe subajustamento quando o modelo falha na procura de relações de interesse nos dados, ou disponibiliza relações muito genéricas Fase de Transformação Consiste no tratamento de dados em falta, tratamento de exemplos anormais (dados inconsistentes ou valores isolados), na eliminação de dados em mau estado Fase de Data Mining Envolve a adaptação de modelos, ou extracção de relações a partir dos dados, sem os passos adicionais que fazem parte de todo o processo de Descoberta de Conhecimento Objectivos de Data Mining Quando se implementam as técnicas de Data Mining, procura-se extrair informações para atingir determinados objectivos. São vários os tipos de informação que podemos obter com as técnicas de Data Mining. Isto não quer dizer que só podemos obtê-las através das técnicas de Data Mining, mas com elas conseguimos atingir maior agilidade e abrangência na análise destes. Dentre estes tipos podemos ter: Classificação É a função de aprendizagem que divide (ou classifica) os dados de acordo com um número específico de características. 18

19 As técnicas mais usadas para isso são as Árvores e Regras de Decisão, Redes Neuronais e Raciocínio Baseado em Casos. A classificação pode ajudar a encontrar perfis e características dos clientes. Com isto providencia-se um modelo, utilizado para prever suas acções e desejos. Também pode ajudar a determinar os tipos de promoções que são mais eficientes, para manter determinados tipos de clientes, procurando direccionar melhor os gastos necessários para mantê-los. Clustering Tem por objectivo identificar um conjunto finito de classes ou agrupamentos nos dados. Os conjuntos obtidos podem ser mutuamente exclusivos, hierárquicos ou concorrentes. Os resultados desta operação podem ser usados para sumariar o conteúdo de uma base de dados ou como preparação de dados para outros métodos. As técnicas mais usadas são as Técnicas Estatísticas Algoritmo K-Means e Redes Neuronais. Esta técnica pode ser aplicada a diversos problemas, como detectar defeitos no fabrico de produtos ou encontrar grupos de afinidades para cartões de bancos. Análise de Associações Tem por objectivo gerar todas as associações entre itens de transações que impliquem a presença de outros itens (ex.: determinar produtos vendidos conjuntamente ou relacionar diagnósticos médicos com valores de análises). Por exemplo, um estudo sobre os supermercados pode revelar que quando se compra chá, 55% das vezes também se compram bolachas, a não ser que haja uma promoção num determindao tipo de bolachas, o que implica que se compre mais esse tipo de bolachas e até com uma percentagem maior. 19

20 Análise Sequencial Tem por objectivo gerar todas as associações entre itens de transações ao longo do tempo (ex.: associações de produtos comprados ao longo do tempo: Clientes que compram um PC também compram uma impressora num espaço de tempo inferior a um mês ). Análise de Desvios Foca-se na descoberta de mudanças mais significativas nos dados a partir de valores previamente medidos ou valores normativos (ex.: detecção de desvios em stocks ou análise de desvios em despesas hospitalares). Regressão Consiste em utilizar algumas variáveis ou campos da base de dados para prever valores futuros de outras variáveis de interesse. Podemos então, por exemplo, antever se um cliente irá renovar uma assinatura, se ele irá comprar um determinado tipo de produto e, baseado em padrões, estimar o valor futuro de variáveis contínuas: número de vendas, percentagem de lucro, entre outros Técnicas de Data Mining As principais técnicas de Data Mining são as seguintes: Arvores e Regras de Decisão Dividem o conjunto de dados de modo a construir um modelo que classifica cada registo de acordo com o valor que apresenta no atributo objectivo. As árvores de decisão são uma evolução da técnica de aprendizagem automática. 20

21 Os valores que são encontrados com forte associação são os prognósticos chave ou factores explicativos, normalmente chamados de regras sobre o dados. Possuindo um grupo de dados, com numerosas colunas e linhas, uma ferramenta de árvore de decisão pede ao utilizador para escolher uma das colunas como objecto de saída, mostra o único e mais importante factor correlacionado com aquele objecto de saída como o primeiro ramo (nó) da árvore de decisão. Os outros factores são subsequentemente classificados como sub-nós dos nós anteriores. Isso significa que o utilizador pode rapidamente ver qual o factor que mais direcciona o seu objecto de saída, e o utilizador pode entender porque o factor foi escolhido. Por exemplo, a tabela 1 mostra os dados necessários para a construção da árvore de decisão e a figura 2 representa a árvore de decisão associada. Tempo Temperatura Humidade Vento Jogar Sol Quente Alta Fraco Não Sol Quente Alta Forte Não Coberto Quente Alta Fraco Sim Chuva Normal Alta Fraco Sim Chuva Frio Normal Fraco Não Chuva Frio Normal Forte Não Coberto Frio Normal Forte Sim Sol Normal Alta Fraco Não Sol Frio Normal Fraco Sim Chuva Normal Normal Fraco Sim Tabela 1: Informação para construção de Árvore de Decisão 21

22 Tempo Chuva Sol Vento Nublado Humidade Não Sim Elev. Normal Joga Não Joga Joga Não Joga Joga Figura 2: Árvore de Decisão Uma boa ferramenta baseada em Árvore de Decisão permite que o utilizador explore a árvore de acordo com a sua vontade, do mesmo modo que ele poderá encontrar grupos alvo que lhe interessem mais, e então ampliar o dado exacto associado ao seu grupo alvo. Os utilizadores podem, também, seleccionar os dados fundamentais em qualquer nó da árvore, movendo-o para dentro de uma ferramenta para análise posterior. As árvores de decisão são, quase sempre, usadas em conjunto com a tecnologia de Indução de Regras, mas são muito importantes, no sentido de apresentar os resultados da Indução de Regras num formato com prioridade. A regra mais importante é apresentada na árvore, como nó raiz, e as regras menos relevantes são mostradas nos nós subsequentes. As principais vantagens das árvores de decisão são que elas fazem decisões levando em consideração as regras que são mais relevantes, além de serem compreensíveis para a maioria das pessoas. Ao escolher e apresentar as regras em ordem de importância, as árvores de decisão permitem ao utilizador ver, imediatamente, quais os factores que mais influenciam os seus trabalhos. 22

23 Exemplos de ferramentas: Alice d'isoft, HyperParallel, Discovery, Business Objects BusinessMiner, DataMind, Angoss Knowledge Seeker. Indução de Regras A Indução de Regras, rege-se como uma lista, apresentada aos utilizadores através da detecção de tendências dentro de grupos de dados, ou de "regras" sobre o dado, com pouca interacção do utilizador; O analista de negócio neste caso tem que fazer a oredenação das regras por importância, determinando aquelas que são mais importantes no modelo de Data Mining para os assuntos de negócios envolvidos. Exemplos de ferramentas: IDIS, Knowledge Seeker; Redes Neuronais São constituídas por uma série de nós interligados agrupados em níveis. Os algoritmos mais usados em ferramentas de Descoberta de Conhecimento são: Propagação Retroactiva Classificação; Função Base Radial Classificação; Rede Mapas de Kohonen Clustering. 23

24 Figura 3: Rede Neuronal As redes neuronais oferecem o mais profundo poder de exploração dos dados. Porém é a técnica mais difícil de se entender. As apresentações internas, de como os padrões e os modelos foram achados nos dados, não são mostrados. Estas "caixas pretas" são inexplicáveis, o que faz com que esta técnica seja inaceitável para alguns analistas de negócios. Utilizam um modelo idêntico ao dos neurónios do cérebro humano e suas ligações (sinapses), como suporte para trabalharem com um conjunto de dados. Aprendem a partir do treino sobre esses dados, generalizando padrões, aplicando-os internamente para classificação e previsão de resultados. Cada neurónio tem geralmente um conjunto de pesos que determina como o neurónio avalia a combinação dos sinais de entrada. A entrada para um neurónio pode ser positiva ou negativa. A aprendizagem faz-se pela modificação dos pesos usados pelo neurónio de acordo com a classificação de erros que foi feita pela rede como um todo. As entradas são geralmente pesadas e normalizadas para produzir um procedimento suave. Durante a fase de treino, a rede estabelece os pesos que determinam o comportamento da camada intermédia. Um termo popular chamado propagação retroactiva é usado quando os pesos são ajustados baseados nas estimativas feitas pela rede - suposições incorrectas reduzem os limites para as conexões apropriadas. 24

25 É uma técnica excelente, muito vantajosa, mas que tem dois aspectos negativos. O primeiro é a complexidade dos modelos gerados. O segundo é exigir que o formato dos dados seja imutável; para diferentes representações dos dados surgem resultados diferentes. Exemplos de ferramentas: SPSS Neural Connection, IBM Neural Network Utility, NeuralWare NeuralWorks Predict Análise de cesto de compras (Market Basket Analysis) Técnica de localização que permite através de um cesto de compras, inferir regras a partir de grupos de itens ou produtos que surgem nesta transacção. A análise combinatória dos produtos juntamente com a localização geográfica do cliente, permite promover investimentos em marketing específicos para determinados produtos e regiões. Para vendas não anónimas é possível ainda promover investimentos em marketing para determinados perfis de clientes, focando os seus traços de compra, garantindo maior retorno no investimento. Algoritmos Genéticos Também conhecida como Análise Estatística de séries temporais. Utiliza o algoritmo natural, ou seja, os mecanismos de selecção que a natureza utiliza para a evolução das espécies. É indicada como complemento às técnicas de Raciocínio Baseado em Memória ou Redes Neuronais. Esta técnica consiste no cruzamento de registos e na mutação para seleccionar as possíveis soluções que sobreviverão para a próxima geração até convergir na solução perfeita, ou a solução mais próxima disso. Exemplos de ferramentas: S+, SAS, SPSS. 25

26 2.2.5 Fase de Interpretação e Avaliação Esta fase é associada à visualização dos dados. Realiza um filtragem do conhecimento fazendo o corte das regras e definindo o limite mínimo de confiança das regras geradas. Efectua uma avaliação verificando a precisão e taxa de erro dos resultados obtidos Fase de Integração de novo Conhecimento A integração de conhecimento num repositório central único pode envolver: a modificação do conhecimento já existente (revisão); a eliminação de conhecimento; a resolução de conflitos. 2.3 Bases das técnicas de Data Mining As técnicas de Data Mining estão baseadas na Estatística e Inteligência Artificial, conforme apresentado na figura : Figura 4: Bases das técnicas de Data Mining 26

27 2.3.1 A estatística É a base de todas as outras tecnologias criadas para Data Mining. Conceitos como distribuição normal, variância, análise de regressão, desvio simples, análise de conjuntos, análise de discriminantes e intervalos de confiança, são utilizados para realizar as pesquisas nos dados, bem como analisar e descobrir relacionamentos entre os mesmos Inteligência Artificial Técnicas de heurística são utilizadas para tentar recuperar informação que pode ser útil na descoberta de novas interacções entre os dados. Esta técnica exige mais processamento, conseguido com um bom custo/benefício, mas que resulta no maior aproveitamento nos SGBDs Sistemas Gestores de Bases de Dados e nos módulos de optimização de consulta Aprendizagem Automática (Machine Learning) É o estudo de algoritmos computacionais que melhoram automaticamente ao longo da experiência adquirida. Uma tarefa comum é aprender com o professor, também conhecida como aprendizagem assistida: o professor fornece os rótulos correctos, e a função do algoritmo de aprendizagem automática é construir um modelo que represente o conhecimento requerido de modo a rotular novos exemplos. Por exemplo, um número de parâmetros descrevem a informação detalhada sobre um empréstimo bem como o perfil do requerente desse empréstimo. O banco deve ter um largo número de exemplos descrevendo empréstimos antigos e a informação conhecida a situação destes empréstimos, se foram reembolsados com ou sem problemas. Esta realidade representa o conhecimento do professor. Nesta situação, um algoritmo de 27