Data Mining Software Weka. Software Weka. Software Weka 30/10/2012

Transcrição

1 Data Mining Software Weka Prof. Luiz Antonio do Nascimento Software Weka Ferramenta para mineração de dados. Weka é um Software livre desenvolvido em Java. Weka é um É um pássaro típico da Nova Zelândia. Software Weka O sistema foi desenvolvido por um grupo de pesquisadores da Universidade de Waikato, Nova Zelândia. Pode ser utilizada no modo console ou através da interface gráfica Weka Explorer. 1

2 Software Weka Universidade de Waikato - Nova Zelândia Waikato Environment for Knowledge Analysis Coleção de algoritmos de aprendizagem de máquina para resolução de problemas de Data Mining implementado em Java open source software Métodos de Aprendizagem Weka utiliza alguns métodos para a mineração de dados: Árvore de decisão Regras de aprendizagem Tabelas de decisão Regressão Regressão logística, etc. Processo de Descoberta do Conhecimento (KDD) O processo de KDD é interativo, iterativo, cognitivo e exploratório. O analista deve seguir os passos: 1. Definição do tipo de conhecimento a descobrir: o que pressupõe uma compreensão do domínio da aplicação bem como do tipo de decisão que tal conhecimento pode contribuir para melhorar. 2. Criação de um conjunto de dados alvo (Selection): selecionar um conjunto de dados onde a descoberta deve ser realizada. 2

3 70% do Tempo 30/10/2012 Processo de Descoberta do Conhecimento (KDD) 3. Limpeza de dados e pré-processamento (Preprocessing): operações básicas tais como remoção de ruídos quando necessário, escolha de estratégias para manipular campos de dados ausentes e formatação de dados de forma a adequá-los à ferramenta de mineração. 4. Redução de dados e projeção (Transformation): localização de características úteis para representar os dados dependendo do objetivo da tarefa, visando a redução do número de variáveis e/ou instâncias a serem consideradas para o conjunto de dados, bem como o enriquecimento semântico das informações. Processo de Descoberta do Conhecimento (KDD) 5. Mineração de dados (Data Mining): selecionar os métodos utilizados para localizar padrões nos dados, seguida da efetiva busca por padrões de interesse numa forma particular de representação ou conjunto de representações; busca pelo melhor ajuste dos parâmetros do algoritmo para a tarefa em questão. 6. Interpretação dos padrões minerados (Interpretation/Evaluation), com um possível retorno aos passos anteriores para posterior iteração (repetição dos passos). 7. Implantação do conhecimento descoberto (Knowledge): incorporar o conhecimento ao sistema, ou documentá-lo e reportá-lo às partes interessadas. Processo de Descoberta do Conhecimento (KDD) Conhecimento Padrões Dados Dados Transformados Dados Alvo Preprocessados Dados 3

4 Processo de Descoberta do Conhecimento (KDD) Observação: O processo de descoberta do conhecimento é incremental. Para melhorar os resultados do processo deve haver iteração quando necessário. Preparação dos Dados O weka lê os dados no formato.arff Uma lista de todas as instâncias, onde o valor dos atributos são separados por vírgula mais um cabeçalho weather %Nome do outlook {sunny, overcast, temperature real %Atributo e humidity windy {TRUE, play {yes, sunny,85,85,false,no %Início dos dados overcast,83,86,false,yes Árvores de Decisão Dados do tempo Algoritmo weka.classifier.j48.j48 >75 <=75 4

5 Árvores de Decisão J48 pruned tree outlook = sunny humidity <= 75: yes (2.0) humidity > 75: no (3.0) outlook = overcast: yes (4.0) outlook = rainy windy = TRUE: no (2.0) windy = FALSE: yes (3.0) Number of Leaves : 5 Size of the tree : 8 Gerando regras de associação APRIORI Algoritmo para minerar regras de associação. IF umidade = normal AND vento = não THEN jogar = sim IF umidade = normal AND jogar = sim THEN vento = não IF vento = não AND jogar = sim THEN umidade = normal IF umidade = normal THEN vento = não AND jogar = sim IF vento = não THEN umidade = normal AND jogar = sim IF jogar = sim THEN vento = não AND umidade = normal IF? THEN vento = não AND umidade = normal AND jogar = sim Saída do algoritmo Best rules found: 1.temperature=cool humidity=normal windy=false ==> play=yes conf:(1) 2. temperature=cool windy=false play=yes ==> humidity=normal conf:(1) 3. outlook=overcast temperature=hot windy=false ==> play=yes conf:(1) 4. temperature=cool windy=false ==> humidity=normal play=yes conf:(1) 5. outlook=rainy temperature=mild windy=false ==> play=yes conf:(1) 5

6 Classificação Observe a saida dos diferentes tipos de classificadores. === Classifier model (full training set) === J48 pruned tree outlook = sunny humidity = high: no (3.0) humidity = normal: yes (2.0) outlook = overcast: yes (4.0) outlook = rainy windy = TRUE: no (2.0) windy = FALSE: yes (3.0) Number of Leaves 6

7 Arquivo ARFF O formato ARFF é utilizado como padrão para estruturar as bases de dados do Weka. Arquivo ARFF Arquivo ARFF 7

8 Arquivo ARFF Arquivo ARFF Exemplo: Classificação 8

9 Exemplo: BD locadora de veículos Exemplo: BD locadora de veículos 9

10 10

11 11

12 12

13 13

14 14

15 15