Prof. Heitor Silvério Lopes
WEKA WEKA: Waikato Environment for Knowledge Analysis Iniciado em 1992, versão estável atual: 3.8.1 É um software para mineração de dados desenvolvido em Java com código aberto Desenvolvido na Universidade de Waikato (Nova Zelândia), por Ian Witten, Eibe Frank e colaboradores. Todo o código e o ambiente Java estão disponíveis. http://www.cs.waikato.ac.nz/ml/weka Livro: Witten, I.H., Frank, E. & Hall, M.A., Data Mining Practical machine learning tools and techniques, 4th Edition, Morgan Kaufmann, 2016.
Funcionalidades básicas Pré-processamento de dados: Formato nativo ARFF Outros: CSV, ASCII, JDBC Filtros diversos para remoção de atributos e operações Classificação: +100 métodos, divididos em grupos (Bayesianos, vizinhança, regras, árvores, funções, miscelânea), além de meta-métodos (bagging, boosting e outros). Agrupamento: Aprendizado não-supervisionado, incluindo EM, k-means e agrupamento hierárquico. Visualização de dados: Gráficos de valores dos atributos por classe ou por outros atributos, visualizadores de árvores, redes Bayesianas e dendograma. Muitas outras funcionalidades: Seleção de atributos, Regras de associação, Comparação de classificadores, Geração de conjuntos de dados, etc.
WEKA GUI Chooser Painel de controle de seleção das Graphical User Interfaces - GUIs
GUI Explorer Permite uma exploração rápida dos dados e suporta a maioria das funcionalidades
GUI Experimenter GUI que simplifica o projeto de experimentos com múltiplos datasets e múltiplos métodos de classificação ou regressão
GUI Experimenter Analisa comparativamente os resultados obtidos por diferentes métodos
GUI Knowledge Flow Tem as mesmas funcionalidades do Explorer, sob a forma de um workflow de operações.
GUI Workbench É similar ao Explorer, um pouco mais simples
GUI Simple CLI Permite utilizar as funções disponíveis via linha de comando (painel Java).
Menus do GUI Chooser Aba Visualization: Há interfaces gráficas especializadas Plot: gráfico 2D de um conjunto de dados, ROC: mostra a curva Receive Operating Characteristics, TreeVisualizer: mostra gráficos nos formatos XML, BIF e DOT para redes Bayesianas. GraphVisualizer: BoundaryVisualizer: Aba Tools: Há interfaces gráficas especializadas para: Package Manager: instala/desinstala pacotes 3rd party Bayes net editor: edição de redes Bayesianas, SqlViewer : interação com SQL server, ARFFViewer : editor de arquivos ARFF. Aba Help:
Menus do Explorer Aba Tools: Há interfaces gráficas especializadas para: Edição de redes Bayesianas (Bayes net editor), Interação com SQL server (SqlViewer), Editor de arquivos ARFF (ARFFViewer). Aba Visualization: permite a visualização de dados: Plot: gráfico 2D de um conjunto de dados, ROC: mostra a curva Receive Operating Characteristics, TreeVisualizer: mostra gráficos nos formatos XML, BIF e DOT para redes Bayesianas. Boundary Visualizer: permite a visualização em duas dimensões dos limites de decisão de um classificador. Aba Help: provê recursos on-line para ajuda
WEKA: Explorer GUI Aba Preprocess: leitura de arquivos e manipulação de dados É possível ler, editar e salvar arquivos, bem como aplicar filtros aos dados. Do lado direito são mostrados dados estatísticos simples dos dados, bem como sua distribuição. A leitura de arquivos pode ser no formato nativo ARFF ou CSV, ASCII, JDBC, etc
Formato de entrada de dados O formato nativo do WEKA é ARFF (Attribute- Relation File Format) que é texto em ASCII e tem: Header e Data A seção Header tem os campos: Relation: que define o nome do problema, Attribute: define cada atributo e seu tipo de dado, que pode ser: numérico (real ou inteiro), string, nominal (lista entre { } ) ou dado genérico (especifica formato). Nome do dataset Declaração dos atributos (nome, tipo, Intervalo/valores)
Formato de entrada de dados A seção Data contém uma instância por linha Cada linha tem os valores de todos os atributos na ordem listada na seção Header Instâncias dos dados (?=missing) Para a conversão de formatos: CSV ARFF, pode-se utilizar a ferramenta on-line: http://slavnik.fe.uni-lj.si/markot/csv2arff/csv2arff.php
Manipulação de dados A partir da versão 3.8.0 o Weka é capaz de ler e salvar arquivos de dados em formatos variados: Excel (xls, xlsx), CSV, JSON, Matlab, TXT e outros formatos Pode ler dados diretamente de bases de dados com queries SQL Tem visualizador e editor simples dos dados carregados Tem um gerador de datasets através de vários métodos
Edição de arquivos lidos Após lido um arquivo de entrada (no formato ARFF ou CSV), pode-se editá-lo através do botão Edit da aba Preprocess:
Aplicação de filtros No botão Edit da aba Preprocess é possível aplicar diversos filtros às instâncias e atributos do dataset sendo tratado.
Outras funcionalidades do Weka Aba Classify: : +100 métodos de classificação, divididos em grupos (Bayesianos, vizinhança, regras, árvores, funções, miscelânea), além de meta-métodos (bagging, boosting e outros). Aba Cluster: : Algoritmos de agrupamento (aprendizado nãosupervisionado) incluindo EM, k-means e agrupamento hierárquico. Aba Associate: Algoritmos para regras de associação, incluindo o Apriori Aba Select attributes: Métodos para seleção de atributos (redução de dimensionalidade) Aba Visualize: Gráficos 2D de valores dos atributos por classe ou por outros atributos, visualizadores de árvores e redes Bayesianas