Prof. Heitor Silvério Lopes

Transcrição

1 Prof. Heitor Silvério Lopes

2 WEKA WEKA: Waikato Environment for Knowledge Analysis Iniciado em 1992, versão estável atual: É um software para mineração de dados desenvolvido em Java com código aberto Desenvolvido na Universidade de Waikato (Nova Zelândia), por Ian Witten, Eibe Frank e colaboradores. Todo o código e o ambiente Java estão disponíveis. Livro: Witten, I.H., Frank, E. & Hall, M.A., Data Mining Practical machine learning tools and techniques, 4th Edition, Morgan Kaufmann, 2016.

3 Funcionalidades básicas Pré-processamento de dados: Formato nativo ARFF Outros: CSV, ASCII, JDBC Filtros diversos para remoção de atributos e operações Classificação: +100 métodos, divididos em grupos (Bayesianos, vizinhança, regras, árvores, funções, miscelânea), além de meta-métodos (bagging, boosting e outros). Agrupamento: Aprendizado não-supervisionado, incluindo EM, k-means e agrupamento hierárquico. Visualização de dados: Gráficos de valores dos atributos por classe ou por outros atributos, visualizadores de árvores, redes Bayesianas e dendograma. Muitas outras funcionalidades: Seleção de atributos, Regras de associação, Comparação de classificadores, Geração de conjuntos de dados, etc.

4 WEKA GUI Chooser Painel de controle de seleção das Graphical User Interfaces - GUIs

5 GUI Explorer Permite uma exploração rápida dos dados e suporta a maioria das funcionalidades

6 GUI Experimenter GUI que simplifica o projeto de experimentos com múltiplos datasets e múltiplos métodos de classificação ou regressão

7 GUI Experimenter Analisa comparativamente os resultados obtidos por diferentes métodos

8 GUI Knowledge Flow Tem as mesmas funcionalidades do Explorer, sob a forma de um workflow de operações.

9 GUI Workbench É similar ao Explorer, um pouco mais simples

10 GUI Simple CLI Permite utilizar as funções disponíveis via linha de comando (painel Java).

11 Menus do GUI Chooser Aba Visualization: Há interfaces gráficas especializadas Plot: gráfico 2D de um conjunto de dados, ROC: mostra a curva Receive Operating Characteristics, TreeVisualizer: mostra gráficos nos formatos XML, BIF e DOT para redes Bayesianas. GraphVisualizer: BoundaryVisualizer: Aba Tools: Há interfaces gráficas especializadas para: Package Manager: instala/desinstala pacotes 3rd party Bayes net editor: edição de redes Bayesianas, SqlViewer : interação com SQL server, ARFFViewer : editor de arquivos ARFF. Aba Help:

12 Menus do Explorer Aba Tools: Há interfaces gráficas especializadas para: Edição de redes Bayesianas (Bayes net editor), Interação com SQL server (SqlViewer), Editor de arquivos ARFF (ARFFViewer). Aba Visualization: permite a visualização de dados: Plot: gráfico 2D de um conjunto de dados, ROC: mostra a curva Receive Operating Characteristics, TreeVisualizer: mostra gráficos nos formatos XML, BIF e DOT para redes Bayesianas. Boundary Visualizer: permite a visualização em duas dimensões dos limites de decisão de um classificador. Aba Help: provê recursos on-line para ajuda

13 WEKA: Explorer GUI Aba Preprocess: leitura de arquivos e manipulação de dados É possível ler, editar e salvar arquivos, bem como aplicar filtros aos dados. Do lado direito são mostrados dados estatísticos simples dos dados, bem como sua distribuição. A leitura de arquivos pode ser no formato nativo ARFF ou CSV, ASCII, JDBC, etc

14 Formato de entrada de dados O formato nativo do WEKA é ARFF (Attribute- Relation File Format) que é texto em ASCII e tem: Header e Data A seção Header tem os campos: Relation: que define o nome do problema, Attribute: define cada atributo e seu tipo de dado, que pode ser: numérico (real ou inteiro), string, nominal (lista entre { } ) ou dado genérico (especifica formato). Nome do dataset Declaração dos atributos (nome, tipo, Intervalo/valores)

15 Formato de entrada de dados A seção Data contém uma instância por linha Cada linha tem os valores de todos os atributos na ordem listada na seção Header Instâncias dos dados (?=missing) Para a conversão de formatos: CSV ARFF, pode-se utilizar a ferramenta on-line:

16 Manipulação de dados A partir da versão o Weka é capaz de ler e salvar arquivos de dados em formatos variados: Excel (xls, xlsx), CSV, JSON, Matlab, TXT e outros formatos Pode ler dados diretamente de bases de dados com queries SQL Tem visualizador e editor simples dos dados carregados Tem um gerador de datasets através de vários métodos

17 Edição de arquivos lidos Após lido um arquivo de entrada (no formato ARFF ou CSV), pode-se editá-lo através do botão Edit da aba Preprocess:

18 Aplicação de filtros No botão Edit da aba Preprocess é possível aplicar diversos filtros às instâncias e atributos do dataset sendo tratado.

19 Outras funcionalidades do Weka Aba Classify: : +100 métodos de classificação, divididos em grupos (Bayesianos, vizinhança, regras, árvores, funções, miscelânea), além de meta-métodos (bagging, boosting e outros). Aba Cluster: : Algoritmos de agrupamento (aprendizado nãosupervisionado) incluindo EM, k-means e agrupamento hierárquico. Aba Associate: Algoritmos para regras de associação, incluindo o Apriori Aba Select attributes: Métodos para seleção de atributos (redução de dimensionalidade) Aba Visualize: Gráficos 2D de valores dos atributos por classe ou por outros atributos, visualizadores de árvores e redes Bayesianas