AVALIAÇÃO DE MÉTODOS DE SELEÇÃO DE ATRIBUTOS PARA CLASSIFICAÇÃO DE SOLOS

Transcrição

1 AVALIAÇÃO DE MÉTODOS DE SELEÇÃO DE ATRIBUTOS PARA CLASSIFICAÇÃO DE SOLOS Fernando Attique Maximo Embrapa Informática Agropecuária Stanley Robson de Medeiros Oliveira Embrapa Informática Agropecuária Maria Leonor Lopes Assad Universidade Federal de São Carlos

2 Apresentação Introdução Mineração de Dados Seleção de Atributos Objetivo Material e Métodos Resultados e Discussões Conclusões

3 Introdução Classificação de Solos Está associado ao trabalho de levantamento pedológicos Permite estabelecer correlações com sua gênese e evolução Estudar fatores ambientais e econômicos Manejo, aptidão agrícola etc

4 Introdução Sistema Brasileiro de Classificação de Solos (SiBCS 2006) Estrutura hierárquica e multicategórica Estruturado até o 4º nível categórico É um sistema aberto Entra na classificação de um solo: Dados morfológicos, físicos, químicos e mineralógicos Clima, vegetação, relevo, material originário, condições hídricas, características externas ao solo e relações solo-paisagem

5 Mineração de Dados Analista Dados Tarefas de Mineração de Dados Associação Classificação Clusterização (agrupamento) Conhecimento

6 Seleção de Atributos Seleção dos atributos Melhorar a performance dos algoritmos de aprendizado de máquina; Simplificar os modelos de predição e reduzir o custo computacional para rodar esses modelos; Fornecer um melhor entendimento sobre os resultados encontrados, uma vez que existe um estudo prévio sobre o relacionamento dos atributos.

7 Seleção de Atributos... Os métodos mais utilizados: Teste do Qui-quadrado (χ 2 ) Seleção baseada na correlação (SBC) Ganho de Informação (GI) Abordagem Wrapper (W)

8 Objetivo Avaliar a eficiência de diferentes métodos para a seleção e/ou ranqueamento de atributos. Ênfase: Classificação de solos no 1º nível categórico do Sistema Brasileiro de Classificação de Solos

9 Material e Métodos Dados de solos compilados Dados de diferentes localidades do Brasil compilados Foi selecionado um conjunto de variáveis de 52 perfis de solos Classe de Solo Número de perfis utilizados Cambissolo 4 Neossolo 10 Latossolo 32 Argissolo 4 Nitossolo 1 Planossolo 1

10 Material e Métodos Cada perfil apresenta um ou mais horizontes de solos Total de 237 horizontes (linhas da tabela) De cada perfil foram considerados: Dados de local: posição no relevo, declividade, altitude, etc Dos horizontes: tipo, profundidade, cor úmida, textura, etc

11 Material e Métodos 74 atributos Dados Originais Seleção de Atributos Atributos Selecionados Métodos disponíveis no ambiente Weka

12 Material e Métodos Classificação Dados de Solos reduzidos Menor número de atributos Aplicado no Ambiente Weka

13 10 10 Material e Métodos Tid Atrib1 Atrib2 Atrib3 Class 1 Yes Large 125K No 2 No Medium 100K No 3 No Small 70K No 4 Yes Medium 120K No 5 No Large 95K Yes 6 No Medium 60K No 7 Yes Large 220K No 8 No Small 85K Yes 9 No Medium 75K No Indução algoritmo usado Criação do Modelo 10 No Small 90K Yes Conjunto de treinamento Tid Attrib1 Attrib2 Attrib3 Class 11 No Small 55K? 12 Yes Medium 80K? 13 Yes Large 110K? 14 No Small 95K? 15 No Large 67K? Conjunto de Teste Dedução Aplicação do Modelo Modelo O que é classificação?

14 Resultados e Discussão Classe de Solo Número de perfis utilizados Cambissolo 4 Neossolo 10 Latossolo 32 Argissolo 4 Nitossolo 1 Planossolo 1 Considerada duas situações: Preservação do número de membros por classe (classificação sem filtro) Amostragem com reposição seguindo a distribuição uniforme (classificação com filtro) Melhorar a distribuição das classes

15 Resultados e Discussão Precisão da árvore de decisão Método Sem seleção Com seleção SBC (s/ filtro) 91,98% 96,62% SBC (c/ filtro) 99,58% 98,31% W (s/ filtro) 91,98% 96,62% W (c/ filtro) 99,58% 98,73% Os métodos Seleção Baseada em Correlação (SBC) e Wrapper (W) Não ranqueiam os atributos Seleciona os atributos por meio de heurísticas

16 Resultados e Discussão Precisão da árvore de decisão Método Sem seleção Com seleção SBC (s/ filtro) 91,98% 96,62% SBC (c/ filtro) 99,58% 98,31% W (s/ filtro) 91,98% 96,62% W (c/ filtro) 99,58% 98,73% Com a aplicação do filtro nos métodos de seleção de atributos, a classificação ficou melhor

17 Resultados e Discussão Precisão da árvore de decisão Método Sem seleção 10% 20% 30% 40% 50% χ 2 (s/ filtro) 91,98% 64,56% 78,48% 80,17% 89,87% 92,41% χ 2 (c/ filtro) 99,58% 95,78% 97,05% 99,16% 99,16% 99,16% GI (s/ filtro) 91,98% 64,56% 64,56% 80,17% 92,41% 94,09% GI (c/ filtro) 99,58% 83,12% 97,05% 99,16% 99,16% 99,16% Os métodos Qui-quadrado ( χ 2 ) e Ganho de Informação (GI) Ranqueiam os atributos Foram usados 50%, 40%, 30%, 20% e 10% dos atributos Esse resultado indica que a classificação de solos no 1º nível categórico pode ser realizada com um pequeno número de atributos

18 Conclusões Avaliação da eficiência de métodos de seleção de atributos Classificação de solos no 1º nível categórico do SiBCS. A experiência mostrou que o uso de mineração de dados: É útil para classificação de solos; Apresentou resultados promissores; Precisa de maior investigação. O método Ganho de Informação (GI), com filtro, apresentou resultados interessantes; O algoritmo C4.5 (árvore de decisão) gerou um modelo com precisão de 99,16% (apenas 50% dos atributos)

19 Conclusões Algumas ações futuras: Analisar a eficiência de outros métodos de seleção de atributos (como redes neurais) Explorar a eficiência desses métodos, além do 1º nível categórico Identificar qual é o método de seleção de atributos e o método de classificação de dados mais apropriado para cada nível categórico do SiBCS.

20 Obrigado! Fernando Attique Maximo