I.3 Indução de Árvores de Decisão

Tamanho: px

Começar a partir da página:

Download "I.3 Indução de Árvores de Decisão"

Neuza Ramires Brezinski
8 Há anos
Visualizações:

1 I.3 Indução de Árvores de Decisão Nesta seção serão apresentados alguns conceitos básicos da técnica de indução de árvores de decisão a partir de um exemplo sobre o efeito dos raios solares sobre algumas pessoas (Winston 1992), mostrado na Tabela 4, obtida a partir de observações. NOME CABELO ALTURA PESO PROTETOR QUEIMADO Loiro Média Baixo Não Sim Loiro Alta Médio Sim Não Preto Baixa Médio Sim Não Loiro Baixa Médio Não Sim Emília Ruivo Média Alto Não Sim Preto Alta Alto Não Não João Preto Média Alto Não Não Loiro Baixa Baixo Sim Não Tabela 4 Efeito dos Raios Solares sobre Algumas Pessoas Os atributos com seus respectivos valores, que foram analisados para cada pessoa, estão listados abaixo: Atributos Identificação Valores Cabelo loiro, preto, ruivo Altura baixa, média, alta Peso baixo, médio, alto Protetor sim, não 128

NOME CABELO ALTURA PESO PROTETOR QUEIMADO Loiro Média Baixo Não Sim Loiro Alta Médio Sim Não Preto Baixa Médio Sim Não Loiro Baixa Médio Não Sim Emília Ruivo Média Alto Não Sim Preto Alta Alto Não

2 A classificação foi feita para o atributo categórico queimado, com os valores: sim ou não. O número de combinações dos valores dos atributos é 54. Este valor é obtido pela multiplicação dos números de possíveis valores para cada atributo: Cabelo = 3 (loiro, preto, ruivo); Altura = 3 (baixa, média, alta); Peso = 3 (baixo, médio, alto); e Protetor = 2 (sim, não). Ou seja, o resultado é obtido pela multiplicação destes valores: 3 * 3 * 3 * 2 = 54. A probabilidade de uma nova ocorrência ter as mesmas propriedades de um caso já observado é calculada pela divisão do número de casos já observados dividido pelo número total de casos possíveis, ou seja, 8 / 54 = 0,15. Isto indica que a probabilidade de uma nova informação casar exatamente com um dos casos já observados é 15%. Na prática, a probabilidade pode ser bem menor, pois pode haver muito mais atributos e muito mais valores a eles associados. Por exemplo, supondo existir 12 atrubutos, cada um com 5 possíveis valores e cada valor aparecendo com igual 12 freqüência, haveria 5 combinações. Se a tabela tivesse um milhão de casos, a probabilidade de um novo caso ser igual a um já existente seria cerca de 0,4 % 12 (= 1 milhão / 5 ). Portanto, pode ser impraticável classificar um caso desconhecido buscando um casamento exato com propriedades de casos conhecidos e classificados. Os dados poderiam ser tratados com um espaço de características no qual poderia-se buscar um casamento parcial. Porém, em não se sabendo quais propriedades são importantes, pode-se encontrar um vizinho próximo devido a um alinhamento coincidente de propriedades irrelevantes. 129

Protetor = 2 (sim, não). Ou seja, o resultado é obtido pela multiplicação destes valores: 3 * 3 * 3 * 2 = 54.

3 Uma outra alternativa seria utilizar um procedimento de teste de propriedades que classificasse corretamente cada um dos casos conhecidos, podendo ser usado para classificar corretamente novos casos. Os testes envolvidos podem ser arrranjados numa árvore de identificação, isto é, numa árvore de decisão na qual cada conjunto de possíveis conclusões é estabelecido implicitamente por uma lista de amostras de classes conhecidas, como pode ser observado nas Figuras 11 e 12. Cabelo loiro ruivo preto não Protetor não João Figura 11 Árvore de Decisão Consistente com o Conjunto de Casos e com a Intuição sobre os Efeitos dos Raios Solares na Pele das Pessoas OBS Em todas as Figuras desta seção, para facilitar o entendimento ao leitor, as pessoas classificadas com atributo categórico com valor sim, estão destacadas em negrito, para diferenciar das outras classificadas com valor não. 130

amostras de classes conhecidas, como pode ser observado nas Figuras 11 e 12.

4 Altura baixa Cabelo Peso média alta ruivo baixo médio alto loiro preto Peso loiro Cabelo baixo médio alto ruivo Emília preto João Figura 12 Árvore de Decisão Consistente com o Conjunto de Casos, porém Inconsistente com a Intuição sobre os Efeitos dos Raios Solares na Pele das Pessoas Intuitivamente, a árvore da Figura 11 parece ser melhor que a da Figura 12. Porém, para um programa chegar a esta conclusão seria necessário um especialista registrar estas informações ou então basear-se nos fundamentos da lâmina de Occam e na teoria da Informação que serão descritos em seguida. 131

Intuitivamente, a árvore da Figura 11 parece ser melhor que a da Figura 12.

5 Lâmina de Occam O fundamento da lâmina de Occam (Occam s razor) é baseado na teoria do filósofo Ockham, que viveu no século XIII, de que o mundo é inerentemente simples. Aplicando este fundamento às árvores de decisão pode-se concluir que a menor árvore de identificação que for consistente com as amostras (casos) será aquela que mais provavelmente irá classificar corretamente casos desconhecidos. E a questão deixa, portanto, de ser qual é a árvore de identificação correta? e passa a ser como construir a menor árvore de identificação?. Para construir a menor árvore de identificação procura-se partir da característica mais relevante, mais discriminante e a partir dela, descer a árvore. O objetivo é selecionar o teste para o nó raiz que melhor divida os casos em subconjuntos homogêneos (com a mesma classificação) e assim sucessivamente até que todos os subconjuntos sejam homogêneos. Comparando-se os resultados obtidos nas Figuras 13, 14, 15 e 16, observa-se que o teste da cor do cabelo (Figura 13) faz uma melhor divisão dos casos em subconjuntos homogêneos. A Figura 17 mostra que após isolar pessoas loiras, o teste de uso de protetor solar é o que faz a melhor divisão desse conjunto em subconjuntos homogêneos. 132

corretamente casos desconhecidos. E a questão deixa, portanto, de ser qual é a árvore de identificação correta? e passa a ser como construir a menor árvore de identificação?

6 Teoria da Informação A teoria da informação fornece uma fórmula para avaliar a desordem (entropia) de uma árvore de decisão: Desordem Média = ((peso (do ramo)) * ( desordem de um ramo)) Desordem Média = Onde: n b = número de exemplos no ramo b; ( n b / n i ) *( n bc / n b log 2 n bc / n ) b c b n i = número de exemplos em todos os ramos; e n bc = número de exemplos no ramo b da classe c. Se um dado conjunto tivesse membros de apenas duas classes, por exemplo, A e B, e o número de membros de cada classe fosse perfeitamente balanceado, a desordem seria máxima e igual a 1: Desordem = c n bc / n b log 2 n bc / n b Desordem = 1/ 2log 2 1/ 2 1/ 2log 2 1/ 2 = ½ + ½ = 1 Por outro lado, se houvesse apenas membros da classe A ou apenas membros da classe B, a desordem seria zero, pois no limite, quando x tende a zero, zero: x log 2x é Desordem = 1/1log 2 1 0/1log 2 0 = 0 0 = 0 Aplicando a fórmula da Desordem Média ao teste da cor do cabelo, obtém-se: 133

Se um dado conjunto tivesse membros de apenas duas classes, por exemplo, A e B, e o número de membros de cada classe fosse perfeitamente balanceado, a desordem seria máxima e igual a 1: Desordem = c

7 Desordem Média = 4 /8( 2 / 4Log 2 2/ 4 2/ 4log 2 2/ 4) (para loiro) + 1/8 * 0 (para ruivo) + 3/8 * 0 (para preto) = 0,5 Fazendo o mesmo para os outros testes obtém-se: Teste Desordem Cabelo 0.5 Altura 0,69 Peso 0,94 Protetor 0,61 Após a seleção do teste do cabelo, para separar as pessoas do conjunto,, e, tem-se: Teste Desordem Altura 0,5 Peso 1 Protetor 0 134

8 Cabelo loiro ruivo preto Emília João Figura 13 Teste da Cor do Cabelo Peso baixo médio alto Emília João Figura 14 Teste do Peso 135

9 Altura baixa média alta Emília Figura 15 Teste da Altura Protetor não sim Emília João Figura 16 Teste de Uso de Protetor Solar 136

10 Altura baixa média alta Peso baixo médio alto Protetor não sim Figura 17 Teste de Uso de Protetor Solar após Isolar Pessoas Loiras 137

Documentos relacionados

Ivan Guilhon Mitoso Rocha. As grandezas fundamentais que serão adotadas por nós daqui em frente:

Ivan Guilhon Mitoso Rocha. As grandezas fundamentais que serão adotadas por nós daqui em frente: Rumo ao ITA Física Análise Dimensional Ivan Guilhon Mitoso Rocha A análise dimensional é um assunto básico que estuda as grandezas físicas em geral, com respeito a suas unidades de medida. Como as grandezas