Inteligência Computacional [2COP229]

Transcrição

1 Inteligência Computacional [2COP229] Mestrado em Ciência da Computação Sylvio Barbon Jr

2 (2/41) Tema Aula Árvores de Decisão

3 Aula- Árvore de Decisão (3/41) Sumário Introdução Indução de Árvores de Decisão Vantagens o uso de Árvores de Decisão Desvantagens do uso de Árvores de Decisão Poda em Árvores de Decisão

4 Aula- Árvore de Decisão (4/41) Introdução A construção de modelos computacionais de classificação geralmente emprega dois paradigmas alternativos: Top-down: Onde a obtenção do modelo de classificação é realizado a partir de informações fornecidas pelo especialista. Bottom-up: A obtenção do modelo de classificação é feita pela identificação de relacionamentos entre variáveis dependentes e independentes em bases de dados rotuladas. O classificador é induzido por mecanismos de generalização fundamentados nos exemplos. Árvores de Decisão são fundamentadas podem ser criadas por ambos os paradigmas.

5 Aula- Árvore de Decisão (5/41) Introdução As Árvores de Decisão podem ser utilizadas para dois diferentes propósitos: Modelagem descritiva: Um modelo de classificação é utilizado como uma ferramenta para distinguir diferentes exemplos de classes e quais atributos são úteis. Modelagem preditiva: Um modelo de classificação é utilizado para classificar exemplos cujas classes são desconhecidas. Diferente do k-nn, Redes Neurais Artificiais e Máquinas de Vetores de Suporte (SVM), as Árvores de Decisão são representadas por meio de regras.

6 Introdução Aula- Árvore de Decisão (6/41)

7 Aula- Árvore de Decisão (7/41) Introdução Uma vez construída uma Árvore de Decisão, seu uso é imediato e computacionalmente rápido. A construção da árvore demanda um custo computacional elevado. Uma árvore de decisão utiliza uma estratégia de dividir-para-conquistar, dividindo o problema em sub-problemas. A capacidade de discriminação da árvore vem da divisão do espaço definido pelos atributos em subespaços e cada subespaço está associado a uma classe.

8 Introdução Aula- Árvore de Decisão (8/41)

9 Aula- Árvore de Decisão (9/41) Introdução Entre os algoritmos mais conhecidos de árvore de decisão temos: CART (Breiman, 1984) ID3 (Quinlan, 1986) C4.5 (Quinlan 1993) A base do algoritmo para a criação de uma árvore de decisão é: 1. Escolher um atributo; 2. Estender a árvore adicionando um ramo para cada valor do atributo; 3. Passar os exemplos para as folhas (considerando o atributo) 4. Para cada folha: Se os exemplos são da mesma classe, associar; Senão repetir passos 1 a 4;

10 Aula- Árvore de Decisão (10/41) Funções de Mérito As funções de mérito indicam quais conjuntos de atributos tem utilidade para a separação das classes; Existem principalmente as seguintes funções de mérito: Diferença de distribuição no nó pai e subconjuntos obtidos baseados em proporções de classe (ex.entropia). Diferença entre os subconjuntos divididos com base na proporção como distância ou ângulo, enfatizando a disparidade entre os subconjuntos. Medidas estatísticas independentes entre classes e subconjuntos. (ex.chi-quadrado χ 2 ) Os algoritmos J48 e C4.5 implementam regras baseadas no Ganho de Informação.

11 Aula- Árvore de Decisão (11/41) Funções de Mérito O Ganho de Informação tem como kernel a Entropia. A Entropia mede a aleatoriedade dos dados e é calculada como: H(A) = i p i log 2 p i, onde p é a probabilidade de observar um dado valor A. A cada nó de decisão, o atributo que mais reduz a aleatoriedade da variável alvo será escolhido para dividir os dados. O Ganho de Informação mede a redução na Entropia. O Ganho de informação é obtido como: IG(A, p, q) = I (p, q) E(A, p, q), sendo p e q o número de objetos de duas classes diferentes.

12 Aula- Árvore de Decisão (12/41) Funções de Mérito Suponha que o problema de decisão é quando alguém joga ou não um dado esporte pelas condições do tempo. O problema é definido por quatro atributos de entrada: TEMPO, TEMPERATURA, UMIDADE e VENTO. O conjunto de treinamento contém 14 exemplos que descrevem observações de indivíduos (Jogar) dada as condições do tempo. Qual o valor que melhor discrimina as classes?

13 Aula- Árvore de Decisão (13/41) Funções de Mérito Tempo Temperatura Umidade Vento Jogar Chuvoso Sim Não Ensolarado Não Sim Ensolarado Sim Não Nublado Não Sim Chuvoso Não Sim Chuvoso Sim Não Nublado Sim Sim Nublado Sim Sim Ensolarado Sim Sim Chuvoso Não Sim Nublado Não Sim Ensolarado Não Não Ensolarado Não Não Chuvoso Não Sim

14 Aula- Árvore de Decisão (14/41) Funções de Mérito A entropia da classe para o conjunto de exemplos é: p(jogar=sim) = 9/14 p(jogar=não) = 5/14 H(Jogar) = 9/14 log2 (9/14) 5/14 log 2 (5/14) = 0, 94

15 Aula- Árvore de Decisão (15/41) Funções de Mérito Ganho de Informação para Atributo Nominal, deve-se dividir o conjunto pelos valores do atributo e classe: Probabilidade para o Tempo = Ensolarado p(jogar=sim Tempo=Ensolarado)= 2/5 p(jogar=não Tempo=Ensolarado)= 3/5 Entropias (H): H(Jogar Tempo = Ensolarado) = 2/5 log 2(2/5) 3/5 log 2(3/5) = 0, 971 H(Jogar Tempo = Nublado) = 0,0 H(Jogar Tempo = Chuvoso) = 0,971 A entropia ponderada para o tempo é: H(Tempo) = 5/14 0, / /14 0, 971 = 0, 693 IG(Tempo) = 0, 940 0, 693 = 0, 247

16 Aula- Árvore de Decisão (16/41) Funções de Mérito Ganho de Informação para Atributo Contínuo usa a estratégia para conjuntos em que atributo valor e atributo > valor. Considere o teste Temperatura = 70,5. Temperatura > 70,5 = Verdadeiro{Sim(5), Não(4)}, Falso{Sim(4), Não(1)} p(jogar=sim Temperatura 70,5)= 4/5 p(jogar=não Temperatura 70,5)= 1/5 p(jogar=sim Temperatura>70,5)= 5/9 p(jogar=não Temperatura>70,5)= 4/9 H(Jogar Temperatura 70,5) = 4/5 log 2 (4/5) 1/5 log 2 (1/5) = 0, 721 H(Jogar Temperatura>70,5) = 5/9 log 2 (5/9) 4/9 log 2 (4/9) = 0, 991 H(Temperatura) = 5/14 0,721+9/14 0,991= 0,895 IG(Temperatura) = 0,940-0,895 = 0,045

17 Funções de Mérito Aula- Árvore de Decisão (17/41)

18 Aula- Árvore de Decisão (18/41) Outras - Funções de Mérito Critério de impureza de Gini (Gini impurity) [CART] GINI (t) = 1 j [p(j t)] 2 Entropia [ID3 e C4.5] GINI split = 1 k j n i GINI (i) n H(t) = i p(j t)log 2 (p(j t) Gain split = H(p) ( k j=1 n i n H(i))

19 Aula- Árvore de Decisão (19/41) Outras - Funções de Mérito Erro de Classificação Error(t) = 1 max[p(j t)] Chi-squared (χ 2 )] GINI split = 1 k j n i GINI (i) n G 2 (a i, S) = 2ln(2) S.Gain(a i, S)

20 Aula - Árvore de Decisão (poda) Aula- Árvore de Decisão (20/41)

21 Aula- Árvore de Decisão (21/41) Critérios de Parada 1. Todas as instâncias pertencem a mesma classe; 2. A profundidade máxima foi alcançada; 3. O número de casos de um nó terminal é menor do que o mínimo dos nós pais; 4. O número de casos em um nó é menor do que o parametrizado; 5. O critério (mérito) não é melhor do que um limiar estabelecido;

22 Aula- Árvore de Decisão (22/41) Vantagens do Uso de Árvores Flexibilidade: Árvores não assumem nenhuma distribuição para os dados, são não paramétricos e criam decisões sobre todo o espaço de busca; Robustez: É invariante à transformações monótonas de variáveis de entrada e a sensibilidade à outliers é reduzida; Seleção de Atributos: No processo de construção da árvore são selecionados os atributos mais relevantes; Interpretabilidade: Decisões complexas se tornam pequenas, simples e locais;

23 Aula- Árvore de Decisão (23/41) Desvantagem do Uso de Árvores Replicação: Sofre pela duplicação de testes em ramos distintos da árvores; Valores ausentes: Considerando que é uma hierarquia de testes, se um valor é desconhecido não é possível realizar a predição; Atributos contínuos: O gargalo dos algoritmos são os atributos contínuos. Vários autores recomendam a discretização de valores contínuos; Instabilidade: Pequenas variações no conjunto de treinamento podem significar mudanças grandes na árvore.

24 Desvantagem do Uso de Árvores Aula- Árvore de Decisão (24/41)

25 Aula- Árvore de Decisão (25/41) Aula - Árvore de Decisão (poda) Poda em Árvores de Decisão Métodos de Proda Pré-poda Pos-poda

26 Aula- Árvore de Decisão (26/41) Aula - Árvore de Decisão (poda) Os algoritmos e indução de AD tem como objetivo encontrar árvores ótimas para a minimização do erro na predição; No entanto um segundo objeto é minimizar o tamanho (profunidade) da árvore; Encontrar uma AD ótima é uma tarefa NP-HARD (Hancock et al., 1996). Encontrar a árvore de decisão ótima para problemas pequenos é uma solução viável, no entanto para problemas complexos normalmente são usados heurísticas.

27 Aula- Árvore de Decisão (27/41) Aula - Árvore de Decisão (poda) A poda é uma parte das mais importantes do processo de construção da árvore, principalmente em domínios ruidosos. Os ruídos causam dois problemas: Podem classificar novos objetos em um modo não confiável; Uma árvore induzida tende a ser grande e difícil de interpretação; Os nós mais profundos tem baixa importância pois poucas amostras são classificadas pelas folhas destes; Nós mais profundos refletem mais o conjunto de treinamento (overfitting - superajustamento) e aumentam o nível erro devido a variância.

28 Aula- Árvore de Decisão (28/41) Aula - Árvore de Decisão (poda) Podar uma árvore é trocar nós mais profundos por folhas, minimizando os problemas. Podar uma árvore de decisão certamente irá causar a classificação incorreta de alguns exemplos de treinamento, porém é eficiente na avaliação de novos exemplos.

30 Aula- Árvore de Decisão (30/41) Aula - Árvore de Decisão (poda) Podar uma árvore é trocar nós mais profundos por folhas, minimizando os problemas. Podar uma árvore de decisão certamente irá causar a classificação incorreta de alguns exemplos de treinamento, porém é eficiente na avaliação de novos exemplos. Os métodos de poda pode ser divididos em dois grupos: Pré-poda: durante a construção da árvore quando algum critério é atingido; Pós-poda: após a construção observado certos critérios. O importante é estimar o ponto de equiĺıbrio entre a árvore e a estimativa de erro.

31 Aula- Árvore de Decisão (31/41) Aula - Árvore de Decisão (poda) Este tipo de poda conta com regras de para que previnem a construção daqueles ramos que não melhoram a precisão preditiva da árvore; Tem a vantagem de economia de tempo da montagem da árvore; Normalmente temos as seguintes regras de parada: Todas as observações de um nó pertencem a uma mesma classe; Todas as observações alcançando um nó tem mesmo vetor de características (mas não necessariamente pertencem a mesma classe) O número de observações é menor que um certo limiar; O mérito atribuído a todos os possíveis testes que particionaram o conjunto de observações é muito baixo;

32 Aula- Árvore de Decisão (32/41) Aula - Árvore de Decisão (poda) Poda por redução de erro (reduced error) é o método mais comum para as Árvores de Decisão (ex. C4.5); Segundo Quinlan (1988) Construir e podar uma árvore é lento, mas mais confiável ; Um dos métodos mais simples é baseado em duas medidas: Erro estático: É o número de classificações incorretas considerando que todos os exemplos que chegam nesse nó são classificados usando a classificação majoritária da distribuição de classes deste nó; Erro de Backed-up: É a soma das classificações incorretas de todas as subárvores do nó corrente; Se o erro de backed-up é maior ou igual ao erro estático, então o nó é trocado pela folha com a classe majoritária;

34 Aula- Árvore de Decisão (34/41) Aula - Árvore de Decisão (poda) A poda por custo de complexidade é um dos mais utilizados; Inicialmente é gerada uma árvore completa e consequentemente uma sequencia de árvores cada vez menores, sendo escolhida uma das subárvores; Este método é baseado em dois parâmetros: taxa de erro R(T) e tamanho da árvore T em termos de folhas. A medida de custo complexidade é: R α (T ) = R(T ) + α T ; O valor de α é a importância relativa do tamanhã da árvore em relação à taxa de erro; A árvore selecionada é a que apresentar o menor R α (T ); Este é o core de funcionamento da árvore CART.

35 Aula- Árvore de Decisão (35/41) CART O algoritmo da CART é: 1. Definir os parâmetros de divisão dos nós filhos; 2. Usar o critério de Gini para seleção de atributos; 3. Repetir o passo anterior até o subset apresentar somente uma classe; 4. Aplicar o processo de poda (pós-poda) para encontrar a árvore com o menor custo, ou seja, menor taxa de erro e menor complexidade. Uma importante característica da CART é que ela tem a capacidade de gerar árvores para Regressão; No caso da regressão cada divisão (split) é feito para minimizar o erro quadrático de cada predição. A predição de cada folha é baseada na média de peso do nó.

36 Aula- Árvore de Decisão (36/41) CART O algoritmo para Regressão é: 1. Iniciar com um único nó contendo todos os exemplos. Calcular m c e S; 2. Se todos os exemplos tiverem o mesmo valor, parar; 3. Caso contrário procurar todos os cortes binários para reduzir S; (Neste etapa pode-se utilizar um limiar ou outros critérios) 4. Para o novo nó voltar para o item 1; Sendo S = c folhas(t ) i C m c = 1 n c (y i m c ) 2 i C y i

37 Aula- Árvore de Decisão (37/41) Aula - Árvore de Decisão (poda) Base carros - Regressão do valor (price) baseado em dois atributos.

41 Aula- Árvore de Decisão (41/41) Fundamentos de Inteligência ArtificialReferências 1. Coppin, B. Inteligência Artificial. LTC Russell, S.; Norvig, P. Artificial Intelligence: a modern approach. Prentice Hall Localização: BC Número de Chamada: R967a 3.ed. 3. Luger, G. F. Inteligência Artificial: estruturas e estratégias para a resolução de problemas complexos.bookman Localização: BC Número de Chamada: L951a 4.ed. 4. Carvalho, André, et al. Inteligência Artificial uma abordagem de aprendizado de máquina. Rio de Janeiro: LTC (2011).