Fundamentos de Inteligência Artificial [5COP099]

Transcrição

1 Fundamentos de Inteligência Artificial [5COP099] Dr. Sylvio Barbon Junior Departamento de Computação - UEL 1 o Semestre

2 Assunto Aula 10 Modelos Preditivos - Árvore de Decisão 2 de 20

3 Aula 10 - Árvore de Decisão Sumário Introdução Indução de Árvores de Decisão Vantagens o uso de Árvores de Decisão Desvantagens do uso de Árvores de Decisão 3 de 20

4 Aula 10 - Árvore de Decisão Introdução A construção de modelos computacionais de classificação geralmente emprega dois paradigmas alternativos: Top-down: Onde a obtenção do modelo de classificação é realizado a partir de informações fornecidas pelo especialista. Bottom-up: A obtenção do modelo de classificação é feita pela identificação de relacionamentos entre variáveis dependentes e independentes em bases de dados rotuladas. O classificador é induzido por mecanismos de generalização fundamentados nos exemplos. Árvores de Decisão são fundamentadas podem ser criadas por ambos os paradigmas. 4 de 20

5 Aula 10 - Árvore de Decisão Introdução As Árvores de Decisão podem ser utilizadas para dois diferentes propósitos: Modelagem descritiva: Um modelo de classificação é utilizado como uma ferramenta para distinguir diferentes exemplos de classes e quais atributos são úteis. Modelagem preditiva: Um modelo de classificação é utilizado para classificar exemplos cujas classes são desconhecidas. Diferente do k-nn, Redes Neurais Artificiais e Máquinas de Vetores de Suporte (SVM), as Árvores de Decisão são representadas por meio de regras. 5 de 20

6 Aula 10 - Árvore de Decisão Introdução 6 de 20

7 Aula 10 - Árvore de Decisão Introdução Uma vez construída uma Árvore de Decisão, seu uso é imediato e computacionalmente rápido. A construção da árvore demanda um custo computacional elevado. Uma árvore de decisão utiliza uma estratégia de dividir-para-conquistar, dividindo o problema em sub-problemas. A capacidade de discriminação da árvore vem da divisão do espaço definido pelos atributos em subespaços e cada subespaço está associado a uma classe. 7 de 20

8 Aula 10 - Árvore de Decisão Introdução 8 de 20

9 Aula 10 - Árvore de Decisão Introdução Entre os algoritmos mais conhecidos de árvore de decisão temos: CART (Breiman, 1984) ID3 (Quinlan, 1986) C4.5 (Quinlan 1993) A base do algoritmo para a criação de uma árvore de decisão é: 1. Escolher um atributo; 2. Estender a árvore adicionando um ramo para cada valor do atributo; 3. Passar os exemplos para as folhas (considerando o atributo) 4. Para cada folha: Se os exemplos são da mesma classe, associar; Senão repetir passos 1 a 4; 9 de 20

10 Aula 10 - Indução de Árvores Funções de Mérito As funções de mérito indicam quais conjuntos de atributos tem utilidade para a separação das classes; Existem principalmente as seguintes funções de mérito: Diferença de distribuição no nó pai e subconjuntos obtidos baseados em proporções de classe (ex.entropia). Diferença entre os subconjuntos divididos com base na proporção como distância ou ângulo, enfatizando a disparidade entre os subconjuntos. Medidas estatísticas independentes entre classes e subconjuntos. (ex.chi-quadrado χ 2 ) Os algoritmos J48 e C4.5 implementam regras baseadas no Ganho de Informação. 10 de 20

11 Aula 10 - Indução de Árvores Funções de Mérito O Ganho de Informação tem como kernel a Entropia. A Entropia mede a aleatoriedade dos dados e é calculada como: H(A) = i p i log 2 p i, onde p é a probabilidade de observar um dado valor A. A cada nó de decisão, o atributo que mais reduz a aleatoriedade da variável alvo será escolhido para dividir os dados. O Ganho de Informação mede a redução na Entropia. O Ganho de informação é obtido como: IG(A, p, q) = I (p, q) E(A, p, q), sendo p e q o número de objetos de duas classes diferentes. 11 de 20

12 Aula 10 - Indução de Árvores Funções de Mérito Suponha que o problema de decisão é quando alguém joga ou não um dado esporte pelas condições do tempo. O problema é definido por quatro atributos de entrada: TEMPO, TEMPERATURA, UMIDADE e VENTO. O conjunto de treinamento contém 14 exemplos que descrevem observações de indivíduos (Jogar) dada as condições do tempo. Qual o valor que melhor discrimina as classes? 12 de 20

13 Aula 10 - Indução de Árvores Funções de Mérito 13 de 20 Tempo Temperatura Umidade Vento Jogar Chuvoso Sim Não Ensolarado Não Sim Ensolarado Sim Não Nublado Não Sim Chuvoso Não Sim Chuvoso Sim Não Nublado Sim Sim Nublado Sim Sim Ensolarado Sim Sim Chuvoso Não Sim Nublado Não Sim Ensolarado Não Não Ensolarado Não Não Chuvoso Não Sim

14 Aula 10 - Indução de Árvores Funções de Mérito A entropia da classe para o conjunto de exemplos é: p(jogar=sim) = 9/14 p(jogar=não) = 5/14 H(Jogar) = 9/14 log 2 (9/14) 5/14 log 2 (5/14) = 0, de 20

15 Aula 10 - Indução de Árvores Funções de Mérito Ganho de Informação para Atributo Nominal, deve-se dividir o conjunto pelos valores do atributo e classe: Probabilidade para o Tempo = Ensolarado p(jogar=sim Tempo=Ensolarado)= 2/5 p(jogar=não Tempo=Ensolarado)= 3/5 Entropias (H): H(Jogar Tempo = Ensolarado) = 2/5 log 2(2/5) 3/5 log 2(3/5) = 0, 971 H(Jogar Tempo = Nublado) = 0,0 H(Jogar Tempo = Chuvoso) = 0,971 A entropia ponderada para o tempo é: H(Tempo) = 5/14 0, / /14 0, 971 = 0, 693 IG(Tempo) = 0, 940 0, 693 = 0, de 20

16 Aula 10 - Indução de Árvores Funções de Mérito Ganho de Informação para Atributo Contínuo usa a estratégia para conjuntos em que atributo valor e atributo > valor. Considere o teste Temperatura = 70,5. Temperatura > 70,5 = Verdadeiro{Sim(5), Não(4)}, Falso{Sim(4), Não(1)} p(jogar=sim Temperatura 70,5)= 4/5 p(jogar=não Temperatura 70,5)= 1/5 p(jogar=sim Temperatura>70,5)= 5/9 p(jogar=não Temperatura>70,5)= 4/9 H(Jogar Temperatura 70,5) = 4/5 log 2 (4/5) 1/5 log 2 (1/5) = 0, 721 H(Jogar Temperatura>70,5) = 5/9 log 2 (5/9) 4/9 log 2 (4/9) = 0, 991 H(Temperatura) = 5/14 0,721+9/14 0,991= 0,895 IG(Temperatura) = 0,940-0,895 = 0, de 20

17 Aula 10 - Indução de Árvores Funções de Mérito 17 de 20

18 Aula 10 - Indução de Árvores Vantagens do Uso de Árvores Flexibilidade: Árvores não assumem nenhuma distribuição para os dados, são não paramétricos e criam decisões sobre todo o espaço de busca; Robustez: É invariante à transformações monótonas de variáveis de entrada e a sensibilidade à outliers é reduzida; Seleção de Atributos: No processo de construção da árvore são selecionados os atributos mais relevantes; Interpretabilidade: Decisões complexas se tornam pequenas, simples e locais; 18 de 20

19 Aula 10 - Indução de Árvores Desvantagem do Uso de Árvores Replicação: Sofre pela duplicação de testes em ramos distintos da árvores; Valores ausentes: Considerando que é uma hierarquia de testes, se um valor é desconhecido não é possível realizar a predição; Atributos contínuos: O gargalo dos algoritmos são os atributos contínuos. Vários autores recomendam a discretização de valores contínuos; Instabilidade: Pequenas variações no conjunto de treinamento podem significar mudanças grandes na árvore. 19 de 20

20 Fundamentos de Inteligência Artificial Referências 1. Coppin, B. Inteligência Artificial. LTC Russell, S.; Norvig, P. Artificial Intelligence: a modern approach. Prentice Hall Localização: BC Número de Chamada: R967a 3.ed. 3. Luger, G. F. Inteligência Artificial: estruturas e estratégias para a resolução de problemas complexos.bookman Localização: BC Número de Chamada: L951a 4.ed. 4. Carvalho, André, et al. Inteligência Artificial uma abordagem de aprendizado de máquina. Rio de Janeiro: LTC (2011). 20 de 20