ð Model: tree data structure ð Classification

Transcrição

1 Cláudia Antunes

2 ð Model: tree data structure Nodes correspond to a test for the value of an attribute; Branches correspond to results of those tests; Leaves represent classes. Age M Gender F No ð Classification To test each attribute value, following the order defined in the tree Yes <6 6 No istemas de Apoio à Decisão by Cláudia Antunes

3 A A Ù B A B A xor B A F V F V Falso B B B F V F V F V Falso Verdade Falso Verdade Verdade Falso istemas de Apoio à Decisão by Cláudia Antunes

4 A A Ù B A A xor B A Falso Verdade Verdade Falso B B Falso Falso Falso Verdade istemas de Apoio à Decisão by Cláudia Antunes 4

5 1. A ~B. A (B C. A xor B 4. (A B (C D istemas de Apoio à Decisão by Cláudia Antunes 5

6 v Basic algorithm (a greedy algorithm Tree is constructed in a top-down recursive divide-and-conquer manner At start, all the training examples are at the root Attributes are categorical (if continuous-valued, they are discretized in advance Examples are partitioned recursively based on selected attributes Test attributes are selected on the basis of a heuristic or statistical measure v Conditions for stopping partitioning All samples for a given node belong to the same class There are no remaining attributes for further partitioning majority voting is employed for classifying the leaf There are no samples left istemas de Apoio à Decisão by Cláudia Antunes 6

7 ð Learning / Training 1. elect the best attribute to test in the root node;. Create a branch for each test result; each branch will cover a subset of the training set (the set of known instances that satisfy all the tests from the root to this branch Age M Gender F No. For each subset, return to step 1. <6 6 Pruning: To identify and remove branches that are too tied to the training data (overfitting Yes No istemas de Apoio à Decisão by Cláudia Antunes 7

8 Procedure ID (Dataset D, et of Attributes A, Attribute class Tß new DecisionTree( // If every instance belong to the same class, return the tree with one leave if vdom(class[ xd x.class v] then T.rootß new node(v return T // If there are no more attributes, return the already constructed tree if A then return T else // Choose the best attribute to split the data aß best(a, class T.rootß new node(a // For each possible value of a for each v i Dom(a do D vi ß {xd: x.av i } // If there is no instance with value vi for attribute a, // then create a leave with the classification for the majority of instances if D vi then cß mode(d add(t.root, new branch(v i, new node(c // Else create a decision tree for this subset and the rest of attributes else add(t.root, new branch(v i, ID(D vi, A\{a}, class istemas de Apoio à Decisão by Cláudia Antunes 8

9 v Occam s razor v Metrics for choosing the best: when the node is pure è return when impurity is maximal è return 1 In intermediate situations, the measure should be applied in subsets of the initial training set v Examples of metrics Information gain plit info Gini index istemas de Apoio à Decisão by Cláudia Antunes 9

10 ð elect the attribute with the highest information gain ð Assume there are two classes, P and N Let the set of examples contain p elements of class P and n elements of class N The amount of information, needed to decide if an arbitrary example in belongs to P or N is defined as p p n n E( p,n log log. p + n p + n p + n p + n istemas de Apoio à Decisão by Cláudia Antunes 1

11 v Information Gain The encoding information that would be gained by branching on A G(, A E( v Dom( A i #{ x : x. A #{ x } vi} E({ x : x. A v i } v based on Entropy (or the expected information needed to classify objects Entropia E( c i 1 #{ x Ci} #{ x Ci} log log c #{ x D} #{ x D} istemas de Apoio à Decisão by Cláudia Antunes.4.. % 5% 5% 75% 1% 11

12 Training dataset Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False 1. Qual o valor de entropia associado ao conjunto?. Qual o atributo testado na raíz da árvore?. Qual a árvore de decisão ideal? istemas de Apoio à Decisão by Cláudia Antunes 1

13 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False E(True, False -%T x log %T -%F x log %F istemas de Apoio à Decisão by Cláudia Antunes 1

14 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False E(True, False -/1 x log /1 -%F x log %F istemas de Apoio à Decisão by Cláudia Antunes 14

15 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False E(True, False -/1 * log /1-7/1 * log 7/1. x x istemas de Apoio à Decisão by Cláudia Antunes 15

16 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Gender E(T, F - %M x E(M+, M- -%F x E(F+, F- istemas de Apoio à Decisão by Cláudia Antunes 16

17 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Gender.881 5/1 x E(M+, M- -%F x E(F+, F- istemas de Apoio à Decisão by Cláudia Antunes 17

18 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Gender.881 5/1 x E(, M- -%F x E(F+, F- istemas de Apoio à Decisão by Cláudia Antunes 18

19 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Gender.881 5/1 x E(, -%F x E(F+, F /1 x.971 -%F x E(F+, F- istemas de Apoio à Decisão by Cláudia Antunes 19

20 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Gender.881 5/1 x E(, 5/1 x E(F+, F- istemas de Apoio à Decisão by Cláudia Antunes

21 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Gender.881 5/1 x E(, 5/1 x E(, /1 x istemas de Apoio à Decisão by Cláudia Antunes E(, -/5 * log /5 -/5 * log /5.971 E(, 5 1

22 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Age E(T, F - % x E(+, - -%N x E(N+, N- istemas de Apoio à Decisão by Cláudia Antunes

23 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Age.881 6/1 x E(+, - -%N x E(N+, N- istemas de Apoio à Decisão by Cláudia Antunes

24 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Age.881 6/1 x E(, - -%N x E(N+, N- istemas de Apoio à Decisão by Cláudia Antunes 4

25 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Age.881 6/1 x E(, %N x E(N+, N /1 x 1 %N x E(N+, N- istemas de Apoio à Decisão by Cláudia Antunes 5

26 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False istemas de Apoio à Decisão by Cláudia Antunes G(Age.881 6/1 x E(, %N x E(N+, N /1 x 1 4/1 x E(, /1 x 1 4/1 x.81 6

27 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Has Car.881 5/1 x E(, 5/1 x E(1, 4 istemas de Apoio à Decisão by Cláudia Antunes.881 5/1 x.971 5/1 x

28 G(Gender > G(Age > G(Has Car Gender M F? Não istemas de Apoio à Decisão by Cláudia Antunes 8

29 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Age GenderM E(, % x E(Y+, Y- %N x E(N+, N- istemas de Apoio à Decisão by Cláudia Antunes E(, /5 x E(, %N x E(N+, N- E(, /5 x E(, /5x E(,.971 /5 x.971 9

30 Gender Age<6 Has car Client M Yes Yes True F Yes Yes False M No Yes False M No No False G(Has Car GenderM E(, %Y x E(Y+, Y- %N x E(N+, N- istemas de Apoio à Decisão by Cláudia Antunes.971 /5 x E(1, 1 /5 x E(, /5 /5x

31 Gender M F Age<6 No True False Yes No G(Age GenderM G(HasCar GenderM istemas de Apoio à Decisão by Cláudia Antunes 1

32 v It grows each branch just deeply enough to perfectly classify all the training examples v It doesn t deal with numerical attributes neither with missing values v The Information Gain prefer attributes with more possible values istemas de Apoio à Decisão by Cláudia Antunes

33

34 v Creates a Boolean attribute to test numeric attributes Attribute A less than or equal to θ v How to choose the threshold value θ? Order the training set according to values of A If A has m possible values (in the set then there are m-1 interesting values for θ If Dom A {v 1, v,..., v m } All values in [v n, v n+1 [ have the same behaviour Test all values v n (1 n m-1 and choose the best one istemas de Apoio à Decisão by Cláudia Antunes 4

35 Gain ratio à a new measure that balances the information gain with the number of possible values. It uses splitinfo(,a à the entropy of the set ordered by the values of attribute A { x : x. A vi} { x : x. A v splitinfo (, A log v Dom( A { x } { x } i (splitinfo doesn t consider the classifications i } GainRatio (,A G(,A splitinfo(,a Information Gain istemas de Apoio à Decisão by Cláudia Antunes 5

36 v Use training example anyway, sort through tree If node n tests A, assign most common value of A among other examples sorted to node n Assign most common value of A among other examples with same target value Assign probability p i to each possible value of A splitinfo(, A {x : x.a v i } {x } log {x : x.a v } i {x } v i Dom(A {null} v Classify new examples in the same fashion G(, A P( A null E( vidom ( A #{ x : x. A v i} E({ x : x. A vi} #{ x } istemas de Apoio à Decisão by Cláudia Antunes 6

37 v The generated tree may overfit the training data Too many branches, some may reflect anomalies due to noise or outliers Result in poor accuracy for unseen samples v Two approaches to avoid overfitting Pre-pruning: Halt tree construction early - do not split a node if this would result in the goodness measure falling below a threshold Difficult to choose an appropriate threshold Post-pruning: Remove branches from a fully grown tree - get a sequence of progressively pruned trees Use a set of data different from the training data to decide which is the best pruned tree istemas de Apoio à Decisão by Cláudia Antunes Validation set 7

38

39 v CART - Classification and Regression Trees [Breiman 1984], v The most used method to create decision trees v Characteristics Generate only binary trees nodes implement X i C tests Use of Gini index and test the same attribute several times Prune with different choices validation set Return a forest Deal with non-pre-processed data (missing values Deal with categorical and numeric attributes Deal with unbalanced data automatically istemas de Apoio à Decisão by Cláudia Antunes 9

40 v Gini index measures the purity of some set D D segmented in n classes p j reflects the probability of class j in D gini( D 1 n j 1 p j v The gini split index summarizes the gain of using an attribute to make a partition over D m segments D i is the i th segment with N i records ginisplit m Ni ( D gini( Di N i 1 v The best attribute imposes the minor gini split index istemas de Apoio à Decisão by Cláudia Antunes 4

41 istemas de Apoio à Decisão by Cláudia Antunes 41

42 exo F. Etária Cor Risco X 1 F Vermelho Alto X M Vermelho Alto X F Outra Baixo X 4 M Outra Baixo X 5 M Outra Baixo X 6 F Idoso Outra Moderado X 7 M Idoso Outra Moderado X 8 M Idoso Outra Moderado X 9 M Jovem Vermelho Alto X 1 F Jovem Outra Baixo X 11 M Vermelho Alto X 1 M Jovem Outra Alto #{ x E( #{ x #{ x #{ x 5 log B } log } 5 1 A} log } #{ x #{ x 4 1 log #{ x #{ x B } #{ x M } log } #{ x } A} } log 1 #{ x M } #{ x } #{ x : x.exo M } #{ x : x.exo F } G(,exo E( E({ x : x.exo M } E({ x : x.exo F } #{ x } #{ x } log log 8 8 log 8 8 istemas de Apoio à Decisão by Cláudia Antunes 4 1 log log log

43 G(,Cor E( #{ x : x.cor Vermelho } #{ x : x.cor Outra } E({ x : x.cor Vermelho } E({ x : x.cor #{ x } #{ x } E({ x : x.cor Vermelho } E({ x : x.cor Outra } log log log log G(,Faixa. 555 log 1 1 log 1 6 log 1 6 log 6 6 log Outra } Faixa Etária Jovem Idoso? Moderado? istemas de Apoio à Decisão by Cláudia Antunes 4

44 44 istemas de Apoio à Decisão by Cláudia Antunes log log } x #{ } M x #{ log } x #{ } M x #{ } x #{ } B x #{ log } x #{ } B x #{ } x #{ } A x #{ log } x #{ } A x #{ E( log log log log. M } x.exo : E({ x } x #{ M } x.exo : x #{ F } x.exo : E({ x } x #{ F } x.exo : x #{ E(,exo G(. log log. Vermelho} x.cor : E({ x } x #{ Vermelho} x.cor : x #{ Outra } x.cor : E({ x } x #{ Outra } x.cor : x #{ E(,Cor G(

45 Faixa Etária Jovem Idoso? Moderado Cor V Outra Alto Baixo istemas de Apoio à Decisão by Cláudia Antunes 45

46 v E(, G(, exo, G(,Cor and G(,Faixa splitinfo(,exo { x : x. exo M } log { x } 8 log log log splitinfo(,cor { x : x.faixa { x } 1 log log log 4 1 { x : x. Cor O } log { x } istemas de Apoio à Decisão by Cláudia Antunes { x : x.faixa A } splitinfo(,faixa log { x } J } log { x : x.exo M } { x : x.exo F { x } { x } { x : x.cor O } { x : x. Cor V { x } { x } { x : x.faixa { x } log 1 { x : x.faixa A} { x } J } { x : x.faixa { x } } log } log I } log { x : x.exo F } { x } { x : x.cor V } { x } { x : x.faixa { x } 46 I }

47 GainRatio( GainRatio( GainRatio(,exo,Cor,Faixa G(,Cor splitinfo(,cor G(,exo splitinfo(,exo G(,Faixa splitinfo(,faixa Cor V Outra Alto? istemas de Apoio à Decisão by Cláudia Antunes 47

48 exo F. Etária Cor Risco X 1 F Vermelho Alto X M Vermelho Alto X F Outra Baixo X 4 M Outra Baixo X 5 M Outra Baixo X 6 F Idoso Outra Moderado X 7 M Idoso Outra Moderado X 8 M Idoso Outra Moderado X 9 M Jovem Vermelho Alto X 1 F Jovem Outra Baixo X 11 M Vermelho Alto X 1 M Jovem Outra Alto gini gini( gini( gini gini( gini( istemas de Apoio à Decisão by Cláudia Antunes split split ( exo M exo F ( Cor Cor V exo Cor O 8 4 gini( exo M + gini( exo F gini( Cor V + gini( Cor O

49 exo F. Etária Cor Risco X 1 F Vermelho Alto X M Vermelho Alto X F Outra Baixo X 4 M Outra Baixo X 5 M Outra Baixo X 6 F Idoso Outra Moderado X 7 M Idoso Outra Moderado X 8 M Idoso Outra Moderado X 9 M Jovem Vermelho Alto X 1 F Jovem Outra Baixo X 11 M Vermelho Alto X 1 M Jovem Outra Alto istemas de Apoio à Decisão by Cláudia Antunes gini gini( gini( gini gini( gini( gini split split split gini( gini( ( FE A FE A ( FE J FE J ( FE I FE I 6 6 A gini( FE A + gini( J gini( FE J + gini( I gini( FE I + gini( FE FE FE FE A FE J FE I

50 Gini split (FE{Idoso} FEÎ {I} Moderado? istemas de Apoio à Decisão by Cláudia Antunes 5

51 gini(. gini(. gini( gini( ( gini. gini( gini(. gini( gini( ( gini. gini(. gini(. gini( gini( ( gini F exo I M exo I J FE I A FE I FE I split O Cor I V Cor I O Cor I V Cor I Cor I split F exo I M exo I F exo I M exo I exo I split istemas de Apoio à Decisão by Cláudia Antunes Gini split (Cor{Vermelho} Gini split (FE{} gini( gini(. gini( gini( ( gini gini(. gini(. gini( gini( ( gini J FE IO A FE IO J FE IO A FE IO FE IO split F exo IO M exo IO F exo IO M exo IO exo IO split

52 FEÎ {I} Moderado CorÎ {V} Alto FEÎ {A} Baixo exoî { M} istemas de Apoio à Decisão by Cláudia Antunes Alto Baixo 5