Aprendizagem de Máquina

Transcrição

1 Aprendizagem de Máquina écnicas de Classificação Árvores de Decisão Prof. Paulo Martins Engel UFRGS Árvores de Decisão As árvores de decisão (AD) são ferramentas poderosas para classificação cuja maior vantagem é a sua expressividade, já que elas representam um conjunto consistente de regras de classificação. Uma AD representa uma série de testes encadeados acerca de atributos de um objeto do domínio. Um dado entra na árvore pelo nó raiz, tradicionalmente colocado no topo da representação gráfica, e a árvore se desenvolve para baixo, até chegar a um nó folha, representando uma classe. A partir de um nó (pai), é feito um teste para decidir qual nó filho deve ser pesquisado a seguir. Existe apenas um caminho da raiz até cada folha. Este caminho é uma expressão da regra usada para classificar os dados.

2 UFRGS 3 N N Exemplo de AD N N y N5 N7 N3 Yes y < 0.47? x < 0.43? N No y < 0.33? N3 N N x N6 N3 Yes : 4 : 0 No Yes No : 0 : 4 : 0 : 3 : 4 : 0 N4 N5 N6 N7 Na versão usual, testa um atributo por vez produzindo fronteiras de decisão paralelas aos eixos. Produz um modelo de classificação consistente: baseado em partição, sem superposição de regras N4: Se x < 0.43 E y < 0.47 Então Classe = triângulo (4/0) N5: Se x < 0.43 E y 0.47 Então Classe = círculo (4/0) N6: Se x 0.43 E y < 0.33 Então Classe = círculo (3/0) N7: Se x 0.43 E y 0.33 Então Classe = triângulo (4/0) UFRGS 4 Exemplo: Problema do tempo Assumindo que as condições meteorológicas influenciam a decisão de um jogador de jogar ou (tênis, golfe,...), determine, a partir de um conjunto de observações passadas, um modelo capaz de prever se o jogador vai ou jogar num determinado dia, dadas as condições meteorológicas. emperatura Joga quente alta falso quente alta verdadeiro quente alta falso amena alta falso fria normal falso fria normal verdadeiro fria normal verdadeiro amena alta falso fria normal falso amena normal falso amena normal verdadeiro amena alta verdadeiro quente normal falso amena alta verdadeiro Atributos previsores: quente alta falso emperatura amena normal fria verdadeiro emperatura Atributo alvo: (classe) Joga Modelo Joga

3 UFRGS 5 Exemplo de árvore de decisão O algoritmo de geração da AD descobre quais atributos previsores são realmente importantes para a classificação, descartando os demais (temperatura, no exemplo do tempo). AD Joga alta normal Se = Então Classe = falso verdadeiro Se = E = alta Então Classe = Se = E = normal Então Classe = Se = E = falso Então Classe = Se = E = verdadeiro Então Classe = UFRGS 6 Construção de árvores de decisão Procedimento padrão: de cima para baixo, usando recursivamente dividir e conquistar (algoritmo de Hunt). Primeiro: seleciona-se o atributo do nó raiz e cria-se um ramo para cada valor possível do atributo. Então: os exemplos são divididos em subconjuntos (um para cada ramo que sai do nó), conforme o resultado do teste. Finalmente: o procedimento é repetido recursivamente para cada ramo, usando apenas os exemplos que chegam no ramo considerado. O processo termina quando todos os exemplos do subconjunto do ramo têm a mesma classe, ou... todos os exemplos têm valores de atributos ilares número de instâncias é menor que um limiar estabelecido o critério de expansão de nós é satisfeito (métrica de escolha do teste)...

4 UFRGS 7 Seleção do teste a ser aplicado em um determinado nó Estratégia gulosa: o atributo testado produz uma partição das instâncias que chegam no nó que otimiza um determinado critério. Base: métrica para seleção de atributos. conjunto de entrada: 9/5 (9, 5 ) emperatura Joga quente alta falso quente alta verdadeiro quente alta falso amena alta falso fria normal falso fria normal verdadeiro fria normal verdadeiro amena alta falso fria normal falso amena normal falso amena normal verdadeiro amena alta verdadeiro quente normal falso amena alta verdadeiro 3 /3 4/0 3/ conjuntos resultantes do teste UFRGS 8 Critério para seleção de atributo Qual é o melhor atributo para testar num nó? Aquele que produz a menor árvore (implica gerar todas as possibilidades!!). Heurística: escolher o atributo que produz os nós mais puros (homogêneos em relação à classe majoritária). Critério popular para impureza : quantidade de informação, ou entropia de um subconjunto. O ganho de informação representa o quanto (em média) se ganha em pureza ao se dividir um conjunto segundo um atributo. Estratégia: escolher o atributo que produz o maior ganho de informação. Métricas alternativas: indíce GINI, erro de classificação,...

5 UFRGS 9 Cálculo da informação A quantidade de informação é medida em bits. Dada uma distribuição (de classes), calcula-se a quantidade de informação necessária para prever um evento (uma classe). É equivalente à entropia da distribuição A entropia representa a informação necessária em bits (ou fração de bits!) Fórmula para calcular a entropia de um conjunto: entropia(p, p,..., p n ) = p logp p logp... p n logp n onde p, p,..., p n são as probabilidades (taxa de ocorrência) das classes,,..., n, neste conjunto. Obs: o logaritmo é na base para a medida em bits! UFRGS 0 Exemplos de cálculo de informação Entropia: dada uma distribuição (de classes: c,..., c i,..., c n ), calcula a quantidade de informação necessária para prever um evento (uma classe). I(p,..., p i,..., p n ) = p logp... p i logp i... p n logp n Com : p i j c i c j Exemplo : os objetos pertencem a um conjunto com uma única classe (c ) : 8 A, c = p I()= log( 0 ) = (0) = 0 bit I() = 0 : Dado que p =, preciso de outra informação para prever a classe de um objeto da distribuição: todos são da classe.

6 UFRGS Exemplo : os objetos pertencem a um conjunto com classes equiprováveis B B B B B B B B p 8 0,5 : 8 A, 8 B c = 8, c = 8 p 6 I(0,5; 0,5)= 0,5log( ) 0,5log( ) = 0,5 () 0,5 () = bit I(0,5;0,5) = : Dado que p = p = 0,5, preciso de bit para prever a classe de um objeto da distribuição: c = 0 ; c =. Exemplo 3: os objetos pertencem a um conjunto com 4 classes equiprováveis A A A A B B B B C C C C D D D D p p 4 3 p4 0,5 p 6 I(0,5; 0,5; 0,5; 0,5) = 4( 0,5log( )) = 4( 0,5 ()) = bit I(0,5;0,5;0,5;0,5) = : Dado que p = p = p 3 = p 4 = 0,5, preciso de bits para prever a classe de um objeto da distribuição: c = 00 ; c = 0; c 3 = 0 ; c 4 =. 4 UFRGS Exemplo 4: os objetos pertencem a um conjunto com classes equiprováveis A A A A B B B B 3 p 0,75 p 4 0, I(0,75; 0,5) = 0,75log(0,75) 0,5log( ) = 0,75 (0,45) 0,5 () = 0,8 bit I(0,75;0,5) = 0,8 : preciso de 0,8 bit para prever a classe de um objeto da distribuição: Só informa a classe dos objetos de c. Exemplo 5: os objetos pertencem a um conjunto com 4 classes equiprováveis A A A A A A B B C C C C C C D D p p3 0,375 p 3 p 4 0,5 6 8 I(0,375; 0,5; 0,375; 0,5) = ( 0,375(,45)) + ( 0,5(3)) =,8 bit I(0,5;0,5;0,5;0,5) =,8 : preciso de,8 bits para prever a classe de um objeto da distribuição: bit para informar as classes mais frequentes e 0,8 bits para as demais.

7 UFRGS 3 Métricas alternativas para seleção de atributos Índice GINI de um nó t (valor de atributo) é baseado na freqüência relativa de cada classe j no nó t, p(j t): GINI( t) GINI p( j t) k j Índice GINI de um nó atributo: média ponderada dos índices GINI de cada valor do atributo, ponderados pela proporção de exemplos com este valor. i ni GINI( i) n Exemplo : os objetos pertencem a um conjunto com uma única classe (c ): j = GINI( t) j p( j t) 0 Exemplo : objetos pertencem a um conjunto com classes equiprováveis: j =, B B B B B B B B GINI( t) j 0, 5 p( j t) 0,5 0,5 UFRGS 4 Métricas alternativas para seleção de atributos Erro de classificação de um nó t (valor de atributo): é baseado na freqüência relativa das classes menos frequentes (erros): Erro( t) max p( i t) Erro k i i Erro de classificação de um nó atributo: média ponderada dos erros de cada valor do atributo, ponderados pela proporção de exemplos com este valor. ni Erro( i) n Exemplo : os objetos pertencem a um conjunto com uma única classe (c ): j = Erro( t) max p( i t) 0 i Exemplo : objetos pertencem a um conjunto com classes equiprováveis: j =, B B B B B B B B Erro( t) max p( i t) 0,5 0,5 i

8 UFRGS 5 Comparação entre métricas para seleção de atributos Para um problema de classificação em classes UFRGS 6 O algoritmo C4.5 O algoritmo C4.5 (Quinlan 93) produz árvores com número de ramos variável. Cada valor de um dado categórico gera um ramo. A entropia ou ganho de informação é utilizada como fator de escolha do atributo a ser testado num nó. A partição do espaço de características começa pelo nó raiz e continua para os nós filhos da mesma maneira, ou seja, escolhendo-se em cada nó o melhor atributo para a partição, até que um atributo assuma um único valor. Neste caso, nós rotulamos este nó como folha.

9 UFRGS 7 Avaliação dos atributos do tempo emperatura Joga quente alta falso quente alta verdadeiro quente alta falso amena alta falso fria normal falso fria normal verdadeiro Qual é o ganho de informação do teste para o atributo? fria normal verdadeiro amena alta falso fria normal falso amena normal falso amena normal verdadeiro amena alta verdadeiro quente normal falso amena alta verdadeiro UFRGS 8 Exemplo: atributo conjunto original: 9, 5 3 conjuntos resultantes do teste Ganho de informação do teste para o atributo : 0,940 0,693 = 0,47 bits entropia(p,..., p n ) = p logp p logp... p n logp n Entropia do conjunto original: entropia(9/4, 5/4) = 9/4log(9/4) 5/4log(5/4) = 0,940 bits Entropia dos conjuntos resultantes do teste: = : entropia(/5, 3/5) = /5log(/5) 3/5log(3/5) = = 0,97 bits = : entropia(4/4, 0/4) = log() 0log(0) = 0 bits = : entropia(3/5, /5) = 3/5log(3/5) /5log(/5) = = 0,97 bits Entropia média dos conjuntos resultantes: (5/4)0,97 + (4/4)0 + (5/4)0,97 = 0,693 bits

10 UFRGS 9 Qual atributo deve ser selecionado? Ganho = 0,47 bits quente emperatura amena fria Ganho = 0,09 bits alta normal Ganho = 0,5 bits falso verdadeiro Ganho = 0,048 bits UFRGS 0 Continuar a dividir quente emperatura amena fria Ganho = 0,57 bits falso verdadeiro Ganho = 0,00 bits alta normal Ganho = 0,97 bits

11 UFRGS Árvore de decisão final alta normal falso verdadeiro Distribuição das classes dos exemplos que chegam nas folhas