Aprendizagem de Máquina

Transcrição

1 Aprendizagem de Máquina Árvores de Decisão Poda e extensões Prof. Paulo Martins Engel UFRGS 2 Questões sobre Árvores de Decisão Questões práticas do aprendizado de AD incluem: Determinar até quando se deve aprofundar o crescimento da árvore; Tratar atributos contínuos; Escolher uma medida apropriada para seleção de atributos; Tratar valores fntes em atributos nos dados de treinamento; Tratar atributos com custos diferentes; Aumentar a eficiência computacional. O algoritmo ID3 foi estendido para tratar a maioria destas questões, resultando no sistema C4.5.

2 UFRGS 3 Treinamento em excesso O algoritmo básico de construção de uma AD expande cada ramo da árvore até classificar perfeitamente os exemplos de treinamento. Esta estratégia pode causar dificuldades quando os dados forem ruidosos ou quando o número de exemplos de treinamento for tão pequeno que representa uma amostra da função alvo. Neste caso, o algoritmo original produz árvores que estão ajustadas em excesso aos dados de treinamento (overfitting). Uma hipótese h é ajustada em excesso aos dados de treinamento se existir uma hipótese alternativa h, tal que h tenha um erro menor que h sobre o arquivo de treinamento, mas h tem um erro menor que h sobre a distribuição total de instâncias. UFRGS 4 AD treinadas em excesso Conforme a árvore cresce, a acurácia medida sobre os exemplos de treinamento aumenta monotonamente. Entretanto, se a acurácia for medida sobre dados de teste, independentes dos dados de treinamento, a acurácia inicialmente cresce, mas então (25) decresce.

3 UFRGS 5 Árvore de decisão final Tempo Umidade Ventoso Distribuição das classes dos exemplos que chegam nas folhas UFRGS 6 AD treinadas em excesso Uma das causas do fraco desempenho de generalização por overfitting se deve ao aprendizado de exemplos ruidosos. Considere, p. ex., a adição do exemplo de treinamento positivo, mas que foi rotulado erroneamente como negativo, ao arquivo original de treinamento. d 15 = < Tempo =, Temperatura =, Umidade =, Ventoso =, Joga = > d i Tempo Temperatura Umidade Ventoso Joga d 1 d 2 d 3 AD para os 14 dados originais d 4 d 5 d 6 d 7 Tempo d 8 d 9 d 10 Umidade d 3, d 7, d 12, d 13 Ventoso d 11 d 12 d 13 d 1, d 2, d 8 d 9, d 11 d 4, d 5, d 10 d 6, d 14 d 14

4 UFRGS 7 AD treinadas em excesso Uma das causas do fraco desempenho de generalização por overfitting se deve ao aprendizado de exemplos ruidosos. Considere, p. ex., a adição do exemplo de treinamento positivo, mas que foi rotulado erroneamente como negativo, ao arquivo original de treinamento. d 15 = < Tempo =, Temperatura =, Umidade =, Ventoso =, Joga = > d i Tempo Temperatura Umidade Ventoso Joga d 1 d 2 AD para os 15 dados, incluindo o dado ruidoso d 3 d 4 d 5 Tempo d 6 d 7 d 8 Umidade d 3, d 7, d 12, d 13 Ventoso d 9 d 10 d 11 d 1, d 2, d 8 Temperatura d 4, d 5, d 10 d 6, d 14 d 12 d 13 d 14 d 9 d 11 d 15 UFRGS 8 Como evitar o treinamento em excesso Parada antecipada: parar o crescimento da árvore antes de treiná-la em excesso. Para quando um número mínimo de instâncias atinge um nó. Pós-poda: permitir o treinamento em excesso e então podar a AD. Uma questão chave em ambos os casos é o critério usado para determinar o tamanho final da árvore: Usar um arquivo separado de poda (exemplos) para avaliar a utilidade de podar nós da árvore. Substituir uma sub-árvore pela folha que cobre os seu nós. Se a previsão do nó folha sobre o arquivo de poda for pior que a sub-árvore, mantém a folha. Usar todos os dados para o treinamento, mas aplicar testes estatísticos (qui quadrado) para estimar se a expansão de um nó pode produzir um melhor desempenho em relação à distribuição total de amostras. Usar uma medida de complexidade para a codificação dos exemplos de treinamento e da árvore, parando o crescimento da AD quando esta codificação for minimizada (Minimum Description Length).

5 UFRGS 9 Poda baseada em redução de erro Quando a poda inicia, a AD está no seu tamanho máximo e na menor acurácia sobre os dados de teste. Conforme a poda avança, o número de nós diminui e a acurácia aumenta. Os dados foram divididos em 3 subconjuntos: treinamento, validação e teste. A acurácia sobre o arquivo de validação é mostrada na figura. UFRGS 10 Podando Árvores de Decisão A construção de uma AD implica o crescimento da árvore enquanto novas partições possam ser encontradas, que melhorem a habilidade da árvore em separar os casos do arquivo de treinamento em classes. Esta tática ajusta a árvore em relação ao arquivo de treinamento, mas pode gerar uma estrutura ajustada em excesso a esses casos, falhando na generalização do conhecimento para um arquivo de teste, com casos vistos durante o treinamento. Uma solução para este problema se dá através da poda da árvore, retirando ramos que fornecem pouco poder de previsão por folha.

6 UFRGS 11 Podando Árvores de Decisão Para avaliar quais ramos da árvore podem ser podados deve-se analisar a freqüência de casos representados pelo ramo e a taxa de erro que se incorre quando se poda este ramo. A taxa de erro de uma folha representa a razão entre o número de casos com classificação errada e o número de casos classificados corretamente pelo ramo. Começando do fundo da árvore, examina-se cada sub-árvore. Se a substituição desta sub-árvore por uma folha ou pelo seu ramo mais freqüente ocasionar uma taxa de erro aceitável, então efetua-se a poda. UFRGS 12 Exemplo de AD gerada com outros dados BD de treinamento: 40 dias joga / 40 dias joga. Com este BD, a AD gera folhas puras; taxa de erro: 9/80 (11,25%) A sub-árvore gerada pelo atributo ventoso tem um ramo ( ) de baixa freqüência (4/80). tempo joga umidade joga joga 18/2 joga ventoso joga 14/1 17/3 3/1 19/2

7 UFRGS 13 AD podada A sub-árvore gerada pelo atributo ventoso é substituída pela folha da classe mais freqüente ( joga ). A árvore podada produz uma taxa de erro de 11/80 (13,75%). tempo joga umidade joga joga 18/2 joga 20/5 14/1 17/3 UFRGS 14 Poda baseada em regras C4.5 usa a técnica rule post-pruning. É gerada a melhor árvore possível sobre os dados de treinamento (overfitting). A árvore é convertida num conjunto equivalente de regras. Cada regra é podada (generalizada), removendo as condições que melhoram a sua acurácia preditiva. Isto pode ser feito usando um arquivo de validação, ou, no caso do C4.5, um teste estatístico sobre o próprio arquivo de treinamento (estimativa pesista). As regras podadas são ordenadas por sua acurácia estimada e considerada nesta seqüência, quando for classificar novos exemplos. A conversão da árvore em regras remove a distinção entre testes de atributos que ocorrem perto da raiz, daqueles que ocorrem perto das folhas.

8 UFRGS 15 Atributos nominais e numéricos Atributo nominal: mente o valor do atributo é comparado com uma constante atributo é testado mais que uma vez Atributo numérico: testa se o valor é maior ou menor que uma constante atributo pode ser testado várias vezes Outras possibilidades: Comparar valores de dois atributos Usar uma função de um ou mais atributos Folhas atribuem a classe, um conjunto de classes ou a distribuição de probabilidades às amostras UFRGS 16 Tratando atributos numéricos Um atributo numérico é convertido dinamicamente num novo atributo discreto pelo particionamento do valor contínuo em um conjunto de intervalos discretos. Um atributo contínuo A pode gerar um atributo booleano A c, dependendo de um teste comparando com um limiar c: A < c. Geralmente, c é aquele valor que produz o maior ganho de informação. Ordenando os exemplos pelo atributo contínuo A, identificamos os exemplos adjacentes de classe diferente. Pode-se mostrar, que o valor c que otimiza o ganho de informação está no meio dos valores de A de uma das fronteiras entre classes. Este método pode ser estendido para particionar um atributo numérico em múltiplos intervalos.

9 UFRGS 17 Dados do tempo com atributos numéricos Dados originais Dados ordenados pelo atributo temperatura d i Tempo Temperatura Umidade Ventoso Joga d d d d d d d d d d d d d d d i Tempo Temperatura Umidade Ventoso Joga d d d d d d d d d d d d d d UFRGS 18 Partição de atributos numéricos em múltiplos intervalos Discretização do atributo numérico temperatura: O intervalo do atributo é dividido em um conjunto de intervalos Exemplos são ordenados de acordo com os seus valores de atributo Pontos de quebra são colocados onde a classe (majoritária) muda (as, o erro total é minimizado) mesmo valor com classes diferentes dá conflito solução: criar classe mista

10 UFRGS 19 O problema do sobre-ajustamento Procedimento de discretização é sensível a ruído Uma única amostra com rótulo de classe errado resultará num intervalo separado Também: atributo de identificação terá erros Solução: forçar número mínimo de exemplos na classe majoritária por intervalo Dados do tempo com número mínimo de 3: UFRGS 20 Discretização do atributo temperatura Após mescla de intervalos com número de itens menor que 3: partições adjacentes com a mesma classe majoritária podem se mesclar Resultado final para o atributo temperatura O atributo temperatura é discretizado em apenas dois intervalos: temperatura < 25 e temperatura 25

11 UFRGS 21 Razão de Ganho A medida de ganho de informação tem um viés natural que favorece atributos com muitos valores. Num caso extremo, um atributo como data, por exemplo, preveria perfeitamente a classe joga ou, daquele dia. Para medir a informação sobre a partição natural de um atributo, incorpora-se um termo chamado split information, ou informação de partição, que mede a entropia de um conjunto S em relação à partição pelos c valores do atributo A: SplitInformation( S, A) c i 1 Si log 2 S S i são os subconjuntos de elementos (sem classes) em cada valor de atributo i. A medida de razão de ganho de informação penaliza atributos com muitos valores através da divisão do ganho de informação pela informação de partição: S i S GainRatio( S, A) Gain( S, A) SplitInformation( S, A) UFRGS 22 Split information Tempo SI(5,4,5)=1,5774 bits Temperatura SI(4,6,4) = 1,5567 bits Umidade SI(7,7) = 1 bit SI(1/14,...,1/14) =53,30 bits Ventoso SI(8,6) = 0,9852 bits

12 UFRGS 23 Exemplo: atributo Tempo conjunto original: 9, 5 Tempo entropia(p 1,..., p n ) = p 1 logp 1 p 2 logp 2... p n logp n Entropia do conjunto original: entropia(9/14, 5/14) = 9/14log(9/14) 5/14log(5/14) = 0,940 bits Entropia dos conjuntos resultantes do teste: Tempo = : entropia(2/5, 3/5) = 2/5log(2/5) 3/5log(3/5) = 0,971 bits Tempo = : entropia(4/4, 0/4) = 1log(1) 0log(0) = 0 bits Tempo = : entropia(3/5, 2/5) = 3/5log(3/5) 2/5log(2/5) = 0,971 bits Entropia média dos conjuntos resultantes: (5/14) 0,971 + (4/14) 0 + (5/14) 0,971 = 0,693 bits Ganho = 0,940 0,693 = 0,247 bits Split Information: entropia em relação aos valores (sem classe) entropia(5/14, 4/14, 5/14) = 5/14log(5/14) 4/14log(4/14) 5/14log(5/14) = 1,5774 bits GainRatio = 0,247 / 1,5774 = 0,15658 UFRGS 24 Valores fntes A ausência de um valor tem algum significado? Sim f é um valor separado Não f deve ser tratada de modo especial Solução A: atribuir amostra à classe mais freqüente Solução B: dividir amostra em porções Cada porção recebe um peso de acordo com a fração de amostras de treinamento que segue o ramo correspondente As classes dos nós folha são combinadas usando os pesos correspondentes

13 UFRGS 25 Árvores para previsão numérica Regressão: processo que determina uma expressão que prevê uma quantidade numérica Árvore de regressão: árvore de decisão onde cada folha prevê uma quantidade numérica Valor previsto é o valor médio das amostras de treinamento que alcançam a folha Árvore de modelo: árvore de regressão com modelos de regressão nos nós folha Segmentos lineares aproximam uma função contínua UFRGS 26 Regressão linear para os dados de CPU PRP = MYCT MMIN MMAX CACH CHMIN CHMAX

14 UFRGS 27 Árvore de regressão para os dados de CPU UFRGS 28 Árvore de modelo para os dados de CPU