Redes Neuronais e Aprendizagem Automática 1

Transcrição

1 Redes Neuronais e Aprendizagem Automática 2005/ a aula Fernando.Silva@ist.utl.pt Instituto Superior Técnico Redes Neuronais e Aprendizagem Automática 1

2 Sumário Árvores de decisão (continuação) Redes Neuronais e Aprendizagem Automática 2

3 Exemplo (300 exemplares) A 0 A 1 A 2 A 3 Y 3 X3 D Z1 N 1 X1 D Z1 N 1 X3 C Z2 N 1 X3 D Z2 N 4 X1 D Z2 Y 2 X2 D Z2 N 4 X3 D Z1 N 4 X4 C Z1 N 4 X4 C Z2 Y 2 X2 D Z1 N 2 X2 C Z1 N 2 X1 D Z1 N 4 X3 C Z1 N 4 X1 C Z1 N 3 X3 C Z1 N 2 X2 C Z2 N 4 X2 D Z1 N 4 X3 C Z2 Y Y (((A 0 = 1) (A 0 = 2))&A 1 = X 1 &A 2 = C)) (A 0 = 4&A 3 = Z 2 ) Redes Neuronais e Aprendizagem Automática 3

4 Árvore inferida - att = 0 mp = N ( 82.7) 1 - att = 1 mp = N ( 81.9) X1 - att = 2 mp = Y ( 50.0) C - att = -1 mp = Y (100.0) D - att = -1 mp = N (100.0) X2 - att = -1 mp = N (100.0) X3 - att = -1 mp = N (100.0) X4 - att = -1 mp = N (100.0) 2 - att = 1 mp = N ( 93.7) X1 - att = 2 mp = N ( 64.3) C - att = -1 mp = Y (100.0) D - att = -1 mp = N (100.0) X2 - att = -1 mp = N (100.0) X3 - att = -1 mp = N (100.0) X4 - att = -1 mp = N (100.0) 3 - att = -1 mp = N (100.0) 4 - att = 3 mp = N ( 54.1) Z1 - att = -1 mp = N (100.0) Z2 - att = -1 mp = Y (100.0) Total err = 0/300 ( ) Redes Neuronais e Aprendizagem Automática 4

5 Simplicidade: a navalha de Occam O algoritmo ID3 favorece soluções mais simples para explicação dos dados Este princípio ajusta-se ao chamado princípio da navalha de Occam : Entre várias hipóteses que explicam igualmente os dados, devem ser preferidas as soluções mais simples. Princípio justificativo Heurístico: a simplicidade é um objectivo desejável Formal: o número de hipóteses possíveis para interpretar um dado facto ou resultado aumenta com a complexidade da justificação. A preferência por hipóteses simples aumenta a probabilidade de esta generalizar a melhor a novas observações. Optimização e seleccção de modelos por simplicidade: técnicas MDL (minimum description lentgh, comprimento da descrição mínimo) Redes Neuronais e Aprendizagem Automática 5

6 Princípio de MDL Considere-se um método de aprendizagem automática em que se pretende desenvolver um modelo M a partir de um conjunto de observações T. O estimador MAP (máximo a posteriori) de M dado T é aquele que maximiza P (M T ) = P (T M)P (M) P (T ) Atendendo a P (T ) não é alterável pela selecção do modelo, ou M map = arg max M M map = arg min M P (T M)P (M) log 2 P (T M) log 2 P (M) log 2 P (T M) - Número de bits necessário para codificar o conjunto de treino T dado o modelo M log 2 P (M) - Número de bits necessário para codificar o modelo M Conclusão: o estimador MAP corresponde à hipótese mais simples (menos bits necessários para codificar/justificar as observações) Redes Neuronais e Aprendizagem Automática 6

7 Navalha de Occam: perspectiva Bayesiana Seja M map = arg max M P (T M)P (M) Admita-se que P (M) é constante. P (T M) é designada a evidência do modelo Modelos M mais complexos permitem descrever mais dados, mas com menor evidência. Modelos M mais simples permitem descrever menos dados, mas com maior evidência. Sugestão gráfica: (M 1 mais simples, M 3 mais complexo) p(t M) p(t M 1 ) p(t M 2 ) p(t M 3 ) T Redes Neuronais e Aprendizagem Automática 7

8 Generalização Na sua versão original, o algoritmo ID3 desenvolve uma árvore de forma construtiva até que todos os exemplares de treino estejam correctamente classificados ou todas os atributos estejam esgotados. Deste modo, caso exista ruído ou a classificação não seja unívoca, o algoritmo tende a sobre-aprender o conjunto de treino até que um dos critérios anteriores estejam esgotados. Nestes casos, a capacidade de generalização da árvore a diminuir a partir de um determinado ponto Precisão Treino Teste Número de nós Redes Neuronais e Aprendizagem Automática 8

9 Generalização: utilização de conjunto de validação Paragem antecipada no desenvolvimento da árvore quando o desempenho no conjunto de validação diminui Implementação difícil dado que o crescimento da árvore se efectua nó a nó. Poda após a aprendizagem(reduced error pruning) Aprendizagem até ao critério de paragem Eliminação sucessiva dos nós terminais que conduzem a uma melhoria de desempenho mais significativa no conjunto de trino. Classificação com o valor da saída mais representado no nó Precisão Teste Treino Pruning Número de nós Redes Neuronais e Aprendizagem Automática 9

10 Generalização: rule post-pruning (C4.5) Construir a árvore (eventualmente, com sobre-aprendizagem) Transformar a árvore numa conjunto de regras para cada folha Generalizar esta regra removendo as precondições que resultem numa melhor generalização. Reordenar as regras por um ordem que conduza a uma maior precisão. Redes Neuronais e Aprendizagem Automática 10

11 Incorporação de atributos contínuos Exemplo X Y Limiares plausíveis (25+30)/2 = 27.5 Atributo associado X > 27.5 (60+65)/2 = 62.5 Atributo associado X > 62.5 Alternativas: Atributo binário - limiar único Maior informação mútua: X > 27.5 Atributo múltiplo - gamas múltiplas X 27.5, 27.5 X < 62.5, 62.5 X Redes Neuronais e Aprendizagem Automática 11

12 Critérios alternativos Critérios que penalizem a selecção de atributos com um número elevado de valores A forma como os dados num dado nó são divididos pelos vários nós a jusante pode ser medida pela entropia da distribuição dos exemplares pelas subárvores: H div(ak )(T ) = N k j=1 T j (A k ) T log 2 T j (A k ) T onde T representa o número de elementos no nó superior e T j o número de exemplares no nó j. Para distribuições uniformes entre as sub-árvores, H div aumenta com N k. Alternativa à informação mútua simples: pesar a informação mútua com o inverso da entropia da divisão: A opt = arg max A k I(Y ; A k ) H div(ak )(T ) Redes Neuronais e Aprendizagem Automática 12

13 Valores omissos Hipótese: atributo x omisso no nó n Metodologias alternativas: Atribuir a x o valor mais provável do atributo no nó n No nó x, verificar a distribuição de valores de x e distribuir valores fraccionários da instância pelos vários ramos de n. A distribuição de exemplares fraccionários não impede o cálculo da informação mútua. Redes Neuronais e Aprendizagem Automática 13