Aprendizagem de Dados Simbólicos e/ou Numéricos. Francisco Carvalho

Transcrição

1 Arendizagem de Dados Simbólicos e/ou Numéricos Francisco Carvalho

2 Inut n objetos formando uma artição em m classes cada objeto é descrito or variáveis modais de semântica robabilística. Objetivo Descrever, na forma de uma árvore binária, as m classes da artição Construir uma regra de decisão caaz de classificar novos objetos cuja ertinência a uma das classes é desconhecida

3 Objetos E {,, n} objetos formando uma artição em m classes disjuntas C,, C m Variáveis: cada objeto Ωé descrito or dois tios de variáveis C: variável que define as classes variável à exlicar C é uma variável uni-valorada nominal usual Y,, Y, variáveis exlicativas variáveis multivaloradas qualitativas e quantitativas com um sistema de esos associado

4 Tabela de dados simbólicos A cada objeto é associado uma descrição a C c ] [ Y ~ f ] K [ Y [ ~ f Descrição ara a variável a exlicar C: [C c ] A classe de é descrita na forma usual or um único valor C c {,,m}, sem imrecisão Descrição ara a variável exlicativa Y j : [Y j ~f j ] Para cada objeto, a descrição segundo Y j é realizada or uma distribuição de robabilidade ou de freqüências ]

5 Tabela de dados Probabilísticos Y C Y : Y f Y f Cc : n

6 Dois tios de descrições robabilísticas f j Y j écontínua O suorte de Y j ara é um intervalo V j O j R Nesse caso, Y j tem uma distribuição uniforme f j definida em V j : [Y j ~UV j ] Exemlo Y j : tamanho de Se Y j é distribuída uniformemente e tem suorte [8,27]: [Y j ~U[8,27]]

7 Dois tios de descrições robabilísticas f j Y j é discreta O suorte de Y j ara é o conjunto V j O j Nesse caso, Y j tem uma distribuição de robabilidade ou de freqüências f j definida em V j Exemlo variável multivalorada nominal Y j : cor de e [cor~{/4branco, 3/4azul}] Exemlo variável quantitativa discreta [número de étalas~{/27,/38,/69}]

8 Dados Boleanos Associar um sistema de esos a variável multivalorada Exemlos [tamanho R [8,27]] [tamanho U [8,27]] [cor R {azul, verde}] [cor {0.5 azul, 0.5 verde}] [no de étalas R {5,,20}] [no de étalas {/65,,/620}] [cor R {azul} [cor ~{azul}]

9 Exemlo de tabela de dados robabilistas Cor Tamanho No de étalas C verde U[60,95] 0.5, azul, 0.5 verde U[30,40] 0.3, 2 0.4, reto, 0.4 verde, 0.3branco U[35,60] 3 0.5, 4 0.5

10 Construção de consultas binárias Algoritmo recursivo ara subdividir o conjunto E de objetos A etaa de divisão é baseada em uma consulta binária de resosta sim/não baseada em uma única variável e nos seus valores observados

11 Construção de consultas binárias Dois tios de questões binárias segundo se O j é ordenado ou não Variável Nominal Ordinal Contínua descrição distribuição distribuição intervalo consulta [Y V]? [Y c]? [Y c]?

12 Consultas do tio [Y j c] Caso discreto Se O j tem n j valores, constrói-se n j questões binárias o limiar c é escolhido entre o valores v j,,,v j,nj- Exemlo Y j número de étalas e O j {,2,3,4} Nesse caso, c {,2,3}

13 Consultas do tio [Y j c] Caso contínuo As descrições são do tio [m j, M j ] O limiar é o onto médio entre dois limites m j e M j quaisquer,,n Existe no máximo 2n- questões binárias limiares Exemlo: Na tabela anterior Y j Tamanho Nesse caso, c {32.5, 37.5, 50, 60, 77.5}

14 Consultas do tio [Y j V] Se O j tem n j valores ode-se construir 2 nj- questões binárias, isto é, existe 2 nj- maneiras de dividir um domínio O j com n j valores Exemlo: Y j cor e O j {azul, verde, branco} V {verde} V {branco, azul} ou V {branco} V {azul, verde} ou V {azul} V {verde, branco}

15 Construção de uma nova tabela de variáveis binárias Seja Q {,, Q} a totalidade das questões binárias corresondentes a variável Y j q Q : : q n

16 Construção de uma nova tabela de variáveis binárias Hierarquia binária de classes com subclasses a esquerda e a direita nó ara cada classe A ertinência ao nó esquerdo deende da resosta ositiva a consulta [Y j c] ou [Y j V] A ertinência ao nó direito deende da resosta ositiva a consulta [Y j > c] ou [Y j V]

17 Construção de uma nova tabela de variáveis binárias q : robabilidade que seja associado ao nó esquerdo - q : robabilidade que seja associado ao nó direito

18 Cálculo de q Y j écontínua descrição : U[m,M ] questão binária : [Y c] q 0, se c < mj c mj M, se c > M j j m j, se c [ m j, M j ]

19 Cálculo de q Y j écontínua Exemlo: Na tabela anterior e tamanho~u[80,95] Se q: [tamanho 37.5], q 0 e q Se q: [tamanho 87.5], q 0.5 e q 0.5 Y j éordinal descrição : f j questão binária : [Y c] f v q v c j

20 Cálculo de q Y j éordinal Exemlo: Na tabela anterior 2 e Número de étalas~{ 0.3, 2 0.4, } Se q: [Número de étalas 2], q 0.7 e q 0.3 Y j é nominal descrição : f j questão binária : [Y V] f v q v V j

21 Cálculo de q Y j é nominal Exemlo: Na tabela anterior 3 e Cor~{reto 0.3, verde 0.4, branco 0.30} Se q: [Cor {verde}], q 0.4 e q 0.6

22 Algoritmo de Divisão Recursiva Objetivo: construir uma árvore binária que fornecerá dois tios de informação Uma descrição de cada uma das m classes a riori na forma de uma conjunção de roriedades Uma regra de decisão d caaz de classificar um novo objeto em uma das m classes a riori Dois estágios ara obter esses objetivos Estratégia de construção da árvore Seleção da melhor sub-árvore

23 Estratégia de construção da árvore Em um dado asso do algoritmo, a estratégia consiste em dividir o nó terminal que fornece o melhor critério O asso T do algoritmo consiste no exame dos T- nós terminais de A T- ara selecionar a melhor divisão binária que roduz a melhor árvore A T com T nós terminais Esse rocedimento é alicado recursivamente até ue uma condição de arada seja satisfeita

24 Estratégia de construção da árvore Constrói-se uma seqüência de árvores binárias encaixadas A,, A T,, A max T T2 T3

25 Seleção da melhor sub-árvore Objetivo: fornecer uma árvore A * associada com a melhor regra de decisão A qualidade de uma regra de decisão é função da taxa de acertos. RA T é a taxa associada a árvore A T Esse estágio consiste em selecionar a melhor subárvore na seqüência révia de arvores encaixadas A * arg min A { A, K, A max } R A

26 Seleção da melhor sub-árvore A A 2 A * A max

27 Notação T A : conjunto de nós terminais admissíveis ara a divisão em um dado estágio do algoritmo nós ara os quais a condição de arada não é satisfeita T D : conjunto de nós terminais definitivos durante a fase de crescimento da árvore que satisfazem a condição de arada T C : conjunto de todos os nós terminais em um dado estágio do algoritmo: T C T A T D. Consideraremos também o conjunto de nós terminais correntes em um dado estágio do algoritmo

28 Notação Q A t: conjunto de consultas admissíveis em um nó t. Q C t: conjunto de consultas candidatas em um nó t. Consultas binárias cujos nós filhos não são tão equenos e que fornecem um mínimo de informação P t i: robabilidade condicional de observar a classe i no nó t t: robabilidade de ertinência do objeto ao nó i q : robabilidade que satisfaça a consulta q

29 Notação Wt,q: informação fornecida ela consulta q no nó t qualidade da divisão binária roduzida or q q * t: melhor consulta no nó t q * : melhor consulta entre todos os nós terminais em uma dada etaa da divisão l, n l : nó esquerdo criado ela divisão e seu efetivo associado r, n r : nó direito criado ela divisão e seu efetivo associado

30 Algoritmo Geral da Árvore de Decisão Inicie com a raíz WHILE o tamanho da árvore é admissível AND existe nós terminais admissíveis T A ara cada nó admissível t t T A ara cada questão admissível q no nó t q Q A t 2 Divida t em dois nós terminais temorários l e r: T C T C \{t} {l,r} 3 calcule os efetivos dos nós l e r: n l e n r IF 4 ambos os nós são admissíveis: n l > limiar AND n r > limiar

31 Algoritmo Geral da Árvore de Decisão 5 calcule a qualidade da divisão: Wt,q IF a qualidade é suficiente: Wt,q > limiar THEN q é candidato ara o nó t: q Q C t ELSE renuncie a consulta q ELSE renuncie a questão q END q

32 Algoritmo Geral da Árvore de Decisão IF não existe consulta candidata no nó t: Q C t THEN t é um nó terminal: T D T D {t} ELSE 6 selecione a melhor questão no nó t: q * t END t IF não existe nó t ara dividir: Q C t, t T A THEN are ELSE 7 selecione a melhor divisão no melhor nó: q *

33 Atualize os nós da árvore IF o efetivo do nó filho l é suficiente AND l não é um nó uro THEN T A T A {l} ELSE l é um nó terminal: T D T D {l} IF o efetivo do nó filho r é suficiente AND r não é um nó uro THEN T A T A {r} ELSE r é um nó terminal: T D T D {r} T C T A T D

34 8 Calcule a informação descritiva associada aos novos nós 9 Estime a taxa RA ara a árvore corrente END WHILE

35 Descrição detalhada das diferentes etaas Tamanho e admissibilidade dos nós filhos l,r com os esos n l,n r asso 4 do algoritmo calculo da robabilidade de ertinência de um objeto aos nós filhos l,r do nó t l r t t No rimeiro asso do algoritmo, t,,,n, ois todos os indivíduos ertencem comletamente a raiz nos assos seguintes as robabilidades q são comutadas uma vez escolhida a melhor divisão q q

36 Tamanho e admissibilidade dos nós filhos l,r com os esos n l,n r asso 4 do algoritmo calculo de n l,n r n r n l r n l n

37 Tamanho e admissibilidade dos nós filhos l,r com os esos n l,n r asso 4 do algoritmo Condição de admissibilidade ara o tamanho das classes n l,n r A qualidade da divisão binária q do nó t a ser definida é calculada aenas se n l limiar minimo e n onde limiar mínimo é escolhido a riori r limiar minimo

38 Busca da melhor divisão assos 6 e 7 do algoritmo Busca da melhor questão q melhor divisão em um dado nó t Passo reliminar: atualização do conjunto de nós terminais correntes T C : dois nós filhos l e r substituem o nó t A qualidade da divisão é calculada em relação ao novo conjunto T C T C \{ t} { l, r}

39 Qualidade Wt,q de uma divisão q no nó t asso 5 do algoritmo A qualidade da divisão induzida ela questão q no nó t é definida ela seguinte log-verossimilhança W t, q log n s T C s: robabilidade de que o objeto seja afetado ao nó s P s c é a robabilidade de que a classe Cc é observada, condicionalmente ao nó s s P c s

40 Qualidade Wt,q de uma divisão q no nó t asso 5 do algoritmo ou Como o interesse é aenas na informação associada com os dois nós filhos i s s C i P c P se i i c s c s s C c K P P c P m onde K + + n r l c P r c P l q t W log, λ

41 Qualidade Wt,q de uma divisão q no nó t etaa 5 do algoritmo λ é fixo e deende aenas de s e P s c associadas aos nós s reviamente definidos, mas que não são essenciais no asso de divisão λ s s T C s { l, r} s P Para calcular a qualidade da divisão é necessário estimar, ara cada t e q fixados, as robabilidades condicionais P l,, P l m e P r,, P r m das m classes s c

42 O Algoritmo EM ara estimar as robabilidades condicionais P l i,p r i Idéia básica: encontrar os valores dos arâmetros que maximizam a verossimilhança iterativamente Os arâmetros são as robabilidades condicionais h h Pl i e Pr i, i, K, K Cada iteração do Algoritmo EM consiste na reetição de duas etaas: Exectation E e Maximisation M

43 O Algoritmo EM ara estimar as robabilidades condicionais P l i,p r i Etaa E: Calcula-se a robabilidade de que ertence ao nó l e r na iteração h do algoritmo n l c P l c P l E h l h l h,,,, K + λ n r c P r c P r E h r h r h,,,, K + λ

44 O Algoritmo EM ara estimar as robabilidades condicionais P l i,p r i Etaa M: Calcula-se as novas robabilidades condicionais m i l E l E l E l E c i P n h C h n h n h i h l i,,,,,,, K + m i r E r E r E r E c i P n h C h n h n h i h r i,,,,,,, K +

45 O Algoritmo EM ara estimar as robabilidades condicionais P l i,p r i Calcula-se o novo valor do critério W h+ t,s usando-se as estimativas das robabilidades condicionais P l h+ e P r h+ Regra de Parada: O algoritmo EM ara quando W h+ t, q W h onde ε > 0 é róximo de zero t, q < ε

46 O Algoritmo EM ara estimar as robabilidades condicionais P l i,p r i Valores iniciais das robabilidades condicionais ara o algoritmo EM m i n l l l c i P l C n n i l i,, 0 K m i n r r r c i P r C n n i r i,, 0 K

47 O Algoritmo EM ara estimar as robabilidades condicionais P l i,p r i Condições de admissibilidade baseada na qualidade da divisão Guarda-se rovisoriamente a questão q se a informação Wt,q é maior do que um dado limiar if [ W t, q > limiar min] então [ q Q diz-se então que q é um candidato ara o nó t C t]

48 Seleção da melhor divisão Essa seleção é realizada em duas etaas: Seleção da melhor questão q em cada nó terminal t: q t * etaa 6 do algoritmo Seleção da melhor questão q t* entre todos os nós terminais t: q * etaa 7 do algoritmo Em conseqüência, a melhor divisão é aquela que roduz a melhor árvore de T+ nós, dada uma árvore de T nós Melhor significa um valor de máximo verossimilhança W

49 Informações Descritivas calculadas ara os novos nós etaa 8 do algoritmo Os seguintes tios de informação são calculados ara cada novo nó t Informação relacionada com a descrição do nó [Y j V], [Y j < c], Informações relativas aos indivíduos Probabilidade de ertinência dos objetos ao nó t: t O conjunto de indivíduos afetados a t com base na regra da maioria no t { t > s, s t}

50 Informações Descritivas calculadas ara os novos nós etaa 8 do algoritmo Informações das Classes de uma dada artição a riori Define-se a seguinte tabela que fornece informações gerais sobre as K classes a riori no nó t: Tamanho Prob. d classe n t P t classe i n t i P t i classe m n t m P t m

51 Informações Descritivas calculadas ara os novos nós etaa 8 do algoritmo Informações das Classes de uma dada artição a riori Onde P t i: robabilidade condicional de observar a classe i no nó t n t i: tamanho da classe i no nó t: isso é calculado com base na lista de objetos afetados ao nó t: n t i{ nót e C i } a ultima coluna indica a classe majoritária no nó segundo as robabilidades condicionais: [dt i] [P t i > P t l, l i]

52 Informações Descritivas calculadas ara os novos nós etaa 8 do algoritmo Informações das Classes de uma dada artição a riori Onde O cálculo do tamanho total do nó n t e a robabilidade t de alcança-lo é como segue: Suõe-se que cada objeto tem um eso /n n n m i t t n t t i n t n

53 Condições de Parada O crescimento da árvore é interromido se ao menos uma das condições abaixo for satisfeita: A árvore é muito grande: cardt C > limiar max Não é ossível realizar novas divisões: T A Essa condição ocorre quando os nós terminais são uros inclui indivíduos de aenas uma classe ou quando o tamanho deles é muito equeno

54 Comonentes da Decisão Um dos objetivos desse método é fornecer uma regra de decisão que é caaz de classificar novos objetos com um mínimo de erros Para isso é necessário selecionar a melhor sub-árvore e a sua regra de decisão associada dentre a seqüência de árvores embutidas. Questões reliminares: Como construir uma regra de decisão Como medir a qualidade da mesma

55 Regra de Decisão Seja D o conjunto de todos os vetores de descrições simbólicas relevantes ara a situação em estudo Uma regra de decisão d associada com uma árvore binária é uma função d : D {, K, i, K, m} que ermite afetar cada objeto de vetor de descrição x D a uma classe i da artição a riori. Nesse método, vale a seguinte regra: [ d x i] [ i > j ara j, K, m, j i]

56 Regra de Decisão A robabilidade de ertinência i é calculada como a média onderada em relação a todos os nós terminais das robabilidades condicionais P t i, com esos t i T t P i Ela consiste na soma das robabilidades de que um individuo ertença a classe i, ara todos os nós terminais t, essas robabilidades sendo onderadas elas robabilidades de que esse objeto alcance as diferentes folhas t t

57 Qualidade de uma regra de decisão d Taxa de revisões corretas A qualidade da regra ode ser definida através de uma taxa de revisões corretas R A n n onde n A é número de objetos corretamente classificados ela árvore A e n t é o número total de objetos a ser classificado A t

58 Qualidade de uma regra de decisão d Taxa de revisões corretas Um objeto ertencente a classe i édito ser corretamente classificado ela regra de decisão d associada com a árvore A se [ d x i] e [c i] são ambos verdadeiros, isto é, se é corretamente afetado a classe i com base no seu vetor de descrição x

59 Qualidade de uma regra de decisão d Poulação ou Amostra Duas situações consideradas o conjunto de objetos ode ser considerado como uma oulação exaustiva. Nesse caso é calculada a taxa de revisão correta RA classificando-se os n n t objetos de E o conjunto de objetos ode ser considerado como uma amostra de uma oulação mais geral Nesse caso, a taxa RA é calculada com base em um conjunto de teste: n t é o tamanho do conjunto de teste e n A é igual a totalidade de casos que são classificados corretamente

60 Qualidade de uma regra de decisão d Seleção de sub-árvores Tendo-se definido a qualidade de uma árvore, é ossível selecionar a melhor árvore A * da seqüência de árvores encaixadas A,, A T,, A max, isto é, a árvore associada com a maior taxa RA Tratando-se de uma oulação, o valor máximo de RA é alcançado quando A A max Refinando-se a árvore binária semre se consegue melhorar a taxa de revisões corretas no conjunto de arendizagem

61 Qualidade de uma regra de decisão d Seleção de sub-árvores Tratando-se de uma amostra, a melhor árvore binária geralmente é muito menor do que A max or conta do sobre-ajustamento Aós uma dada etaa do algoritmo, o crescimento da árvore leva a uma regra de decisão mais eficiente no conjunto de treinamento e uma degradação da sua qualidade em relação a toda oulação

62 Exemlo 3 Tabela de dados robabilisticos K Y Y 2 Y

63 Tabela de questões binárias K Y Y 2 Y 2 Y 2 2 Y 3 Y

64 Etaa t, Y e t q,2,3,4 d t q,2,3,4 e t d t e t 2 q q d t q q e t 3 3q d t e t 4 4q d t q q

65 e e P n C 0 e P 2 P 0 e 0 e e e P n C 0 d P 2 P 0 d 0 d log log c P d c P e log t,q W d n e

66 Resultados de Wt,q ara Etaa Y Wt,q Y 2 Wt,q Y 2 Wt,q Y 2 2 Wt,q Y 3 Wt,q Y 3 2 Wt,q -2.52

67 Y Y > Y Y > P t P t P t P t

68 Cálculo do RA Objeto Classe Objeto 2 Classe Objeto 3 Classe Objeto 4 Classe RA 75%

69 Etaa 2 Partição Y Y 2 e t q d t q e t 3 3q d t q e t 2 d t q q e t 4 4q d t q P e Pe 2 Pe P d P 2 P d d Wt,q

70 Resultados de Wt,q ara Etaa 2 Partição Y Y 2 Wt,q Y 3 Wt,q Y 2 2 Wt,q Y 3 2 Wt,q Y 2 Wt,q Partição Y > Y 2 2 Wt,q Y 3 Wt,q Y 3 2 Wt,q -4.35

71 Y Y > Y 3 Y 3 > Classe [ Y [2,3] Y 3 [2,3] ] Classe 2 [ Y [0,] ] [ Y [2,3] Y 3 [0,] ]

72 Cálculo do RA [ [ ] 0.55 Objeto Classe Objeto 2 Classe Objeto 3 Classe Objeto 4 Classe RA 00%