Aprendizagem de máquina

Transcrição

1 Aprendizagem de máquina Aprendizado de Conceitos Busca guiada por exemplos Aprendizado supervisionado: classificação Aprender uma classe a partir de exemplos é encontrar uma descrição que é compartilhada por todos os exemplos positivos e por nenhum exemplo negativo. As possíveis descrições dependem da representação das hipóteses, que determina como os atributos podem ser compostos para formar uma hipótese. No caso mais simples, uma hipótese consiste de uma conjunção de restrições sobre os valores dos atributos que descrevem um exemplo. Consideraremos inicialmente atributos nominais (valores simbólicos). Mesmo quando o domínio consistir de atributos contínuos, pode-se descrevê-lo por valores simbólicos através de uma discretização dos atributos em intervalos que correspondem aos símbolos. 2

2 Exemplo de domínio com 2 atributos discretizados em 3 intervalos Os atributos contínuos A 1, A 2 são discretizados em 3 intervalos, correspondendo aos valores nominais: a 23 a 22 a 11 a 23 a 11 a 22 d 3 aa 23 a23 d 2 d 5 a aa d 1 d 4 A1 { a11, a, a13} A2 { a21, a22, a23} Os exemplos contínuos d 1, d 2, d 3, d 4, d 5 são representados pela conjunção dos intervalos que os contêm: correspondendo aos valores nominais: Exemplos positivos contínuos: d 1, d 2 Exemplos positivos discretos: D p : a a, a22, a, 23 A 2 A 1 a 21 a a11a 21 aa21 21 a11 a a13 Exemplos negativos contínuos: d 3, d 4, d 5 Exemplos negativos discretos: D n : a a 11, a22, a13, a22, a13, Conjunto de exemplos de treinamento: D D p D n 23 3 Aprendizado de Conceito Nesta tarefa, deseja-se adquirir a definição de uma categoria geral a partir de exemplos de treinamento, positivos e negativos. O aprendizado de conceito pode ser formulado como um problema de busca pela melhor hipótese em relação aos exemplos de treinamento, através de um espaço pré-definido de hipóteses potenciais. Esta busca pode se aproveitar da ordenação natural do espaço de hipóteses: do geral para o específico. Um conceito pode ser visto também como uma função booleana que atribui o valor V para os exemplos positivos e F para os exemplos negativos. A tarefa consiste então em inferir uma função booleana a partir de exemplos de treinamento de suas entradas e saída. 4

3 Exemplo de tarefa de aprendizado Dados: Instâncias X : conjunto de medidas de objetos (x) descritos pelos atributos A 1 : a 11, a, A 2 : a 21, a 22, a 23 Hipóteses H: cada hipótese h é descrita por uma conjunção de restrições sobre os atributos. As restrições podem ser? (qualquer valor é aceitável), 0 (nenhum valor é aceitável), ou um valor específico dentre os possíveis listados acima. Conceito alvo c: X {0, 1} Exemplos de treinamento D: exemplos positivos e negativos da função alvo D = {< a, a 22, 1 >, < a, a 23, 1 >, < a 11, a 22, 0 >, <, a 22, 0 >, <, a 23, 0 >} Determine Uma hipótese h em H, tal que h(x) = c(x), x X 5 Aprendizado de conceito Apesar de desejarmos determinar a hipótese h idêntica ao conceito alvo c sobre o conjunto de todas as instâncias X, a única informação disponível sobre c é o seu valor para os exemplos de treinamento. Por isso, um algoritmo de aprendizado indutivo só pode garantir que a hipótese corresponde ao conceito alvo sobre o arquivo de treinamento. O aprendizado de conceito pode ser visto como uma tarefa de busca sobre o espaço de hipóteses, implicitamente definido pela representação. O espaço de busca é um grafo ordenado pela relação de ordem parcial (h j h k ) mais_geral_ou_igual, onde a hipótese mais geral (qualquer valor é um exemplo positivo) é <?,? > e a mais específica (nenhum valor...) é < 0, 0 >. Uma relação de ordem parcial é reflexiva, antissimétrica e transitiva, e não é total: existem pares h 1, h 3 que não satisfazem à relação h 1 h 3 ou h 3 h 1 h 1 = < a,? > h 2 = < a, a 22 >, pois toda instância classificada como positiva por h 2 também será classificada positiva por h 1. Sendo h j e h k duas funções booleanas definidas em X, então h j é mais_geral_ou_igual h k (h j h k ) se e somente se: (x X) [ (h k (x) = 1) (h j (x) = 1)] 6

4 Espaço H de todas as hipóteses com 2 atributos ternários A1 { a11, a, a13}; A2 { a21, a22, a23} 00 Mais específico a a a a aa a?? a11??a 21 22?a?a 23?? Mais genérico 7 Espaço H de todas as hipóteses com 2 atributos ternários a a??? 11 A1 { a11, a, a13} A a, a, } 2 { a23 a ?a 23 a ?a 22 a 21 a 11 a 21 a a a a ?a 21 A 2 A 1 a11 a a13 8

5 Busca da hipótese mais específica Definição: uma hipótese h é consistente com um conjunto de treinamento D se e somente se h(x) = c(x) para todo exemplo < x, c(x) > em D. Podemos buscar a hipótese h mais específica, consistente com o arquivo de treinamento. Como supomos que o conceito alvo c esteja em H e que seja consistente com os exemplos positivos de treinamento, c deve ser mais_geral_ou_igual a h. E como c nunca cobrirá um exemplo negativo, então h também nunca o fará (c h). Assim, apenas os exemplos positivos do conceito precisam ser levados em conta, não sendo necessário testar uma hipótese h com os exemplos negativos. Assim, podemos aprender um conceito começando com a hipótese mais específica em H, generalizando-a quando ela não cobrir um exemplo positivo de treinamento. Algoritmo FIND-S: 1. Inicializar h com a hipótese mais específica em H 2. Para cada instância positiva de treinamento x Para cada restrição de atributo a i em h Se a i é satisfeita por x então não fazer nada senão substituir a i pela próxima restrição mais geral que satisfaz x 3. Saída: hipótese h 9 Exemplos de hipóteses C: classe real h: uma hipótese induzida Hipótese mais específica, S e mais geral, G h : hipótese com maior margem de separação 10

6 Exemplo do algoritmo FIND-S Id A 1 A 2 c 1 a a a a a 11 a a a 23 0 h < 0, 0, > < a, a 22, 1 >, h < a, a 22 > < a, a 23, 1 >, h < a,? > <, a 22, 0 >, h < a,? > <, a 23, 0 >, h < a,? > A propriedade chave do algoritmo FIND-S é que para espaços H descritos por conjunções de atributos, ele garante encontrar a hipótese mais específica consistente com os exemplos positivos de treinamento. 11 Hipótese consistente com D mais específica que o conceito c a 23 a11a 23 + a 23 + aa23 a a 23 11a 23 aa23 a23 a a11a 22 aa22 a22 a a 21 a 11 a 21 aa 21 a21 a 21 a 11 a 21 a a a a A 2 A 1 a11 a a 13 h 1 a, a22 Exemplos positivos: + Exemplos negativos: D p A 2 c h 1 A 1 : a, a22, a, a23 D n a, a, a, a, : a a13, a11 a a 13 c 23 a,? exemplo extra: obriga generalizar h D D p D n

7 Limites da representação: exemplo de hipótese fora de H A1 { a11, a, a13} A a, a, } 2 { a23 a a??? 11 a ?a 23 h a a22 a,, a 23 a ?a 22 a 21 a 11 a 21 a a a a ?a 21 A 2 A 1 a11 a a Limites da representação: exemplo de hipótese fora de H A1 { a11, a, a13} A a, a, } 2 { a23 a a??? 11 a ?a 23 h a,? a13,? a ?a 22 a 21 a 11 a 21 a a a a ?a 21 A 2 A 1 a11 a a13 14

8 Exemplo de aprendizado de conceito Considere o aprendizado do conceito pratica esporte (atributo meta) a partir de um conjunto de atributos (previsores) que caracterizam as condições do tempo e da água. A tabela abaixo representa o arquivo de treinamento D para esta tarefa, ou seja, é uma amostra do conjunto X de todas as instâncias x possíveis do domínio: 1 Ensolarado Quente Normal Forte Quente Estável Sim 2 Ensolarado Quente Alta Forte Quente Estável Sim 3 Chuvoso Frio Alta Forte Quente Mudança Não 4 Ensolarado Quente Alta Forte Fria Mudança Sim Uma hipótese h (do conjunto H de todas as hipóteses possíveis) será representada por uma conjunção de valores dos atributos (previsores). Além dos valores específicos, pode-se usar?, indicando que qualquer valor é aceitável, e 0, que nenhum valor é aceitável. Exemplo de uma hipótese: h(x) = <?, Quente, Alta,?,?,? > Pratica esporte quando o ar está quente e a umidade é alta 15 Tarefa de aprendizado do conceito PraticaEsporte Dados: Instâncias X : conjunto de dias (x) descritos pelos atributos Tempo, com valores: Ensolarado, Nublado, Chuvoso, Temp_ar, com valores: Quente, Frio Umidade, com valores: Normal, Alta Vento, com valores: Forte, Fraco Temp_agua, com valores: Quente, Fria Previsão, com valores: Estável, Mudança Hipóteses H: cada hipótese h é descrita por uma conjunção de restrições sobre os atributos. As restrições podem ser? (qualquer valor é aceitável), 0 (nenhum valor é aceitável), ou um valor específico dentre os possíveis listados acima. Conceito alvo c: Pratica Esporte: X {0, 1} Exemplos de treinamento D: exemplos positivos e negativos da função alvo Determine Uma hipótese h em H, tal que h(x) = c(x), x X 16

9 Aprendizado de conceito 1 Ensolarado Quente Normal Forte Quente Estável Sim 2 Ensolarado Quente Alta Forte Quente Estável Sim 3 Chuvoso Frio Alta Forte Quente Mudança Não 4 Ensolarado Quente Alta Forte Fria Mudança Sim O conceito c a ser aprendido é uma função que mapeia instâncias do domínio, a um valor booleano: c(x) =1, se PraticaEsporte = Sim; c(x) = 0, se PraticaEsporte = Não. Um exemplo de treinamento (d) é o par ordenado < x, c(x) >. As instâncias para as quais c(x) =1 são exemplos positivos do conceito (1, 2 e 4 no ex.) Se uma instância x satisfaz todas as restrições da hipótese h, então h classifica x como exemplo positivo da hipótese: h(x) = 1. Considerando a hipótese: h(x) = <?,?, Alta,?,?,? > As instâncias 2, 3 e 4 da tabela são exemplos positivos desta hipótese. Uma hipótese cobre um exemplo positivo, quando ela o classifica corretamente. O objetivo do aprendizado é encontrar uma hipótese h, tal que h(x) = c(x), x X. 17 Aprendizado de conceito Apesar de desejarmos determinar a hipótese h idêntica ao conceito alvo c sobre o conjunto de todas as instâncias X, a única informação disponível sobre c é o seu valor para os exemplos de treinamento. Por isso, um algoritmo de aprendizado indutivo só pode garantir que a hipótese corresponde ao conceito alvo sobre o arquivo de treinamento. O aprendizado de conceito pode ser visto como uma tarefa de busca sobre o espaço de hipóteses, implicitamente definido pela representação. O espaço de busca é um grafo ordenado pela relação de ordem parcial (h j h k ) mais_geral_ou_igual, onde a hipótese mais geral (qualquer dia é um exemplo positivo) é <?,?,?,?,?,? > e a mais específica (nenhum dia...) é < 0, 0, 0, 0, 0, 0 >. h 1 = < Ensolarado,?,?,?,?,? > h 2 = < Ensolarado,?,?, Forte,?,? >, pois toda instância classificada como positiva por h 2 também será classificada positiva por h 1. Sendo h j e h k duas funções booleanas definidas em X, então h j é mais_geral_ou_igual h k (h j h k ) se e somente se: (x X) [ (h k (x) = 1) (h j (x) = 1)] 18

10 Exemplo do algoritmo FIND-S 1 Ensolarado Quente Normal Forte Quente Estável Sim 2 Ensolarado Quente Alta Forte Quente Estável Sim 3 Chuvoso Frio Alta Forte Quente Mudança Não 4 Ensolarado Quente Alta Forte Fria Mudança Sim 1. h < 0, 0, 0, 0, 0, 0 > 2. h < Ensolarado, Quente, Normal, Forte, Quente, Estável > 3. h < Ensolarado, Quente,?, Forte, Quente, Estável > 4. h < Ensolarado, Quente,?, Forte, Quente, Estável > 5. h < Ensolarado, Quente,?, Forte,?,? > A propriedade chave do algoritmo FIND-S é que para espaços H descritos por conjunções de atributos, ele garante encontrar a hipótese mais específica consistente com os exemplos positivos de treinamento. No caso de haver múltiplas hipóteses consistentes com os exemplos positivos, não se pode afirmar que a hipótese mais específica seja a melhor. Se o arquivo de treinamento não for consistente, o algoritmo falha! 19 Espaço de versões O conjunto de todas as hipóteses consistentes com os exemplos de treinamento é chamado de espaço de versões (EV) em relação a H e a D, porque ele contém todas as versões plausíveis do conceito alvo em relação ao arquivo de treinamento. Uma forma eficiente de se determinar o espaço de versões, sem enumerá-lo, é armazenando o seu membro mais geral (G) e o mais específico (S). Estes membros especificam as fronteiras do espaço de versões no espaço H. A partir de G e S é possível enumerar todos os seus membros intermediários. O algoritmo Candidate-Elimination inicia G como a hipótese mais geral e S como a hipótese mais específica, sendo assim EV 0 = H. Para cada exemplo de treinamento, S é generalizado e G é especializado de modo a eliminar de EV as hipóteses inconsistentes com o exemplo. Após processar todos os exemplos, o espaço de versões resultante contém todas as hipóteses consistentes com estes exemplos, e somente estas hipóteses. 20

11 Algoritmo Candidate-Elimination Inicializar G com o conjunto de hipóteses mais gerais em H Inicializar S com o conjunto de hipóteses mais específicas em H Para cada exemplo de treinamento d Se d for um exemplo positivo Remover de G todas as hipóteses inconsistentes com d Para cada hipótese s em S que não é consistente com d Remover s de S Adicionar a S todas as generalizações mínimas h de s tais que h é consistente com d e algum membro de G é mais geral que h Remover de S toda hipótese que é mais geral que uma outra hipótese em S Se d for um exemplo negativo Remover de S todas as hipóteses inconsistentes com d Para cada hipótese g em G que não é consistente com d Remover g de G Adicionar a G todas as especializações mínimas h de g tais que h é consistente com d e algum membro de S é mais específico que h Remover de G toda hipótese que é menos geral que uma outra hipótese em G 21 Exemplo do algoritmo Candidate-Elimination 1 Ensolarado Quente Normal Forte Quente Estável Sim 2 Ensolarado Quente Alta Forte Quente Estável Sim G 0 <?,?,?,?,?,? > ; S 0 < 0, 0, 0, 0, 0, 0 > (1) O algoritmo verifica que S 0 é muito específico, não cobre o exemplo positivo. A fronteira S é movida para cobrir o exemplo: S 1 < Ensolarado, Quente, Normal, Forte, Quente, Estável > Não é necessário mover G, pois G 0 cobre corretamente este exemplo: G 1 = G 0. (2) S 1 não cobre o exemplo positivo; a fronteira é movida para cobrir o exemplo: S 2 < Ensolarado, Quente,?, Forte, Quente, Estável > Não é necessário mover G, pois G 1 cobre corretamente este exemplo: G 2 = G 1. 22

12 Exemplo do algoritmo Candidate-Elimination 3 Chuvoso Frio Alta Forte Quente Mudança Não G 2 = { <?,?,?,?,?,? > } ; S 2 ={ < Ensolarado, Quente,?, Forte, Quente, Estável > } (3) G 2 é genérico demais, pois cobre (indevidamente) o exemplo negativo. A fronteira G é movida então para excluir o exemplo negativo, incluindo todas as especializações mínimas de G 2 que são consistentes com d3 e mais gerais que S 2 : G 3 { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? > <?,?,?,?,?, Estável > } G sumariza a informação dos exemplos negativos encontrados, pois não os cobre. Qualquer hipótese mais específica que G é consistente com os exemplos negativos, pois não pode cobrir exemplos que G não cobre. Não é necessário mover S, pois S 2 cobre corretamente este exemplo: S 3 = S 2. S sumariza a informação dos exemplos positivos encontrados. Qualquer hipótese mais geral que S cobre os exemplos que S cobre, cobrindo assim todos os exemplos positivos passados. 23 Exemplo do algoritmo Candidate-Elimination 4 Ensolarado Quente Alta Forte Fria Mudança Sim G 3 = { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? > <?,?,?,?,?, Estável > } ; S 3 ={ < Ensolarado, Quente,?, Forte, Quente, Estável > } (4) S 3 não cobre o exemplo positivo; a fronteira é movida para cobrir o exemplo (d): S 4 < Ensolarado, Quente,?, Forte,?,? > É necessário também remover de G todos os membros inconsistentes com d: G 4 { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? > } S 4 : { < Ensolarado, Quente,?, Forte,?,? > } < Ensolarado,?,?, Forte,?,? > < Ensolarado, Quente,?,?,?,? > <?, Quente,?, Forte,?,? >} G 4 : { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? >} 24

13 Classificação por espaço de versões de novas instâncias A Ensolarado Quente Normal Forte Fria Mudança? B Chuvoso Frio Normal Fraco Quente Estável? C Ensolarado Quente Normal Fraco Quente Estável? D Ensolarado Frio Normal Forte Quente Estável? Classifique as novas instâncias com base nas hipóteses do EV abaixo, identificando as hipóteses que cobrem cada instância: S 4 : { < Ensolarado, Quente,?, Forte,?,? > } i 1 i i 3 2 < Ensolarado,?,?, Forte,?,? > < Ensolarado, Quente,?,?,?,? > <?, Quente,?, Forte,?,? >} G 4 : { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? >} 25 Classificação por espaço de versões A Ensolarado Quente Normal Forte Fria Mudança sim (S 4,i 1,i 2,i 3,G 4 ) B Chuvoso Frio Normal Fraco Quente Estável não C Ensolarado Quente Normal Fraco Quente Estável sim (i 2,G 4 ) D Ensolarado Frio Normal Forte Quente Estável sim (i 1,G 41 ) Classifique as instâncias com base nas hipóteses do EV abaixo. S 4 :{< Ensolarado, Quente,?, Forte,?,? > } i 1 i 2 i 3 < Ensolarado,?,?, Forte,?,? > < Ensolarado, Quente,?,?,?,? > <?, Quente,?, Forte,?,? >} G 4 : { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? >} 26

14 Classificação por espaço de versões avaliado PraticaEsporte (meta) A Ensolarado Quente Normal Forte Fria Mudança sim (S 4,i 1,i 2,i 3,G 4 ) sim B Chuvoso Frio Normal Fraco Quente Estável não não C Ensolarado Quente Normal Fraco Quente Estável sim (i 2,G 4 ) D Ensolarado Frio Normal Forte Quente Estável sim (i 1,G 41 ) Erro de previsão para D provoca revisão do EV: sim não S 4 :{< Ensolarado, Quente,?, Forte,?,? > } i 1 i 2 i 3 < Ensolarado,?,?, Forte,?,? > < Ensolarado, Quente,?,?,?,? > <?, Quente,?, Forte,?,? >} G 4 : { < Ensolarado,?,?,?,?,? > <?, Quente,?,?,?,? >} 27 Classificação por espaço de versões revisado PraticaEsporte (meta) A Ensolarado Quente Normal Forte Fria Mudança sim (S 4,i 1,i 2,G 4 ) sim B Chuvoso Frio Normal Fraco Quente Estável não não C Ensolarado Quente Normal Fraco Quente Estável sim (i 2,G 4 ) D Ensolarado Frio Normal Forte Quente Estável não não sim EV revisado pelo erro de previsão: S 4 : { < Ensolarado, Quente,?, Forte,?,? > } i i 2 1 < Ensolarado, Quente,?,?,?,? > <?, Quente,?, Forte,?,? >} G 4 : {<?, Quente,?,?,?,? >} 28

15 Viés indutivo Um sistema de aprendizado que não faz suposições apriori (viés indutivo) sobre o conceito alvo não consegue classificar instâncias desconhecidas. No caso do exemplo, o viés é dado pela suposição de que o conceito alvo pode ser representado por uma conjunção de valores de atributos. O viés indutivo expressa a política adotada que permite generalizar para além dos dados de treinamento. Dado um algoritmo de aprendizado L treinado com o conjunto de treinamento D c = {x, c(x) }, L(x i, D c ) representa a classificação que L atribui a uma nova instância x i, após ele ter sido treinado com os dados D c, ou seja, L(x i, D c ) é inferido indutivamente de (D c x i ): (D c x i ) L(x i, D c ) 29 Viés indutivo Entretanto, como L é um algoritmo de aprendizado indutivo, o resultado L(x i, D c ) em geral não pode ser provado como correto, ou seja, ele não resulta dedutivamente do arquivo de treinamento D c e da descrição de x i. Define-se como viés indutivo B de L o conjunto de suposições adicionais que permitem deduzir o resultado L(x i, D c ) para qualquer x i pertencente ao conjunto de instâncias X, ou seja, L(x i, D c ) resulta dedutivamente de (B D c x i ) ( x i X)[(B D c x i ) L(x i, D c )] No caso do exemplo, o viés indutivo é c H. 30