Aprendizado indutivo. Marcelo K. Albertini. 17 de Abril de 2014

Transcrição

1 Aprendizado indutivo Marcelo K. Albertini 17 de Abril de 2014

2 2/22 Aprendizado indutivo O que é? Porque é difícil? Como podemos resolver problemas de indução?

3 3/22 Aprendizado supervisionado Temos: exemplos de treino x,f( x), para uma função f desconhecida Objetivo: Encontrar aproximação para f

4 Aprendizado supervisionado Temos: exemplos de treino x,f( x), para uma função f desconhecida Objetivo: Encontrar aproximação para f Investimento em imóveis x: características do imóvel f( x): comprar ou não Diagnóstico médico x: informações do paciente (sintomas, testes de laboratório) f( x): está doente? qual doença? qual tratamento? Reconhecimento de digitais x: imagem da digital f( x): nome da pessoa Condução automática x: imagem da rua em frente ao carro e sensores de colisão f( x): graus para girar o volante ou frear 3/22

5 4/22 Aplicações apropriadas para Aprendizado Supervisionado Situações sem especialistas x: grafo de iterações quimícas de um remédio novo f( x): reação do protozoário causador da doença de Chagas Tarefas que humanos fazem, mas não sabem descrever como x: imagem de um caractere escrita a mão f( x): código ASCII do caractere Situações onde a função desejada está mudando frequentemente x: descrição de preços de ações e negociações dos últimos 10 dias f( x): negociações recomendadas Situações em que o usuário necessita de uma função customizada f x: mensagem de recebimento de f( x): pontuação da relevância para o usuário (ou remoção do )

6 Um problema de aprendizado x 1 x 2 x 3 Função desconhecida f x = x 1,x 2,x 3,x 4 y = f( x) x 4 Exemplo x 1 x 2 x 3 x 4 y Aplicação imobiliária: x 1 : tem garagem? x 2 : é prédio? x 3 : tem 3+ quartos? x 4 : preço baixo? y: comprar? 5/22

7 6/22 Tamanho do espaço de hipóteses Temos 4 variáveis. Temos 2 4 = 16 estados de entradas Quantas funções existem? 2 16 De maneira geral, com n atributos, existem 2 n estados e 2 2n Dificuldade da indução: exponencial duplo 2 2n Força bruta é inviável. Ignorância completa Existem 2 16 = possíveis funções booleanas para 4 características de entrada.

8 Espaços de hipótese Ignorância completa Existem 2 16 = possíveis funções booleanas para 4 características de entrada. Não sabemos qual é correta até observar todo par entrada-saída x, y. Após 7 exemplos anteriores, ainda temos 2 9 possibilidades Queremos descobrir valores de? x 1 x 2 x 3 x 4 y ? ? ? ? ? x 1 x 2 x 3 x 4 y ? ? ? ? ? ? ? 7/22

9 8/22 Espaço de hipóteses: regra simples Regra simples Existem somente 16 regras se-então conjuntivas simples. Regra Contraexemplo y 1 x 1 y 3 x 2 y 2 x 3 y 1 x 4 y 7 x 1 x 2 y 3 x 1 x 3 y 3 x 1 x 4 y 3 x 2 x 3 y 3 x 2 x 4 y 3 x 3 x 4 y 4 Regra Contraexemplo x 1 x 2 x 3 y 3 x 1 x 2 x 4 y 3 x 1 x 3 x 4 y 3 x 2 x 3 x 4 y 3 x 1 x 2 x 3 x 4 y 3 Nenhuma regra simples explica os exemplos.

10 Espaço de hipóteses: regra m-de-n Regras m-de-n Há 32 regras possíveis. Exemplo: se 3 de 5 sintomas apareceram, então está doente. Contra-exemplo 1-de 2-de 3-de 4-de {x 1} {x 2} {x 3} {x 4} {x 1,x 2} {x 1,x 3} {x 1,x 4} {x 2,x 3} {x 2,x 4} {x 1,x 2,x 3} {x 1,x 2,x 4} {x 1,x 3,x 4} {x 2,x 3,x 4} {x 1,x 2,x 3,x 4} /22

11 10/22 Duas visões de aprendizado Aprendizado é a remoção de incertezas Suponha que sabemos que a função-alvo fosse uma regra m-de-n, então poderíamos usar os exemplos para inferir qual função é Aprendizado requer adivinhar uma boa e pequena classe de hipóteses Nós podemos iniciar com uma classe bem pequena e aumentá-la até conter uma hipótese que se adequa aos exemplos

12 11/22 Duas visões de aprendizado Podemos estar enganados! Nosso conhecimento prévio pode estar errado Nossa adivinhação de classe de hipóteses pode estar errada Quanto menor a classe, mais fácil encontrar função porém mais provável estarmos errados Exemplos x 4 UmEntre{x 1,x 3 } y é também consistente com os dados de treino x 4 x 2 y é também consistente com os exemplos de treino. Então qual é a certa? Se uma dessas é a função desconhecida, então erraremos quando recebermos novos valores x

13 Duas estratégias para Aprendizado de Máquina em Mineração de Dados Desenvolver linguagens Regras gramaticais Modelos estocásticos Qual linguagem é mais fácil para expressar o conhecimento do problema? Desenvolver espaços de hipóteses flexíveis Coleções aninhadas de hipóteses Árvores de decisão Regras lógicas Redes neurais Nos dois casos Desenvolver algoritmos para encontrar uma hipótese adequada aos dados 12/22

14 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x)

15 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f

16 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f Hipótese. Uma função proposta h que acredita-se ser similar a f.

17 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f Hipótese. Uma função proposta h que acredita-se ser similar a f. Conceito. Uma função booleana. Exemplos para que f( x) = 1 são chamado exemplos positivos ou instâncias positivas do conceito. Exemplos para qua f( x) = 0 são chamados exemplos negativos ou instâncias negativas

18 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f Hipótese. Uma função proposta h que acredita-se ser similar a f. Conceito. Uma função booleana. Exemplos para que f( x) = 1 são chamado exemplos positivos ou instâncias positivas do conceito. Exemplos para qua f( x) = 0 são chamados exemplos negativos ou instâncias negativas Classificador. Uma função com valores discretos. Os possíveis valores f(x) {1,...,K} são chamados de classe ou valor da classe

19 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f Hipótese. Uma função proposta h que acredita-se ser similar a f. Conceito. Uma função booleana. Exemplos para que f( x) = 1 são chamado exemplos positivos ou instâncias positivas do conceito. Exemplos para qua f( x) = 0 são chamados exemplos negativos ou instâncias negativas Classificador. Uma função com valores discretos. Os possíveis valores f(x) {1,...,K} são chamados de classe ou valor da classe às vezes, o algoritmo de obter classificadores também é chamado de classificador

20 13/22 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f Hipótese. Uma função proposta h que acredita-se ser similar a f. Conceito. Uma função booleana. Exemplos para que f( x) = 1 são chamado exemplos positivos ou instâncias positivas do conceito. Exemplos para qua f( x) = 0 são chamados exemplos negativos ou instâncias negativas Classificador. Uma função com valores discretos. Os possíveis valores f(x) {1,...,K} são chamados de classe ou valor da classe às vezes, o algoritmo de obter classificadores também é chamado de classificador Espaço de hipóteses. Conjunto de todas as hipóteses que o algoritmo pode produzir.

21 Terminologia Exemplo de treino. Um exemplo na forma x,f( x) Função-alvo ou conceito-alvo. A função verdadeira f Hipótese. Uma função proposta h que acredita-se ser similar a f. Conceito. Uma função booleana. Exemplos para que f( x) = 1 são chamado exemplos positivos ou instâncias positivas do conceito. Exemplos para qua f( x) = 0 são chamados exemplos negativos ou instâncias negativas Classificador. Uma função com valores discretos. Os possíveis valores f(x) {1,...,K} são chamados de classe ou valor da classe às vezes, o algoritmo de obter classificadores também é chamado de classificador Espaço de hipóteses. Conjunto de todas as hipóteses que o algoritmo pode produzir. Espaço de versão. O espaço de todas as hipóteses no espaço de hipóteses que ainda não foi descartado por um exemplo de treino. 13/22

22 14/22 Principais questões em Aprendizado de Máquina Quais são bons espaços de hipóteses?

23 14/22 Principais questões em Aprendizado de Máquina Quais são bons espaços de hipóteses? Quais espaços têm sido úteis nas aplicações práticas e porquê?

24 14/22 Principais questões em Aprendizado de Máquina Quais são bons espaços de hipóteses? Quais espaços têm sido úteis nas aplicações práticas e porquê? Quais algoritmos podem trabalhar com esses espaços?

25 14/22 Principais questões em Aprendizado de Máquina Quais são bons espaços de hipóteses? Quais espaços têm sido úteis nas aplicações práticas e porquê? Quais algoritmos podem trabalhar com esses espaços? Existem princípios de projeto para algoritmos de aprendizado de máquina?

26 14/22 Principais questões em Aprendizado de Máquina Quais são bons espaços de hipóteses? Quais espaços têm sido úteis nas aplicações práticas e porquê? Quais algoritmos podem trabalhar com esses espaços? Existem princípios de projeto para algoritmos de aprendizado de máquina? Como podemos otimizar a acurácia nos futuros dados?

27 14/22 Principais questões em Aprendizado de Máquina Quais são bons espaços de hipóteses? Quais espaços têm sido úteis nas aplicações práticas e porquê? Quais algoritmos podem trabalhar com esses espaços? Existem princípios de projeto para algoritmos de aprendizado de máquina? Como podemos otimizar a acurácia nos futuros dados? Isso é conhecido como problema do overfitting (memorização).

28 Overfitting e underfitting 2 1 exemplos overfitting aprendizado underfitting Figura: Uso de polinomios de diferentes ordens para aprender tendência de pontos. 15/22

29 16/22 Principais questões em Aprendizado de Máquina Como podemos ter confiança nos resultados? Quantos exemplos são necessários para encontrar hipótese acurada? Existem problemas de aprendizado que não podem ser tratados por computadores? Vai terminar em tempo razoável? Como podemos formular problemas de aplicação na forma de problemas de aprendizado de máquina? Como atender às necessidades de clientes?

30 17/22 Estratégia para definição de espaços de hipóteses: tamanho Tamanho O espaço de hipóteses tem um tamanho fixo ou tamanho variável? Espaços de tamanho fixo são mais fáceis para entender, mas espaços de tamanho variável são geralmente mais úteis. Espaços de tamanho variável acentuam o problema de overfitting.

31 18/22 Estratégia para definição de espaços de hipóteses: aleatoriedade Aleatoriedade Cada hipótese é determinística ou aleatória? Isso afeta como avaliamos hipóteses. Com uma hipótese determinística, um exemplo de treino é consistente (corretamento predito) ou inconsistente (incorretamente predito). Com hipótese aleatória, um exemplo de treino é mais provável ou menos.

32 19/22 Estratégia para definição de espaços de hipóteses: aleatoriedade Parametrização Cada hipótese é descrita por um conjunto de escolhas simbólicas (discreto) ou descrito por um conjunto contínuo de valores? Se ambos são necessários, o espaço de hipóteses tem parametrização mista Parâmetros discretos devem ser encontrados por métodos de busca combinatorial Parâmetros contínuos devem ser encontrados por métodos de busca numérica

33 20/22 Estratégia para definição de espaços de hipóteses: busca Procedimento de busca Computação direta: resolva a hipótese diretamente Busca local: inicial com uma hipótese inicial, fazer melhorias até achar boa o suficiente Busca construtiva: iniciar com hipótese vazia e gradualmente adicionar estruturas para a hipótese até achar boa suficiente

34 21/22 Estratégia para definição de espaços de hipóteses: aprendizado Modo de aprendizado Online (um a um): analisar cada exemplo de treino assim que apresentado Batch (em lote): coletar exemplos de treino, analisá-los, criar uma hipótese

35 22/22 Estratégia para definição de espaços de hipóteses: operação Modo de operação Impaciente: analisar os exemplos de treino e construir uma hipótese expĺıcita Preguiçoso: armazenar exemplos de treino e esperar até um exemplo de teste ser apresentado para a construção de uma hipótese individual ao teste