Aprendizado de Máquina (Machine Learning)

Transcrição

1 Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 07 Classificação com o algoritmo knn Max Pereira

2 Classificação com o algoritmo (knn) Um algoritmo supervisionado usado para classificar dados em uma determinada categoria Modelo de Classificação

3 Funcionamento: 1. Temos um conjunto de exemplos (dados), nosso conjunto de treinamento. 2. Todos os dados possuem rótulos (classes) 3. Quando recebemos dados novos sem rótulo (classe), comparamos esses dados com os dados existentes. 4. Resgatamos os dados mais similares (nearest neighbors) e verificamos seus rótulos (classes).

4 Funcionamento: 5. Focamos nos k (dados) mais similares do nosso conjunto de dados 6. Finalmente olhamos para a maioria dos k (dados) mais similares e, essa classe, será atribuída aos dados que estamos tentando classificar.

5 (knn)

6 Classificação com o algoritmo (knn)

7 Classificação com o algoritmo (knn)

8 Classificação com o algoritmo (knn) Calculo da similaridade baseada em uma função de distância Distância Euclidiana

9 Classificação com o algoritmo (knn)

10 Classificação com o algoritmo (knn)

11 Classificação com o algoritmo (knn)

12 (knn) Nova cliente que tem 161cm e 61kg

13 Classificação com o algoritmo (knn) Nova cliente que tem 161cm e 61kg Precisamos calcular a distância entre o novo caso e cada um dos exemplos do conjunto. O exemplo com a menor distância será considerado o primeiro. Se considerarmos k=5, o algoritmo irá procurar os cinco clientes mais próximos da nova cliente.

14 Cliente Idade Renda Produto Livro TV DVD Celular ???

15 Cliente Distância Produto Passo 2: Calcular as distâncias Livro TV DVD Celular 5 0.0??? Para responder a pergunta O que o cliente 5 deve comprar?, baseado no algoritmo, a resposta seria um livro. Pois a distância entre o cliente 5 e o cliente 1 é menor.

16 O algoritmo também pode ser usado para prever um valor de saída do tipo Sim/Não (classe). Cliente Idade Renda Classe Sim Não Sim Não ??? Cliente Distância Classe Sim Não Sim Não 5 0.0??? Usando 1-vizinho mais próximo o modelo diria que a saída do cliente 5 seria Sim e 2-vizinhos mais próximos também seria Sim (ambos os clientes 1 e 3 têm saídas Sim ). Aplicando 3-vizinhos mais próximos o modelo diria Sim (os clientes 1 e 3 têm saídas Sim, o cliente 2 tem saída Não, então a maioria desses valores é Sim )

17 Validação Cruzada: utilizada para evitar overfitting e para certificar a robustez dos resultados. 1. Divida o conjunto de exemplos em dois subconjuntos: Treinamento (TR) e Teste (TE). 2. Use a indução (knn) para gerar a hipótese H sobre TR. 3. Porcentagem de erro de H aplicada a TE. 4. Repete os passos 1-3 com diferentes tamanhos de TE e TR, com elementos escolhidos aleatoriamente. Aprendizado de Máquina

18 Prós: Alta precisão, implementação simples, naturalmente trabalha com problemas com multi-classes. Contra: Custo computacional, necessidade de memória significativa.

19 Classes: 1 = Ausência de câncer de mama 2 = Presença de câncer de mama

20 Classes: 1 = Ausência de câncer de mama 2 = Presença de câncer de mama

21 Normalizar os dados

22

23 Conjuntos de treinamento e teste sem o atributo Classificacao

24

25 Construindo o modelo (treinamento)

26 Avaliando o modelo

27 VN FP FN VP