Inteligência Artificial

Tamanho: px

Começar a partir da página:

Download "Inteligência Artificial"

Malu Amaral de Paiva
6 Há anos
Visualizações:

1 Inteligência Artificial Aula 14 Aprendizado de Máquina Avaliação de s Preditivos (Classificação) Hold-out K-fold Leave-one-out Prof. Ricardo M. Marcacini ricardo.marcacini@ufms.br Curso: Sistemas de Informação 1º Semestre /

2 Como estimar a acurácia da classificação? Qual a taxa de acerto do modelo? IA-14 2

3 Como estimar a acurácia da classificação? Qual a taxa de acerto do modelo? (Número de Predições Corretas) / (Total de Predições) IA-14 3

4 Como estimar a acurácia da classificação? Qual a taxa de acerto do modelo? (Número de Predições Corretas) / (Total de Predições) O usuário deve ter uma noção de quão confiável é o aprendizado de máquina IA-14 4

5 Como estimar a acurácia da classificação? Qual a taxa de acerto do modelo? (Número de Predições Corretas) / (Total de Predições) O usuário deve ter uma noção de quão confiável é o aprendizado de máquina Devemos estimar a acurácia a partir dos dados IA-14 5

6 Validação Conceitos Básicos Treinamento Base de dados utilizada para obter o modelo Teste Base de dados utilizada para avaliar o modelo IA-14 6

7 Podemos estimar a acurácia da classificação usando apenas dados de treinamento? IA-14 7

8 Podemos estimar a acurácia da classificação usando apenas dados de treinamento? Construção do Preditivo Treinamento IA-14 8

9 Podemos estimar a acurácia da classificação usando apenas dados de treinamento? Construção do Preditivo Validação do Treinamento Treinamento IA-14 9

10 Podemos estimar a acurácia da classificação usando apenas dados de treinamento? Construção do Preditivo Validação do Treinamento Treinamento Resposta: NÃO O valor da acurácia fica sobreajustado (overfitting) Alta acurácia em dados de treinamento Baixa acurácia na prática IA-14 10

11 Devemos usar um conjunto independente de dados de treinamento e teste Construção do Preditivo Validação do Treinamento Teste A acurácia é estimada a partir de dados que ainda não foram vistos Mais próximo da realidade IA-14 11

12 Estratégias para Validação Cruzada Utiliza o próprio conjunto do dados para estimar a acurácia real do modelo preditivo Avaliação em ambiente simulado (não em produção) Técnicas Hold-out K-fold Leave-one-out IA-14 12

13 Hold-out Divide a base de dados em treinamento e teste Construção do modelo usando dados de treinamento Validação do modelo usando dados de teste IA-14 13

14 Hold-out Divide a base de dados em treinamento e teste Construção do modelo usando dados de treinamento Validação do modelo usando dados de teste Treinamento Teste Divisão dos Dados Base de Dados IA-14 14

15 Hold-out Divide a base de dados em treinamento e teste Construção do modelo usando dados de treinamento Validação do modelo usando dados de teste Construção do Preditivo Validação do Treinamento Teste Divisão dos Dados Base de Dados IA-14 15

16 Hold-out Divide a base de dados em treinamento e teste Construção do modelo usando dados de treinamento Validação do modelo usando dados de teste Construção do Preditivo Validação do Treinamento Divisão dos Dados Base de Dados Teste O processo processo é é repetido repetido um um número número suficiente suficiente de de vezes vezes Calcular Calcular acurácia acurácia média média IA-14 16

17 k-fold Divide a base de dados em k subconjuntos (folds) Construção do modelo usando (1-k) subconjuntos Validação do modelo usando 1 subconjunto IA-14 17

18 k-fold Divide a base de dados em k subconjuntos (folds) Construção do modelo usando (1-k) subconjuntos Validação do modelo usando 1 subconjunto treino treino teste Base de Dados IA-14 18

19 k-fold Divide a base de dados em k subconjuntos (folds) Construção do modelo usando (1-k) subconjuntos Validação do modelo usando 1 subconjunto Construção do Preditivo Validação do treino treino teste Base de Dados IA-14 19

20 k-fold Divide a base de dados em k subconjuntos (folds) Construção do modelo usando (1-k) subconjuntos Validação do modelo usando 1 subconjunto Construção do Preditivo Validação do treino treino teste treino teste treino Base de Dados IA-14 20

21 k-fold Divide a base de dados em k subconjuntos (folds) Construção do modelo usando (1-k) subconjuntos Validação do modelo usando 1 subconjunto Construção do Preditivo Validação do treino treino teste treino teste treino Base de Dados teste treino treino IA-14 21

22 k-fold Divide a base de dados em k subconjuntos (folds) Construção do modelo usando (1-k) subconjuntos Validação do modelo usando 1 subconjunto Construção do Preditivo Validação do Base de Dados treino treino teste treino teste treino teste treino treino O processo processo é é repetido repetido até até que que cada cada subconjunto subconjunto seja seja utilizado utilizado uma uma vez vez para para teste teste Calcular Calcular acurácia acurácia média média IA-14 22

23 Leave-one-out Selecionar e remover 1 objeto da base de dados Construção do modelo usando a base de dados (-1) Validação do modelo usando o objeto selecionado IA-14 23

24 Leave-one-out Selecionar e remover 1 objeto da base de dados Construção do modelo usando a base de dados (-1) Validação do modelo usando o objeto selecionado Treinamento Objeto Selecionado Seleciona um Objeto Base de Dados IA-14 24

25 Leave-one-out Selecionar e remover 1 objeto da base de dados Construção do modelo usando a base de dados (-1) Validação do modelo usando o objeto selecionado Construção do Preditivo Validação do Treinamento Objeto Selecionado Seleciona um Objeto Base de Dados IA-14 25

26 Leave-one-out Selecionar e remover 1 objeto da base de dados Construção do modelo usando a base de dados (-1) Validação do modelo usando o objeto selecionado Construção do Preditivo Validação do Treinamento Objeto Selecionado Seleciona um Objeto Base de Dados O processo processo é é repetido repetido até até testar testar todos todos os os objetos objetos Calcular Calcular acurácia acurácia média média IA-14 26

27 Comparação Hold-out Útil quando há grande quantidade de dados disponível Poucos dados acurácia estimada sofre muita variação Leave-one-out K-fold Análise completa sobre a variação do modelo preditivo Alto custo computacional Útil quando há pequena quantidade de dados Mais utilizado na prática (modelo estratificado) K=10 é uma convenção (obtém melhores resultados experimentais) IA-14 27

28 Bibliografia REZENDE, S.O. Sistemas Inteligentes: Fundamentos e Aplicações. Ed. Manole, Avaliação de Algoritmos: página IA-14 28

Documentos relacionados

Modelos de Regressão Linear Simples - Erro Puro e Falta de Ajuste

Modelos de Regressão Linear Simples - Erro Puro e Falta de Ajuste Erica Castilho Rodrigues 2 de Setembro de 2014 Erro Puro 3 Existem dois motivos pelos quais os pontos observados podem não cair na reta