1ª Lista de Exercícios

Transcrição

1 Universidade Federal de Campina Grande Disciplina: Mineração de Dados Período: Data: 21/10/08 Aluno: Halley F. S. de Freitas 1ª Lista de Exercícios O arquivo de dados é o do outlook {sunny, overcast, temperature {hot, mild, humidity {high, windy {TRUE, play {yes, sunny, hot, high, FALSE, no sunny, hot, high, TRUE, no overcast, hot, high, FALSE, yes rainy, mild, high, FALSE, yes rainy, cool, normal, FALSE, yes rainy, cool, normal, TRUE, no overcast, cool, normal, TRUE, yes sunny, mild, high, FALSE, no sunny, cool, normal, FALSE, yes rainy, mild, normal, FALSE, yes sunny, mild, normal, TRUE, yes overcast, mild, high, TRUE, yes overcast, hot, normal, FALSE, yes rainy, mild, high, TRUE, no

2 Em todas as questões pertinentes, você deve seguir passo a passo o algoritmo respectivo; todos os passos devem ser mostrados. Questão 1) O modelo induzido pelo Prism para a classe play = yes. a) IF? THEN play = Yes Outlook = sunny 2/5 Outlook = overcast 4/4 Outlook = rainy 3/5 Temperature = hot 2/4 Temperature = mild 4/6 Temperature = cool 2/4 Humidity = high 3/7 Humidity = normal 6/7 Windy = TRUE 3/6 Windy = FALSE 6/8 Regra 1: IF Outlook = overcast THEN play = Yes

3 Retirando agora as quatro instâncias compreendidas pela regra anterior e recomeçando o algoritmo com 10 instâncias (14-4): a) IF? THEN play = Yes Outlook = sunny 2/5 Outlook = rainy 3/5 Temperature = hot 0/2 Temperature = mild 3/5 Temperature = cool 2/4 Humidity = high 1/5 Humidity = normal 4/5 Windy = TRUE 3/6 Windy = FALSE 1/4 b) IF Humidity = normal and? THEN play = Yes Outlook = sunny 2/2 Outlook = rainy 2/3 Temperature = hot 0/0 Temperature = mild 2/2 Temperature = cool 2/3 Windy = TRUE 1/2 Windy = FALSE 3/3 Regra 2: IF Humidity = normal and Windy = FALSE THEN play = Yes

4 Retirando agora as 3 instâncias compreendidas pela regra anterior e recomeçando o algoritmo com 7 instâncias (10-3): a) IF? THEN play = Yes Outlook = sunny 1/4 Outlook = rainy 1/3 Temperature = hot 0/2 Temperature = mild 2/4 Temperature = cool 0/1 Humidity = high 1/5 Humidity = normal 1/2 Windy = TRUE 1/4 Windy = FALSE 1/3 b) IF Temperature = mild and? THEN play = Yes Outlook = sunny 1/2 Outlook = rainy 1/2 Humidity = high 1/3 Humidity = normal 1/1 Windy = TRUE 1/4 Windy = FALSE 1/3 Regra 3: IF Temperature = mild and Humidity = normal THEN play = Yes

5 Será retirada a instância compreendida pela regra e será recomeçado o algoritmo com 6 instâncias (7-1). Após repetir a mesma lógica apresentada na obtenção das três primeiras regras, chegamos ao modelo resultante: If outlook = overcast then yes If humidity = normal and windy = FALSE then yes If temperature = mild and humidity = normal then yes If outlook = rainy and windy = FALSE then yes If outlook = sunny and humidity = high then no If outlook = rainy and windy = TRUE then no Questão 2) Probabilidade de ter jogo quando temperatura = fria. Resposta Quando a temperatura for fria, haverá jogo em 3 das 4 ocasiões, representando uma probabilidade de 75%.

6 Questão 3) Explique o aparente paradoxo: Id3 e J48 pruned inferem os mesmos modelos, mas as acurácias de teste são diferentes. Id3 split 66% train, remainder test outlook = sunny humidity = high: no humidity = normal: yes outlook = overcast: yes outlook = rainy windy = TRUE: no windy = FALSE: yes Correctly Classified Instances 3 60% Incorrectly Classified Instances 2 40% J48 pruned split 66% train, remainder test outlook = sunny humidity = high: no humidity = normal: yes outlook = overcast: yes outlook = rainy windy = TRUE: no windy = FALSE: yes Correctly Classified Instances 2 40% Incorrectly Classified Instances 3 60%

7 Resposta Era esperado que o algoritmo J48 pruned tivesse melhor desempenho na acurácia de testes do que o Id3, enquanto este tivesse um melhor desempenho na acurácia de treinamento por buscar um espelho dos dados. Nesse caso em específico, o número de amostras para testes é muito reduzido, chegando a ser desprezível, por isso paradoxos desse tipo estão susceptíveis a acontecerem. Com certeza se esse número de amostras fosse mais significativo, o mecanismo de poda adotado se mostraria eficiente nos testes e o J48 teria resultados mais expressivos do que o Id3 e muito provavelmente o modelo induzido de ambos seria diferente.

8 Questão 4) Considere um conjunto de treinamento formado pelas 9 primeiras instâncias, enquanto as 5 últimas instâncias compõem o conjunto de teste. Compare o desempenho do OneR com o Id3 e o J48 pruned (ver a questão anterior). Resposta Após rodar o algoritmo OneR no Weka, foi obtido o seguinte modelo: outlook: sunny overcast -> no -> yes rainy -> Yes (10/14 instances correct) acurácia no treinamento Em seguida foram analisados os resultados dos testes: Correctly Classified Instances 2 40 % Incorrectly Classified Instances 3 60 % Conclusão: Rodando o OneR, a acurácia de treinamento não foi de 100% como nos algoritmos Id3 e J48, e a acurácia de testes foi semelhante à obtida com o J48, e inferior da obtida com o Id3.

9 5) Altere o arquivo de dados, aumentando a proporção de play = Yes para 90%. Rode o J48 pruned: interprete o modelo induzido. Resposta Após rodar o algoritmo J48 no Weka, foi obtido o seguinte modelo: J48 pruned tree : yes (14.0/2.0) Interpretação: Devido ao pequeno número de instâncias com play = No, o modelo poda essas instâncias e infere apenas play = Yes para todas as instâncias do arquivo de dados. A acurácia de treinamento não é mais de 100%, porém o modelo continua bastante confiável, como é demonstrado através dos resultados dos testes: === Evaluation on test split === === Summary === Correctly Classified Instances 4 80 % Incorrectly Classified Instances 1 20 %