UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ (UTFPR) 2016/ PPGCA PPGCA/UTFPR -- CAIA003

Transcrição

1 UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ (UTFPR) Mineração de Dados 2016/3 Professores Celso e Heitor Jean Avila Rangel PPGCA PPGCA/UTFPR câmpus Curitiba -- CAIA003 - Mineração de Dados -- Profs. Celso Kaestner e Heitor Lopes A - O dataset utilizado para o trabalho é resultado da análise do movimento de três pessoas que conversaram e gesticularam em três vídeos. O aparelho Microsoft Kinect registrou suas gesticulações e os pesquisadores anotaram os movimentos do pulso esquerdo de cada um dos indivíduos estudados. Os arquivos utilizados estão separados em dois: dados de treino e dados de teste. Os atributos são os mesmos, mas os dados são diferentes, bem como a quantidade de instâncias. Os nomes dos atributos estão relacionados abaixo: Processed files: 1. Vectorial velocity of left hand (x coordinate) 2. Vectorial velocity of left hand (y coordinate) 3. Vectorial velocity of left hand (z coordinate) 4. Vectorial velocity of right hand (x coordinate) 5. Vectorial velocity of right hand (y coordinate) 6. Vectorial velocity of right hand (z coordinate) 7. Vectorial velocity of left wrist (x coordinate) 8. Vectorial velocity of left wrist (y coordinate) 9. Vectorial velocity of left wrist (z coordinate) 10. Vectorial velocity of right wrist (x coordinate) 11. Vectorial velocity of right wrist (y coordinate) 12. Vectorial velocity of right wrist (z coordinate) 13. Vectorial acceleration of left hand (x coordinate) 14. Vectorial acceleration of left hand (y coordinate) 15. Vectorial acceleration of left hand (z coordinate) 16. Vectorial acceleration of right hand (x coordinate)

2 17. Vectorial acceleration of right hand (y coordinate) 18. Vectorial acceleration of right hand (z coordinate) 19. Vectorial acceleration of left wrist (x coordinate) 20. Vectorial acceleration of left wrist (y coordinate) 21. Vectorial acceleration of left wrist (z coordinate) 22. Vectorial acceleration of right wrist (x coordinate) 23. Vectorial acceleration of right wrist (y coordinate) 24. Vectorial acceleration of right wrist (z coordinate) 25. Scalar velocity of left hand 26. Scalar velocity of right hand 27. Scalar velocity of left wrist 28. Scalar velocity of right wrist 29. Scalar velocity of left hand 30. Scalar velocity of right hand 31. Scalar velocity of left wrist 32. Scalar velocity of right wrist 33. phase: -- D (rest position, from portuguese "descanso") -- P (preparation) -- S (stroke) -- H (hold) -- R (retraction) Rodando o OneR com 10 vezes de validação cruzada, obtemos o seguinte resultado RESUMIDO: === Run information === Scheme: weka.classifiers.rules.oner -B 6 Relation: train Instances: 6663 Attributes: 33 (1,..., 32, Phase)

3 Test mode: 10-fold cross-validation === Classifier model (full training set) === 5:... (4079/6663 instances correct) Time taken to build model: 0.19 seconds === Stratified cross-validation === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 6663 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure MCC ROC Area PRC Area Class 0,799 0,342 0,584 0,799 0,675 0,443 0,728 0,542 D 0,154 0,045 0,355 0,154 0,215 0,159 0,555 0,172 P 0,569 0,257 0,514 0,569 0,540 0,305 0,656 0,432 S 0,041 0,007 0,281 0,041 0,071 0,087 0,517 0,068 H 0,232 0,040 0,406 0,232 0,295 0,249 0,596 0,174 R

4 Weighted Avg. 0,532 0,222 0,493 0,532 0,493 0,318 0,655 0,389 === Confusion Matrix === a b c d e <-- classified as a = D b = P c = S d = H e = R No nosso exemplo com OneR, o baseline foi ruim, resultando em praticamente metade dos dados classificados corretamente. Foi notado que o D e o S (descanso do pulso e torção ou batida do pulso, respectivamente) foram bem identificados pelo algoritmo. Isso pode ser devido ao movimento ser bem similar na maioria dos casos. Aplicando a árvore de decisão C4.5 da técnica J48 do Weka, obtivemos o seguinte resultado EM VERSÃO RESUMIDA: === Run information === Scheme: weka.classifiers.trees.j48 -C M 2 Relation: train Instances: 6663 Attributes: Test mode: 10-fold cross-validation === Classifier model (full training set) === J48 pruned tree

5 Number of Leaves : 676 Size of the tree : 1351 Time taken to build model: 1.59 seconds === Stratified cross-validation === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 6663 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure MCC ROC Area PRC Area Class 0,822 0,097 0,836 0,822 0,829 0,727 0,884 0,806 D 0,649 0,062 0,627 0,649 0,638 0,579 0,835 0,546 P 0,779 0,106 0,779 0,779 0,779 0,673 0,864 0,734 S 0,682 0,019 0,698 0,682 0,690 0,671 0,891 0,595 H 0,655 0,043 0,637 0,655 0,646 0,604 0,858 0,550 R Weighted Avg. 0,758 0,085 0,760 0,758 0,759 0,673 0,868 0,708

6 === Confusion Matrix === a b c d e <-- classified as a = D b = P c = S d = H e = R Analisando os dados na matriz de confusão, são praticamente os mesmos tipos de acertos que os anteriores no OneR, porém com um acerto bem maior (76% de TPR). A curva ROC é o cálculo da relação entre TPR (true positive rate) e FPR (false positive rate). B - Aplicando o Multilayer Perception (MLP), possuímos o resultado: === Run information === Scheme: weka.classifiers.functions.multilayerperceptron -L 0.3 -M 0.2 -N 500 -V 0 -S 0 -E 20 -H a Relation: train Instances: 6663 Attributes: Time taken to build model: seconds === Stratified cross-validation === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error

7 Relative absolute error % Root relative squared error % Total Number of Instances 6663 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure MCC ROC Area PRC Area Class 0,864 0,303 0,631 0,864 0,730 0,544 0,826 0,663 D 0,292 0,035 0,574 0,292 0,387 0,347 0,753 0,420 P 0,651 0,169 0,649 0,651 0,650 0,482 0,788 0,698 S 0,023 0,001 0,500 0,023 0,044 0,097 0,710 0,134 H 0,456 0,046 0,536 0,456 0,493 0,441 0,824 0,464 R Weighted Avg. 0,624 0,178 0,611 0,624 0,591 0,459 0,797 0,589 === Confusion Matrix === a b c d e <-- classified as a = D b = P c = S d = H e = R O resultado apresentado foi pior do que utilizando o algoritmo J48 (62,4% de TPR). Porém, considerando a matriz de confusão, percebemos a mesma característica no comportamento da predição de dados, onde alguns valores estão mais fáceis de ser visualizados. C - Treinando o algoritmo MLP com o modelo de treinamento utilizado anteriormente e testando o resultado no conjunto de testes disponibilizados no site da disciplina, foi possível observar: Time taken to build model: seconds

8 === Evaluation on test set === Time taken to test model on supplied test set: 0.18 seconds === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 2489 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure MCC ROC Area PRC Area Class 0,254 0,178 0,143 0,254 0,183 0,060 0,524 0,128 D 0,160 0,068 0,562 0,160 0,249 0,146 0,574 0,435 P 0,718 0,603 0,308 0,718 0,431 0,106 0,558 0,297 S 0,002 0,013 0,036 0,002 0,004-0,038 0,677 0,265 H 0,190 0,054 0,286 0,190 0,228 0,164 0,472 0,160 R Weighted Avg. 0,298 0,215 0,332 0,298 0,248 0,097 0,572 0,309

9 === Confusion Matrix === a b c d e <-- classified as a = D b = P c = S d = H e = R D Tentando ajeitar os parâmetros como número de camadas, número de épocas de treinamento e taxa de aprendizado, obtivemos poucos acréscimos. Colocando a variável training (tempo de treinamento) em 2500, obtivemos o valor % para TPR, mínima coisa maior do que os dados padrões. Os valores 1000, 1500 e 4000 também foram testados, pouco aumentado do melhor valor (2500). A mudança no número de camadas também não demonstrou muita diferença para melhora no algoritmo. E Na comparação dos resultados gerados a partir do teste realizado no próprio conjunto de treinamento, obtivemos um resultado satisfatório. Quando o mesmo treinamento foi testado em um conjunto de teste separado (de outra pessoa) o resultado foi muito pior, sendo quase inaceitável (29,8% de TPR).