Trabalho 2 - Detalhamento

Transcrição

1 Trabalho 2 - Detalhamento Clodoaldo A. M. Lima, Sarajane M. Peres 7 de outubro de 2015 Programa de Pós-Graduação em Sistemas de Informação Mestrado acadêmico - EACH - USP Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

2 Data e formato de entrega O trabalho deve ser entregue até o dia 10 de dezembro, por meio do sistema e-tidia. Se, eventualmente, o sistema não permitir o upload de algum artefato produzido no trabalho, o aluno deve entregar esse artefato em CD, DVD ou Pen Drive, pessoalmente, aos professores da disciplina até às 17h horas do dia limite de entrega do trabalho. Os alunos devem postar os códigos desenvolvidos durante a realização do trabalho, acompanhados de um arquivo readme.txt onde são dadas todas as diretrizes necessárias para execução do código. Trabalhos desenvolvidos em linguagens diferentes de Java, C, R ou Matlab podem demandar a presença do aluno para apoiar a execução dos códigos. Além dos códigos o aluno deverá postar um documento (relatório crítico) em arquivo PDF com: as motivações e justificativas das tomadas de decisão realizadas no âmbito do trabalho, a descrição sucinta dos procedimentos técnicos aplicados, os resultados obtidos e a análise crítica de tais resultados. Este documento deverá seguir o formato especificado mais à frente neste documento. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

3 Bases de dados As seguintes bases de dados podem ser usadas para desenvolvimento do trabalho: Gesture Phase: ECG: NewsGroup: Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

4 Sobre a base Gesture Phase Trata-se de uma base sobre gesticulação natural. O objetivo é encontrar as fases dos gestos (Rest Position, Preparation, Stroke, Hold e Retraction). Essas fases se manifestam durante a gesticulação natural e estão associadas aos frames do vídeo que capturou o movimento (membros superiores) realizado por pessoas enquanto contavam uma história. Cada frame de vídeo está associado a uma das fases. A base de dados está rotulada. A base de dados é apresentada sob duas representações: coordenadas x,y,z de pontos de interesse no corpo humano; velocidade e aceleração vetorial e escalar extraídas dessas coordenadas. O trabalho de pré-processamento desta base envolve escolher a representação a ser usada, os pontos de interesse do corpo a serem analisados, organizá-los em novas representações ou extrair características. É esperado que os alunos leiam sobre a base de dados, leiam artigos correlatos e também artigos que trabalharam com o mesmo tipo de informação. O aluno deve usar de sua análise crítica e criatividade para propor formas de usar a informação da base de dados para minerar padrões. Ainda, na base há vários vídeos e cada um diz respeito à contextos diferentes. O aluno deve também explorar a dificuldade inerente nesse ambiente. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

5 Sobre a base ECG A tarefa consiste em classificar sinais de eletrocardiograma (ECG) aplicado ao reconhecimento biométrico. Para baixar os arquivos, o aluno deve realizar os procedimentos descritos no link ( Após a instalação deste toolbox, o aluno deve baixar o conjunto de dados desejado. Em seguida deve-se utilizar o código disponibilizado no Tidia para a extração do conjunto de características. É recomendável que os alunos extraiam outras características, tais como, transformada wavelet, decomposição em modos empíricos. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

6 Sobre a base 20NewsGroup Essa é uma base de natureza diferente das demais. Ela está apresentada na forma textual e, portanto precisa ser transformada para que possa ser usada na mineração. Todo o pré-processamento referente à parte textual pode ser feito com o uso de toolbox e ferramentas já preparadas para isso, não sendo necessário implementá-las. Isso significa que as fase de tokenizing, retirada de stopwords e stemming podem ser feitas com uso de softwares fechados. A partir da saída do stemming, o aluno deve trabalhar com implementações próprias ou que possam ser acessadas na íntegra (conforme explicado mais à frente neste documento). É esperado que o aluno pesquise sobre formas de representar a base de dados, usando representações em espaço vetorial que permitem a aplicação dos algoritmos vistos em aula. Trata-se de uma base rotulada e há muitos dados. Quanto mais dados o aluno usar em suas análises melhor. A escolha dos dados a serem usados e como serão usados pode minimizar ou maximizar a complexidade do problema. Problemas de alta complexidade, é claro, são muito bem-vindos no trabalho. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

7 Pré-processamento e pós-processamento Com exceção da base 20newsgroup, onde parte do pré-processamento pode ser feito com softwares fechados, os demais procedimentos de pré-processamento deverão ser ou implementados pelo aluno ou feitos a partir de softwares onde é possível analisar a codificação realizada. Procedimentos de pós-processamento de resultados, com geração de gráficos, por exemplo, podem ser feitos em qualquer ferramenta, não sendo necessário apresentar implementação própria ou compreensão de código. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

8 Algoritmos de mineração Os alunos deverão aplicar dois algoritmos de mineração de dados de natureza diferentes, resolvendo uma tarefa de classificação, ou uma tarefa de agrupamento, ou uma tarefa de classificação e uma tarefa de agrupamento. Por exemplo: Árvore de decisão e MLP, k-nn e SOM, k-means e SOM, DBScan e k-means. É vedada a escolha concomitante dos dois algoritmos k-nn e k-means, a menos que um deles possa ser considerado como a apresentação do terceiro algoritmo (veja abaixo). Algoritmos que não foram dados em aula podem, eventualmente, compor a dupla de algoritmos requisitados no trabalho, porém neste caso, o aluno deve discutir com os professores se o algoritmo escolhido cumpre os requisitos da disciplina. O aluno deve procurar os professores o quanto antes para decidir sobre isso. Um terceiro algoritmo, uma versão diferente de um algoritmo, uma estratégia de combinação de algoritmos ou de melhoria da forma de uso do algoritmo serão considerados como um requisito opcional, mas que se apresentados elevarão a qualidade do trabalho e portanto o aluno receberá uma avaliação melhor. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

9 Codificação - implementação Para todos os trabalhos serão permitidos o uso de frameworks (como WEKA) ou ambientes de programação (R, MATLAB), desde que haja documentação disponível que permita conhecer e controlar os algoritmos que estão sendo aplicados. Quando o aluno optar pelo uso de frameworks, ou funções já prontas para implementação de uma rotina de pré-processamento ou um algoritmo de mineração de dados, ele deve estar completamente ciente de toda a codificação da função, sendo capaz de explicar a codificação e as motivações para implementações das estratégias usadas nessa codificação. Linguagens de propósito geral como Java, C ou Python podem ser usadas. É uma boa ideia documentar detalhadamente toda a codificação usada no trabalho. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1

10 Relatório O relatório deverá ser apresentado seguindo o seguinte formato (necessariamente): events/conferences/publishing/templates.html As seções sugeridas no formato não precisam ser seguidas. A ideia é usar a mesma diagramação, tamanho e tipo de fonte, estilo de parágrafos, margens, referências bibliográficas, etc. Não é necessário explicar a teoria referente aos algoritmos de mineração escolhidos quando esses foram apresentados em aula. Algoritmos de mineração extra, estratégias de combinação e de melhoraria dos algoritmos devem ser explicadas em detalhes no relatório. Clodoaldo A. M. Lima, Sarajane M. Peres Trabalho 2 - Detalhamento 7 de outubro de / 1