Classificação de Sentença

Transcrição

1 Universidade Federal de São Carlos - UFSCar Departamento de Computação - DC Programa de Pós-Graduação em Ciência da Computação - PPGCC Aluno: Pablo Freire Matos Orientador: Dr. Ricardo Rodrigues Ciferri Coorientador: Dr. Thiago Alexandre S. Pardo Área: Banco de Dados

2 Objetivo Identificar e extrair informações novas, úteis e interessantes em artigos científicos no domínio biomédico Foco: efeitos positivos e negativos (do tratamento) Anemia Falciforme Organização e armazenamento de informação em um BD para posterior mineração 2/15

3 O que é Anemia Falciforme? Hemácias Normais Hemácias Falciformes bloqueando o fluxo sanguíneo Hemácias passam livremente pelos vasos sanguíneos Hemácias Falciformes 3/15

4 Ambiente para Análise de Dados 4/15

5 Extração de Informação Seções processadas: Abstract, Results, Discussion (Results and Discussion) 5/15

6 Classes Classificação Supervisionada Treinamento Efeito Positivo Diversos arquivos com sentenças de efeito positivo Efeito Negativo Diversos arquivos com sentenças de efeito negativo Teste Novo texto TXT Efeito Positvo: The use of Hydroxyurea instead of transfusion for stroke prevention will avoid the risk of iron overload and the need of iron chelation Efeito Negativo: She died during the second year of therapy from acute severe anemia during an episode of splenic sequestration Outros Diversos arquivos com sentenças de outros Outros: Pregnancies occurred in 10 patients or their partners Saída Conjunto de sentenças classificadas em classes 6/15

7 Experimento: 1. Classificação manual pelos humanos? 2. É possível automatizar a classificação? 3. Se sim, qual o melhor algoritmo de AM? 7/15

8 1 - Classificação manual pelos humanos? Concordância em 50 sentenças K P( A) P( E) Fleiss (1971) 1 P( E) 8/15

9 2 - É possível automatizar a classificação? Annotator All the classes 3 experts naïve subjects 0.71 experts + naïve subjects 0.65 Agreement Poor Under 0 Slight 0 a 0.2 Scale Fair 0.21 a 0.4 Moderate 0.41 a 0.60 Substantial 0.61 a 0.80 Almost Perfect Between 0.81 and 1 Landis e Koch (1977) 9/15

10 3 - Sim, qual o melhor algoritmo de AM? Aprendizado Estatístico 1. SVM 2. NB Algoritmos de AM Aprendizado Simbólico Árvore de Decisão 3. ID3 4. J48 Regras 5. Prism 6. OneR Preprocessamento 1. No Filter (NF) 2. Randomize (RD) 3. Remove Misclassification (RM) 4. Resample (RS) 5. RM followed by RS 6. RS followed by RM Matriz Atributo-Valor 1. Frequência mínima = 2 2. Atributos de 1 a 3 gramas 1 (presente), 0 (ausente) 3. Não utilizado Remoção de Stopword Stemming 10/15

11 3 - Sim, qual o melhor algoritmo de AM? Distribuição das sentenças por classe 11/15

12 3 - Sim, qual o melhor algoritmo de AM? Melhores Resultados 12/15

13 - WEKA 13/15

14 Universidade Federal de São Carlos - UFSCar Departamento de Computação - DC Programa de Pós-Graduação em Ciência da Computação - PPGCC Obrigado! Aluno: Pablo Freire Matos Orientador: Dr. Ricardo Rodrigues Ciferri Coorientador: Dr. Thiago Alexandre S. Pardo Área: Banco de Dados

15 Referências ANTHONY, L.; LASHKIA, G. V. Mover: a machine learning tool to assist in the reading and writing of technical papers. IEEE Transactions on Professional Communication, v. 46, n. 3, p , FLEISS, J. L. Measuring nominal scale agreement among many raters. Psychological Bulletin, v. 76, n. 5, p , LANDIS, J. R.; KOCH, G. G. The measurement of observer agreement for categorical data. Biometrics, v. 33, n. 1, p , MATOS, P. F. et al. An environment for data analysis in biomedical domain: information extraction for decision support systems. In: International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems (IEA-AIE), 23th, 2010, Proceedings... Springer, p /15