CATEGORIZAÇÃO AUTOMÁTICA DE ARTIGOS CIENTÍFICOS DA ENGENHARIA DE PRODUÇÃO UTILIZANDO MÉTODOS DE APRENDIZAGEM DE MÁQUINA

Transcrição

1 CATEGORIZAÇÃO AUTOMÁTICA DE ARTIGOS CIENTÍFICOS DA ENGENHARIA DE PRODUÇÃO UTILIZANDO MÉTODOS DE APRENDIZAGEM DE MÁQUINA FERNANDO JOSE FERREIRA ANDINOS JUNIOR (UCAM) GEOGIA REGINA RODRIGUES GOMES (UCAM) Este artgo apresenta três métodos tradconas de aprendzagem de máquna (Naïve Bayes, k-nn e SVM) e propõe um método de grupo para realzar a categorzação de artgos da área de Engenhara de Produção, com o objetvo de auxlar alunos ee professores na escolha da melhor área para submssão de trabalhos. Para sso, os métodos utlzados baseam-se no conteúdo textual do documento, tendo como nsumo de aprendzagem, artgos prevamente publcados em anas de dos dos prncpas congressos de Engenhara de Produção, o ENEGEP e o SIMPEP. Baseado nos resultados expermentas apresentados, o método de grupo proposto obteve melhor desempenho nas métrcas defndas (acuráca, precsão e abrangênca) que os métodos tradconas soladamente. Os prncpas fatores para a elaboração desse trabalho foram a dfculdade exposta por alunos e professores em algumas vezes escolher a área de submssão mas adequada para seus trabalhos, somado ao crescmento observado no número de artgos publcados nesses congressos nos últmos anos. Espera-se que este trabalho contrbua para o crescmento, organzação e qualdade da produção centífca em Engenhara de Produção no Brasl. Palavras-chaves: categorzação de documentos, mneração de texto, gestão do conhecmento

2 1. Introdução O Brasl atualmente possu 486 cursos de graduação em Engenhara de Produção reconhecdos pelo MEC (NUPENGE, 2012) e 58 cursos de pós-graduação strctu-senso recomendados pela CAPES (CAPES, 2012). Além de atender a demanda crescente do mercado de trabalho, boa parcela desses ndvíduos contrbu para produção centífca, gerada prncpalmente por professores e alunos de pós-graduação. A escolha da melhor área para submssão de artgos centífcos em congressos de uma área abrangente e multdscplnar como a Engenhara de Produção, que atualmente dvde-se em 11 áreas de conhecmento, subdvddas em 58 subáreas conforme ABEPRO (2012), pode não ser trval. Dante dsso, professores e alunos em alguns momentos demonstram dfculdade em decdr a área mas adequada. Então, se exstsse uma ferramenta que baseada no conteúdo textual, os auxlasse sugerndo a área mas aproprada para submssão do artgo, a probabldade de acetação aumentara, pos seram dreconados a avaladores mas ndcados. Além dsso, uma vez aprovado e categorzado na área mas aderente ao seu conteúdo, o trabalho tera melhor dvulgação e atngra o públco esperado pelos autores. O objetvo deste trabalho é utlzar técncas de aprendzagem de máquna (machne learnng), ramo da ntelgênca artfcal responsável por desenvolver métodos que permtam ao computador aprender, para que a partr de artgos prevamente categorzados, consga-se predzer a categora de novos artgos, auxlando os autores na escolha da melhor área de submssão em congressos da Engenhara de Produção. Este trabalho está organzado em cnco seções segudas de bblografa. Na seção 2, é apresentado o conceto de categorzação automátca de textos. A seção 3 descreve a metodologa com os passos realzados no expermento e as métrcas de desempenho utlzadas. Na seção 4, os resultados são apresentados e analsados e a seção 5 apresenta as conclusões. 2. Categorzação de textos A categorzação de textos é a atrbução de documentos escrtos em lnguagem natural em categoras pré-defndas de acordo com o seu conteúdo (SEBASTIANI, 2002). Apesar do estudo da categorzação automátca de textos ter ncado nos anos 60 com Maron e Kuns (1961), a partr da década de 90 que esse campo vem se desenvolvendo devdo ao crescente número de documentos dgtas, vablzado pelo surgmento da World Wde Web, gerando a necessdade de organzá-los para facltar seu acesso e manuseo. Exstem duas prncpas abordagens para a categorzação de textos: uma é conhecda como engenhara do conhecmento (knowledge engneerng), onde o própro especalsta codfca o sstema através de regras que defnem cada categora da coleção de documentos, como a que fo utlzada no desenvolvmento da ferramenta CADWeb (CADWeb, 2012) por Gomes e Moraes Flho (2011), e outra, utlzada neste trabalho, que usa técncas de aprendzagem de máquna. Nessa abordagem, o classfcador é construído automatcamente, aprendendo as 2

3 propredades das categoras a partr de um conjunto de documentos de trenamento prevamente classfcados (FELDMAN; SANGER, 2007). No conceto de aprendzagem de máquna, esse processo é chamado de aprendzado supervsonado. Segundo Sebastan (2002), as vantagens dessa abordagem são: precsão comparável às atngdas pelos especalstas com consderáves economas de mão-de-obra, pos não exste a necessdade de ntervenção humana para a construção do classfcador ou adaptação para outro domíno de conhecmento. Exstem dversos algortmos classfcadores utlzados na tarefa de categorzação de textos, este trabalho utlzará três dos prncpas: Naïve Bayes, k- NN (k-nearest Neghbor) e SVM (Support Vector Machnes), devdo tratar-se de algortmos com resultados comprovadamente satsfatóros e utlzar métodos dstntos para tratar o problema de categorzação. Propõe-se também, um método de grupo, combnando os métodos anterores em um esquema de votação. A segur descrevem-se cada um deles. 2.1 Naïve Bayes O Naïve Bayes, é um classfcador probablístco baseado no teorema de Bayes, defndo na equação (1). P( d c ) ( ) P c d Pc (1) P( d ) Esse tpo de classfcador computa a probabldade de um documento d pertencer à classe c, assumndo que a presença de um termo em uma categora não está condconada a presença de qualquer outro. Devdo à ndependênca dos termos, apenas as varações para cada classe necessta de ser determnada, e não a matrz de covarânca completa (ZHANG, 2004). Segundo Domngos e Pazzan (1997), a ndependênca de termos na maora dos casos não prejudca a efcênca do classfcador. 2.2 k-nn O k-nn, é a base dos algortmos conhecdos como preguçosos (lazy algorthms). Ele armazena todo conjunto de trenamento e empenha todo o esforço em dreção à generalzação ndutva até o momento da classfcação (WETTSCHERECK; AHA; MOHRI, 1997). Esse classfcador representa cada exemplo como um ponto de dado em um espaço d-dmensonal, onde d é o número de atrbutos. Dado um exemplo de teste, calcula-se a proxmdade com o resto dos pontos de dados no conjunto de trenamento usando uma função de proxmdade (TAN; STEINBACH; KUMAR, 2009). Exemplos de função de proxmdade são: correlação, dstânca eucldana, medda de semelhança de Jaccard e co-seno, sendo as duas últmas mas ndcadas para ldar com dados de alta dmensonaldade, que é o caso de documentos. 2.3 SVM O SVM consttu uma técnca baseada na teora do aprendzado estatístco, baseado no prncípo de mnmzação do rsco estrutural ntroduzdo por Vapnk (2000). O objetvo desse algortmo é encontrar o hperplano de separação lnear ótmo entre duas classes, maxmzando 3

4 a margem entre seus pontos mas próxmos. O hperplano de classfcação é escolhdo durante a fase de trenamento como o únco que separa as nstâncas postvas conhecdas das nstâncas negatvas com a margem máxma entre elas (FELDMAN; SANGER, 2007). Os exemplos mas próxmos do hperplano são chamados vetores de suporte (support vectors). A Fgura 1 lustra esses concetos apresentando um exemplo de duas classes lnearmente separáves. Vetor de suporte Margem ótma Hperplano ótmo Fgura 1 Classes separadas lnearmente em um espaço b-dmensonal. Os vetores de suporte, em cnza, defnem a margem de maor separação entre as categoras Fonte: Adaptado de Cortes e Vapnk (1995) Para ldar com casos onde os exemplos de trenamento não são completamente separáves e um pequeno erro de classfcação é permtdo, utlza-se o conceto de margens suaves (soft margns), que ntroduz um parâmetro de custo C, especfcado pelo própro usuáro que determna o nível acetável de tolerânca a erros (BERRY; KOGAN, 2010). Outro parâmetro mportante a ser confgurado é o crtéro de parada (epslon), para evtar um loop nfnto na busca pelo hperplano ótmo. Neste trabalho, utlza-se a mplementação LIBSVM, crada por Chang e Ln (2011). 2.4 Método de Grupo O objetvo desta técnca é melhorar o desempenho da classfcação agregando a prevsão de múltplos classfcadores. Segundo Feldman e Sanger 2007, para obter bons resultados, os classfcadores devem ser sgnfcatvamente dferentes, seja na representação dos documentos ou no método de aprendzagem. Neste trabalho, é proposto um método de grupo utlzando-se dos três métodos descrtos anterormente. Em cada método, gera-se um valor de confança Conf, para cada par, c ), sendo d, o ( d documento e c, a categora. A confança é um valor normalzado dentro do ntervalo [0,1] que representa o nível de certeza de uma determnada predção. Em outras palavras, 4

5 representa o nível de pertnênca de um documento d à categora c, segundo um classfcador em partcular. Esse valor é calculado de forma dstnta para cada método, não cabendo ao escopo deste trabalho aprofundar neste processo. No método proposto, a categora atrbuída ao documento é aquela com maor soma das confanças nos três métodos m, utlzados. Para cada método, a confança é multplcada por um peso w, proporconal à posção do classfcador no rankng gerado após a etapa de otmzação de parâmetros e avalação prelmnar. Essa possbldade de combnação de classfcadores é menconada em Feldman e Sanger A equação (2) demonstra matematcamente o cálculo da pontuação C, de cada categora c e a equação (3), a atrbução da categora que obtver maor pontuação ao documento d. 3 C Conf ( d, c ) wm (2) m1 c( d ) max C C (3) 1, C2,..., Metodologa O expermento fo realzado através de cnco etapas descrtas nas próxmas subseções. O software open source Rapdmner, crado por Merswa et al (2006), fo utlzado como ferramenta prncpal ao longo do trabalho. Utlzou-se neste trabalho, 4336 artgos em língua portuguesa publcados em edções anterores do ENEGEP (ABEPRO, 2011) e SIMPEP (SIMPEP, 2011), sendo 3408 para trenamento dos classfcadores e 928 para testes. A Tabela 1 apresenta a dstrbução dos documentos nas onze categoras. Categoras Nº Artgos 1 GESTÃO DA PRODUÇÃO GESTÃO DA QUALIDADE GESTÃO ECONÔMICA ERGONOMIA E SEGURANÇA DO TRABALHO GESTÃO DO PRODUTO PESQUISA OPERACIONAL GESTÃO ESTRATÉGICA E ORGANIZACIONAL GESTÃO DO CONHECIMENTO ORGANIZACIONAL GESTÃO AMBIENTAL EDUCAÇÃO EM ENGENHARIA DE PRODUÇÃO ENG. PROD., SUSTENTABILIDADE E RESPONSABILIDADE SOCIAL 143 Total 4336 Tabela 1 Dstrbução dos documentos por categora 3.1 Pré-processamento dos documentos 5

6 O objetvo dessa etapa é representar os documentos de forma que eles possam ser processados pelos algortmos de aprendzagem. Prmeramente todos os documentos adqurdos em formato PDF foram transformados em texto smples, através do software Some PDF to TXT converter v1.0 (FREE ). A motvação fo o ganho em desempenho na execução dos algortmos, na ordem de vnte vezes, aproxmadamente. Após essa conversão, se manteve apenas o conteúdo textual dos documentos. Fguras e opções de formatação foram automatcamente gnoradas. Em seguda, fo necessáro exclur o tema do congresso para os documentos onde o mesmo fo dentfcado no corpo do texto, pos são termos que não representam com fdeldade seu conteúdo. Como os algortmos de aprendzagem de máquna são ncapazes de processar documentos em seu formato orgnal, durante essa etapa, realzou-se a representação dos documentos em vetores de característcas. O tpo mas comum de representação é chamado bag of words (saco de palavras), que utlza todos os termos do documento como característcas. Dessa forma, a dmensão do espaço de característcas é gual ao número de termos dferentes encontrados em todos os documentos. Exstem váras formas de atrbur pesos aos termos. Neste trabalho utlza-se a frequênca do termo normalzada, modelada matematcamente nas equações (4) e (5): O F (4) T FN 2 F F 2 F 2 1 F n (5) Onde: F : Frequênca do termo ; O : Ocorrêncas do termo ; T : Número de termos no documento; FN : Frequênca do termo normalzada. Antes de efetvamente gerar o vetor de característcas para cada documento, cnco processos são executados sequencalmente com o objetvo de reduzr a dmensão do espaço de representação dos documentos: Case foldng: Esse processo é responsável por transformar todas as letras dos termos em mnúsculas; Remoção de stopwords: O objetvo deste processo é remover termos que não apresentam um conteúdo semântco sgnfcatvo no contexto em que se apresentam no documento. Geralmente trata-se de palavras auxlares ou conectvas (por exemplo: a, de, aos, com), que não fornecem nenhuma nformação que venha a representar 6

7 conteúdo dos documentos. A exclusão se dará com base em um arquvo texto com a lsta dos termos; Prunnng: Especfca crtéros de elmnação. Neste trabalho, obtveram-se melhores resultados gnorando termos que ocorrem em menos de 4% dos documentos e em mas de 99% dos documentos. Foram removdas também as palavras com menos de cnco letras; Stemmng: O objetvo deste processo é a remoção do sufxo e prefxo dos termos que possam vr a representar uma varação verbal ou plural, gerando apenas os radcas de acordo com as regras gramatcas da língua utlzada. Por exemplo: os termos computação, computador e computar são transformados em comput. A prncpal fnaldade desse processo é a redução do espaço dmensonal. Neste trabalho, utlzouse o algortmo de Porter adaptado para a língua portuguesa na lnguagem snowball, crada pelo própro Porter. Informações sobre ao algortmo podem ser obtdas em Wllet (2006) e sobre a lnguagem snowball em Porter (2011). A Fgura 2 lustra a sequênca de processos modeladas no RapdMner. Fgura 2 Etapas do pré-processamento modeladas no Rapdmner Ao térmno dessa etapa, obtveram-se todos os 4336 representados no modelo bag of words, com uma redução do espaço dmensonal na ordem de 50,3%. 3.2 Otmzação de parâmetros e avalação prelmnar dos algortmos Prmeramente, defnu-se-se as métrcas utlzadas na avalação do desempenho dos métodos: acuráca (accuracy), precsão (precson), abrangênca (recall) e F 1. A acuráca, a, é a medda mas básca de efcênca do classfcador, sendo a fração de documentos corretamente categorzados. Abrangênca, r, é defnda como a fração dos documentos de uma categora corretamente classfcados. Precsão, p, é defnda como a fração de documentos corretamente classfcados dentre todos os documentos atrbuídos pelo classfcador a uma categora. Portanto, uma abrangênca perfeta é alcançada caso todos os documentos da categora em questão sejam nela classfcados, ndependentemente se outros documentos de outras categoras sejam também atrbuídos a ela. Por outro lado, uma boa precsão é alcançada ao evtar que documentos provenentes de dferentes categoras sejam atrbuídos a uma só. Em vrtude da varedade de aspectos de avalação, uma abordagem mas usual para avalar o desempenho da categorzação é F 1, uma combnação entre precsão e abrangênca, dada pela 7

8 méda harmônca dessas duas métrcas. As equações (6), (7), (8) e (9) defnem as métrcas ctadas anterormente: DC a (6) TD VP p (7) VP FP VP r (8) VP FN 2 F1 (9) 1 1 p r Onde: DC : documentos corretamente categorzados; TD : total de documentos; VP : verdadero-postvos; FP : falso-postvos; FN : falso-negatvos. Com os documentos devdamente representados no modelo bag of words, o próxmo passo fo utlzar os 3408 documentos separados ncalmente para otmzação dos parâmetros e trenamento dos algortmos de forma a maxmzar sua acuráca, estmando assm o desempenho do classfcador quando apresentados ao conjunto de teste. A busca pelos parâmetros ótmos deu-se de forma empírca utlzando duas técncas em conjunto para auxlar neste processo: A busca por força bruta (grd search), bascamente uma forma automátca de varar um parâmetro dentro de uma faxa pré-estabelecda de valores ncrementada por alguma função, e a valdação cruzada, que consste em dvdr o conjunto de trenamento em x subconjuntos de gual tamanho, testando sequencalmente cada subconjunto no classfcador trenado com os elementos dos subconjuntos x 1 restantes (HSU; CHANG; LIN, 2010). Neste trabalho realzou-se a busca por força bruta utlzando valdação cruzada com x 10 e a acuráca obtda fo armazenada. Esse processo fo utlzado na escolha do valor de k (número de vznhos) para o algortmo k-nn, e do valor de C (nível de tolerânca a erros) e (crtéro de parada) para o SVM. O classfcador Naïve Bayes não necessta de customzação de parâmetros. 8

9 Para o algortmo k-nn, o objetvo fo encontrar o valor de k que maxmzasse a acuráca do modelo. Para sso, realzou-se uma busca por força bruta com 50 valores de k em escala logarítmca na faxa de 1 a 100 utlzando a valdação cruzada para avalação de cada teração. Ao fnal do processo, chegou-se ao número de 23 vznhos. A Fgura 3 demonstra o resultado desse processo. Fgura 3 Resultado do processo de busca pelo valor de k do algortmo k-nn Dferentemente do processo de busca por força bruta utlzado para encontrar o melhor valor de k, do classfcador k-nn, para o classfcador SVM não se utlzou todo o conjunto de trenamento devdo ao alto custo computaconal e tempo exgdo para a conclusão do processo. Por esta razão, optou-se por utlzar 10% do conjunto de trenamento, respetando o balanceamento entre as categoras. Conforme sugerdo por Hsu, Chang e Ln, 2010, os valores de C e vararam exponencalmente da segunte forma: C = {2-5, 2-3,...,2 9 } e ={2-15, 2-13,...,2 1 }. Apesar do resultado da busca apontar para os valores C = 2 e = 0,00003, quando se utlzou todo o conjunto de trenamento, a acuráca fo menor que a obtda com os valores padrões (C = 0 e = 0,001), portanto, esses últmos foram utlzados. A tabela com o resultado deste processo de busca pode ser consultado no APENDICE Geração dos modelos de classfcação Superada a otmzação e avalação prelmnar, gerou-se o modelo de cada classfcador com os parâmetros ótmos e com os 3408 documentos de trenamento servndo como base de aprendzagem. A Fgura 4 lustra esse processo modelado no Rapdmner. 9

10 Fgura 4 Modelagem feta no RapdMner para geração dos classfcadores Observa-se que o mesmo conjunto de trenamento é utlzado em todos os classfcadores. 3.4 Testes Na etapa de testes, realzou-se a classfcação propramente dta, onde os 928 documentos separados para essa fnaldade foram submetdos aos três classfcadores, e o resultado de cada classfcação, nclundo a confança para cada par (, c ), gravado em um arquvo. Vale ressaltar que esses documentos não foram utlzados na etapa de otmzação e avalação prelmnar dos algortmos. Na Fgura 5, o modelo construído para o teste de classfcação é apresentado. d Fgura 5 Modelagem feta no RapdMner para classfcação dos documentos de teste 10

11 Além da classfcação, realzou-se um expermento para verfcar o grau de smlardade entre os documentos das onze categoras da Engenhara de Produção servndo como nsumo de avalação do desempenho dos classfcadores, utlzando a medda de proxmdade smlardade do co-seno. Neste expermento, combnaram-se documentos de cada área para representá-la, de forma a utlzar-se de pelo menos um documento de cada subárea. Como base de comparação, o mesmo expermento fo realzado com três artgos de outras áreas do conhecmento completamente dstntas: Odontologa, Dreto e Informátca. 4. Resultados e Dscussões Esta seção apresenta os resultados obtdos desde a etapa de otmzação de parâmetros e avalação prelmnar até os resultados de cada classfcador quando confrontados com o conjunto de teste. Na Tabela 2, é apresentado o resultado de cada classfcador na etapa de otmzação de parâmetros e avalação prelmnar. Categoras SVM k-nn Naïve Bayes Precsão Abrangênca F 1 Precsão Abrangênca F 1 Precsão Abrangênca F 1 1 GESTÃO DA PRODUÇÃO 0,63 0,60 0,62 0,59 0,57 0,58 0,58 0,54 0,56 2 GESTÃO DA QUALIDADE 0,75 0,75 0,75 0,69 0,79 0,74 0,68 0,75 0,72 3 GESTÃO ECONÔMICA 0,68 0,71 0,70 0,69 0,66 0,68 0,68 0,66 0,67 4 ERGONOMIA E SEGURANÇA DO TRABALHO 0,88 0,90 0,89 0,86 0,88 0,87 0,89 0,84 0,87 5 GESTÃO DO PRODUTO 0,77 0,74 0,75 0,66 0,69 0,68 0,65 0,72 0,68 6 PESQUISA OPERACIONAL 0,72 0,78 0,75 0,77 0,68 0,72 0,75 0,64 0,69 7 GESTÃO ESTRATÉGICA E ORGANIZACIONAL 0,65 0,63 0,64 0,63 0,62 0,62 0,66 0,51 0,58 8 GESTÃO DO CONHECIMENTO ORGANIZACIONAL 0,68 0,73 0,70 0,61 0,75 0,67 0,51 0,80 0,62 9 GESTÃO AMBIENTAL 0,71 0,73 0,72 0,72 0,68 0,70 0,76 0,54 0,64 10 EDUCAÇÃO EM ENGENHARIA DE PRODUÇÃO 0,72 0,68 0,70 0,72 0,53 0,61 0,75 0,54 0,63 11 ENG. PROD., SUSTENTABILIDADE E RESP. SOCIAL 0,58 0,38 0,46 0,70 0,27 0,39 0,48 0,43 0,45 Acuráca 71,10% 68,12% 65,61% Tabela 2 Resultado do processo de otmzação e avalação prelmnar dos classfcadores De acordo com os resultados obtdos nessa etapa, o classfcador SVM obteve melhor acuráca, com 71,10%, o k-nn fo o segundo colocado com 68,12% e o Naïve Bayes o tercero com 65,61%. A partr desses resultados defnram-se os pesos w m para o método de grupo proposto como sendo: w 2 para o SVM, w 1, 5 para o k-nn e w 1para o Naïve Bayes. Observa-se na Tabela 3, que de forma geral se obteve um desempenho nferor dos três classfcadores em todas as métrcas quando apresentados ao conjunto de teste comparado aos valores obtdos na etapa de otmzação e avalação prelmnar. Pequenas dferenças entre o desempenho estmado e o real são comuns na maora dos casos. O classfcador SVM, apesar de manter-se como o de melhor desempenho, apresentou a maor queda na acuráca entre as etapas (5,48%). O classfcador k-nn obteve a menor varação entre o desempenho estmado e o real. 11

12 Categoras SVM k-nn Naïve Bayes Precsão Abrangênca F 1 Precsão Abrangênca F 1 Precsão Abrangênca F 1 1 GESTÃO DA PRODUÇÃO 0,87 0,52 0,65 0,83 0,54 0,65 0,82 0,50 0,62 2 GESTÃO DA QUALIDADE 0,64 0,77 0,70 0,61 0,77 0,68 0,57 0,73 0,64 3 GESTÃO ECONÔMICA 0,60 0,73 0,66 0,53 0,66 0,59 0,57 0,66 0,61 4 ERGONOMIA E SEGURANÇA DO TRABALHO 0,69 0,89 0,78 0,69 0,81 0,75 0,72 0,87 0,79 5 GESTÃO DO PRODUTO 0,53 0,69 0,60 0,49 0,85 0,62 0,40 0,65 0,50 6 PESQUISA OPERACIONAL 0,40 0,53 0,46 0,51 0,47 0,49 0,44 0,40 0,42 7 GESTÃO ESTRATÉGICA E ORGANIZACIONAL 0,61 0,70 0,65 0,59 0,71 0,65 0,59 0,54 0,56 8 GESTÃO DO CONHECIMENTO ORGANIZACIONAL 0,66 0,80 0,72 0,64 0,83 0,72 0,51 0,87 0,64 9 GESTÃO AMBIENTAL 0,63 0,83 0,71 0,63 0,78 0,70 0,72 0,72 0,72 10 EDUCAÇÃO EM ENGENHARIA DE PRODUÇÃO 0,44 0,71 0,55 0,47 0,47 0,47 0,42 0,47 0,44 11 ENG. PROD., SUSTENTABILIDADE E RESP. SOCIAL 0,72 0,39 0,51 0,81 0,37 0,51 0,71 0,52 0,60 Acuráca 65,62% 64,87% 61,53% Tabela 3 Resultado dos classfcadores com o conjunto de teste A Tabela 4 apresenta o resultado do classfcador de grupo proposto, que obteve melhor desempenho em todas as métrcas utlzadas, superando o desempenho ndvdual do método SVM. Categoras Método de Grupo Precsão Abrangênca F 1 1 GESTÃO DA PRODUÇÃO 0,91 0,60 0,72 2 GESTÃO DA QUALIDADE 0,68 0,87 0,76 3 GESTÃO ECONÔMICA 0,72 0,89 0,80 4 ERGONOMIA E SEGURANÇA DO TRABALHO 0,77 0,96 0,86 5 GESTÃO DO PRODUTO 0,65 0,77 0,70 6 PESQUISA OPERACIONAL 0,57 0,60 0,59 7 GESTÃO ESTRATÉGICA E ORGANIZACIONAL 0,71 0,81 0,76 8 GESTÃO DO CONHECIMENTO ORGANIZACIONAL 0,68 0,88 0,76 9 GESTÃO AMBIENTAL 0,71 0,87 0,78 10 EDUCAÇÃO EM ENGENHARIA DE PRODUÇÃO 0,52 0,65 0,58 11 ENG. PROD., SUSTENTABILIDADE E RESP. SOCIAL 0,88 0,46 0,60 Acuráca 73,71% Tabela 4 Resultado do classfcador de grupo proposto com o conjunto de teste Observando os resultados da Tabela 4 é possível obter-se algumas conclusões. Com exceção das categoras 6, 10 e 11, todas obtveram um valor de F 1 acma de 0,70. A categora 4 obteve melhor valor de F 1, sto é, tem o melhor desempenho de classfcação combnando a precsão e a abrangênca (0,86). Além dsso, fo a categora que atngu o maor nível de abrangênca, com 96% dos documentos pertencentes à categora 4 corretamente classfcados. Na prátca sso se traduz em um alto número de verdadero-postvos. Pode-se afrmar, que os documentos pertencentes a essa categora, possuem uma grande quantdade de termos que pesam em sua representação de forma a dferencá-la bastante das demas. A categora que atngu o maor nível de precsão fo a categora 1, com 91%. Isto representa um baxo número de falso-postvos. A categora 11 demonstrou-se como a de menor abrangênca e a 10 de menor precsão. Pelos dados da Tabela 5, observa-se que as categoras 11 e 9, possuem o maor grau de smlardade, que se traduz na prátca como documentos que compartlham grande quantdade de termos com pesos equvalentes, sugerndo publcação em ambas áreas, mas contrbu para a baxa abrangênca apresentada pela categora 11 no expermento realzado. Na Tabela 6 apresenta-se como referênca, o cálculo de smlardade de documentos de áreas totalmente dstntas obtdas em um expermento de apoo para esta fnaldade. 12

13 Categora 1 Categora 2 smlardade , , , , ,275 Tabela 5 Os cnco pares de categoras com maor grau de smlardade dentre as onze categoras da Engenhara de Produção Categora 1 Categora 2 smlardade Dreto Odontologa 0,007 Dreto Informátca 0,008 Odontologa Informátca 0,008 Tabela 6 Teste de smlardade com artgos de Dreto, Odontologa e Informátca Para lustrar um caso prátco, a escolha da área de submssão do presente artgo (8.Gestão do Conhecmento Organzaconal) fo realzada utlzando o classfcador proposto. A Tabela 7 apresenta o resultado da votação que determnou essa escolha. Categoras Pontuação 0,30 0,70 0,43 0,10 0,09 1,02 0,03 1,24 0,06 0,50 0,02 Tabela 7 Resultado da categorzação do presente artgo pelo método proposto 5. Conclusão Consderando o alto grau de smlardade entre documentos de algumas categoras comprovado expermentalmente, e o fato de não exstr na lteratura um valor mínmo estpulado para determnar se os valores das métrcas: acuráca, precsão e abrangênca são satsfatóros, trazendo essa subjetvdade aos especalstas do domíno estudado, conclu-se que o classfcador proposto neste trabalho pode ser utlzado em uma ferramenta de apoo a professores e alunos da área de Engenhara de Produção, de forma a auxlá-los no processo de escolha da melhor área para publcação do seus artgos. Além dsso, pelos resultados obtdos neste trabalho, sugere-se utlzar o mesmo modelo adaptando-o para realzar o segundo nível de classfcação, determnando a subárea de publcação do artgo. Enfm, espera-se que este trabalho contrbua para o crescmento, organzação e qualdade da produção centífca em Engenhara de Produção no Brasl. Referêncas 13

14 ABEPRO (Brasl) (Org.). ANAIS ENEGEP. Dsponível em: < Acesso em: 19 fev ABEPRO (Ro de Janero). Áreas e Sub-áreas para envo de artgos. Dsponível em: < >. Acesso em: 08 abr BERRY, Mchael W.; KOGAN, Jacob. Text Mnng Applcatons and Theory. Wley, p. CADWeb, Dsponível em: < Acesso em: 04 abr CAPES (Brasl). Relação de Cursos Recomendados e Reconhecdos. Dsponível em: < &descrcaoArea=ENGENHARIAS+&descrcaoAreaConhecmento=ENGENHARIA+DE+PRODU% C7%C3O&descrcaoAreaAvalacao=ENGENHARIAS+III>. Acesso em: 19 mar CHANG, Chh-chung; LIN, Chh-jen. LIBSVM: A lbrary for support vector machnes. Acm Trans. Intell. Syst. Technol., New York, p.1-27, Dsponível em: < Acesso em: 20 mao CORTES, Cornna; VAPNIK, Vladmr. Support-Vector Networks. Machne Learnng, v. 20, p , DOMINGOS, P.; PAZZANI, M. On The Optmalty of the Smple Bayesan Classfer Under Zero-one Loss. Machne Learnng, 29 (2/3), 103, FELDMAN, Ronen; SANGER, James. THE TEXT MINING HANDBOOK: Advanced Approaches n Analyzng Unstructured Data. New York: Cambrdge Unversty Press, p. FREE PDF to TXT Converter, Dsponível em: < Acesso em: 20 mar GOMES, Georga Regna Rodrgues; MORAES FILHO, Rubens de Olvera. CADWeb Categorzação automátca de documentos dgtas. C. Inf., Brasíla, v. 1, n. 40, p.68-76, jan HSU, Chh-we; CHANG, Chh-chung; LIN, Chh-jen. A Practcal Gude to Support Vector Classfcaton. Bonformatcs, v. 1, p.1-16, Dsponível em: < Acesso em: 20 mao MARON, M. E.; KUHNS, J. L.. On Relevance, Probablstc Indexng and Informaton Retreval. Journal Of The Acm (jacm), New York, v. 8, n. 3, p , jul MIERSWA, Ingo et al. YALE: Rapd Prototypng for Complex Data Mnng Tasks. Proceedngs Of The 12th Acm Sgkdd Internatonal Conference On Knowledge Dscovery And Data Mnng: KDD, Phladelpha, p , Dsponível em: < Acesso em: 02 mao NUPENGE (Brasl). CURSOS DE GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO. Dados organzados pelo NUPENGE (Núcleo de Estudos e Pesqusas sobre Formação e Exercíco Profssonal em Engenhara da UFJF) com base nos dados coletados do ste Revsado em julho de Apoo: ABEPRO. Dsponível em: < Acesso em: 19 mar

15 PORTER, Martn F.. Snowball: A language for stemmng algorthms. Dsponível em: < Acesso em: 20 mao SEBASTIANI, Fabrzo. Machne learnng n automated text categorzaton. Acm Computng Surveys, v. 34, n. 1, p.1-47, SIMPEP (Brasl). ANAIS SIMPEP. Dsponível em: < Acesso em: 19 mar TAN, Pang-nng; STEINBACH, Mchael; KUMAR, Vpn. Introdução ao DATA MINING Mneração de Dados. Ro de Janero: Cênca Moderna Ltda, p. VAPNIK, Vladmr. The Nature of Statstcal Learnng Theory. 2. ed. New York: Sprnger, p. WETTSCHERECK, Detrch; AHA, Davd W.; MOHRI, Takao. A Revew and Emprcal Evaluaton of Feature Weghtng Methods for a Class of Lazy Learnng Algorthms. Rtfcal Intellgence Revew, Sprnger Netherlands, v. 11, n. 1, p , 01 fev Dsponível em: < Acesso em: 04 abr WILLETT, Peter. The Porter stemmng algorthm: then and now. Program: Electronc Lbrary And Informaton Systems, v. 40, n. 3, p , ZHANG, H.. The optmalty of nave bayes. Proceedngs Of The Seventeenth Internatonal Florda Artfcal Intellgence Research Socety Conference, Mam Beach, p , Dsponível em: < Acesso em: 23 mar ANEXO 15

16 C acuráca (%) 2,00 0, ,94 0,50 0, ,14 0,50 0, ,96 2,00 0, ,79 0,50 0, ,63 0,50 0, ,63 32,00 0, ,62 2,00 0, ,36 8,00 0, ,32 512,00 0, ,31 128,00 0, ,30 512,00 0, ,17 2,00 0, ,17 8,00 0, ,15 128,00 0, ,14 2,00 0, ,13 32,00 0, ,12 0,50 0, ,98 2,00 0, ,98 0,50 0, ,80 128,00 0, ,79 512,00 0, ,79 2,00 0, ,79 32,00 0, ,66 8,00 0, ,65 8,00 0, ,64 0,13 0, ,50 8,00 0, ,49 8,00 0, ,48 0,50 0, ,48 128,00 0, ,35 8,00 0, ,32 32,00 0, ,31 32,00 0, ,30 512,00 0, ,29 0,13 0, ,14 512,00 0, ,13 32,00 0, ,00 32,00 0, ,83 512,00 0, ,65 128,00 0, ,49 0,13 0, ,31 128,00 0, ,30 0,13 0, ,16 128,00 0, ,16 0,13 0, ,16 0,13 0, ,15 0,13 0, ,68 512,00 0, ,36 512,00 2, ,71 2,00 2, ,54 32,00 2, ,53 8,00 2, ,20 0,50 2, ,18 128,00 2, ,02 0,03 0, ,54 0,03 0, ,85 0,03 0, ,19 0,03 0, ,19 0,03 0, ,04 0,03 0, ,72 0,03 0, ,54 0,13 2, ,22 0,03 2, ,06 APÊNDICE 1 Resultado do processo de busca por força bruta dos parâmetros C e ε do classfcador SVM. 16