Sistema Conexionista para Auxilio de Detecção de Fraudes em Trabalhos Acadêmicos

Transcrição

1 Sistema Conexionista para Auxilio de Detecção de Fraudes em Trabalhos Acadêmicos Douglas Pereira Pasqualin 1, João Ricardo Bittencourt 2 1 Centro Universitário Franciscano (UNIFRA) Rua Andradas Santa Maria RS Brasil 2 Universidade do Rio do Vale dos Sinos (UNISINOS) Av. Unisinos São Leopoldo RS Brasil douglas.pasqualin@gmail.com, jrbitt@ludensartis.com.br Abstract. Nowadays the plagiarism is common in universities. The growing of Internet and easily access to computer are factors to contribute to cheating. This paper shows a purpose of computational solution to help professors in plagiarism detection in academic papers. This initial purpose consists to metric extraction in texts and after that to use these to train an Artificial Neural Network. This is responsible to define for texts a level of plagiarism used to order academic works by probability of cheating. Resumo. Atualmente o plágio está se tornando cada vez mais comum no meio acadêmico. A facilidade do uso do computador associada ao grande crescimento da Internet é um dos fatores que contribui para isso. Este artigo apresenta uma proposta de solução informatizada para auxiliar os docentes na detecção de fraudes em trabalhos acadêmicos. Esta proposta consiste inicialmente na extração de métricas dos textos sendo posteriormente usada no treinamento de uma Rede Neural Artificial para classificar os textos como sendo fraudes ou não. 1. Introdução A Internet é atualmente, uma poderosa ferramenta, usada principalmente para comunicação e pesquisas. Apesar dessas facilidades, copiar partes ou todo o trabalho de uma pessoa (artigos, dissertações, monografias), simplesmente trocando o nome do autor, torna-se uma prática bastante comum no ambiente acadêmico. Inclusive existem sites especializados na comercialização de trabalhos acadêmicos. É importante ressaltar que o plágio é uma violação de direito autoral, previsto no código penal brasileiro, em especial no Artigo 179 e 184 que prevê o crime de estelionato e violação de direito autoral respectivamente, com penas de três meses a cinco anos de reclusão, mas na maioria das situações nada acontece, pois o único que pode entrar com uma ação judicial é o proprietário da obra. Conforme [1], vários são os fatores que levam os discentes a tal ato: não ter tempo para pesquisar e escrever, medo de fracassar, necessidade de tirar a melhor nota, pressão dos pais e preguiça são alguns dos fatores. Considerando essas infrações no âmbito acadêmico podem ser geradas punições administrativas. Além disso, trata-se de um problema ético bastante grave que deve ser estudado com os discentes. Portanto simplesmente ignorar o fato do plágio em sala de aula é estar em concordância com a ilegalidade e não estar colaborando com a formação

2 do cidadão. Tal prática também se torna bastante problemática do ponto de vista didático, pois acaba desestimulando o docente em adotar técnicas mais construtivas para avaliação do processo de aprendizagem dos alunos, pois sabe-se que muitos alunos irão recorrer a esta prática ilícita. Para o docente adotar práticas de elaboração de trabalhos científicos, tais como artigos e preocupando-se com a proliferação do plágio e na formação ética de seus estudantes, o docente deverá passar um longo período de tempo pesquisando na Internet por materiais semelhantes aos artigos entregues pelos alunos. Certamente esta busca é exaustiva, tornando praticamente impossível de ser realizada em algumas situações, principalmente quando o prazo para as correções é curto e/ou quanto ao número de aprendizes for muito elevado. Já existem algumas ferramentas que auxiliam na detecção do plágio em trabalhos acadêmicos como o Glatt Plagiarism Program [2] e o Turnitin [3]. Entretanto, tratam-se de soluções comerciais proprietárias e focadas na língua inglesa. A solução atual e mais econômica, usada por muitos professores consiste em copiar trechos do trabalho do aluno e fazer buscas em sites de busca, como o Google, para verificar se retornam resultados positivos, a fim de se identificar o plágio, ou simplesmente observando o texto à procura de evidências de fraude [4]. Para auxiliar na detecção do plágio está sendo desenvolvido um software, sob a filosofia de Software Livre que permita o docente criar uma lista ordenada de trabalhos por probabilidade de plágio através da criação de um índice de plágio para o trabalho acadêmico. É importante destacar que esta solução está focando a Língua Portuguesa. O objetivo do presente artigo é apresentar os resultados iniciais desta investigação e o procedimento metodológico para implementação da solução proposta, e está divido em quatro partes. Na parte 2 será descritivo o funcionamento do sistema desenvolvido; na parte 3 é efetuada uma breve introdução à metodologia conexionista e na parte 4 são feitas as considerações finais. 2. Proposta da solução computacional Inicialmente, para fins experimentais, o sistema está sendo desenvolvido em Delphi e Java, mas futuramente pretende-se desenvolvê-lo totalmente em Java, tornando-o multiplataforma e possibilitando integrá-lo com ambientes virtuais de aprendizagem, criando um sistema totalmente baseado na web e de fácil uso para o docente. A metodologia que está sendo usada trata-se dos passos que o sistema proposto para efetuar a detecção de plágio irá executar: 1. Converter o documento no formato PDF para um formato de texto puro (ASCII). Para efetuar esta conversão adotou-se o software XPDF [5]. Pressupõe-se como padrão que o aluno irá entregar o artigo no formato PDF, entretanto futuramente pretende-se estender a aplicação para outros formatos de texto Além disso, parte-se da condição que o artigo está formatado conforme os padrões estabelecidos pela Sociedade Brasileira de Computação (SBC); 2. Extrair frases do documento de texto gerado (ASCII), adotando algumas heurísticas para evitar a inclusão de frases não significativas. Primeiramente descartamse frases com menos de quatro palavras, evitando assim frases comuns, como: isto é, mas porém, por exemplo, entre outras frases. Uma frase é extraída do texto sempre que forem encontrados os seguintes caracteres: vírgula, ponto, ponto e vírgula, dois pontos, parênteses, colchetes, aspas e sustenido. Além disso, as frases que tratam-se de datas são ignoradas. Para isto adotou-se um autômato que reconhece o padrão textual

3 como uma data. Cada frase possui no máximo dez palavras, pois este é o limite usado para efetuar uma pequisa no Google. Estas frases são armazenadas em um arquivo auxiliar na mesma seqüência que foi encontrada no documento. É possível também cadastrar frases que devem ser ignoradas quando encontradas, tais como nomes de universidades e outras frases que retornam muitos resultados no Google e que não são significativas. Segundo [6], o Google foi desenvolvido para ser uma ferramenta de busca de larga escala que provém resultados de alta qualidade mesmo com o rápido crescimento da web, por este motivo o Google foi escolhido como o site onde serão feitas as buscas. 3. Para cada frase extraída no passo 2 verificar o resultado total de uma busca efetuada no Google usando tal frase. Assim associa-se um valor numérico a cada frase que corresponde ao grau de similaridade de uma frase de um documento com as demais frases de outros documentos encontrados na web. Para evitar um longo período de tempo para efetuar as buscas, adotou-se empiricamente que se o total de frases extraídas de um documento for maior que 200 (duzentos) a busca é efetuada por amostragem. Preservando a seqüência das frases são selecionadas aleatoriamente frases gerando uma amostra que garanta um nível de confiança de 95% e uma margem de erro de 5%. 4. Organizar o total de frases em dez grupos. Para cada grupo é somado o resultado da busca efetuada no Google para cada frase pertencente ao grupo. Assim, cria-se um vetor com dez posições contendo os resultados para cada zona do texto, a posição zero do vetor representa o início do texto, enquanto que a posição nove representa o final do documento. Feito isto, normaliza-se os resultados para o intervalo [0;1] adotando como valor máximo o maior número de resultados encontrados em uma região das dez posições. Destaca-se que definiu-se dez grupos de forma empírica para os testes iniciais. Este número poderá ser alterado nos próximos experimentos. Na Figura 1 e 2 é possível visualizar a divisão dos grupos e a normalização dos resultados. Destacase que nestes exemplos visualmente é possível verificar uma distribuição de freqüência diferenciada para um texto que não constitui plágio e outro que foi copiado da Internet. Com exceção do último grupo, que trata-se da região referente a bibliografia do artigo, um texto plagiado possui sempre alguma variação nas freqüências do grupo. Acredita-se que este padrão possa ser reconhecido por uma Rede Neural Artificial (RNA) e sirva como base para detecção de fraudes. Exemplo Não Plágio Valor Grupos Figura 1. Distribuição de freqüência para exemplificar a divisão dos grupos (Exemplo Não Plágio).

4 Exemplo Plágio Valor Grupos Figura 2. Distribuição de freqüência para exemplificar a divisão dos grupos (Exemplo Plágio). 5. Utilizar uma Rede Neural Artificial (RNA) previamente treinada (veja a seção 3) para classificar o texto como plágio ou não-plágio. A RNA possui uma saída que permite uma representação binária que retorna um valor contínuo entre o intervalo [0;1] no qual o resultado zero indica (não-plágio) e o resultado 1 indica (plágio). Desta forma atribui-se um grau de plágio ao documento que está sendo avaliado. No caso de uma aplicação para um docente que possui vários trabalhos para serem consultados é possível ordenar de forma decrescente os trabalhos pelo grau de plágio. Na Figura 3 é apresentado o sistema que está sendo desenvolvido para viabilizar os testes iniciais. Figura 3: Tela do sistema desenvolvido em Delphi, em funcionamento. A caixa a direita da Figura 1, são os procedimentos que podem ser feitos. Eles consistem no que foi explicado nos passos de 1 à 4. O botão no canto inferior esquerdo, abre a tela para cadastro de frases não significativas, conforme descrito no final do passo 2. Conforme cada passo vai sendo executado, um log é apresentado na tela.

5 Na Figura 4 é apresentada a tela onde são feitas as buscas no Google. O primeiro número a esquerda é o número seqüencial da frase, e o de dentro dos parênteses é o número de resultados conseqüente da busca feita no Google. Figura 4: Tela do sistema de buscas, desenvolvido em Java. 3. Abordagem Conexionista Para verificação do nível de plágio dos documentos será usada uma RNA, que consiste num modelo matemático, semelhante a estrutura neural biológica e possui a capacidade de aprendizado e generalização [7]. Para atribuir um grau de plágio para um documento será adotada uma RNA cuja topologia trata-se de uma rede feed-forward treinada com o algoritmo de aprendizado supervisionado, Backpropagation [8]. Serão usadas dez entradas (vetor normalizado de resultados descrito no passo 5 da seção 2) para RNA e uma saída (grau de plágio). O aplicativo descritivo anteriormente será usado para criar as bases de exemplos (treino e teste). Para cada arquivo que será usado como exemplo são executados os passos de 1 à 5 para criar o vetor de resultados que será rotulado como plágio (1) ou não-plágio (0), por um operador humano. Este operador é um professor portador do conhecimento especializado para desempenhar tal tarefa. Para o teste inicial foi escolhido o algoritmo Backpropagation, pois é bastante utilizado e eficiente para problemas de classificações de padrões [9][10], mas pretende-se utilizar outros algoritmos e métodos em trabalhos futuros. Além disso, tal técnica já é estudada pelos pesquisadores [11]. As bases de exemplos usadas para treinamento e validação serão criadas a partir de artigos publicados em anais em CD-ROM da SBC, na criação de documentos que tratam-se de cópias literais de textos da Internet e artigos entregues por alunos da graduação. O treinamento está sendo efetuado usando o Nevprop [12] e o arquivo de pesos gerado por este aplicativo será usado pelo ANNeF [13] (framework livremente distribuído para ser utilizado em aplicações que requerem algoritmos de RNA, desenvolvido em Java) para ser integrado no sistema e utilizado no passo 5 conforme foi descrito na seção 2.

6 4. Considerações Finais e Trabalhos Futuros As etapas iniciais da proposta já foram implementadas, como efetuar as buscas no Google e gerar o arquivo para treinamento e teste da RNA, a etapa de treinamento da RNA ainda encontra-se em fase inicial. Após o término desta etapa pretende-se migrar o sistema para Java e testar outros métodos para a classificação de plágio, tais como: outros algoritmos de RNA, Árvores de Decisão, análise de correlação e algum método baseado no estilo do autor como proposto em [14]. Existe a possibilidade de utilizar as classes Java em PHP integrando a solução ao ambiente TelEduc (Sistema para ensino a distância desenvolvido pelo Núcleo de Informática Aplicada à Educação da UNICAMP) [15] ou tornar a solução proposta genérica para ser usado em qualquer comunidade virtual de aprendizagem. Desenvolvendo este sistema espera-se estar colaborando com a qualificação do ensino superior, seja em relação à qualidade dos artigos produzidos pelos discentes quanto na formação ética dos acadêmicos. Referências Bibliográficas [1] SHEARD, Judy; DICK, Martin. Influences on cheating practice of graduate students in IT courses: what are the factors? In: Proceedings of the 8th annual conference on Innovation and technology in computer science education, p [2] Glatt Plagiarism Program, disponível em acesso em 12/03/2005. [3] Turnitin, acesso em 12/03/2005. [4] EYSENBACH, Gunther. Report of a case of cyberplagiarism - and reflections on detecting and preventing academic misconduct using the Internet. Journal of Medical Internet Research: Volume 2, Issue1, Article e.4, [5] XPDF, disponível em acesso em 15/12/2004. [6] BRIN, Sergey; Page Lawrence. The anatomy of a largescale hypertextual Web search engine. In: Proceedings of the seventh International World Wide Web Conference, 1998, p [7] REZENDE, Solange Oliveira (org.). Sistemas Inteligentes: Fundamentos e Aplicações. Ed. Manole, 2003, 525p [8] RUMELHART, D.; HINTON, G.; WILLIAMS, R. Learning internal representations by error propagation. In: RUMELHART, D.; MACCLELLAND, J.L. Parallel distributed processing: explorations in the microstructure of cognition. Cambridge: MIT Press, v.1. [9] BITTENCOURT, J. R.; OSÓRIO, Fernando. S. O Uso de Redes Neurais Artificiais na Detecção de Pele em Imagens Digitais visando o Reconhecimento de Gestos. In: XI SEMINCO, 2002, Blumenau. Anais do XI Seminário de Computação (SEMINCO). Blumenau: Universidade Regional de Blumenau, v. 1. p [10] BITTENCOURT, J. R.; OSÓRIO, Fernando. S. O Uso de Redes Neurais Artificiais no Processamento de Imagens Inteligente. In: I Workshop de Computação Aplicada, 2002, São Leopoldo. Anais do I Workshop de Computação Aplicada. São Leopoldo: UNISINOS, 2002.

7 [11] BITTENCOURT, J. R.; OSÓRIO, Fernando. S. Processamento de Imagens Inteligente usando Redes Neurais Artificiais. In: Marininha Aranha Rocha; Tania Rodrigues da Cruz. (Org.). Aprendizado, criação e integração na Iniciação Científica. Porto Alegre, 2002, v., p [12] NevProp Artificial Neural Network Software, disponível em acesso em 14/03/2005 [13] BITTENCOURT, J. R.; OSÓRIO, F. S. ANNeF - Artificial Neural Networks Framework: Uma Solução Software Livre para o Desenvolvimento, Ensino e Pesquisa de Aplicações de Inteligência Artificial Multiplataforma. In: II WORKSHOP SOBRE SOFTWARE LIVRE. Porto Alegre: Sociedade Brasileira de Computação, p [14] GRUNER, Stefan; NAVEN, Stuart. Tool Support for Plagiarism Detection in Text Documents. In: Proceedings of the 2005 ACM symposium on Applied computing, p [15] TelEduc, acesso em 12/03/2005.