Experimentação em Engenharia de Software: Glossário de Termos

Transcrição

1 Experimentação em Engenharia de Software: Glossário de Termos Vitor Pires Lopes, Guilherme Horta Travassos COPPE / UFRJ Programa de Engenharia de Sistemas e Computação Caixa Postal , CEP , Rio de Janeiro Brasil {vitorlopes, ght}@cos.ufrj.br Abstract. There is an increasing agreement in the Software Engineering community that experimentation is necessary to develop or to improve software development and maintenance processes, methods and tools. Motivated by the importance of Experimental Software Engineering, some researchers have tried to adapt concepts and definitions to their own perspectives and research practices. This scenario frequently leads to difficulties in knowledge exchanging between research groups and, mainly, in study results comparison. To address this problem, a glossary of terms concerned with Experimental Software Engineering has been organized. This paper describes the construction of this glossary and introduces a web-based tool that turns it accessible to the research community. Resumo. Existe um consenso crescente na comunidade de Engenharia de Software que experimentação é necessária para desenvolver ou melhorar processos de desenvolvimento e manutenção de software, métodos e ferramentas. Motivados pela importância da Engenharia de Software Experimental, alguns pesquisadores tentam adaptar conceitos e definições a suas perspectivas e práticas de pesquisa locais. Este cenário freqüentemente leva a dificuldades na troca de conhecimento e, principalmente, na comparação de resultados de estudo. Para tratar este problema, um glossário de termos em Experimentação em Engenharia de Software foi construído. Este artigo relata o processo de construção deste glossário e apresenta uma ferramenta web que o torna acessível para a comunidade de pesquisa em engenharia de software. Palavras-chave. Engenharia de Software Experimental, Taxonomia, Glossário de Termos, Experimentação 1. Introdução Atualmente, grande parte das informações sobre novas tecnologias de software (processos, métodos, técnicas e ferramentas) ainda são baseadas em opinião própria ou propaganda. Entretanto, a pesquisa científica não pode ser baseada em opiniões ou interesses comerciais [Juristo e Moreno, 2001]. Neste contexto, experimentação provê uma forma sistemática, disciplinada e controlada para avaliar processos e atividades humanas [Wöhlin et al., 2000]. Estudos experimentais contribuem no sentido de prover justificativas para o uso ou não de tecnologias, baseadas em indicações sobre a efetividade destas tecnologias para melhoria da qualidade do software. Assim, os resultados de estudos experimentais executados em diferentes cenários de pesquisa podem ser utilizados como pontos de partida para definir um conjunto de critérios que 42

2 apóiem o processo de tomada de decisão a respeito da utilização de tecnologias de software. Na pesquisa em Engenharia de Software, iniciativas na condução de estudos experimentais vêm aumentando consideravelmente ano após ano. Diferentes grupos de pesquisa executam e incentivam a adoção de estudos primários e secundários como meios de gerar evidências e construir um corpo de conhecimento científico válido em Engenharia de Software [Travassos et al., 2008]. Motivados pela importância de Experimentação no avanço da pesquisa em Engenharia de Software, vários grupos de pesquisa tentaram adaptar conceitos e definições de Experimentação para suas próprias perspectivas e metodologias de trabalho, freqüentemente diferentes entre si. Isto traz dificuldades no compartilhamento e disseminação do conhecimento produzido, pois cada grupo de pesquisa passa a utilizar um conjunto de conceitos e definições próprio. O estímulo à colaboração entre pesquisadores também é dificultado pela ausência de uma normatização de termos empregados na área. Além disso, a comparação entre resultados de grupos diferentes pode ser prejudicada em função de não apresentarem um padrão de descrição compatível entre si. A falta de uma taxonomia em comum dificulta a evolução científica da área [Sjøberg et al., 2007]. Tendo em vista este cenário, a comunidade de pesquisadores do ISERN 1 (International Software Engineering Research Network) deu início, em 1995, à construção de uma primeira versão de um glossário de termos que contemplasse os conceitos com sua respectiva definição no domínio da experimentação em Engenharia de Software. Tomando como ponto de partida este trabalho do ISERN, combinado com informações extraídas de outras iniciativas mais recentes [Amaral, 2003], o grupo de Engenharia de Software Experimental 2 da COPPE/UFRJ iniciou a reorganização do glossário de termos. Em complemento, planejou e conduziu, em parceria com diferentes pesquisadores, sessões de revisão que reuniram cientistas e alunos no sentido de fornecer contribuições para melhorar a completude e a corretude deste glossário. Para facilitar o acesso às informações e sua constante atualização e avaliação através da contribuição contínua da comunidade, o glossário está disponível através de uma ferramenta web baseada na tecnologia wiki 3, onde funcionalidades para facilitar a navegação e consulta da lista de termos foram acrescentadas, incluindo a possibilidade de representação em diferentes línguas nativas. Este trabalho descreve o processo de construção do glossário de termos, contemplando detalhes sobre o planejamento e a execução das sessões de revisão que contribuíram para a definição da lista de termos atual. É discutida também a integração do glossário ao repositório de conhecimento de um ambiente de Experimentação em Engenharia de Software. Além disto, são apresentadas as principais características da ferramenta 4 sobre a qual o glossário foi disponibilizado à comunidade

3 O artigo está organizado em quatro seções: A primeira compreende esta introdução. A seção 2 descreve o processo de construção do glossário de termos. A seção 3 detalha as facilidades fornecidas pela ferramenta que disponibiliza o glossário. A última seção resume e conclui este artigo. 2. Processo de Construção do Glossário de Termos No contexto de experimentação em larga-escala, a troca de conhecimento e experiência entre os pesquisadores fica dificultada quando estes não se utilizam de um vocabulário em comum. Freqüentemente, cada grupo de pesquisa adapta conceitos e definições sob suas próprias perspectivas. Isto conduz a divergências entre os pesquisadores, por vezes tornando difícil a comparação entre os resultados dos estudos e assim atrasando a evolução da área [Sjøberg et al., 2007]. Visando tentar reduzir as divergências terminológicas e construir uma perspectiva em comum para a área, foi desenvolvido um glossário de termos de Experimentação em Engenharia de Software. As subseções a seguir detalham a construção da versão inicial do glossário, a condução de revisões de seu conteúdo em parceria com diferentes pesquisadores e alunos e a integração do glossário ao repositório de conhecimento do esee, um ambiente de apoio à Experimentação em Engenharia de Software Construção da Versão Inicial do Glossário de Termos A comunidade ISERN disponibilizou uma primeira versão de um glossário de termos [ISERN, 1995], elaborado a partir dos estudos usualmente executados na época no contexto desta comunidade e relacionados principalmente a estudos in vitro no domínio de inspeções de software. Desde então foi possível perceber uma demanda crescente pela utilização de experimentação em Engenharia de Software, com foco diversificado e direcionado a diferentes categorias de estudo. Desta forma, o glossário proposto inicialmente, embora adequado para uma categoria em particular de estudos, não permitia o entendimento consistente dos conceitos envolvidos nos novos tipos de estudo. Assim, visando contribuir para a evolução da experimentação em Engenharia de Software, uma nova versão do glossário de termos passou a ser organizada a partir de Um conjunto evoluído de termos foi organizado a partir da consolidação da terminologia básica estabelecida pelo ISERN e dos trabalhos de Amaral (2003), Costa et al. (2003) e Chapetta (2006). Estes trabalhos abordam conceitos básicos sobre experimentação e também específicos sobre diferentes categorias de estudo, contribuindo assim para consolidar um glossário mais contemporâneo e com uma cobertura mais satisfatória. Nesta reorganização, foram removidas as duplicatas cuja definição fosse menos precisa. Foi organizada uma sessão no ESELAW 06 para apresentá-lo à comunidade. O terceiro Workshop de Experimentação em Engenharia de Software ESELAW 06 apresentou objetivos similares aos anteriores: reportar e discutir novos resultados na área e encorajar a troca de idéias para compreender, a partir de um ponto de vista experimental, aspectos de qualidade e deficiências de tecnologias de Engenharia de Software. O evento reuniu vários pesquisadores da América Latina (principalmente do Brasil) e, portanto, representou uma excelente oportunidade para conduzir uma sessão de discussão entre os participantes para identificar melhorias no 44

4 glossário e os possíveis requisitos para estrutura computacional de apoio a sua utilização através da web. Assim, consolidou-se a primeira versão do glossário de termos de Experimentação em Engenharia de Software. Este resultado se encontra disponível nos Anais do ESELAW 06. A discussão conduzida no ESELAW 06 apontou a importância de facilidades para navegação, inclusão, alteração e exclusão de conceitos e definições no uso do glossário. Ressaltaram também a facilidade de acesso como sendo uma característica determinante no incentivo à normatização terminológica na área. Tendo em vista estas perspectivas, foram identificadas e estudadas tecnologias candidatas para apoiar o desenvolvimento de uma ferramenta que torne o glossário mais acessível e forneça operações básicas de manipulação de seu conteúdo. Dentre as opções disponíveis, foi escolhida a tecnologia wiki. Esta tecnologia fornece uma infra-estrutura com diversas facilidades construídas especificamente para glossários, incluindo recursos de controle de acesso, navegação, inclusão, alteração e exclusão de termos e definições. A seção 3 fornece maiores detalhes sobre as funcionalidades oferecidas pela ferramenta que disponibiliza o glossário. A subseção a seguir descreve como foram conduzidas revisões do glossário Revisões do Glossário de Termos Após apresentação no ESELAW 06 e consolidação da primeira versão do glossário, seu conteúdo passou por sessões de revisão por diferentes grupos relacionados à Engenharia de Software Experimental. Foram conduzidas sessões de revisão em eventos científicos que reunissem pesquisadores de diferentes comunidades, representando assim uma excelente oportunidade de divulgação do glossário no meio de pesquisa e de discussões visando melhorias na completude e corretude da lista de termos. Uma primeira revisão ocorreu na reunião do ISERN em Como uma das primeiras iniciativas de concepção do glossário veio do ISERN através da definição de uma terminologia básica, a reunião entre os membros deste grupo foi considerada para divulgar o glossário e executar uma revisão. Em seguida, outra revisão ocorreu no ESELAW 07. Os objetivos destas revisões foram avaliar a pertinência e a correção do conteúdo do glossário. Nestas revisões, apresentou-se o glossário e uma discussão foi promovida a fim de identificar quais termos podiam ser incluídos e quais seriam passíveis de exclusão por não estarem ligados diretamente à experimentação em Engenharia de Software. Os participantes foram divididos em grupos que receberam um documento (Figura 1) listando os termos inclusos no glossário, organizados em ordem alfabética. Os participantes foram orientados a discutir em grupo quais termos poderiam ser inclusos e, dentre aqueles listados, quais seriam passíveis de exclusão. 45

5 Figura 1. Documento distribuído para registrar sugestões de inclusão e exclusão de termos Os termos sugeridos por cada grupo foram comparados para eliminar eventuais duplicatas e serem efetivamente inseridos. Como as avaliações não solicitaram definições para os termos sugeridos, realizou-se uma pesquisa na literatura para fornecer as definições com suas devidas referências. Como resultado, um modelo bem mais estável e cobrindo um conjunto mais abrangente de tipos de estudos foi obtido. A seguir, em 2008, como uma última atividade antes da liberação do glossário para a comunidade, foi realizada uma sessão de inspeção como um dos trabalhos da disciplina de Experimentação em Engenharia de Software, ministrada pelo Programa de Engenharia de Sistema e Computação da COPPE/UFRJ. A disciplina foi direcionada para 22 alunos, dentre os quais 18 mestrandos e 4 doutorandos, tendo transcorrido nos meses de outubro, novembro e dezembro de Referências importantes na área de Experimentação em Engenharia de Software, tais como [Wöhlin et al., 2000] e [Juristo e Moreno, 2001], juntamente com o conhecimento transmitido na disciplina, subsidiaram a realização por parte dos alunos de uma inspeção no glossário. Os objetivos desta inspeção contemplaram a detecção de discrepâncias que não foram objetivo de avaliação nas revisões anteriores. Os alunos focaram na identificação de problemas relacionados à omissão de termos e definições, correção de das definições e alteração de nome dos termos. Um total de 190 oportunidades de melhoria foi identificado após discriminação e remoção de duplicatas Integração a um repositório de conhecimento Executar estudos experimentais envolve grande volume de conhecimento consumido e produzido ao longo da execução do Processo de Experimentação [Shull et al., 2001]. Este conhecimento precisa ser gerenciado adequadamente, sendo disponibilizado no momento certo ao pesquisador para auxiliá-lo em tomadas de decisão e também registrado para posterior consulta. Em vista disto, Lopes e Travassos (2009) destacaram a necessidade de um repositório que formalize este conhecimento, tornando-o acessível ao pesquisador durante a execução do Processo de Experimentação. Este repositório foi proposto como sendo o núcleo de recuperação de conhecimento do esee (experimental Software 46

6 Engineering Environment), uma infra-estrutura computacional baseada em serviços web que provê facilidades de instanciação de ambientes de apoio ao Processo de Experimentação em Engenharia de Software [Travassos et al., 2008]. O esee consulta o repositório e disponibiliza ao pesquisador o conhecimento necessário para instanciar ambientes com todas as facilidades requeridas para conduzir o estudo desejado [Lopes e Travassos, 2009]. Repositórios de conhecimento expressam, através de uma linguagem de representação de conhecimento específica, conceitos e seus relacionamentos [O Leary, 1998]. Como o repositório proposto para o esee contempla conceitos de Experimentação em Engenharia de Software, os termos listados no glossário podem constituir um conteúdo inicial deste repositório. Assim, o glossário construído até então se revelou um importante mecanismo de representação de conhecimento a ser adotado na estruturação deste repositório [Lopes e Travassos, 2009]. O esee contempla a instanciação de ambientes para diferentes tipos de estudo e, portanto, o conhecimento a cerca desses estudos deve estar refletido no repositório. Lopes e Travassos (2008) identificaram o domínio deste conhecimento, que contempla conceitos ligados às taxonomias de estudo segundo abordagem de pesquisa, estratégia de estudo, método de pesquisa e ambiente de estudo. Entretanto, o glossário construído até então carece de uma cobertura mais satisfatória a cerca dos conceitos sobre essas taxonomias. Desta forma, para consolidar a integração do glossário ao repositório, realizou-se uma pesquisa em referências importantes na literatura de Experimentação em Engenharia de Software. O objetivo foi agregar novos termos sobre as taxonomias previstas em [Lopes e Travassos, 2008], tornando o conteúdo do glossário mais aderente ao conhecimento requerido pelo repositório de conhecimento do esee. As referências selecionadas foram [Juristo e Moreno, 2001], [Shull et al., 2008] e [Wöhlin, 2000]. Foram identificados 28 novos termos, incluídos com sua respectiva definição no glossário através da ferramenta wiki. Com a inclusão dos conceitos sobre os diferentes tipos de estudos previstos em [Lopes e Travassos, 2008], o glossário foi integrado como um dos mecanismos estruturantes do repositório de conhecimento do esee (Figura 2). Como o repositório também deve explicitar relacionamentos entre os conceitos, foram construídas ontologias que representam as relações entre os conceitos expressos no glossário [Lopes e Travassos, 2009]. Figura 2. Repositório de conhecimento de Experimentação em Engenharia de Software 47 [Lopes e Travassos, 2009]

7 3. Características do Glossário de Termos A primeira versão do glossário foi construída e disponibilizada em um documento. O aumento gradativo no número de termos, embora crucial do ponto de vista de completude, trouxe dificuldades para os pesquisadores navegarem pela lista, procurar por um termo específico e, sobretudo, controlar o acesso aos direitos de alteração no glossário. Assim, deu-se início, após consolidação da primeira versão do glossário, de um estudo sobre tecnologias disponíveis que pudessem ser empregadas no desenvolvimento de uma ferramenta que disponibilizasse o glossário. Os requisitos da ferramenta que a tecnologia deve apoiar são: Ser composto como um sistema web, permitindo seu uso em diferentes localidades e entre comunidades de pesquisa; Prover controle de acesso; Disponibilizar operações de inclusão, alteração e exclusão de termos, definições e referências. Dentre as opções disponíveis, foi escolhida a tecnologia wiki [MediaWiki, 2009]. Esta tecnologia fornece uma infra-estrutura que satisfaz os requisitos estabelecidos por ter sido concebida para viabilizar a criação e manutenção de glossários. A infra-estrutura é disponibilizada em um pacote de instalação contendo nativamente recursos de controle de acesso, navegação, inclusão, alteração e exclusão de termos e definições. Perfis de moderadores podem cadastrar novos usuários com diferentes permissões de alteração no glossário. Por padrão, todo usuário da ferramenta pode consultar os termos do glossário sem, entretanto, estar efetivamente cadastrado. A ferramenta está acessível através do endereço A ferramenta apresenta a lista de termos em ordem alfabética, na qual o usuário pode navegar facilmente entre os termos utilizando hiperlinks (Figura 3). A fim de adicionar uma forma de navegação diferenciada, desenvolveu-se um componente baseado em hipergrafo (Figura 4) que oferece uma nova perspectiva sobre a lista. Os termos são apresentados em um hipergrafo e ligados pelos nós rotulados pela sua inicial. Figura 3. Lista de Termos 48

8 Figura 4. Hipergrafo do Glossário de Termos Ao acionar o link de um dos termos da lista ou do hipergrafo, o pesquisador é conduzido à página (Figura 5) contendo a definição em inglês, português e espanhol do termo em questão. Além disso, são citadas as referências que fundamentam a definição e outras fontes importantes na contextualização do termo. Figura 5. Definições em diferentes línguas do termo selecionado 4. Conclusão Este artigo descreveu o glossário de termos de Experimentação em Engenharia de Software. O processo de construção do glossário foi detalhado em termos da consolidação de sua versão inicial e das revisões conduzidas entre os pesquisadores, visando ampliar a completude e a corretude da lista de termos. Discutiu-se também a integração do glossário a um repositório de conhecimento sobre Experimentação em Engenharia de Software, que demandou a inclusão de termos a cerca de conceitos sobre 49

9 os diferentes tipos de estudo experimentais. Ao final foram apresentadas as principais características da ferramenta que disponibiliza o glossário na web. Dentre as contribuições deste trabalho, destacamos a construção do glossário como uma importante iniciativa para estabelecer uma terminologia comum na área de Experimentação em Engenharia de Software. As avaliações conduzidas constituíram uma relevante contribuição para que o glossário atingisse níveis de corretude e completude satisfatórios em comparação com sua versão inicial. Destacamos também a importância do glossário na estruturação do repositório de conhecimento do esee, através do qual o glossário pode ser utilizado. O glossário revisado pode ser acessado também de forma independente através do endereço Acreditamos que a comunidade possui importantes contribuições a fornecer no sentido de melhorar e divulgar o glossário, fomentando seu uso de forma extensiva entre os pesquisadores. A colaboração de membros da comunidade para evolução contínua e divulgação do glossário representa um importante passo na normatização da terminologia e melhoria constante do glossário, que deve refletir a própria evolução da área de Experimentação em Engenharia de Software. Agradecimentos O glossário de termos é parte do projeto Engenharia de Software Experimental e Ciência em Larga Escala - CNPq (475459/2007-5) e FAPERJ. Agradecemos ao grupo de Engenharia de Software Experimental, em especial aos alunos Felipe Pinto e Vinicios Bravo, pelas importantes contribuições na construção da versão inicial da ferramenta wiki. Os autores reconhecem e agradecem o apoio de Mike Baker (ISERN) e Sandra Fabbri (UFSCar-ESELAW) nas atividades de organização e revisão do glossário. Referências Amaral, E. A. G. G. (2003) Empacotamento de Experimentos em Engenharia de Software, Dissertação de Mestrado, COPPE/UFRJ, Engenharia de Sistemas e Computação, RJ, Brazil. Basili, V.R., Shull, F., Lanubile, F. (1999). Building Knowledge through Families of Experiments, In: IEEE Trans. on Software Engineering, vol. 25, No. 4. Chapetta, W. A., (2006), Uma Infra-estrutura para Planejamento, Execução e Empacotamento de Estudos Experimentais em Engenharia de Software, Dissertação de Mestrado, Programa de Engenharia de Sistemas e Computação, COPPE/UFRJ, Universidade Federal do Rio de Janeiro. Rio de Janeiro, RJ, Brasil. Costa, H.R.; Mian, P.G. Travassos, G.H., (2004), Estendendo um Modelo de Processo e de Empacotamento de Estudos Experimentais, Relatório Técnico do Projeto esee. ISERN, (1995), ISERN basic terminology in Experimental Software Engineering, Juristo, N., Moreno, A. (2001). Basics of Software Engineering Experimentation, Kluwer Academic Press, 1ª edição. 50

10 Lopes, V.P., Travassos, G.H. (2008) Infra-estrutura Conceitual para Ambientes de Experimentação em Engenharia de Software, Experimental Software Engineering Latin American Workshop (ESELAW'08), Brasil. Lopes, V.P., Travassos, G.H. (2009) Estrutura do Repositório de Conhecimento de um Ambiente para Experimentação em Larga Escala em Engenharia de Software, Em: Anais do XXIII Simpósio Brasileiro de Engenharia de Software, SBES, Fortaleza, CE, Brasil, Outubro. O Leary, D.E., (1998), Using AI in Knowledge Management: Knowledge Bases and Ontologies. IEEE Intelligent Systems, v. 13, n. 3 (May/Jun), pp Shull, F., Singer, J., Sjøberg, D. I. K. et al., Guide to Empirical Software Engineering, Springer, ISBN: , Shull, F., Carver, J., Travassos, G.H., (2001), An Empirical Methodology for Introducing Software Processes. In: 8th European Software EngineeringSymposium and 9th ACM SIGSOFT Symposium on the Foundations of Software Engineering (FSE-9) and 8th European Software Engineering Conference (ESEC), Vienna, Austria, September. Sjøberg, D.I.K., Diba, T., Jorgensen, M., (2007), The Future of Empirical Methods in Software Engineering Research. Em: International Conference on Software Engineering (ICSE), Minneapolis, Estados Unidos, Maio. Travassos, G. H., Santos, P. S. M., Mian, P. G., Dias Neto A. C., Biolchini, J., A Environment to Support Large Scale Experimentation in Software Engineering, 13th IEEE International Conference on Engineering of Complex Computer Systems, Abril, MediaWiki, (2009), Wohlin, C., Runeson, P., Höst, M., Ohlsson, M., Regnell, B., Wesslén, A., Experimentation in Software Engineering An Introduction. Kluwer Academic Publishers