Nathalia Maria Temudo

Transcrição

1 Pós-Graduação em Ciência da Computação Abordagem de Apoio à Tomada de Decisão na Seleção do Tipo de Estudo Empírico em Engenharia de Software Por Nathalia Maria Temudo Dissertação de Mestrado Universidade Federal de Pernambuco RECIFE 2014

2 UNIVERSIDADE FEDERAL DE PERNAMBUCO PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO CENTRO DE INFORMÁTICA NATHALIA MARIA TEMUDO ABORDAGEM DE APOIO À TOMADA DE DECISÃO NA SELEÇÃO DE TIPO DE ESTUDO EMPÍRICO EM ENGENHARIA DE SOFTWARE TRABALHO APRESENTADO A PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO DO CENTRO DE INFORMÁTICA DA UNIVERSIDADE FEDERAL DE PERNAMBUCO COMO REQUISITO PARCIAL PARA OBTENÇÃO DO GRAU DE MESTRE EM CIÊNCIA DA COMPUTAÇÃO. CANDIDATO: NATHALIA MARIA TEMUDO ([email protected]) ORIENTADOR: SERGIO CASTELO BRANCO SOARES ([email protected]) RECIFE 2014

3 Catalogação na fonte Bibliotecária Joana D Arc L. Salvador, CRB Temudo, Nathalia Maria. Abordagem de apoio à tomada de decisão na seleção de tipo de estudo empírico em engenharia de software / Nathalia Maria Temudo. Recife: O Autor, f.: fig., tab. Orientador: Sergio Castelo Branco Soares. Dissertação (Mestrado) - Universidade Federal de Pernambuco. CIN. Ciência da Computação, Inclui referências e apêndices. 1. Engenharia de software. 2. Empirismo. I. Soares, Sergio Castelo Branco (orientador). II. Título (22. ed.) MEI

4 Dissertação de Mestrado apresentada por Nathalia Maria Temudo à Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco, sob o título Abordagem de Apoio à Tomada de Decisão na Seleção do Tipo de Estudo Empírico em Engenharia de Software orientada pelo Prof. Sergio Castelo Branco Soares e aprovada pela Banca Examinadora formada pelos professores: Prof. André Luis de Medeiros Santos Centro de Informática / UFPE Profa. Cristine Martins Gomes de Gusmão Departamento de Engenharia Biomédica / UFPE Prof. Sergio Castelo Branco Soares Centro de Informática / UFPE Visto e permitida a impressão. Recife, 19 de fevereiro de Profa. Edna Natividade da Silva Barros Coordenadora da Pós-Graduação em Ciência da Computação do Centro de Informática da Universidade Federal de Pernambuco.

5 Agradecimentos Primeiramente, agradeço a Deus por ter me dado saúde e força para chegar até esse momento. Em segundo, agradeço à minha família pelo apoio durante todo o mestrado e ao meu namorado pela paciência e cumplicidade até nos momentos mais desafiadores da pesquisa acadêmica. Por último e em especial, agradeço ao meu orientador, Sérgio Soares, figura imprescindível em minha caminhada nesse primeiro nível de aprofundamento stricto sensu, por todo seu empenho, orientação, incentivo, carinho e pela paciência ao se dispor como fonte bem-servida de sabedoria e conhecimento, sendo capaz de repassar sua experiência com excelente didática.

6 The only way to do great work is to love what you do. - STEVE JOBS

7 Resumo Ao longo dos anos, estudos empíricos têm se mostrado mecanismos importantes para o avanço científico em diversas áreas como Medicina e Ciências Sociais, por exemplo. Em Engenharia de Software não é diferente, visto que o interesse por esse tipo de estudo vem crescendo desde a década de 80 e ganhando novos adeptos que contribuem para o desenvolvimento da área. Entretanto, vários fatores tornam a pesquisa empírica em Engenharia de Software particularmente difícil, uma vez que requer estudar não só a tecnologia, mas os conceitos e teorias envolvidos. Além disso, há uma multiplicidade de tipos de estudos tais como estudos de caso, pesquisa ação, survey, experimento e etnografia, o que dificulta a seleção de um tipo de estudo empírico apropriado numa dada situação de projeto de pesquisa. Nesse contexto, foi conduzida uma revisão sistemática com o objetivo de identificar informações baseadas em evidências sobre a seleção de estudo empírico pelos pesquisadores em Engenharia de Software, visando a criação de uma abordagem de apoio à tomada de decisão em pesquisa empírica. Palavras-chave: Engenharia de Software. Tipo de Estudo Empírico. Revisão Sistemática. Abordagem. Tomada de Decisão.

8 Abstract Along the years, empirical studies had reported important mechanisms for scientific progress in several areas such as Social Science and Medicine, for example. In Software Engineering is not different, as the interest for empirical studies have been increasing since the 80s and getting new researchers who contribute to the development of the area. However, several factors make empirical research in Software Engineering particularly challenging, as it requires studying not only the technology, but the concepts and theories around. Furthermore, the plethora of studies type such as case studies, action research, survey, experiment or ethnography makes is very difficult to choose an appropriate research method in a given situation of the design science research. In this context, this research was performed through Systematic Literature Review aiming to identify evidence-based information on the selection of empirical study type by researchers in Software Engineering, aiming at creating a support approach to decision making in empirical research. Keywords: Software Engineering. Empirical Study Type. Systematic Literature Review. Approach. Decision Making.

9 Lista de Figuras FIGURA 3.1 ETAPAS DA PESQUISA FIGURA 4.1 DISTRIBUIÇÃO DOS ESTUDOS SELECIONADOS POR FONTE FIGURA 4.2 DISTRIBUIÇÃO DE SELEÇÃO DE TIPOS DE ESTUDOS EMPÍRICOS AO LONGO DOS ANOS FIGURA 4.3 FLUXOGRAMA DE ESTIMATIVA DE SOFTWARE FIGURA 4.4 FLUXOGRAMA DE ARQUITETURA DE SOFTWARE FIGURA 4.5 FLUXOGRAMA DOS CASOS DE USO FIGURA 4.6 FLUXOGRAMA DE DESENVOLVIMENTO DE SOFTWARE FIGURA 4.7 FLUXOGRAMA RELACIONADO À DOCUMENTAÇÃO FIGURA 4.8 FLUXOGRAMA DE FERRAMENTA FIGURA 4.9 FLUXOGRAMA DE INSPEÇÃO FIGURA 4.10 FLUXOGRAMA DE MÉTODO FIGURA 4.11 FLUXOGRAMA DE MÉTRICAS FIGURA 4.12 FLUXOGRAMA DE MODELOS FIGURA 4.13 FLUXOGRAMA DE REQUISITOS FIGURA 4.14 FLUXOGRAMA DE TESTES FIGURA 4.15 FLUXOGRAMA GERAL

10 Lista de Tabelas TABELA 2.1 COMPARAÇÃO DOS TIPOS DE ESTUDOS EMPÍRICOS TABELA 3.1 CLASSIFICAÇÃO DA PESQUISA TABELA 4.1 ESTUDOS RELACIONADOS À ESTIMATIVA DE SOFTWARE TABELA 4.2 ESTUDOS RELACIONADOS À ARQUITETURA DE SOFTWARE TABELA 4.3 ESTUDOS RELACIONADOS AOS CASOS DE USO TABELA 4.4 ESTUDOS RELACIONADOS AO DESENVOLVIMENTO DE SOFTWARE TABELA 4.5 ESTUDOS RELACIONADOS À DOCUMENTAÇÃO TABELA 4.6 ESTUDOS RELACIONADOS À FERRAMENTA TABELA 4.7 ESTUDOS RELACIONADOS À INSPEÇÃO TABELA 4.8 ESTUDOS RELACIONADOS AO MÉTODO TABELA 4.9 ESTUDOS RELACIONADOS À METRICAS TABELA 4.10 ESTUDOS RELACIONADOS AOS MODELOS TABELA 4.11 ESTUDOS RELACIONADOS AOS REQUISITOS TABELA 4.12 ESTUDOS RELACIONADOS AOS TESTES

11 Siglas ES Engenharia de Software ESBE Engenharia de Software Baseada em Evidências EMS Estudo de Mapeamento Sistemático RSL Revisão Sistemática da Literatura IEEE Instituto de Engenheiros Eletricistas e Eletrônicos EASE Evaluation and Assessment in Software Engineering ESEM Empirical Software Engineering and Measurement ESEJ Empirical Software Engineering Journal IDC Identificador do campo de pesquisa que o tipo de estudo empírico foi aplicado IDF Identificador da Finalidade que o tipo de estudo empírico foi aplicado

12 Sumário 1 INTRODUÇÃO OBJETIVOS Objetivos gerais Objetivos específicos ORGANIZAÇÃO DA DISSERTAÇÃO FUNDAMENTAÇÃO TEÓRICA ENGENHARIA DE SOFTWARE ESTUDOS EMPÍRICOS EM ENGENHARIA DE SOFTWARE Métodos para a condução de experimentos em Engenharia de Software Tipos de estudos empíricos em Engenharia de Software ENGENHARIA DE SOFTWARE BASEADA EM EVIDÊNCIAS RESUMO METODOLOGIA CLASSIFICAÇÃO DA PESQUISA CICLO DA PESQUISA PROTOCOLO DA REVISÃO SISTEMÁTICA DA LITERATURA Escopo e Questões de Pesquisa Processo de Busca Critérios de Exclusão Extração dos Dados Síntese dos Dados RESUMO ABORDAGEM DE APOIO À SELEÇÃO DE TIPO ESTUDO EMPÍRICO EXTRAÇÃO E ANÁLISE DOS DADOS CONSTRUÇÃO DA ABORDAGEM A ABORDAGEM Estimativa de Software Arquitetura de Software Casos de Uso Desenvolvimento de Software Documentação Ferramenta Inspeção Método Métrica Modelo Requisitos Teste Demais campos da área de pesquisa DISCUSSÃO SOBRE A ABORDAGEM RESUMO CONSIDERAÇÕES FINAIS AMEAÇAS À VALIDADE E LIMITAÇÕES TRABALHOS FUTUROS TRABALHOS RELACIONADOS CONCLUSÕES REFERÊNCIAS APÊNDICE A THE SYSTEMATIC LITERATURE REVIEW PROTOCOL... 65

13 A.1 BACKGROUND A.2 RESEARCH QUESTION A.3 SEARCH PROCESS A.4 EXCLUSION CRITERIA A.5 SELECTION PROCESS A.7 DATA EXTRACTION AND DATA SYNTHESIS APÊNDICE B ESTUDOS SELECIONADOS APÊNDICE C EVIDÊNCIAS APÊNDICE D ESTUDOS RELACIONADOS

14 12 1 Introdução Os estudos baseados em evidências empíricas em Engenharia de Software (ES) vêm ganhando importância desde os meados da década de 80 no sentido de aperfeiçoar o apoio a tomada de decisão dos profissionais em relação ao desenvolvimento de software, métodos, técnicas, linguagens de programação, etc. Tal aperfeiçoamento só foi possível graças a integração das melhores evidências resultantes das experiências práticas e dos valores humanos de uma pesquisa empírica [1]. No entanto, conduzir uma pesquisa empírica em ES pode se tornar um tanto desafiador visto que, nas últimas décadas, vários pesquisadores têm abordado as dificuldades para a seleção de um método de investigação apropriado [2],[3],[4]. É importante lembrar que um método de investigação está relacionado ao tipo de estudo empírico que foi selecionado para a condução da pesquisa diante de uma multiplicidade de tipos de estudos, que segundo Easterbrook et al. [5], são: estudos de caso, pesquisa ação, survey, experimento e etnografia. Além do mais existem vários fatores que tornam a pesquisa empírica em Engenharia de Software bastante desafiadora. Em primeiro lugar, estudar as atividades humanas no desenvolvimento de software é sempre um desafio, uma vez que requer estudar não só a tecnologia em uso, mas também processos sociais que envolve as partes interessadas [3],[5]. Em segundo lugar, a pesquisa em Engenharia de Software empírica faz uso dos conceitos e teorias das ciências sociais, uma vez que envolve o estudo das atividades humanas. Dada a variedade de usos dos conceitos e terminologia de pesquisa em ciências sociais, os pesquisadores têm dificuldade para explicar o seu projeto de pesquisa [6]. Em terceiro e último lugar, a seleção de um método de pesquisa em Engenharia de Software empírica é especialmente problemática segundo Easterbrook et al. [5], pois o que dificulta a seleção de um tipo de estudo empírico apropriado numa dada situação de um projeto de pesquisa é a pouca documentação sobre os prós e contras dos métodos de pesquisa e, assim, muitos pesquisadores não têm o conhecimento necessário sobre as implicações dos métodos de investigação que eles usam, o que pode se tornar um impecilho para o pesquisador na condução deste tipo de pesquisa [6]. Diante do cenário descrito, pesquisadores inexperientes em estudos empíricos, os quais não possuem ainda muita experiência na área, sentem mais dificuldades em

15 13 relação aos experientes ao selecionar qual método de investigação seria mais adequado para aplicar em suas pesquisas. Então, com a finalidade de fomentar a prática de estudos empíricos, o foco principal do trabalho é agregar conhecimento sobre as justificativas dos pesquisadores da área através de uma Revisão Sistemática da Literatura (RSL) em relação a seleção dos tipos estudos empíricos em ES, visando a criação de uma abordagem de apoio à tomada de decisão na seleção do tipo de estudo empírico em ES. 1.1 Objetivos Objetivos gerais Este trabalho tem como objetivo geral agregar conhecimento disponível na literatura sobre as justificativas dos pesquisadores ao selecionar um tipo de estudo empírico a ser realizado numa pesquisa. A partir da análise deste conjunto de justificativas, uma abordagem será criada para apoiar os pesquisadores poucos experientes na execução de pesquisa empírica em ES Objetivos específicos Com o resultado proveniente da Revisão Sistemática da Literatura realizada pretendese alcançar os seguintes objetivos específicos: Auxiliar na seleção de tipos de estudos empíricos; Favorecer a popularização de estudos empíricos para pesquisadores poucos experientes na área empírica; Propor uma abordagem de seleção de tipo de estudo empírico; Se unir a um processo que guia a realização de estudos empíricos em Engenharia de Software. 1.2 Organização da Dissertação Além deste capítulo, esta dissertação será apresentada em mais cinco capítulos que estão organizados da seguinte forma: O Capítulo 2 apresenta o referencial teórico, que contem os conceitos que fundamentam esta dissertação. A metodologia que foi adotada para realizar esta pesquisa é discutida no Capítulo 3, onde é apresentada a classificação da pesquisa

16 14 com o seu quadro metodológico, as principais etapas deste estudo, os procedimentos seguidos pela Revisao Sistemática da Literatura com o seu protocolo definido e a forma como os dados foram extraídos, analisados e sintetizados. No Capítulo 4 é apresentado a abordagem de apoio à tomada de decisão em relação à seleção do tipo de estudo empírico em Engenharia de Software. Esta abordagem foi gerada a partir das evidências coletadas e analisadas dos estudos selecionados na Revisão Sistemática da Literatura. Finalmente, no Capítulo 5 são detalhadas as conclusões do trabalho desenvolvido e é realizado um levantamento de propostas de trabalhos futuros. Além disso, diversos apêndices apresentam o protocolo completo da revisão, a lista de estudos selecionados, as evidências extraídas dos estudos primários e os estudos relacionados, respectivamente.

17 15 2 Fundamentação Teórica Este capítulo aborda o conteúdo teórico necessário para desenvolver a solução para o problema descrito na introdução: conceitos de Engenharia de Software, definição e tipos de estudos empíricos em Engenharia de Software e Engenharia de Software baseada em evidências. 2.1 Engenharia de Software A Engenharia de Software (ES) não engloba apenas um conjunto de levantamento de técnicas e terminologias para guiar desenvolvimento de software; de acordo com algumas definições encontradas na literatura, ela inclui muito mais do que isso: Sommerville [8] caracteriza como uma disciplina da engenharia que se ocupa de todos os aspectos de produção de software, desde os estágios iniciais de especificação do sistema, até a manutenção desse sistema, depois que entrou em operação. É descrita no glossário do Instituto de Engenheiros Eletricistas e Eletrônicos (IEEE) para terminologias de ES de 1993 [9] como a aplicação de uma abordagem sistemática, disciplinada e quantificável para o desenvolvimento, operação e manutenção de software. O estudo de abordagens e princípios a fim de obter softwares confiáveis e que executam de forma eficiente nas máquinas reais. Em resumo, a ES está preocupada em estruturar o processo da produção sistemática do software, desde o primeiro contato com o cliente à manutenção de produtos de software que são desenvolvidos e modificados no prazo estabelecido e dentro das estimativas de custo, de forma a tornar esse processo mais racional, científico e repetível com o objetivo de se aproximar das engenharias tradicionais. 2.2 Estudos empíricos em Engenharia de Software De forma geral, os testes que comparam o que acreditamos ao que vemos são denominados estudos empíricos. Contudo, se tais estudos forem construídos

18 16 sabiamente e aplicados para apoiar o método científico, eles passam a ter um papel fundamental na Ciência. Estudos empíricos, como um todo, auxiliam a entender como e por que as coisas funcionam, e nos permitem usar esta compreensão para alterar nosso mundo materialmente em várias áreas de pesquisa, inclusive em ES [10]. A realização de estudos empíricos em ES, de acordo com Travassos [11], representa um modo sistemático para avaliação de ferramentas, metodologias, processos e produtos, resultando em contribuições efetivas para a qualidade do software. Um dos primeiros relatos sobre a importância de estudos empíricos em ES foi publicado em 1986 por Basili [12]. Após isso, outros estudos evidenciaram a necessidade de estudos empíricos em ES [13], [14], [15], [16] além do desenvolvimento de apoio, guidelines, metodologias, frameworks, mecanismos e intrumentos que permitem projetar, planejar, analisar e empacotar estudos empíricos em ES [1], [16], [17], [18], [19], [20], [21], [22]. Entretanto, observa-se que nas pesquisas de ES, os estudos empíricos não obtiveram tanto êxito, comparado ao seu amplo uso nas outras Ciências. Moura [23], enumerou alguns motivos da falta desses estudos: A dificuldade de padronizar e encapsular todas as informações necessárias aos estudos; A dificuldade de controlar todas as variáveis envolvidas no desenvolvimento de software, tais como processo, tecnologias, experimentos e fatores humanos em geral; O envolvimento humano direto na execução dos estudos, que gera uma alta probabilidade de contaminação dos resultados, uma vez que é impossível selecionar para o estudo pessoas que tenham exatamente as mesmas caracterísiticas; Os altos custos associados à alocação de pessoas para realizar experimentos durante todo o processo de desenvolvimento de software. Vale ressaltar que o processo de realização de estudos empíricos ajuda a fomentar uma base de dados de conhecimento confiável, aumentando, assim, o acervo a ser utilizado para tomada de decisões em relação a quais ferramentas, metodologias, teorias ou tipos de estudos empíricos são mais adequados para a resolução de um problema [24]. Assim, torna-se evidente a necessidade de estudos empíricos para alavancar o amadurecimento e desenvolvimento na área de ES.

19 2.2.1 Métodos para a condução de experimentos em Engenharia de Software De acordo com Travassos [11] existem quatro métodos relevantes para a condução de em ES: método científico, método experimental, método de engenharia e método analítico. Método Científico. Este método observa o mundo, sugere o modelo ou a teoria do comportamento, mede e analisa, verifica as hipóteses do modelo ou teoria, ou seja, é um paradigma indutivo [25]. Pode ser utilizado quando se tenta entender o processo, o produto de software ou o ambiente, por exemplo. Esse método tenta extrair do mundo algum modelo que possa explicar um fenômeno e, avaliar se o modelo é representativo para o fenômeno que está em observação. É uma abordagem para a construção de modelos. Método Experimental. Este método sugere o modelo do, desenvolve o método qualitativo e/ou quantitativo, aplica um, mede e analisa, avalia o modelo e repete o processo. O processo se inicia com o levantamento de um modelo novo, baseado em um modelo existente ou não, tentando estudar o efeito do processo ou produto sugerido pelo modelo novo. Método de Engenharia. Este método observa as soluções existentes, sugere as soluções mais adequadas, desenvolve, mede e analisa, repetindo até que nenhuma melhoria adicional seja possível. É uma abordagem orientada à melhoria evolutiva, assumindo a existência de algum modelo do processo ou produto de software e modificando esse modelo com o objetivo de melhorar os objetos do estudo. Método Analítico (ou Matemático). Este método sugere uma teoria formal, desenvolve a teoria, deriva os resultados e se possível compara-os com as observações empíricas. É um método dedutivo que não precisa de um projeto experimental no sentido estatístico, mas oferece uma base analítica para o desenvolvimento de modelos. Segundo Travassos [11], o método experimental considera a proposição e avaliação do modelo com estudos experimentais, sendo a abordagem mais apropriada para experimentação na área de ES. Entretando, esta pesquisa utilizou o método científico de forma a entender o processo de seleção de estudo empírico em ES em busca da construção de uma abordagem de apoio à tomada de decisão, visto que é o método mais utilizado para a construção de abordagens [25]. 17

20 2.2.2 Tipos de estudos empíricos em Engenharia de Software Os principais tipos de estudos empíricos conduzidos em ES [21] descritos pela literatura são: (i) Survey. Trata-se de uma investigação conhecida como pesquisa de campo, usada para identificar as características de uma ampla população de indivíduos. Geralmente, a coleta de dados está associada ao uso de questionários, mas pode ser realizada também através de entrevistas estruturadas ou técnicas de registros de dados. Uma pré-condição para a escolha desse tipo de estudo empírico é uma pergunta clara sobre a natureza de uma população alvo em particular [21]. (ii) Estudo de caso. Segundo Yin [25], o estudo de caso é uma pesquisa empírica que investiga um fenômeno contemporâneo dentro do seu contexto na vida real, principalmente quando as fronteiras entre o fenômeno e o seu contexto não são claras. Além disso, o estudo de caso oferece uma compreensão profunda de como e porque certos fenômenos ocorrem, podendo revelar os mecanismos pelos quais as relações causaefeito ocorrem [27]. Uma pré-condição para a escolha desse tipo de estudo empírico é uma pergunta clara e interessada em como e porque certos fenômenos ocorrem [21]. (iii). É uma investigação de hipótese testável, onde uma ou mais variáveis independentes são manipuladas com a finalidade de medir seus efeitos em uma ou mais variáveis. Uma pré-condição para a escolha desse tipo de estudo empírico é uma hipótese clara que guia todas as etapas do projeto experimental, inclusive a de decidir quais variáveis serão incluídas no estudo e como medi-las [21]. (iv) Etnografia. Segundo Robinson et al. [28], a etnografia é o estudo de uma comunidade de pessoas visando entender como os membros desta comunidade percebem suas iterações sociais através da observação. É um tipo de estudo empírico que pode ajudar a compreender como as comunidades técnicas constroem uma cultura de práticas de comunicação que lhes permitem executar os trabalhos técnicos de forma colaborativa [21]. 18

21 19 (v) Pesquisa Ação. É um tipo de estudo empírico usado pelos pesquisadores para resolver um problema do mundo real enquanto estudam, ao mesmo tempo, a experiência de resolver o problema [29]. Neste estudo, os pesquisadores pretendem intervir nas situações estudadas com a intenção explícita de melhorar a situação [21]. Vale ressaltar que a classificação dos estudos empíricos está sempre relacionada aos conceitos das estratégias empíricas [11]. O que diferencia as estratégias são o controle da execução, o controle da medição, o custo de investigação e a facilidade de repetição, como mostrado na Tabela 2.1. Fator Tabela 2.1 Comparação dos tipos de estudos empíricos. Survey Estudo de caso Etnografia Pesquisa ação Controle da execução Nenhum Nenhum Tem Nenhum Nenhum Controle da medição Nenhum Tem Tem Nenhum Tem Controle da Investigação Baixo Médio Alto Baixo Médio Facilidade da repetição Alta Baixa Alta Alta Alta Custo Baixo Médio Alto Baixo Médio 2.3 Engenharia de Software baseada em evidências O paradigma baseado em evidências teve origem em pesquisas médicas por volta dos anos 80 para os anos 90 [1], e é aplicável aos campos de pesquisa onde a construção do conhecimento, através de revisões sistemáticas, está presente, como acontece em ES. De acordo com Kitchenham et al. [1] a Engenharia de Software Baseada em Evidências (ESBE) (do inglês Evidence-Based Software Engineering - EBSE) busca prover meios pelos quais melhores evidências provenientes da pesquisa possam ser integradas com experiência prática e valores humanos no processo de tomada de decisão considerando o desenvolvimento e manutenção de software. Nesse contexto, Revisão Sistemática da Literatura (RSL) (do inglês Systematic Literature Review SLR) e Estudo de Mapeamento Sistemático (EMS) (do inglês Systematic Mapping Study SMS) emergiram como duas ferramentas importantes para construir e agregar conhecimento em ES e apresentam as seguintes vantagens [30]:

22 20 A metodologia bem definida torna menos provável que os resultados encontrados na literatura sejam tendenciosos; Podem fornecer informações sobre os efeitos de algum fenômeno através de configurações e métodos empíricos. Se os estudos fornecem resultados consistentes, a revisão sistemática provê evidências que o fenômeno é robusto e transferível; se os resultados forem inconsistentes, as fontes de variação podem ser estudadas; No caso de estudos quantitativos, é possível combinar dados usando técnicas de meta-análise, aumentando a probabilidade de detectar efeitos reais que pequenos estudos individuais não são capazes de detectar. As RSLs exigem muito mais esforço para serem realizadas quando comparado com as revisões de literatura tradicionais, pois estão preocupadas em responder questões muito específicas com a finalidade de construir novos conhecimentos baseados em estudos existentes em um determinado campo. Os EMSs são geralmente utilizados quando o pesquisador pretende explorar uma determinada área, orientar uma RSL no futuro, ou quando há pouca evidência em um determinado campo de pesquisa. Em resumo, as principais diferenças entre RSLs e EMSs são [30]: EMSs são guiados por questões de pesquisas mais amplas e mais exploratórias do que RSLs; Os termos de pesquisa em EMSs são menos focados do que os usados em RSLs e, assim, podem retornar um grande número de estudos durante a fase de busca. Para as RSLs, isto é um problema maior do que se fosse numa fase de busca de um EMS visto que o objetivo do EMS é ter uma ampla cobertura ao invés estreita como acontece na RSL; Devido ao item anterior, o processo de extração de dados para EMSs também é muito mais amplo do que em RSLs, porém é menos aprofundado e não visa as melhores práticas, necessitando, às vezes, de uma fase de classificação ou categorização. O objetivo desta fase é classificar os estudos com detalhes suficientes para responder as grandes questões de pesquisa e identificar os estudos que serão revisados posteriormente sem ser uma tarefa demorada; Na fase de análise de EMS, os dados são utilizados para responder as questões de pesquisa colocadas. Muitas vezes, os dados são organizados através de gráficos de representações de distribuições de

23 21 estudo por tipo de classificação, visto que gráficos são mecanismos de comunicação eficazes na elaboração de relatórios, e é pouco provável a utilização de técnicas de análises mais profundas como meta-análise ou síntese narrativa, por exemplo. 2.4 Resumo Este capítulo discutiu o embasamento teórico necessário para a realização da pesquisa. Foram apresentados os conceitos de ES e a importância de pesquisa empírica neste campo. Também foram abordados os métodos relevantes para a condução de em ES incluindo o método selecionado para a condução desta pesquisa: o método científico. Além disso, foram descritos os tipos de estudos empíricos mais importantes na comunidade de Engenharia de Software e mais citados na literatura, os quais foram utilizados como princípio para a construção da abordagem apresentada no Capítulo 4. Por fim, houve a apresentação da área de pesquisa ESBE com a apresentação ferramenta Revisão Sistemática da Literatura, a qual foi utilizada para construir e agregar conhecimento na área de ES com as evidências coletadas no veículos da comunidade de Engenharia de Software empírica internacional e essencias para fomentar os dados utilizados na abordagem.

24 22 3 Metodologia Este capítulo apresenta a metodologia utilizada para desenvolver a pesquisa. A Seção 3.1 aborda a metodologia filosófica utilizada bem como as etapas de pesquisa realizadas. Na Seção 3.2 é descrito o protocolo usado para orientar a revisão sistemática da literatura realizada. 3.1 Classificação da Pesquisa De acordo com o Easterbrook et al. [21], existem quatro posicionamentos filosóficos acerca da classificação da pesquisa científica: positivista, construtivista, teoria crítica e pragmático; e Easterbrook et al. [21] recomenda seguir um deles antes da definição do método de pesquisa. Para essa pesquisa, foi seguido o posicionamento pragmático, que defende que todo conhecimento é aproximado e incompleto, e seu valor depende dos métodos pelos quais foi obtido, sendo, portanto, a verdade relativa ao observador. Este posicionamento é o menos dogmático dos quatros, e valoriza o conhecimento prático sobre o abstrato, e o uso de métodos de pesquisa mista, pois vários métodos são utilizados para lançar luz sobre a questão em estudo, investigando assim maneiras diferentes de se chegar a uma verdade. Uma vez escolhido o posicionamento filosófico, foi possível definir o método de pesquisa. Um método de pesquisa, de acordo com Marconi e Lakatos [31], é o conjunto das atividades sistemáticas e racionais que, com maior segurança e economia, permite alcançar um objetivo, traçando um caminho a ser seguido, detectando erros e auxiliando as decisões do cientista. De fato, segundo Gil [33], o desenvolvimento de uma pesquisa é possibilitado por intermédio de um conjunto de procedimentos gerais que constituem o método. Neste sentido, Soares [34] afirma que o método depende do objeto a ser estudado, do problema que a pesquisa se propõe a resolver e de seu objetivo. Vale ressaltar que ao método devem estar associados a inteligência, a competência, o estudo e a criatividade dos pesquisadores, pois a utilização exclusiva do método não garante os resultados desejados [35]. Sendo assim, esta pesquisa utiliza um método de abordagem indutivo, baseado em dados de natureza qualitativa. O método de procedimento utilizado foi o de revisão sistemática da literatura. O quadro metodológico de classificação da pesquisa é apresentado na Tabela 3.1 e detalhado nas próximas seções.

25 23 Tabela 3.1 Classificação da Pesquisa Quadro Metodológico Método de Abordagem Indutivo Método de Procedimento Revisão Sistemática da Literatura Natureza dos dados Qualitativa Este trabalho optou pela abordagem indutiva, que é descrita por Marconi e Lakatos [31] como: (...) um processo mental por intermédio do qual, partindo de dados particulares, suficientemente constatados, infere-se uma verdade geral ou universal, não contida nas partes examinadas. Logo, o objetivo deste trabalho é levar a conclusões prováveis para uma população a partir de amostras, ou seja, o conteúdo a que nos referimos é muito mais amplo do que o das premissas que foram utilizadas como base para a construção da abordagem apresentada no Capítulo 4. O método de procedimento definido para a etapa mais concreta no processo de investigação desta pesquisa foi o de Revisão Sistemática da Literatura (RSL) [30] como forma de analisar e interpretar um conjunto de dados obtidos na literatura existente sobre uma questão de investigação particular baseando-se em evidências. A escolha da revisão ao invés do mapeamento foi baseada na natureza definida da questão de pesquisa com o intuito de construir uma abordagem de apoio à tomada de decisão na seleção de estudos empíricos em ES. Em relação à abordagem qualitativa, Marconi e Lakatos [31] destacam a escolha dessa abordagem por ser apropriada para obter entendimento mais profundo e detalhado sobre as investigações, ambientes e comportamentos humanos, além de ajudar a refinar as proposições para se ajustarem melhor aos dados por se tratar de uma forma adequada de entender a natureza de um fenômeno e geralmente tem, como cenário, situações complexas e particulares [36]. A escolha do tipo de pesquisa qualitativa foi feita por melhor se adequar ao problema desta pesquisa. Porém, é uma abordagem que necessita de um maior esforço do pesquisador visto que os resultados qualitativos são, geralmente, mais nebulosos que os quantitativos em termos de extrair e analisar as informações, especialmente em comunidades mais técnicas como na ES [24].

26 24 Figura 3.1 Etapas da Pesquisa. 3.2 Ciclo da Pesquisa As etapas que constituem o ciclo da pesquisa estão ilustradas na Figura 3.1 e serão detalhadas a seguir: Revisão da literatura (1). Primeiramente, foi realizada uma pesquisa tradicional da literatura em relação à pesquisa empírica em ES, com a finalidade de obter o embasamento teórico necessário sobre o assunto. Durante esta etapa, foram definidos o problema de pesquisa, os objetivos e a questão de pesquisa a ser investigada. Planejamento (2). Com a base teórica adquirida na etapa revisão da literatura, foi iniciada a etapa de planejamento, tomando como base a questão de pesquisa a ser investigada. Posteriormente, o protocolo da RSL foi planejado e elaborado. Coleta de dados (3). Na etapa de coleta de dados foi posto em prática o protocolo elaborado na etapa de planejamento, com a finalidade de coletar os dados necessários para a realização da pesquisa.

27 25 Análise (4). Com os dados coletados, os mesmos foram analisados e interpretados objetivando responder a questão de pesquisa. Consolidação (5). A última etapa consistiu na consolidação dos dados, na qual foram apresentadas as contribuições do trabalho para a pesquisa e a prática, as limitações existentes e o direcionamento para trabalhos futuros, finalizando com a produção do relatório final. 3.3 Protocolo da Revisão Sistemática da Literatura Nesta seção são apresentados, de forma breve, alguns pontos do protocolo de Revisão Sistemática da Literatura que conduziram esta pesquisa no campo de Engenharia de Software empírica. O protocolo de forma integral se encontra disponível no Apêndice A. Para guiar a construção desse protocolo foram usados instruções e conselhos apresentados no guideline definido por Kitchenham et al [30]. Esta pesquisa conduziu uma revisão com a intenção de analisar os trabalhos de todas as conferências relevantes de Engenharia de Software empírica. A finalidade da revisão foi responder a questão de pesquisa particular além de gerar uma nova abordagem em relação ao apoio à tomada de decisão na seleção do tipo de estudo empírico e prover um arcabouço adequado para posicionar novas pesquisas. Segundo Kitchenham et al. [1] revisões e mapeamentos sistemáticos tem em comum: Identificação da necessidade de executar a revisão sistemática; Elaboração da questão de pesquisa; Abrangente e exaustiva busca por estudos primários; Avaliação de qualidade de estudos incluídos; Identificação dos dados necessários para responder a pergunta de pesquisa; Extração dos dados; Resumo e síntese dos resultados dos estudos (meta-análise); Interpretação dos dados para determinar sua aplicabilidade;

28 26 Escrita do relatório Escopo e Questões de Pesquisa A fim de delinear o escopo da pesquisa e os elementos que vieram a fazer parte do escopo da pesquisa, foi utilizado uma estrutura citada por Kitchenham et al. [30], que, baseada no trabalho de Petticrew et al. [32], recomenda a fazer uso da estrutura de questão de pesquisa PICOC. De acordo com a PICOC, aplicada ao estudo deste trabalho: População (Population): Pesquisas que conduzem estudos empíricos em Engenharia de Sofwtare; Intervenção (Intervention): Uso de tipo de estudo empírico; Comparação (Comparison): Não se aplica; Resultado (Outcomes): Um documento que mapeia os tipos de estudos empíricos para guiar a seleção dos mesmos em engenharia de software. Contexto (Context): Indústria e Academia. O item Comparação (Comparison) não foi utilizado nesta pesquisa, visto que o estudo atual não realiza comparações entre seleções de tipos de estudos empíricos. O item Contexto (Context) é utilizado para definir o contexto onde ocorre a comparação; entretanto, para o estudo realizado neste trabalho, foi considerado o contexto onde ocorreu a seleção do tipo de estudo empírico. Após a definição da estrutura PICOC uma única pergunta com foco direcionado e que guia o estudo empírico foi definida: Questão. Como os pesquisadores selecionam um tipo de estudo empírico para um projeto de pesquisa? Processo de Busca A fim de limitar o campo da pesquisa apenas para publicações de pesquisadores especialistas na comunidade de Engenharia de Software empírica, o processo de busca para este estudo foi baseado em uma busca manual nas seguintes fontes:

29 27 Conferências: o Evaluation and Assessment in Software Engineering EASE o Empirical Software Engineering and Measurement ESEM Jornal: o Empirical Software Engineering Journal ESEJ As conferências e o jornal selecionados são os veículos da comunidade de Engenharia de Software empírica internacional. Todos as edições dos mesmos foram considerados neste estudo, até o ano de Considerando o esforço empreendido para avaliar manualmente todos os artigos de todas as edições e de modo a facilitar atualizações deste estudo, optamos por não incluir o ano de 2013 parcialmente, uma vez que o estudo foi realizado durante o ano de Critérios de Exclusão Esta etapa do processo é bastante importante na seleção das publicações que farão parte da extração dos dados e ao mesmo tempo é bem delicada, pois o pesquisador deve ter muito cuidado ao analisar as publicações para não deixar de selecionar uma publicação relevante ou selecionar uma publicação erroneamente. Nesta pesquisa, os critérios de exclusão adotados no estudo foram: Estudos incompletos como resumos ou resumos expandidos; Estudos duplicados, no caso de haver dois ou mais estudos semelhantes, o menos completo será excluído; Estudos repetidos, ou seja, no caso de haver o mesmo estudo disponível em mais de uma fonte de pesquisa; Estudos irrelevantes para a pesquisa, ou seja, estudos que não aplicam algum tipo de estudo empírico definido na Seção Extração dos Dados Nesta etapa do processo, os dados foram extraídos dos estudos selecionados a fim de responder a questão de pesquisa deste estudo de forma a construir uma abordagem de apoio à tomada de decisão de seleção de tipo de estudo empírico na ES. Inicialmente os dados foram organizados numa planilha eletrônica com algumas informações básicas dos estudos como identicação única para cada estudo, o

30 28 título, o ano, o veículo da comunidade de ES empírica e o tipo de estudo empírico (os quais foram citados na Seção do capítulo anterior). O tipo de estudo empírico que foi utilizado como princípio para a criação da abordagem foi comparado com os dados de outros pesquisadores do mesmo grupo de pesquisa de ES empírica da Universidade Federal de Pernambuco, pois todo o grupo extraiu informações dos mesmos veículos da comunidade de ES empírica internacional com planihas eletrônicas distintas, mas que possuiam as mesmas informações básicas. Como as informações básicas possuiam um identificador único do estudo para todos do grupo, compartilhávamos as informações coletadas de forma a verificar o tipo de estudo empírico identificado. Se o estudo não coincidisse, uma reunião era realizada entre dois ou mais pesquisadores para discutir o porquê da diferença até chegarmos num senso comum. Além das informações básicas, foi necessário extrair também, sem interferências de outros pesquisadores, justificativas em relação a seleção do tipo de estudo empírico com dados suficientes para responder a questão de pesquisa citada na Seção Síntese dos Dados Nesta etapa do processo, os dados foram organizados de forma gerar a contribuição deste trabalho. O procedimento para a síntese dos dados se inicia com a análise das justificativas retiradas dos estudos selecionados (dados qualitativos) de forma a identificar a área que o tipo de estudo foi aplicado e com que finalidade ele foi aplicado como mostra nos formulários detalhados no Apêndice A. Os códigos devem seguir um padrão de forma a facilitar a análise dos dados. Os códigos utilizados neste estudo seguem a seguinte formatação: IDA; IDF. Onde: IDC = IDentificador do Campo de pesquisa que o tipo de estudo empírico foi aplicado; IDF = IDentificador da Finalidade que o tipo de estudo empírico foi aplicado.

31 29 Além das identificações acima, as evidências dos dados dos estudos selecionados foram organizadas com o auxílio de planilhas eletrônicas, e agrupadas de acordo com o tipo de estudo empírico selecionado, de forma a facilitar a visão do pesquisador e a análise dos dados para a construção da abordagem proposta neste trabalho, que será descrita no Capítulo Resumo Este capítulo discutiu a estrutura da metodologia que foi utilizada para conduzir esta pesquisa e as razões do uso dos procedimentos e métodos de investigação. Foi abordada também uma breve descrição do protocolo de pesquisa da RSL proposto para esta pesquisa. Sendo assim, espera-se, dessa forma, atingir o rigor científico necessário para garantir a validade dos resultados deste estudo, que serão abordados no próximo capítulo.

32 4 Abordagem de apoio à seleção de tipo estudo empírico 30 Este capítulo apresenta a abordagem de apoio à seleção de tipo de estudo empírico em Engenharia de Software empírica. A Seção 4.1 apresenta informações gerais sobre os dados utilizados no estudo. Na Seção 4.2, as evidências foram sintetizadas de forma a apresentar a abordagem construída e ajudar os novos pesquisadores da área a selecionar um tipo de estudo empírico. 4.1 Extração e análise dos dados A análise e extração dos dados foi realizada de acordo com o protocolo de pesquisa descrito por completo no Apêndice A e resumidamente no Capítulo 3. Foram coletados 858 estudos oriundos dos veículos mais importantes da comunidade empírica internacional de ES, sendo 187 estudos do Evaluation and Assessment in Software Engineering - EASE, 319 estudos do Empirical Software Engineering Journal - ESEJ e 352 estudos do Empirical Software Engineering and Measurement - ESEM. Figura 4.1 Distribuição dos estudos selecionados por fonte. Desses estudos, 304 foram excluídos de acordo com os critérios apresentados na Seção e após a exclusão, os estudos foram reduzidos para 103 estudos do

33 EASE, 186 estudos do ESEJ e 265 estudos do ESEM, como mostrado na Figura 4.1 Distribuição dos estudos selecionados por fonte. e apresentados no Apêndice B. Todos os estudos selecionados estão distribuídos entre 1996 e 2012, sendo a maioria concentrado na última década, o que evidencia que as pesquisas visando viabilizar seleção e aplicação de tipos de estudos empíricos em ES têm aumentado na última década. A Figura 4.2 detalha esta distribuição ao longo dos anos EASE ESEM ESEJ 5 0 Figura 4.2 Distribuição de seleção de tipos de estudos empíricos ao longo dos anos. 4.2 Construção da abordagem Com o intuito de responder a questão de pesquisa descrita na Seção 3.3.1, os estudos selecionados, apresentados no Apêndice B, foram analisados para identificar e entender a seleção do tipo de estudo empírico realizada pelos pesquisadores. Assim, os estudos foram divididos em cinco grupos, de acordo com o tipo de estudo empírico identificado, resultando em 276 estudos do tipo experimento, 213 estudos do tipo estudo de caso, 68 estudos do tipo survey, 8 estudos do tipo etnografia e 2 estudos do tipo pesquisa ação. Vale ressaltar que um estudo pode aparecer em mais de um grupo, pois pode ser que um estudo aborde, por exemplo, um estudo de caso e um survey simultaneamente. Para cada grupo de tipo de estudo empírico, as evidências, detalhadas no Apêndice C, foram coletadas e analisadas para identificar informações que ajudassem no refinamento desses grandes grupos e guiassem a construção da abordagem. Ao analisar cada evidência, foi possível perceber algo em comum entre elas, cada

34 32 pesquisador tinha uma finalidade (avaliar, analisar, comparar, investigar ou reportar alguma informação) em relação ao campo de pesquisa da área de ES em questão. Assim, foi possível refinar os grupos e reagrupar as informações em relação a finalidade e ao campo de pesquisa da área de ES como Estimativa de Software, Arquitetura de Software, Casos de Uso, Documentação, Métrica, entre tantos outros que serão detalhados na próxima Seção. Esta reorganização das informações foi de grande valia para guiar a construção da abordagem que será apresentada na próxima seção. 4.3 A abordagem Esta seção apresenta a abordagem que foi construída a partir das evidências coletadas de forma a responder a questão de pesquisa. Cada seção a seguir representa uma área do campo de pesquisa da área de Engenharia de Software que se destacou nos estudos selecionados em relação as evidências coletadas e analisadas e uma breve explicação. As áreas que tiveram abordagens semelhantes foram agrupadas em uma única seção Estimativa de Software Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era, em poucas palavras, analisar a estimativa de software a partir de opiniões de especialistas bem como analisar a influência dos desenvolvedores de software, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Este tipo de estudo também foi selecionado para avaliar os fatores desafiantes na realização da estimativa como informação limitada ou até mesmo investigar melhorias em estimativa de software de forma geral sem considerar contexto organizacional. Por exemplo, na evidência coletada no estudo PS671[37] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar a estimativa de software baseado em um grupo de discussão de especialistas. Para esta análise, eles realizaram um experimento. Por outro lado, quando era considerado o contexto organizacional na pesquisa, os pesquisadores selecionaram estudo de caso como tipo de estudo empírico, uma vez que investigaram o uso de estimativa de software em diversas organizações com intuito de descobrir as causas dos erros mais comuns praticados pelos gestores de

35 33 projeto de software e, assim, coletar informações suficiente para ter um posicionamento científico sobre tais erros. Por exemplo, na evidência coletada no estudo PS261[38] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar estimativa de esforço de software em 35 empresas diferentes e ter um posicionamento sobre o uso de estimativa baseada em casos de uso. Para esta investigação, eles realizaram um estudo de caso. A partir destas informações, o fluxograma (Figura 4.3) foi gerado com os estudos relacionados citados na Tabela 4.1. Tabela 4.1 Estudos relacionados à estimativa de software. IDF Estudo de caso Analisar PS671, PS781 Avaliar PS01, PS28, PS113, PS190, PS246, PS358 Investigar PS112, PS147, PS213, PS648 PS136, PS261, PS389, PS Arquitetura de Software Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era analisar os impactos causados pelas mudanças na arquitetura de software e em seus diagramas (incluindo até os erros de modelagem) ou avaliar a eficiência da arquitetura, dos cenários (como os cenários top-down e bottom-up) envolvidos e dos padrões utilizados, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Os pesquisadores selecionaram este tipo de estudo também para investigar as influências das decisões de projeto, reportar as regras e as estratégias utilizadas para a elaboração e entendimento da arquitetura de software. Por exemplo, na evidência coletada no estudo PS351 [39] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar os erros de interpretação de diagramas de arquitetura de software a fim de ajudar os engenheiros a evitar tais erros no futuro. Para esta análise, eles realizaram um experimento.

36 34 Figura 4.3 Fluxograma de estimativa de software. Por outro lado quando o objetivo da pesquisa era analisar o desempenho e os princípios de segurança da arquitetura de software em indústrias, avaliar a proposta de uma arquitetura e as mudanças relacionadas durante o desenvolvimento de software, o tipo de estudo empírico selecionado pelos pesquisadores foi o estudo de caso. Este tipo de estudo empírico foi selecionado também para avaliar a evolução da arquitetura e as características dos defeitos de componentes em grandes sistemas legados. Por exemplo, na evidência coletada no estudo PS818 [40] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar as características dos defeitos de múltiplos componentes em arquitetura de software em grandes sistemas legados da indústria. Para esta avaliação, eles realizaram um estudo de caso. Porém, quando o objetivo da pesquisa era investigar os padrões de arquitetura de software, o tipo de estudo selecionado pelos pesquisadores foi o survey. Por exemplo, na evidência coletada no estudo PS146 [41] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar os padrões de arquitetura de software livre. Para esta investigação, eles realizaram um survey. A partir destas informações, o fluxograma (Figura 4.4) foi gerado com os estudos relacionados citados na Tabela 4.2.

37 35 Tabela 4.2 Estudos relacionados à arquitetura de software. IDF Estudo de caso Survey Analisar PS351, PS357, PS417 PS91, PS438 Avaliar PS140, PS209, PS325, PS328, PS511, PS584, PS623, PS745, PS822 PS250, PS396, PS651, PS816, PS818 Investigar PS120, PS382, PS498 PS146, PS538 Reportar PS741, PS Casos de Uso Figura 4.4 Fluxograma de arquitetura de software. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era avaliar ou investigar os casos de uso para especificações de projeto de software, comparar a utilidade dos casos de uso ou apenas replicar um experimento, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS685 [42] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar regras de casos de uso na

38 36 construção de diagramas de classe em projeto orientado a objetos. Para esta investigação, eles realizaram um experimento. Por outro lado, quando o objetivo da pesquisa era analisar histórias de casos de uso em busca dos erros dos sistemas industriais, o tipo de estudo empírico selecionado pelos pesquisadores foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS239 [43] e detalhada no Apêndice C, por exemplo, a finalidade dos pesquisadores era analisar histórias de casos de uso a fim de encontrar as falhas apresentadas pelo sistema industrial. Para esta análise, eles realizaram um estudo de caso. De acordo com estas informações, o fluxograma (Figura 4.5) foi gerado com os estudos relacionados citados na Tabela 4.3. Tabela 4.3 Estudos relacionados aos casos de uso. IDF Estudo de caso Analisar Avaliar Investigar Comparar PS218, S764,PS31, PS63, PS618 PS685 PS54 PS Desenvolvimento de Software Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era investigar ou analisar falhas em desenvolvimento de software, comparar o tempo de desenvolvimento por profissionais ou por estudantes em linguagens de programação orientado a objetos ou a aspectos, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS621 [44] e detalhada no Apêndice C, a finalidade dos pesquisadores era comparar tempo de desenvolvimento de software por estudantes e por profissionais. Para esta comparação, eles realizaram um experimento. Por outro lado, quando a avaliação ou investigação era realizada no contexto industrial ou em nível organizacional para identificar os benefícios de desenvolvimento de software para vários tipos de aplicações com suas métricas associadas como custo e qualidade, por exemplo, o tipo de estudo selecionado pelos pesquisadores foi o estudo de caso.

39 37 Figura 4.5 Fluxograma dos casos de uso. Por exemplo, na evidência coletada no estudo PS287 [45] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar o benefício mútuo coexistente entre desenvolvimento de software ágil e o aprendizado em nível organizacional. Para esta análise, eles realizaram um estudo de caso. Quando o objetivo da pesquisa era identificar melhorias, vulnerabilidade e novas estratégias que poderiam ser realizadas durante um desenvolvimento além de classificar e comparar os riscos associados, o tipo de estudo empírico selecionado pelos pesquisadores foi o survey. Por exemplo, na evidência coletada no estudo PS463 [46] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar e identificar melhorias que podem ser realizadas em desenvolvimento de softwares científicos. Para esta investigação, eles realizaram um survey. Por fim, a etnografia foi selecionada pelos pesquisadores quando o objetivo da pesquisa era reportar um corpo de conhecimento sobre as atividades colaborativas envolvidas em um desenvolvimento de software, investigar implicações de copiar e colar código durante o desenvolvimento além de observar e analisar o desempenho das equipes. Por exemplo, na evidência coletada no estudo PS226 [47] e detalhada no Apêndice C, a finalidade dos pesquisadores era observar e analisar desempenho de equipes de estudantes que trabalham no desenvolvimento de software ao longo do ano para uma indústria. Para esta observação e análise do comportamento humano, eles realizaram uma etnografia.

40 De acordo com estas informações, o fluxograma (Figura 4.6) foi gerado com os estudos relacionados citados na Tabela Tabela 4.4 Estudos relacionados ao desenvolvimento de software. IDF Estudo de caso Survey Etnografia Analisar PS287, PS40, PS779, PS318 PS831 Avaliar PS496, PS667, PS14, PS808, PS839, PS227 PS365 Comparar PS429, PS74, PS621PS659 Investigar PS475, PS737 PS65, PS525 PS15, PS181, PS463, PS789 Reportar PS233, PS262, PS310 PS Documentação Figura 4.6 Fluxograma de desenvolvimento de software. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era, em poucas palavras, investigar se os documentos de projetos orientados a objetos são mais fáceis de entender e modificar do que os documentos de projetos estruturados, o tipo de estudo empírico selecionado pelos pesquisadores foi o

41 39 experimento. Este tipo de estudo também foi selecionado para entender qual é a abordagem de documentação atual mais fácil de utilizar em projetos de software. Por exemplo, na evidência coletada no estudo PS259 [48] e detalhada no Apêndice C, a finalidade dos pesquisadores era comparar duas abordagens de documentação de software, de modo a entender qual é a mais fácil de usar e quais são as limitações de ambas. Para esta comparação, eles realizaram um experimento. Por outro lado, quando o objetivo da pesquisa era analisar a visão dos engenheiros documentando os projetos de software como acontece na prática, o tipo de estudo empírico selecionado pelos pesquisadores foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS694 [49] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar os engenheiros de software desenvolvendo um software para um grupo de cientistas com metodologia de documentação tradicional. Para esta avaliação, eles realizaram um estudo de caso. Por fim, quando o objetivo da pesquisa era analisar a prática de documentação industrial durante uma manutenção corretiva o tipo de estudo empírico selecionado pelos pesquisadores foi o survey. Por exemplo, na evidência coletada no estudo PS678 [50] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar a prática de documentação industrial em manutenção corretiva na Suécia. Para esta análise, eles realizaram um survey. De acordo com estas informações, o fluxograma (Figura 4.7) foi gerado com os estudos relacionados citados na Tabela 4.5. Tabela 4.5 Estudos relacionados à documentação. Analisar IDF Estudo de caso Avaliar PS556 PS694 Comparar PS259, PS848 Survey PS678

42 Ferramenta Figura 4.7 Fluxograma relacionado à documentação. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era avaliar ou analisar compreensão, eficiência, usabilidade e aceitação de uma ferramenta pelos usuários, comparar ferramentas ou replicar um experimento existente, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS383 [51] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar a eficiência de ferramenta que detecta falhas de software. Para esta avaliação, eles realizaram um experimento. Por outro lado, quando o objetivo da pesquisa era avaliar uma ferramenta no âmbito industrial reportando suas limitações e benefícios, o tipo de estudo selecionado pelos pesquisadores foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS489 [52] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar ferramentas de teste e suas limitações em software industrial. Para esta avaliação, eles realizaram um estudo de caso. Por fim, quando o objetivo da pesquisa era avaliar uma ferramenta e investigar os impactos agregados além de reportar a aceitação pelos usuários em diversos contextos, o tipo de estudo empírico selecionado pelos pesquisadores foi o survey. Por exemplo, na evidência coletada no estudo PS615 [53] e detalhada no Apêndice C, a finalidade dos pesquisadores era reportar o uso e aceitação de ferramentas CASE (do

43 41 inglês Computer-Aided Software Engineering) na Nokia. Para esta reportagem, eles realizaram um estudo de caso De acordo com estas informações, o fluxograma (Figura 4.8) foi gerado com os estudos relacionados citados na Tabela 4.6. Tabela 4.6 Estudos relacionados à ferramenta. IDF Estudo de caso Survey Avaliar PS115,PS156, PS172, PS221, PS252, PS462, PS466, PS614, PS699, PS806, PS842, PS850, PS45, PS99, PS117, PS406, PS489, PS710, PS99, PS144, PS489, PS686, PS769 PS82, PS303, PS368, PS383, PS430, PS774, PS686, PS769 PS762, PS785, PS803 Analisar PS336 Comparar PS562, PS550 Investigar PS529, PS572, PS727 PS472 PS33 Reportar PS79 PS615, PS Inspeção Figura 4.8 Fluxograma de ferramenta. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era investigar se a inspeção de leitura de software melhora a eficiência da equipe em

44 42 relação ao entendimento do software, o tipo de estudo selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS018 [54] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar a relação entre inspeção e compreensão de software. Para esta avaliação, eles realizaram um experimento. Por sua vez, quando o objetivo da pesquisa era avaliar a inspeção de software em um contexto industrial ou analisar formas de melhorar o desempenho da inspeção, o tipo de estudo empírico selecionado foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS205 [55] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar melhoras na eficácia da inspeção do software através de amostragens. Para esta análise, eles realizaram um estudo de caso. De acordo com estas informações, o fluxograma (Figura 4.9) foi gerado com os estudos relacionados citados na Tabela 4.7. Tabela 4.7 Estudos relacionados à inspeção. IDF Estudo de caso Avaliar PS02, PS278, PS337, PS571, PS639 PS610, PS620, PS601 Analisar PS18 PS205 Comparar PS708 Investigar PS459, PS50, PS415, PS648 Figura 4.9 Fluxograma de inspeção.

45 Método Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era comparar métodos com outros métodos similares com intuito de avaliar os benefícios e as limitações de cada um, identificando, assim, qual método é melhor para cada situação apresentada ou reportar experiência profissional com determinado método, o tipo de estudo selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS249 [56] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar a confiabilidade do método de ponto de função orientado a objetos em relação a outros métodos orientados a objetos. Para esta investigação, eles realizaram um experimento. Por outro lado, quando o objetivo da pesquisa era reportar um método de inovação de pesquisa, explorar similiaridades e diferenças entre métodos e avaliar os métodos de conhecimento especializado num contexto industrial, o tipo de estudo selecionado pelos pesquisadores foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS426 [57] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar método que ajuda a determinar as prioridades no desenvolvimento de software. Para esta avaliação, eles realizaram um estudo de caso. Por sua vez, quando o objetivo da pesquisa era entender o uso dos métodos e dos seus impactos em sistemas de produção ou coletar opiniões de especialistas, o tipo de estudo selecionado pelos pesquisadores foi o survey. Por exemplo, na evidência coletada no estudo PS395 [58] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar métodos de estimativa de custo em indústria chinesa. Para esta avaliação, eles realizaram um survey. E por último, quando o objetivo da pesquisa era estudar a experiência obtida durante desenvolvimento de um método especialistas, o tipo de estudo selecionado pelos pesquisadores foi pesquisa ação. Por exemplo, na evidência coletada no estudo PS746 [59] e detalhada no Apêndice C, a finalidade dos pesquisadores era reportar as experiências no desenvolvimento de métodos de ferramentas baseadas em diversos projetos de pesquisa em cooperação com parceiros industriais. Para esta análise, eles realizaram uma pesquisa ação. De acordo com estas informações, o fluxograma (Figura 4.10) foi gerado com os estudos relacionados citados na Tabela 4.8.

46 44 Tabela 4.8 Estudos relacionados ao método. IDF Estudo de caso Survey Pesquisa ação Analisar PS158 PS26 Avaliar PS504, PS530, PS41, PS44, PS195, PS222 PS557, PS558 PS276, PS397, PS426, PS599, PS606, PS638, PS643, PS719, PS738, PS805, Comparar PS272, PS370, PS782 PS116, PS561 Investigar PS373, PS240 PS362, PS372, PS395 Reportar PS386 PS203, PS830 PS Métrica Figura 4.10 Fluxograma de método. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era avaliar a relação entre as métricas, a compreensão e a eficência de software,

47 45 analisar se a métrica proposta em uma dada situação está coerente ou investigar como aumentar a validade da métrica durante a construção da arquitetura de software, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS524 [60] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar eficiência das métricas de software através de refatoração automática. Para esta avaliação, eles realizaram um experimento. Por outro lado, quado o objetivo da pesquisa era investigar um conjunto de métricas no contexto industrial comparando eficiência, benefícios e limitações em diversos softwares ou avaliar o tipo de métricas capturadas em software de produção orientado a objetos, o tipo de estudo empírico selecionado pelos pesquisadores foi o estudo de caso. Em alguns estudos, o estudo de caso foi selecionado também para investigar a padronização de métricas e entender o impacto delas em pós-release de softwares. Por exemplo, na evidência coletada no estudo PS361 [61] e detalhada no Apêndice C, a finalidade dos pesquisadores era comparar métricas de desenvolvimento de software web em 15 empresas usando técnicas de predição (SWR - Forward Stepwise Regression e CBR - Case-Based Reasoning). Para esta comparação, eles realizaram um estudo de caso. Por último, temos o survey que foi selecionado pelos pesquisadores quando o objetivo da pesquisa era investigar a opinião de especialistas sobre o uso e a eficiência das métricas em sistemas de produção e obter uma comparação sobre a perspectiva de métricas entre desenvolvedores e gerentes de projeto de software. Tabela 4.9 Estudos relacionados à metricas. IDF Estudo de caso Survey Analisar PS663, PS196 PS249 PS249, PS443 Avaliar PS237, PS524, PS756, PS55, PS499, PS563 PS40, PS67, PS474, PS819, PS833, PS843 Comparar PS505 PS94, PS332, PS361, PS527 Investigar PS834, PS295 PS312, PS416, PS486, PS784 PS608 PS436 PS06, PS65, PS416 Por exemplo, na evidência coletada no estudo PS416 [62] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar padronização de métricas

48 46 por especialistas em sistemas de produção. Para esta investigação, eles realizaram um survey. De acordo com estas informações, o fluxograma (Figura 4.11) foi gerado com os estudos relacionados citados na Tabela Modelo Figura 4.11 Fluxograma de métricas. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era avaliar a precisão dos modelos, investigar quanto o nível de abstração ou o grau de generalidade influencia na construção de um modelo, avaliar a usabilidade ou comparar modelos diferentes para o mesmo propósito, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS281 [63] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar a usuabilidade e utilidade da simulação rápida de uma modelo de processo. Para esta avaliação, eles realizaram um experimento.

49 47 Por outro lado, quando o objetivo da pesquisa era reportar um novo modelo ou comparar com os modelos existentes em sistemas de produção, o tipo de estudo selecionado pelos pesquisadores foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS016 [64] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar o modelo de processo de obtenção de novos negócios para um grande desenvolvedor de software de telecomunicações. Para esta investigação, eles realizaram um estudo de caso. Por fim, quando o objetivo da pesquisa era investigar os níveis de modelo utilizados em software industriais, o tipo de estudo empírico selecionado foi o survey. Por exemplo, na evidência coletada no estudo PS176 [65] e detalhada no Apêndice C, a finalidade dos pesquisadores era investigar o nivel do modelo de software na indústria italiana. Para esta investigação, eles realizaram um survey. De acordo com estas informações, o fluxograma (Figura 4.12) foi gerado com os estudos relacionados citados na Tabela Tabela 4.10 Estudos relacionados aos modelos. IDF Estudo de caso Survey Analisar PS132 PS202 Avaliar PS25, PS95, PS231, PS285, PS323, PS356, PS381, PS403, PS62, PS64, PS612, PS625 PS526, PS537, PS739, PS798, PS24, PS281, PS352, PS470, PS487, PS652, Comparar PS398, PS399, PS508 PS649 Investigar PS70, PS856, PS226, PS251, PS16, PS51 PS176 PS692 Reportar PS751 PS35, PS Requisitos Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era ajudar os desenvolvedores de software a entender os problemas reais do desenvolvimento ou avaliar os requisitos em forma de protótipo de software, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Este tipo de estudo também foi selecionado para avaliar os custos e benefícios de realizar notações de requisitos, validar guia de requisitos, avaliar priorização de requisitos e analisar requisitos construídos a partir de casos de uso eficiente.

50 48 Por exemplo, na evidência coletada no estudo PS134 [66] e detalhada no Apêndice C, a finalidade dos pesquisadores era avaliar um guia de requistos visto que nenhum projeto desenvolvido é estruturado e definido como desejado inicialmente. Para esta avaliação, eles realizaram um experimento. Figura 4.12 Fluxograma de modelos. Por outro lado, quando o objetivo da pesquisa era avaliar quantitativamente o impacto da mudança de requisitos e o custo para realizar tais mudanças, avaliar padrões de requisitos e investigar as práticas, custos e ganhos em gerenciamento de requisitos no desenvolvimento de sofware no contexto industrial o tipo de estudo empírico selecionado pelos pesquisadores foi o estudo de caso. Por exemplo, na evidência coletada no estudo PS827 [67] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar quais requisitos devem ser incluídos numa proxima liberação de versão de software da Motorola. Para esta análise, eles realizaram um estudo de caso. Finalizando, o tipo de estudo empírico survey foi selecionado pelos pesquisadores para compreender as razões de inclusão de certos requisitos em uma específica release de software e investigar como elaborar bons requisitos. Por exemplo, na evidência coletada no estudo PS306 [68] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar as razões subjacentes para a inclusão de

51 49 certos requisitos em uma específica release de software. Para esta análise, eles realizaram um survey. De acordo com estas informações, o fluxograma (Figura 4.13) foi gerado com os estudos relacionados citados na Tabela Tabela 4.11 Estudos relacionados aos requisitos. IDF Estudo de caso Survey Analisar PS236, PS304, PS341 PS827 PS306 Avaliar PS32, PS134, PS333, PS840, PS477, PS518 PS30, PS145, PS619, PS634, PS666 Comparar PS347 Investigar PS152, PS168, PS215, PS340 PS314, PS688, PS742 Reportar PS Teste Figura 4.13 Fluxograma de requisitos. Neste campo de pesquisa, pudemos observar que sempre que o objetivo da pesquisa era investigar testes na detecção de falhas de projeto de software, avaliar qualidade e produtividade dos testes, comparar a eficiência dos testes e avaliar o

52 50 impacto do uso de testes em diversas etapas do desenvolvimento de software, o tipo de estudo empírico selecionado pelos pesquisadores foi o experimento. Por exemplo, na evidência coletada no estudo PS380 [69] e detalhada no Apêndice C, a finalidade dos pesquisadores era comparar a eficência de teste unitário com inspeção de código. Para esta comparação, eles realizaram um experimento. O tipo de estudo empírico estudo de caso, por sua vez, foi selecionado pelos pesquisadores para listar critérios de qualidade, custos versus benefícios dos tipos de teste mais utilizados na indústria tais como desenvolvimento orientado a testes, execução de casos de teste, teste funcional e exploratório. Por exemplo, na evidência coletada no estudo PS335 [70] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar a complexa prática de teste de software, e com base no conhecimento adquirido, desenvolver propostas de melhoria de processos que podem simultaneamente reduzir os custos de desenvolvimento de software e de testes além de melhorar a qualidade do software. Para esta análise, eles selecionaram o tipo de estudo empírico estudo de caso. E por fim, o survey foi selecionado pelos pesquisadores para entender a complexa prática de teste de software, avaliar automação de testes e entender como as organizações decidem quais casos de testes serão priorizados e utilizados em seus projetos. Por exemplo, na evidência coletada no estudo PS482 [71] e detalhada no Apêndice C, a finalidade dos pesquisadores era analisar como as organizações decidem os casos de testes que utilizarão em seus projetos de software. Para esta análise, eles realizaram um survey. De acordo com estas informações, o fluxograma (Figura 4.14) foi gerado com os estudos relacionados citados na Tabela Tabela 4.12 Estudos relacionados aos testes. IDF Estudo de caso Survey Analisar PS315, PS743, PS778, PS709 PS301, PS335, PS705, PS118 PS335, PS482 Avaliar PS93, PS433, PS629, PS698, PS131, PS258, PS753, PS828, PS655 PS716, PS655, PS317, PS330, PS353, PS355, PS446, PS531 PS847 Comparar PS49, PS243, PS363, PS380 PS319 Investigar PS17, PS214 PS105, PS286, PS346, PS375, PS447, PS482 Reportar PS283, PS535, PS672

53 51 Figura 4.14 Fluxograma de testes Demais campos da área de pesquisa Os demais campos de pesquisa estão catalogados no Apêndice D com seus estudos relacionados, pois os fluxogramas gerados foram tão parecidos de tal forma que gerou a possibilidade da construção de um fluxograma mais geral (Figura 4.15). O fluxograma inicia com as principais finalidades em que o tipo de estudo empírico foi aplicado em relação ao campo de pesquisa. Se o objetivo da pesquisa será obter conhecimento através de dados checklist que serão analisados e processados posteriormente, o tipo de estudo empírico poderá ser o survey. Do contrário, é necessário verificar se a pesquisa será realizada num contexto real. Se o contexto for real, deve-se verificar se o comportamento humano influenciará no resultado da pesquisa e neste caso, o tipo de estudo poderá ser etnografia. Porém se o comportamento não influenciará no decorrer da pesquisa e o objetivo é resolver um problema dado enquanto se estuda a experiência obtida com a pesquisa, o tipo de estudo empírico poderá ser pesquisa ação, do contrário, estudo de caso.

54 52 Figura 4.15 Fluxograma geral. 4.4 Discussão sobre a abordagem Quando um pesquisador for utilizar esta abordagem, terá que identificar primeiramente se o campo de pesquisa almejado se encontra entre as opções dispostas neste capítulo (seja em relação aos campos destacados nas seções ou catalogados no Apêndice D). Em seguida, é necessário identificar a finalidade da pesquisa, ou seja, se a finalidade se enquadra em avaliar, analisar, comparar, investigar ou reportar o campo de pesquisa em questão. Após estas identificações iniciais, torna-se fácil discenir o fluxograma a ser utilizado, o qual pode ser um específico para um campo de pesquisa ou o geral. A partir do fluxograma selecionado, o pesquisador deve ser guiado através de respostas do tipo sim e não para as perguntas dispostas até alcançar um tipo de estudo empírico.

55 53 É importante frisar que o fluxograma geral poderá ser selecionado para qualquer campo de pesquisa já que os fluxogramas específicos foram apresentados por serem evidências que originaram o geral, visto que ele foi construído de forma incremental confome a realização desta pesquisa. Com o tipo de estudo empírico alcançado a partir do fluxograma, são disponibilizadas as referências bibliográficas catalogadas para o campo de pesquisa com o intuito de embasar cientificamente o resultado do fluxograma. Além do mais, através deste catálogo, o pesquisador pode obter mais conhecimento sobre estudos relacionados durante a pesquisa. Vale ressaltar que o campo de pesquisa almejado ou a finalidade do estudo pode não ter sido abordada neste trabalho por ser uma pesquisa diferenciada em relação as publicadas nos principais veículos internacionais de Engenharia de Software Empírica. Neste caso, o pesquisador deverá optar pelo fluxograma geral e verificar se consegue utilizá-lo com sucesso ao incluir a nova finalidade do estudo, do contrário, a abordagem proposta terá que ser adaptada em trabalhos futuros para permanecer sempre atualizada. 4.5 Resumo Este capítulo apresentou o resultado da Revisão Sistemática da Literatura realizada. O processo de revisão resultou na seleção de 554 estudos selecionados (sendo 103 estudos do EASE, 186 estudos do ESEJ e 265 estudos do ESEM). Destes estudos selecionados, 36 campos de pesquisa foram identificados, são eles: Algoritmo, Ambiente de desenvolvimento, Análise de risco, Arquitetura de Software, Casos de uso, Código, Contexto, Dados, Desenvolvimento de Software, Documentação, Educação, Especificação de Sistemas,, Estimativa de Software, Ferramenta, Inspeção, Manutenção, Mapeamento, Mecanismo, Método, Metodologia, Métrica, Modelo, Planejamento, Práticas empíricas, Processo, Programação em pares, Qualidade, Requisitos, Revisão, Software, Técnica, Tecnologia, Teoria, Teste e UML. Além disso, 5 finalidades de pesquisa foram identificadas, entre elas: Avaliar, Analisar, Comparar, Investigar e Reportar. A partir dos campos de pesquisa com suas finalidades de pesquisa mais as evidências extraídas, foram construídos 12 fluxogramas específicos e um geral que compõe a abordagem construída para apoiar a tomada de decisões dos pesquisadores em relação ao tipo de estudo empírico.

56 54 5 Considerações finais Este capítulo apresenta as considerações finais. Entre elas são discutidas as ameaças à validade, trabalhos futuros e conclusões obtidas com o trabalho realizado. 5.1 Ameaças à validade e limitações Apesar do uso de um quadro metodológico rigoroso em diversas etapas deste trabalho, o mesmo ainda possui algumas ameaças à validade e limitações, as quais serão apresentadas a seguir. Durante a Revisão Sistemática da Literatura, a fim de evitar viés na etapa de seleção dos estudos, quando houve divergências de opiniões entre os pesquisadores, estas foram confrontadas e resolvidas com um terceiro pesquisador. Por outro lado, a etapa de extração de dados visando a construção da abordagem foi realizada por um único pesquisador auxiliado pelo orientador da pesquisa. No entanto, em paralelo, um outro grupo de alunos do mesmo orientador estava realizando um mapeamento sistemático a partir do mesmo conjunto de publicações, visando identificar mecanismos (guias, metodologias, processos, ferramentas, entre outros) que estão sendo utilizados para guiar estudos empíricos na área de Engenharia de Software. Sendo assim, tivemos dados comuns durante o processo de extração como tipo de estudo empírico, os quais foram checados e ajustados através de discussões em grupo sempre que necessário. Segundo Kitchenham et al. [30], é uma limitação o fato da extração dos dados ter sido realizada por um único pesquisador, mas é um fato aceito para os alunos candidatos à PhD (nada foi dito em relação aos alunos de mestrado). Neste mesmo contexto, a autora afirma que o orientador tem que participar da revisão do protocolo bem como das partes da execução da revisão, o que aconteceu neste trabalho. Ainda na extração de dados, vale ressaltar que não foram considerados os estudos em que o tipo de estudo empírico selecionado pelos pesquisadores foi uma Revisão Sistemática da Literatura ou um Estudo de Mapeamento Sistemático, visto que durante a extração foram considerados apenas os principais tipos de estudos empíricos da literatura segundo Easterbrook et al. [5].

57 Trabalhos Futuros Um quesito importante que deve ser evidenciado num trabalho é levantar as oportunidades de trabalhos futuros. Visando as oportunidades para novos encaminhamentos, sugestões são apresentadas: Atualizar os dados da Revisão Sistemática da Literatura com a inclusão dos dados dos anos seguintes a que a pesquisa foi limitada (1º semestre de 2013); Criar um ambiente de suporte ao pesquisador para disponibilizar a abordagem na nuvem com os links para os estudos selecionados incluindo alguns conceitos básicos de Engenharia de Software Empírica com o intuito de ajudar pesquisadores inexperientes na área e popularizar pesquisa empírica; Realizar um survey com os especialistas da área de Engenharia de Software Empírica para entender como eles selecionam um tipo de estudo empírico e averiguar se a natureza filosófica do pesquisador influencia na seleção; Elaborar um processo que guie a realização de estudos empíricos em Engenharia de Software em relação à seleção do tipo de estudo empírico, aos mecanismos que deverão ser utilizados, à natureza do problema a ser resolvido e que leve em consideração também a natureza filosófica de cada pesquisador. 5.3 Trabalhos relacionados Em relação aos estudo relacionados sobre como guiar estudos empíricos, temos o trabalho de Easterbrook et al. [5], que cataloga os prós e contras dos métodos de pesquisa. Um trabalho de suma importância, pois devido a pouca documentação sobre os prós e contras dos métodos de pesquisa, muitos pesquisadores demonstram dificuldade em selecionar um tipo de estudo empírico apropriado durante o planejamento ou execução de uma pesquisa, uma vez que não possuem conhecimento suficiente sobre as implicações associadas aos métodos de investigação. 5.4 Conclusões Esta dissertação teve como objetivo agregar o conhecimento disponível na literatura sobre as justificativas dos pesquisadores ao selecionar um tipo de estudo empírico em suas pesquisas. Para isto, uma questão de pesquisa foi utilizada como guia na realização de uma Revisão Sistemática da Literatura com os estudos publicados nos

58 56 principais veículos da comunidade internacional de ES Empírica. Destes estudos, 554 foram selecionados e tiveram seus dados analisados e extraídos. Ao longo dos capítulos, o processo de execução da revisão foi apresentado permitindo a avaliação e a replicação do estudo por terceiros. Com os dados resultantes do processo de execução, construímos a principal contribuição deste trabalho, ou seja, uma abordagem de apoio à tomada de decisão na seleção do tipo de estudo empírico como um primeiro passo para a elaboração de um processo que guie os pesquisadores na realização de estudos empíricos. Este processo visa agregar valor ao pesquisador, ou seja, agregar valor no sentido de facilitar o uso de estudos empíricos pelos pesquisadores, reduzir a quantidade de informação desnecessária, economizar tempo na execução da pesquisa e assim aumentar a qualidade da mesma, além de organizar as informações relacionadas aos estudos empíricos de forma estruturada com importância contextual. Com isso, espera-se minimizar as dificuldades encontradas na realização de um estudo empírico, favorecer a popularização dos mesmos com o objetivo de aumentar a quantidade de estudos empíricos em Engenharia de Software. E assim, num futuro próximo, através de pesquisas empíricas, uma base de conhecimento pode ser gerada para ser utilizada numa decisão sobre o que deve ser ou não usado durante o desenvolvimento de soluções em ES. Por fim, as lacunas apresentadas neste trabalho servem com inspiração para o desenvolvimento de trabalhos futuros visando confirmá-las ou quiçá preenchê-las.

59 57 Referências [1] Barbara A. Kitchenham, Tore Dyba, and Magne Jorgensen. Evidence-based software engineering. In ICSE 04: Proceedings of the 26 th International Conference on Software Engineering, pages , Washington, DC, USA, IEEE Computer Society. [2] Perry D.E., Porter A.A., Votta L.G. (2000) Empirical Studies of Software Engineering: A Roadmap. In The Future of Software Engineering, Anthony Finkelstein (Ed.), ACM Press [3] Shaw M. (2002) What Makes Good Research in Software Engineering? International Journal of Software Tools for Technology Transfer, 2002, 4(1):1-7. [4] Shaw M. (2003) Writing Good Software Engineering Research Papers. Proceedings of 25th Int Conference on Software Engineering, pp [5] Easterbrook S., Singer J., Storey M.A., Damian D. (2008) Selecting Empirical Methods for Software Engineering Research. In Guide to Advanced Empirical Software Engineering, edited by Shull F., Singer J., Sjoberg D.I.K., pp [6] Grix J. (2002) Introducing Students to the Generic Terminology of Social Research. Politics, 22(3): [7] Sjøberg D.I.K., Dybå T., Jørgensen M. (2007) The Future of Empirical Methods in SoftwareEngineering. IEEE Proceedings of Future of Software Engineering (FOSE). [8] Ian Sommerville. Software Engineering. Addison-Wesley Publish Company, USA, [9] IEEE. Ieee glossary of software engineering terminology, ieee standard Technical report, IEEE, 1990.

60 58 [10] Nascimento, D. R.; Santiago, F.C.S; Rodrigues, G.T.M; Ribeiro, G.O.; Vasconscelos, Z.B.C. Métodos Empíricos na Engenharia de Software. Trabalho do Mestrado Profisionalizante, Universidade Estadual do Ceará, Fortaleza, Ceará, [11] Travassos, G.H.; Gurov, D.; Amaral, E.A.G. Introdução à Engenharia de Software Exprimental, Relatório Técnico ES-590/02 Abril, Programa de Engenharia de Sistemas e Computação, COPPE UFRJ, [12] V R Basili, R W Selby, and D H Hutchens. Experimentation in Software Engineering. IEEE Trans. Softw. Eng., 12(7): , [13] Victor R. Basili. The role of Experimentation in software engineering: past, current, and future. In ICSE 96: Proceedings of the 18th international conference on Software engineering, pages , Washington, DC, USA, IEEE Computer Society. [14] Walter F. Tichy. Should computer scientists more? - 16 excuses to avoid Experimentation. IEEE Computer, 31:32 40, [15] Dewayne E. Perry, Adam A. Porter, and Lawrence G. Votta. Empirical studies of software engineering: a roadmap. In ICSE 00: Proceedings of the Conference on The Future of Software Engineering, pages , New York, NY, USA, ACM. [16] Claes Wohlin, Per Runeson, Martin H ost, Magnus C. Ohlsson, Bj oorn Regnell, andanders Wessl en. Experimentation in software engineering: an introduction. Kluwer Academic Publishers, Norwell, MA, USA, [17] Barbara Kitchenham, Lesley Pickard, and Shari Lawrence Pfleeger. Case studies for method and tool evaluation. IEEE Softw., 12:52-62, July 1995.

61 59 [18] Koji Torii, Ken-ichi Matsumoto, Kumiyo Nakakoji, Yoshihiro Takada, Shingo Takada, and Kazuyuki Shima. Ginger 2: An environment for computer-aided empirical software engineering. IEEE Trans. Softw. Eng., 25: , July [19] N. Juristo and A. Moreno. Basics of Software Engineering Experimentation. Kluwer Academic Publishers, Norwell, MA, USA, [20] Barbara Kitchenham, Shari Lawrence Pfleeger, Lesley M. Pickard, Peter W. Jones, David C. Hoaglin, Khaled El Emam, and Jarret Rosenberg. Preliminary guidelines for empirical research in software engineering. IEEE Trans. Softw. Eng., 28: , August [21] S. Easterbrook, J.Singer, M.A. Storey, and D. Damian. Selecting Empirical Methods for Software Engineering Research. Springer-Verlag New York, Inc., Secaucus, NJ, USA, [22] Per Runeson and Martin Höst. Guidelines for conducting and reporting Estudo de caso research in software engineering. Empirical Softw. Eng., 14: , April [23] Marcelo Moura. Um benchmarking framework para avaliação de manutenabilidade de software orientado a aspectos. Master s thesis, University of Pernambuco, Recife, PE, Brasil, [24] Almeida A.; Barreiros E.; Saraiva J.; Soares, SCB. Mecanismos para Guiar Estudos Empíricos em Engenharia de Software: Um Mapeamento Sistemático. VIII Experimental Software Engineering Latin American Workshop, Rio de Janeiro, [25] Wohlin, C.; Runeson, P.; Höst, M.; Ohlsson, M.; Regnell, B.; Wesslén, A. Experimentation in Software Engineering: an introduction. Kluwer Academic Publishers, USA, [26] Robert K. Yin. Estudo de caso Research: Design and Methods. Applied social research methods series. Sage Publications, Beverly Hills, CA, 1984.

62 [27] Bent Flyvbjerg. Five misunderstandings about case-study research.qualitativy Inquiry, 12(2): , [28] Hugh Robinson, Judith Segal, and Helen Sharp. Ethnographically-informed empirical studies of software practice. Inf. Softw. Technol., 49: , June [29] Robert M.Davison, Maris G. Martinsons, and Ned Kock. Principals of canonical action research. Information Systems Journal, 14: 65-86, [30] B. A. Kitchenham and S. Charters. Guidelines for performing systematic literature reviews in software engineering. Technical Report EBSE , Keele University and Durham University Join Report, July [31] Marina de Andrade Marconi and Eva Maria Lakatos. Metodologia Científica. Editora Atlas, São Paulo, 5 edition, [32] M.Petticrew and H.Roberts. Systematic Reviews in the Social Sciences: A Pratical Guide. Wiley-Blackwell, [33] Gil, A. C. Métodos e Técnicas de Pesquisa Social. 5a ed. São Paulo: Atlas, [34] Soares, E. Metodologia Científica: Lógica, Epistemologia e Normas. São Paulo: Atlas, [35] Leitão, M. V. Uma abordagem para inserir indicadores de acessibilidade na análise de pontos de função. 153 f. Dissertação (Mestrado em Engenharia da Computação) Programa de Pós-Graduação em Engenharia da Computação - PPGEC. Universidade de Pernambuco, Pernambuco, [36] Richardson, R. J. Pesquisa Social: Métodos e Técnicas, 3º ed. São Paulo: Atlas, 1999.

63 [37] Moløkken-Østvold K. and Jørgensen, M. Group Processes in Software Effort Estimation, ESEJ, [38] Anda B., Benestad H. C. and Hove S. E. A Multiple-Estudo de caso of Software Effort Estimation based on Use Case Points, ESEM, [39] Lemon K., Allen E. B., Carver J.C. and Bradshaw G. L. An Empirical Study Of The Effects Of Gestalt Principles On Diagram Understandability, ESEM, [40] Li Z.; Madhavji N. H., Murtaza S. S., Gittens M., Miranskyy A.V., Godwin D. and Cialini E. Characteristics of multiple-component defects and architectural hotspots: a large system, ESEJ, [41] Stol K. J., Avgeriou P. and Babar M. A. Identifying Architectural Patterns Used in Open Fonte Software: Approaches and Challenges, EASE, [42] Anda B. and Sjøberg D. I. K.; Investigating the Role of Use Cases in the Construction of Class Diagrams, ESEJ, [43] Donaldson, J. Analyzing Systems Failures Through the Use of Case Histories, ESEM, [44] Ho St M., Regnell B. and Wohlin C. Using Students as Subjects A Comparative Study of Students and Professionals in Lead-Time Impact Assessment, ESEJ, [45] Salo O. and Abrahamsson P. Integrating Agile Software Development and Software Process Improvement: a Longitudinal, ESEM, [46] Nguyen-Hoan L., Flint S. and Sankaranarayana R. A Survey of Scientific Software Development, ESEM, [47] Biffl S., Halling M. and Ko szegi S.Investigating the Accuracy of Defect Estimation Models for Individuals and Teams Based on Inspection Data, ESEM, 2003.

64 62 [48] Torchiano M., Ricca F. and Tonella P. A comparative study on the redocumentation of existing software: Code annotations vs. drawing editors, ESEM, [49] Segal J. When Software Engineers Met Research Scientists: A Case Study, ESEJ, [50] Kajko-Mattsson M. A Survey of Documentation Practice within Corrective Maintenance, ESEJ, [51] Layman L., Williams L. and Amant R.S. Toward Reducing Fault Fix Time: Understanding Developer Behavior for the Design of Automated Fault Detection Tools, ESEM, [52] Qu X. and Robinson B.A Case Study of concolic testing tools and their limitations, ESEM, [53] Maccari A. and Riva C. Empirical Evaluation of CASE Tools Usage at Nokia, ESEJ, [54] Dunsmore A., Roper M. and Wood M. The role of comprehension in software inspection, EASE, [55] Runeson P. and Thelin T. A Case Study Using Sampling to Improve Software Inspection Effectiveness, ESEM, [56] Johnson P. M., Kou H., Agustin J. M., Zhang Q., Kagawa A. and Yamashita T. Practical automated process and product metric collection and analysis in a classroom setting: Lessons learned from Hackystat-UH, ESEM, [57] Segal J.When Software Engineers Met Research Scientists: Case Study, ESEJ, 2005.

65 [58] Kajko-Mattsson M. A Survey of Documentation Practice within Corrective Maintenance, ESEJ, [59] Dittrich Y., Rönkkö K., Eriksson J., Hansson C. and Lindeberg O. Cooperative method development: Combining qualitative empirical research with method, technique and process improvement, ESEJ, [60] Cinnéide M., Tratt L., Harman M., Counsell S. and Moghadam I. H. Experimental Assessment of Software Metrics Using Automated Refactoring, ESEM, [61] Di Martino S.; Ferrucci F., Gravino C. and Mendes E. Comparing Size Measures for Predicting Web Application Development Effort: A Case Study, ESEM, [62] Umarji M.; Seaman C. Why Do Programmers Avoid Metrics?, ESEM, [63] Ahmed R., Hall T., Wernick P., and Robinson S. Evaluating a Rapid Simulation Modelling Process (RSMP) through s, ESEM, [64] Phalp K. and Shepperd M. Analysing Process Models Quantitatively, EASE, [65] Tomassetti F., Torchiano M., Tiso A., Ricca F. and Reggio G. Maturity of Software Modelling and Model Driven Engineering: a Survey in the Italian Industry, EASE, [66] Leuser J., Porta N., Bolz A. and Raschke A. Empirical Validation of a Requirements Engineering Process Guide, EASE, [67] Durillo J.J., Zhang Y., Alba E., Harman M. and Nebro A.J. A study of the biobjective next release problem, ESEJ, [68] Wohlin C. and Aurum A. What is Important when Deciding to Include a Software Requirement in a Project or Release?, ESEM, 2005.

66 [69] Gupta A. and Jalote P. Test Inspected Unit or Inspect Unit Tested Code?, ESEM, [70] Taipale O. and Smolander K. Improving Software Testing by Observing Practice, ESEM, [71] Kasurinen J., Taipale O. and Smolander K. Test Case Selection and Prioritization: Risk-Based or Design-Based?, ESEM, 2010.

67 65 Apêndice A The Systematic Literature Review Protocol A.1 Background Since the current study involves a systematic search on the empirical software engineering literature, the population of the study is composed of all papers that have reported some sort of empirical study type in Software Engineering. The universe of studies shall be obtained by executing exhaustive examination of all papers published within the time and venue scope defined in Section A.3. In this context, the Systematic Literature Review is concerned only with studies that have explained the application of empirical study type in Software Engineering. It is expected that the results of the review can enhance the knowledge of new researchers in the area by providing aggregated information regarding the use of empirical study type in software engineering. The evidences shown in this work are important to fulfill this task. The selected studies must be limited to the Empirical Software Engineering area. Since many studies have reported empirical study type in other areas, a great amount of irrelevant studies would generate a high overhead. A.2 Research question The whole idea behind the current mapping study came up when wondering: How the researchers choose or apply an empirical study type in software engineering for a research project? A.3 Search Process In order to restrict the scope of search only to empirical Software Engineering specialists, the search process for this study will be based on a manual search of the following main digital libraries in the empirical Software Engineering covering all the time period:

68 66 Conference o Evaluation and Assessment in Software Engineering EASE. o Empirical Software Engineering and Measurement ESEM o International Symposium on Empirical Software Engineering - ISESE Journal o Empirical Software Engineering Journal ESEJ. We choose to make only an exhaustive examination because we are mainly interested in papers from the empirical software engineering community. Therefore, we are focusing in major venues from this community: two conferences with 539 issues (187 from EASE and 352 from ESEM) and a journal with 319 issues. A.4 Exclusion criteria One important detail to consider is the exclusion criteria. The researcher must be very careful when analyzing which papers will and will not be included because some interesting papers can be erroneously excluded as a result of a misconducted analysis. After the initial selection, the full versions of each paper must be obtained so that a more detailed analysis can be performed. The following criteria must be applied in order to exclude the paper from the review: It isn t a real paper, a power point presentation or extended abstract; The paper is duplicate; The paper doesn t present any empirical study type. A.5 Selection Process The selection process is described next: Each paper is screened by the researchers. In this phase, the whole paper is evaluated. The exclusion criteria is applied and the relevance to the topic and research questions is evaluated again. Every paper must be evaluated by at least two researchers; The final set of studies is documented. The included studies are documented using Form A. Excluded studies are documented using Form B. The data extraction is performed using Form C only in the set of included studies. The referred forms are detailed in Section A.7.

69 67 In this general process, the researchers can be divided into teams. Each team is given a set of studies to be evaluated. After the evaluation, each team should create a report describing the studies that were included and the ones that were removed. Eventual disagreements shall be resolved in a meeting with the presence of the teams. The teams should present their opinions on the inclusion or exclusion of the studies. The result of this meeting is a report that describes the papers that have been included and excluded from the review. It is a good practice to have a senior researcher supervising the meetings to aid in its conduction and conflicts resolution. Small variations are needed depending on when the process is used during the whole mapping process. During the evaluation, every paper (included or excluded) must be documented. A.7 Data Extraction and Data Synthesis In this stage the information about the studies are extracted and analyzed. In this process, a data extraction form should be formulated to reduce the bias. A.7.1 Data Extraction To help the extraction of information from the selected and excluded studies, three forms were used. They are shown in the following sections. A Form A This form is used to collect general information from the selected studies. The following information is collected from each of the papers: ID: An identifier for the paper. It is useful to reference the paper in several parts of the review; Data Source: The publisher of the paper; Year: The year of publication; Title: The title of the paper; Author: The list of authors of the paper. A Form B The excluded papers must also be documented. One important information to stress is the reason why the paper was excluded. The information extracted from each excluded paper is:

70 68 ID: An identifier for the paper. It is useful to reference the paper in several parts of the review; Data Source: The publisher of the paper; Year: The year of publication; Title: The title of the paper; Criteria used for exclusion: The criteria used by the researcher to exclude the paper from the selection. A Form C Form C is used to extract the relevant information from the selected studies. In addition to the information collected in Form A, the following information is collected: Study Empirical Type: Study empirical type applied in the paper. IDC: An identifier for the research area what empirical study type was applied; IDF: An identifier for the applied empirical study type purpose. A.7.2 Data Synthesis With the collected data, a more detailed analysis shall be performed in order to build approach that represents the knowledge generated by the research. This synthesis relates the context area, empirical study type investigated and the justificative by researchers when using the chosen study.

71 69 Apêndice B Estudos selecionados Este apêndice cataloga todos os estudos selecionados utilizados neste trabalho. ID Autor Título Fonte Ano PS001 Martin Host; Claes Wohlin; A Subjective Effort Estimation EASE 1997 PS002 Oliver Laitenberger; Jean-Marc DeBaud; PS004 Marc Roper; Murray Wood; James Miller; PS006 Emilia Mendes; Rachel Harrison; Wendy Hall PS013 Maurizio Pighin; Giorgio Brajnik PS014 Manolis Tsagias; Barbara Kitchenham PS015 Patrick D.M. Barrow; Pam J. Mayhew Perspective-based reading of code documents at Robert Bosch GmbH An empirical evaluation of defect detection techniques Reusability and maintainability in hypermedia applications for education A formative evaluation of information retrieval techniques applied to software catalogues An evaluation of the business object approach to software development Investigating principles of stakeholder evaluation in a modern IS development approach EASE 1997 EASE 1997 EASE 1998 EASE 1999 EASE 1999 EASE 1999 PS016 Keith Phalp; Martin Shepperd Analysing Process Models Quantitatively EASE 1999 PS017 Martin Höst; Conny Johansson Evaluation of Code Review Methods through Interviews and Experimentation PS018 A. Dunsmore; M. Roper; M. Wood PS022 R. Harrison; S. Counsell; R. Nithi; PS024 Andrew Brooks; Fredrik Utbult; Catherine Mulligan; Ross Jeffery The role of comprehension in software inspection Experimental assessment of the effect of inheritance on the maintainability of objectoriented systems Early lifecycle work: influence of individual characteristics,methodological constraints, and interface constraints. EASE 1999 EASE 1999 EASE 1999 EASE 2000 PS025 Håkan Petersson; Claes Wohlin PS026 C. Snooka; R. Harrisonb Evaluating Defect Content Estimation Rules in Software Inspections Practitioners' views on the use of formal methods: an industrial survey by structured interview EASE 2000 EASE 2000 PS028 Gada Kadoda; Michelle Cartwright; Liguang Chen; Martin Shepperd PS030 Luigi Lavazza; Giuseppe Valetto PS031 Karl Cox; Keith Thomas Phalp PS032 Kendra M.L. Cooper; Mabo R. Ito Experiences Using Case-Based Reasoning to Predict Software Project Effort Requirements-Based Estimation of Change Costs Use Case Autoring: Replicating the CREWS1 Guidelines Experimental Evaluation of the Stimulus Response Requirements Specification Notation EASE 2000 EASE 2000 EASE 2000 EASE 2000

72 70 ID Autor Título Fonte Ano PS033 MICHAEL BERRY; ROSS JEFFERY PS035 Rachel Fewster; Emilia Mendes PS036 C.F. Snook; PS037 Mari Carmen Otero; Jose Javier Dolado PS038 Michael Berry; Michiel F. Vandenbroek PS039 Lars Bratthall; Magne Jørgensen PS040 Emilia Mendes; Nile Mosley; Steve Counsell An Instrument for Assessing Software Measurement Programs Measurement, Prediction and Risk Analysis for Web Applications Experimental Comparison of the Comprehensibility of a Z Specification and its Implementation An Initial Experimental Assessment of the Dynamic Modelling in UML A Targeted Assessment of the Software Measurement Process Can you Trust a Single Data Fonte Exploratory Software Engineering Estudo de caso? A Comparison of Length, Complexity and Functionality as Size Measures for Predicting Web Design and Autoring Effort EASE 2000 EASE 2000 EASE 2001 EASE 2001 EASE 2001 EASE 2001 EASE 2001 PS041 T. Berling; P. Runeson Evaluation of a perspective based review method applied in an industrial setting EASE 2001 PS042 Marcus Ciolkowski; Forrest Shull; Stefan Biffl PS044 D. Karlstro; P. Runeson; C. Wohlin PS045 Martin Höst; Enrico Johansson; Adam Norén; Lars Bratthall PS047 Thomas Jackson; Ray Dawson; Darren Wilson; A Family of s to Investigate the Influence of Context on the Effect of Inspection Techniques Aggregating viewpoints for strategic software process improvement-a method and A Case Study Benchmarking of Processes for Managing Product Platforms - A Case Study Estudo de caso: Evaluating the Effect of Interruptions within the Workplace EASE 2002 EASE 2002 EASE 2002 EASE 2002 PS049 Matthias M. Muller; Oliver Hagner; PS050 M. Halting; S. Biffl PS051 Manoranjan Satpathy; Rachel Harrison; Daniel Rodriguez PS052 C. Kirsopp; M. Shepperd PS054 Keith Phalp; Karl Cox about Test-first programming EASE 2002 Investigating the influence of software inspection process parameters on inspection meeting performance Investigation of Product Process Dependency Models through Probabilistic Modeling Making inferences with small numbers of training sets Supporting Communicability with Use Case Guidelines: An Empirical Study EASE 2002 EASE 2002 EASE 2002 EASE 2002 PS055 M. Serrano; C. Calero; M. Validating metrics for data warehouses EASE 2002 Piattini PS058 Helen Sharp; Hugh Robinson An Ethnographic Study of XP Practice EASE 2003 PS059 Barbara Kitchenham; David Budgen; Pearl Brereton; Philip Woodall An investigation of software engineering curricula EASE 2005

73 71 ID Autor Título Fonte Ano PS060 Matthias M. M uller Are Reviews an Alternative to Pair Programming? EASE 2003 PS061 Helen C. Purchasea; Ray Wellanda; Matthew McGillb; Linda Colpoys PS062 Barbara Ann Kitchenham; Lesley Pickard; Stephen Linkman; Peter Jones PS063 Karl Cox; Keith Phalp PS064 Jarmo J. Ahonen; Tuukka Junttila; Markku Sakkineny Comprehension of diagram syntax: an empirical study ofentity relationship notations A framework for evaluating a software bidding model Exploiting Use Case Descriptions for Specification and Design - An Empirical Study Impacts of the Organizational Model on Testing: Three Industrial Cases EASE 2003 EASE 2003 EASE 2003 EASE 2003 PS065 Emilia Mendes; Nile Mosley; Steve Counsell PS067 Judith Good; Paul Brna Investigating Early Web Size Measures for Web Cost Estimation Toward Authentic Measures of Program Comprehension PS068 Jacco Buisman; Claes Wohlina Using Game Theory to Study Bidding for Software Projects PS069 Per Runeson Using Students as Subjects An Analysis on Graduate and Freshmen Student Data PS070 Barbara A. Kitchenham; Emilia Mendes PS071 Christian Lange; Michel Chaudron PS072 Mats Skoglund; Veronica Kjellgren A Comparison of Cross-company and Withincompany Effort Estimation Models for Web Applications An Empirical Assessment of Completeness in UML Designs An Experimental Comparison of the Effectiveness and Usefulness of Inspection Techniques for Object-Oriented Programs EASE 2003 EASE 2003 EASE 2003 EASE 2003 EASE 2004 EASE 2004 EASE 2004 PS074 Patrik Berander; Claes Wohlin Differences in Views between Development Roles in Software Process Improvement - A Quantitative Comparison EASE 2004 PS078 Lena Karlsson; Patrik Berander; Björn Regnell; Claes Wohlin Requirements Prioritisation: An on Exhaustive Pair-Wise Comparisons versus Planning Game Partitioning EASE 2004 PS079 Laurie Williams; William Krebs; Lucas Layman; Annie I. Antón; Pekka Abrahamsson Toward a Framework for Evaluating Extreme Programming EASE 2004 PS082 Pasquale Ardimento; Maria Teresa Baldassarre; Danilo Caivano; Giuseppe Visaggio PS084 Matthias M. Mu ller PS085 Nilay V Oza; Tracy Hall; Austen Rainer; Susan Grey Assessing multiview framework (MF) comprehensibility and efficiency: A replicated A preliminary study on the impact of a pair design phase on pair programming and solo programming Trust in software outsourcing relationships: An empirical investigation of Indian software companies EASE 2005 EASE 2005 EASE 2005

74 72 ID Autor Título Fonte Ano PS089 Muhammad Ali Babar; Barbara Kitchenham; Piyush Maheshwari PS091 Christian Del Rosso PS093 Magne Jørgensen; Bjørn Faugli PS094 Gui Gui; Paul D.Scott Assessing the value of Architectural Information Extracted from Patterns for Architecting Experiences of Performance Tuning Software Product Family Architectures Using a Scenario-Driven Approach EASE 2006 EASE 2006 Prediction of Overoptimistic Predictions EASE 2006 Reusability Ranking of Software Components by Coupling Measure EASE 2006 PS095 Per Runeson; Mattias Wiberg; PS097 Maria Teresa Baldassarre; Danilo Caivano; Giuseppe Visaggio PS098 Phong Thanh Nguyen; Muhammad Ali Babar; June M. Verner Simulation of s for Data Collection a replicated study Software Product Lines in Value Based Software Engineering Trust in Software Outsourcing Relationships: An Analysis of Vietnamese Practitioners Views EASE 2006 EASE 2006 EASE 2006 PS099 Top Haapio PS100 Alistair Hutton; Ray Welland A Framework for Effort Management in Software Projects An Measuring the Effects of Maintenance Tasks on Program Knowledge EASE 2007 EASE 2007 PS102 Rozilawati Razali;Colin F Snook;Michael R Poppleton;Paul W Garratt;Robert J Walters PS104 Mahmood Niazi;Muhammad Ali Babar PS105 Katja Karhu;Ossi Taipale;Kari Smolander Experimental Comparison of the Comprehensibility of a UML-based Formal Specification versus a Textual One Motivators of Software Process Improvement: An Analysis of Vietnamese Practitioners Views Outsourcing and Knowledge Management in Software Testing EASE 2007 EASE 2007 EASE 2007 PS106 Miroslaw Staron;Wilhelm Meding Predicting Short-Term Defect Inflow in Large Software Projects An Initial Evaluation EASE 2007 PS108 David Budgen; Barbara Kitchenham; Stuart Charters; Mark Turner; Pearl Brereton; Stephen Linkman Preliminary results of a study of the completeness and clarity of structured abstracts EASE 2007 PS112 Stein Grimstad;Magne Jørgensen A Preliminary Study of Sequence Effects in Judgment-based Software Development Work- Effort Estimation EASE 2008 PS113 Salvatore A. Sarcia;Giovanni Cantone;Victor R. Basili Adopting Curvilinear Component Analysis to Improve Software Cost Estimation Accuracy Model, Application Strategy, and an Experimental Verification EASE 2008

75 73 ID Autor Título Fonte Ano PS114 Vieri del Bianco;Claudio Gentile;Luigi Lavazza An Evaluation of Function Point Counting Based on Measurement-Oriented Models EASE 2008 PS115 Muhammad Ali Babar Assessment of a Framework for Designing and Evaluating Security Sensitive Architecture EASE 2008 PS116 Andrea De Lucia;Fausto Fasano;Giuseppe Scanniello;Genoveffa Tortora PS117 Francisco Novillo;Félix Garcia;Elvira Rolón;Francisco Ruiz;Mario Piattini Comparing Inspection Methods using s Empirical-WebGen; a Web-based Enfironment for the Automatic Generation of Surveys and s EASE 2008 EASE 2008 PS118 Márcio E. Delamaro;Auri Marcelo Rizzo Vincenzi;José Carlos Maldonado Evaluating Structural Criteria for Testing Mobile Code EASE 2008 PS120 Stefan Biffl;Muhammad Ali Babar;Dietmar Winkler Impact of Experience and Team Size on the Quality of Scenarios for Architecture Evaluation EASE 2008 PS122 David Budgen; John Bailey; Mark Turner; Barbara Kitchenham; Pearl Brereton; Stuart Charters PS127 David Budgen; Barbara Kitchenham; Pearl Brereton; Zhi Li PS131 Barbara A. Kitchenham; O. Pearl Brereton; David Budgen; Zhi Li PS132 Emilia Mendes; Carmel Pollino; Nile Mosley Lessons from a Cross-domain Investigation of Empirical Practices Using a Protocol Template for Estudo de caso Planning An Evaluation of Quality Checklist Proposals A participant-observer Estudo de caso Building an Expert-based Web Effort Estimation Model using Bayesian Networks EASE 2008 EASE 2008 EASE 2009 EASE 2009 PS134 J org Leuser, Nicolas Porta; Armin Bolz; Alexander Raschke PS136 Emilia Mendes; Chris Lokan Empirical Validation of a Requirements Engineering Process Guide Investigating the Use of Chronological Splitting to Compare Software Crosscompany and Single-company Effort Predictions: A Replicated Study EASE 2009 EASE 2009 PS140 Dietmar Winkler; Stefan Biffl; Christoph Seemann A on Team Meeting Style in Software Architecture Evaluation EASE 2010 PS142 Sebastian Barney; Claes Wohlin PS143 Katia Romero Felizardo; Elisa Yumi Nakagawa; Daniel Feitosa; Rosane Minghim; José Carlos Maldonado Alignment of Software Product Quality Goals in Two Outsourcing Relationships An Approach Based on Visual Text Mining to Support Categorization and Classification in the Systematic Mapping EASE 2010 EASE 2010

76 74 ID Autor Título Fonte Ano PS144 Dietmar Winkler; Stefan Biffl; Andreas Kaltenbach Evaluating Tools that Support Pair Programming in a Distributed Engineering Environment EASE 2010 PS145 Daniel Mendez Fernandez; Stefan Wagner; Klaus Lochmann; Andrea Baumann PS146 Klaas-Jan Stol; Paris Avgeriou; and Muhammad Ali Babar PS147 Sukumar Letchmunan; Marc Roper; Murray Wood PS148 He Zhang; Muhammad Ali Babar PS150 A. César C. França; Paulo R. M. da Cunha; Fabio Q. B. da Silva Field Study on Requirements Engineering Artefacts and Patterns Identifying Architectural Patterns Used in Open Fonte Software: Approaches and Challenges Investigating effort prediction of web-based applications using CBR on the ISBSG dataset On Searching Relevant Studies in Software Engineering The Effect of Reasoning Strategies on Success in Early Learning of Programming: Lessons Learned from an External Replication EASE 2010 EASE 2010 EASE 2010 EASE 2010 EASE 2010 PS151 Barbara A. Kitchenham; David Budgen; O. Pearl Brereton The value of mapping studies A participantobserver Estudo de caso EASE 2010 PS152 Daniel Mendez Fernandez; Klaus Lochmann; Birgit Penzenstadler; Stefan Wagner A Case Study on the Application of an Artefact-Based Requirements Engineering Approach EASE 2011 PS154 He Zhang; Muhammad Ali Babar; Xu Bai; Juan Li; Liguo Huang PS155 Miguel A. Teruel; Elena Navarro; Víctor López- Jaquero; Francisco Montero; Pascual González PS156 Antonio Vetro; Maurizio Morisio; Marco Torchiano PS158 Oscar Dieste; Enrique Fernández; Ramón García Martínez; Natalia Juristo PS160 Giuseppe Scanniello; Filippo Ricca; Marco Torchiano An Empirical Assessment of A Systematic Search Process for Systematic Reviews An Empirical Evaluation of Requirement Engineering Techniques for Collaborative Systems An Empirical Validation of FindBugs Issues Related to Defects Comparative analysis of meta-analysis methods: when to use which? On the Effectiveness of the UML Object Diagrams: A Replicated EASE 2011 EASE 2011 EASE 2011 EASE 2011 EASE 2011 PS162 Barbara Kitchenham; Pearl Brereton; Zhi Li; David Budgen; Andrew Burn Repeatability of systematic literature reviews EASE 2011 PS165 Janet Feigenspan; Michael Schulze; Maria Papendieck; Christian K astner; Raimund Dachselt; Veit K oppen; Mathias Frisch PS168 Juan Li; Liming Zhu; Ross Jeffery; Yan Liu; He Zhang; Qing Wang; Mingshu Li PS171 Gunnar R. Bergersen; Dag I. K. Sjøberg Using Background Colors to Support Program Comprehension in Software Product Lines An Initial Evaluation of Requirements Dependency Types in Change Propagation Analysis Evaluating Methods and Technologies in Software Engineering with Respect to Developers Skill Level EASE 2011 EASE 2012 EASE 2012

77 75 ID Autor Título Fonte Ano PS172 Markus Borg; Per Runeson; Lina Brod em Evaluation of Traceability Recovery in Context: A Taxonomy for Information Retrieval Tools EASE 2012 PS175 Barbara Kitchenham; Pearl Brereton; David Budgen Mapping study completeness and reliability - a case study EASE 2012 PS176 Federico Tomassetti; Marco Torchiano; Alessandro Tiso; Filippo Ricca; Gianna Reggio Maturity of Software Modelling and Model Driven Engineering: a Survey in the Italian Industry EASE 2012 PS181 Dana S. Kusumo; Mark Staples; Liming Zhu; He Zhang; Ross Jeffery Risks of Off-The-Shelf-based Software Acquisition and Development: A Systematic Mapping Study and Survey EASE 2012 PS185 A. César C. França; Adelnei de L. C. Felix; Fabio Q. B. da Silva Towards an Explanatory Theory of Motivation in Software Engineering: A Qualitative Estudo de caso of a Government Organization EASE 2012 PS187 Antonio Vetro; Nico Zazworkal; Carolyn Seaman; Forrest Shull; Using the ISOIIEC product quality model to classify defects a Controlled EASE 2012 PS188 Shinji Uchida; Akito Monden; Hajimu Iida; Kenichi Matsumoto; Hideo Kudo; A Multiple-View Analysis Model of Debugging Processes ESEM 2002 PS189 N. Juristo; A.M. Moreno; S. Vegas PS190 Lei Li; Kalyanaraman Vaidyanathan; Kishor S. Trivedi PS191 K. Shima; Y. Takemura; K. Matsumoto Survey on Testing Technique Empirical Studies: How Limited is our Knowledge An Approach for Estimation of Software Aging in a Web Server An Approach to Experimental Evaluation of Software Understandability ESEM 2002 ESEM 2002 ESEM 2002 PS192 Giedre Sabaliauskaite; Fumikazu Matsukawa; Shinji Kusumoto; Katsuro Inoue An Experimental Comparison of Checklist- Based Reading and Perspective-Based Reading for UML Design Document Inspection ESEM 2002 PS193 Daniela Damian; Didar Zowghi; Lakshminarayanan Vaidyanathasamy; Yogendra Pal PS195 Masayuki Hirayama; Tetsuya Yamamoto; Jiro Okayasu; Osamu Mizuno; Tohru Kikuno An Industrial Experience in Process Improvement: An early assessment at the Australian Center for Unisys Software Elimination of Crucial Faults by a New Selective Testing Method ESEM 2002 ESEM 2002 PS196 Marcela Genero; Mario Piattini; Coral Calero Empirical Validation of Class Diagram Metrics ESEM 2002

78 76 ID Autor Título Fonte Ano PS201 Forrest Shull; Victor Basili; Jeffrey Carver; Jose C. Maldonado; Guilherme Horta Travassos; Manoel Mendonc a; Sandra Fabbri Replicating Software Engineering s: Addressing the Tacit Knowledge Problem ESEM 2002 PS202 Bernard Wong The Appropriateness of Gutman s Means- End Chain Model in Software Evaluation ESEM 2002 PS203 Tomoko MATSUMURA; Akito MONDEN; Ken-ichi MATSUMOTO PS204 Carina Andersson; Per Runeson The Detection of Faulty Code Violating Implicit Coding Rules Verification and Validation in Industry - A Qualitative Survey on the State of Practice ESEM 2002 ESEM 2002 PS205 Per Runeson; Thomas Thelin A Case Study Using Sampling to Improve Software Inspection Effectiveness ESEM 2003 PS208 James Wu; T.C.N. Graham; Paul W. Smith PS209 Mikael Svahnberg A Study of Collaboration in Software Design ESEM 2003 A Study on Agreement Between Participants in an Architecture Assessment ESEM 2003 PS210 Maurizio Pighin; Anna Marzona An Empirical Analysis of Fault Persistence Through Software Releases ESEM 2003 PS211 Phyllis G. Frankl; Gregg Rothermel; Kent Sayre; Filippos I. Vokolos PS213 Ursula Passing; Martin Shepperd PS214 Carina Andersson; Thomas Thelin; Per Runeson; Nina Dzamashvili PS215 Daniela Damian; James Chisan; Lakshminarayanan Vaidyanathasamy; Yogendra Pal PS217 Audris Mockus An Empirical Comparison of Two Safe Regression Test Selection Techniques An on software project size and effort estimation An Experimental Evaluation of Inspection and Testing for Detection of Design Faults An Industrial Estudo de caso of the Impact of Requirements Engineering on Downstream Development Analogy Based Prediction of Work Item Flow in Software Projects: A Case Study ESEM 2003 ESEM 2003 ESEM 2003 ESEM 2003 ESEM 2003 PS218 Bente Anda; Dag I.K. Sjøberg PS219 Laurie Williams; Charlie McDowell; Nachiappan Nagappan; Julian Fernald; Linda Werner PS220 Barry Boehm; Dan Port; Ye Yang; Jesal Bhuta; Chris Abts Applying Use Cases to Design versus Validate Class Diagrams A Using a Professional Modelling Tool Building Pair Programming Knowledge through a Family of s Composable Process Elements for Developing COTS-Based Applications ESEM 2003 ESEM 2003 ESEM 2003 PS221 M.T. Baldassarre; D. Caivano; G. Visaggio Comprehensibility and Efficiency of Multiview Framework for Measurement Plan Design ESEM 2003

79 77 ID Autor Título Fonte Ano PS222 Teade Punter; Marcus Ciolkowski; Bernd Freimut; Isabel John Conducting On-line Surveys in Software Engineering ESEM 2003 PS225 Patrik Berander; Claes Wohlin Identification of Key Factors in Software Process Management - A Case Study ESEM 2003 PS226 Stefan Biffl; Michael Halling; Sabine Ko szegi PS227 Cleidson R. B. de Souza; David Redmiles; Gloria Mark; John Penix; Maarten Sierhuis Investigating the Accuracy of Defect Estimation Models for Individuals and Teams Based on Inspection Data Management of Interdependencies in Collaborative Software Development ESEM 2003 ESEM 2003 PS228 Jeff Carver; Forrest Shull; Victor Basili PS229 Gu nther Ruhe; Des Greer Observational Studies to Accelerate Process Experience in Classroom Studies: An Evaluation Quantitative Studies in Software Release Planning under Risk and ReFonte Constraints ESEM 2003 ESEM 2003 PS230 Louise Scott; Ross Jeffery The Anatomy of an Experience Repository ESEM 2003 PS231 Amr Kamel; Paul G. Sorenson The Application of Capture-Recapture Log- Linear Models To Software Inspections Data ESEM 2003 PS233 Miryung Kim; Lawrence Bergman; Tessa Lau; David Notkin An Ethnographic Study of Copy and Paste Programming Practices in OOPL ESEM 2004 PS234 Tomas Berling; Thomas Thelin A Case Study of Reading Techniques in a Software Company PS236 Ban Al-Ani; Keith Edwards An Empirical Study of a Qualitative Systematic Approach to Requirements Analysis (QSARA) PS237 Yue Chen; Barry W. Boehm; Ray Madachy; Ricardo Valerdi An Empirical Study of eservices Product UML Sizing Metrics ESEM 2004 ESEM 2004 ESEM 2004 PS239 John Donaldson PS240 Silvia Abrahão; Geert Poels; Oscar Pastor Analyzing Systems Failures Through the Use of Case Histories Assessing the Reproducibility and Accuracy of Functional Size Measurement Methods through Experimentation ESEM 2004 ESEM 2004 PS242 Zeiad Abdelnabi; Giovanni Cantone; Marcus Ciolkowski; Dieter Rombach; Comparing Code Reading Techniques Applied to Object-oriented Software Frameworks with regard to Effectiveness and Defect Detection Rate ESEM 2004 PS243 Patrick J. Schroeder; Pankaj Bolaki; Vijayram Gopu; Comparing the Fault Detection Effectiveness of N-way and Random Test Suites ESEM PS244 Pekka Abrahamsson; Juha Koskela ; Extreme Programming: A Survey of Empirical Data from a Controlled Estudo de caso ESEM 2004

80 78 ID Autor Título Fonte Ano PS245 S. Vegas; Identifying the Relevant Information for Software Testing Technique Selection ESEM 2004 PS246 Martin Auer; Stefan Biffl; Increasing the Accuracy and Reliability of Analogy-Based Cost Estimation with Extensive Project Feature Dimension Weighting ESEM 2004 PS247 Hyunsook Do; Sebastian Elbaum; Gregg Rothermel; PS248 Christian Denger; Marcus Ciolkowsky; Filippo Lanubile; Infrastructure Support for ation with Software Testing and Regression Testing Techniques Investigating the active Guidance Factor in Reading Techniques for Defect Detection ESEM 2004 ESEM 2004 PS249 Philip M. Johnson; Hongbing Kou; Joy M. Agustin; Qin Zhang; Aaron Kagawa; Takuya Yamashita; Practical automated process and product metric collection and analysis in a classroom setting: Lessons learned from Hackystat-UH ESEM 2004 PS250 Josef Nedstam; Even-André Karlsson; Martin Höst; PS251 Jan Verelst; The Architectural Change Process ESEM 2004 The Influence of the Level of Abstraction on the Evolvability of Conceptual Models of Information Systems ESEM 2004 PS252 Luís Felipe Santos Silva; Guilherme Horta Travassos; Tool-Supported Unobtrusive Evaluation of Software Engineering Process Conformance ESEM 2004 PS254 Jeff Carver; John VanVoorhis; Victor Basili; PS256 Patrik Berander; PS258 Mats Skoglund; Per Runeson; PS259 Marco Torchiano; Filippo Ricca; Paolo Tonella; PS261 Bente Anda; Hans Christian Benestad; Siw Elisabeth Hove; PS262 J. S. Karn; A. J. Cowling PS264 Aileen Cater-Steel; Mark Toleman; Terry Rout Understanding the Impact of Assumptions on Experimental Validity Using Students as Subjects in Requirements Prioritization A Case Study of The Class Firewall Regression Test Selection; A comparative study on the redocumentation of existing software: Code annotations vs. drawing editors A Multiple-Estudo de caso of Software Effort Estimation based on Use Case Points A Study of the Effect of Disruptions on the Performance of Software Engineering Teams Addressing the Challenges of Replications of Surveys in Software Engineering Research ESEM 2004 ESEM 2004 ESEM 2004 ESEM 2004 ESEM 2005 ESEM 2005 ESEM 2005 PS266 Deirdre Carew; Dr. Chris Exton; Dr. Jim Buckley PS267 S. Biffl; B. Thurnher; G. Goluch; D. Winkler; W. Aigner; S. Miksch An Empirical Investigation of the Comprehensibility of Requirements Specifications An Empirical investigation on the Visualization of Temporal Uncertainties in Software Engineering Project Planning ESEM 2005 ESEM 2005 PS268 Jennifer Swan;Trevor Barker;Carol Britton;Maria Kutar An Empirical Study of Factors that Affect User Performance when Using UML Interaction Diagrams ESEM 2005

81 79 ID Autor Título Fonte Ano PS269 Mika V. Mäntylä An on subjective evolvability evaluation of objectoriented software: Explaining factors and interrater agreement ESEM 2005 PS270 Raihan Al-Ekram;Cory Kapser;Richard Holt;Michael Godfrey PS271 Eugene Glynn;Brian Fitzgerald;Chris Exton PS272 Bhekisipho Twala;Michelle Cartwright;Martin Shepperd PS276 Shaochun Xu;Václav Rajlich Cloning by Accident: An Empirical Study of Fonte Code Cloning Across Software Systems Commercial Adoption of Open Fonte Software: An Empirical Study Comparison of Various Methods for Handling Incomplete Data in Software Engineering Databases Dialog-Based Protocol: An Empirical Research Method for Cognitive Activities in Software Engineering ESEM 2005 ESEM 2005 ESEM 2005 ESEM 2005 PS277 Jari Vanhanen;Casper Lassenius Effects of Pair Programming at the Development Team Level: An ESEM 2005 PS278 Keun Lee;Barry Boehm PS281 Rizwan Ahmed; Tracy Hall; Paul Wernick; Stewart Robinson PS283 Juha Itkonen; Kristian Rautiainen PS284 Toan Huynh; James Miller PS285 Rogério Eduardo Garcia; Maria Cristina Ferreira de Oliveira; José Carlos Maldonado Empirical Results from an on Value-Based Review (VBR) Processes Evaluating a Rapid Simulation Modelling Process (RSMP) through s Exploratory Testing: A Multiple Estudo de caso Further Investigations into Evaluating Website Reliability Genetic Algorithms to Support Software Engineering Experimentation ESEM 2005 ESEM 2005 ESEM 2005 ESEM 2005 ESEM 2005 PS286 Lars-Ola Damm; Lars Lundberg Identification of Test Process Improvements by Combining Fault Trigger Classification and Faults-Slip-Through Measurement ESEM 2005 PS287 Outi Salo; Pekka Abrahamsson Integrating Agile Software Development and Software Process Improvement: a Longitudinal Estudo de caso ESEM 2005 PS288 Lesley Pek Wee Land; Bernard C. Y. Tanb; Li Binb Investigating Training Effects on Software Reviews: A ESEM 2005 PS293 Tore Dybå; Nils B. Moe; Erik Arisholm Measuring Software Methodology Usage: Challenges of Conceptualization and Operationalization ESEM 2005 PS295 Elspeth Golden; Bonnie E. John; Len Bass Quality vs. Quantity: Comparing Evaluation Methods in a Usability-Focused Software Architecture Modification Task ESEM 2005

82 80 ID Autor Título Fonte Ano PS296 Reidar Conradi; Jingyue Li; Odd Petter N. Slyngstad; Vigdis By Kampenes; Christian Bunse; Maurizio Morisio; Marco Torchiano Reflections on Conducting an International Survey of Software Engineering ESEM 2005 PS297 Andreas Jedlitschka; Dietmar Pfahl PS298 Liguo Yu; Stephen R. Schach; Kai Chen PS299 Ida Hogganvik; Ketil Stølen PS300 Andrew Le Gear; Jim Buckley; J. J. Collins; Kieran O'Dea Reporting Guidelines for s in Software Engineering Reusability before and after Reuse: A Darwin Estudo de caso Risk Analysis Terminology for IT-systems: Does it match intuition? Software Reconn-exion: Understanding Software Using a Variation on Software Reconnaissance and Reexion Modelling ESEM 2005 ESEM 2005 ESEM 2005 ESEM 2005 PS301 Hema Srikanth; Laurie Williams; Jason Osborne PS303 Phillip A. Relf System Test Case Prioritization of New and Regression Test Cases Tool Assisted Identifier Naming for Improved Software Readability: An Empirical Study ESEM 2005 ESEM 2005 PS304 Anderson Belgamo; Sandra Fabbri; Jose Carlos Maldonado PS306 Claes Wohlin; Aybu ke Aurum PS307 Bente Anda; Kai Hansen PS309 Gengshen Du; Jim McElroy; Guenther Ruhe PS310 John Karn; Tony Cowling PS312 Patrik Berander; Per Jo nsson TUCCA: Improving the Effectiveness of Use Case Construction and Requirement Analysis What is Important when Deciding to Include a Software Requirement in a Project or Release? A Case Study on the Application of UML in Legacy Development A Family of Empirical Studies to Compare Informal and Optimization-based Planning of Software Releases A Follow up Study of the Effect of Personality on the Performance of Software Engineering Teams A Goal Question Metric Based Approach for Efficient Measurement Framework Definition ESEM 2005 ESEM 2005 ESEM 2006 ESEM 2006 ESEM 2006 ESEM 2006 PS314 Geir Kjetil Hanssen; Tor Erlend Fægri PS315 Johannes Mayer; Christoph Schneckenburger Agile Customer Engagement: a Longitudinal Qualitative Estudo de caso An Empirical Analysis and Comparison of Random Testing Techniques ESEM 2006 ESEM 2006 PS316 Monvorath Phongpaibul; Barry Boehm PS317 Jeffrey Carver; Marc Fisher II; Gregg Rothermel PS318 Odd Petter N. Slyngstad; Anita Gupta; Reidar Conradi; Parastoo Mohagheghi; Harald Rønneberg; Einar Landre An Empirical Comparison Between Pair Development and Software Inspection in Thailand An Empirical Evaluation of a Testing and Debugging Methodology for Excel An Empirical Study of Developers Views on Software Reuse in Statoil ASA ESEM 2006 ESEM 2006 ESEM 2006

83 81 ID Autor Título Fonte Ano PS319 Jing Guan; Jeff Offutt; Paul Ammann An Industrial Estudo de caso of Structural Testing Applied to Safety-critical Embedded Software ESEM 2006 PS322 Piotr Tomaszewski; Lars-Ola Damm; Comparing the Fault-Proneness of New and Modified Code: An Industrial Estudo de caso ESEM 2006 PS323 Chris Lokan; Emilia Mendes; PS325 Muhammad Ali Babar; Barbara Kitchenham; Ross Jeffery; PS326 Davide Falessi; Giovanni Cantone; Martin Becker; Cross-company and Single-company Effort Models Using the ISBSG Database: a Further Replicated Study Distributed Versus Face-to-Face Meetings for Architecture Evaluation: A Documenting Design Decision Rationale to Improve Individual and Team Design Decision Making: An Experimental Evaluation ESEM 2006 ESEM 2006 ESEM 2006 PS327 Mika V. Mäntylä; Casper Lassenius; PS328 Muhammed Ali Babar; Stefan Biffl; Drivers for Software Refactoring Decisions ESEM 2006 Eliciting Better Quality Architecture Evaluation Scenarios: A on Top-Down vs. Bottom-Up ESEM 2006 PS329 Audris Mockus; PS330 Gerardo Canfora; Aniello Cimitile; Felix Garcia; PS332 Thirumalesh Bhat; Nachiappan Nagappan; PS333 Lena Karlsson; Martin Höst; Björn Regnell; PS334 Taiga Nakamura; Lorin Hochstein; Victor R. Basili; Empirical Estimates of Software Availability of Deployed Systems Evaluating Advantages of Test Driven Development: a with Professionals Evaluating the Efficacy of Test-Driven Development: Industrial Case Studies Evaluating the Practical Use of Different Measurement Scales in Requirements Prioritisation Identifying Domain-Specific Defect Classes Using Inspections and Change History ESEM 2006 ESEM 2006 ESEM 2006 ESEM 2006 ESEM 2006 PS335 Ossi Taipale; Kari Smolander; PS336 Margaret A. Wojcicki; Paul Strooper; Improving Software Testing by Observing Practice Maximising the Information Gained From an Experimental Analysis of Code Inspection and Static Analysis for Concurrent Java Components ESEM 2006 ESEM 2006 PS337 Lulu He; Jeffrey Carver; PBR vs. Checklist: A Replication in the N- Fold Inspection Context PS338 Adrian Schobter; Thomas Zimmermann; Andreas Zeller; Predicting Component Failures at Design Time ESEM 2006 ESEM 2006 PS339 Erik Arisholm; Lionel C. Briand; Predicting Fault-prone Components in a Java Legacy System PS340 June Verner; Karl Cox; Steven J. Bleistein; PS341 Gursimran S. Walia; Jeffrey Carver; Thomas Philip; PS343 Christian Denger; Ronny Kolb; Predicting Good Requirements for In-house Development Projects Requirement Error Abstraction and Classification: An Empirical Study Testing and Inspecting Reusable Product Line Components: First Empirical Results ESEM 2006 ESEM 2006 ESEM 2006 ESEM 2006

84 82 ID Autor Título Fonte Ano PS344 Clemente Izurieta; James Bieman; The Evolution of FreeBSD and Linux ESEM 2006 PS345 Manoel Mendonça; Daniela Cruzes; Josemeire Dias; Maria Cristina Ferreira de Oliveira; Using Observational Pilot Studies to Test and Improve Lab Packages ESEM 2006 PS346 Maria Siniaalto; Pekka Abrahamsson; PS347 Américo Sampaio; Phil Greenwood; Alessandro F. Garcia; Awais Rashid; PS349 Monvorath Phongpaibul; Barry Boehm; PS350 Viviane Malheiros; Erika Hohn; Roberto Pinho; Manoel Mendonca; PS351 Krystle Lemon; Edward B. Allen; Jeffrey C. Carver; Gary L.Bradshaw; A Comparative Estudo de caso on the Impact of Test-Driven Development on Program Design and Test Coverage A Comparative Study of Aspect-Oriented Requirements Engineering Approaches A Replicate Empirical Comparison between Pair Development and Software Development with Inspection A Visual Text Mining approach for Systematic Reviews An Empirical Study Of The Effects Of Gestalt Principles On Diagram Understandability PS352 Eduardo Aranha; Paulo Borba; An Estimation Model for Test Execution Effort PS353 Atul Gupta; Pankaj Jalote; PS355 Samar Mouchawrab; Lionel C. Briand; Yvan Labiche; PS356 Rahul Premraj; Thomas Zimmermann; PS357 Byron J. Williams; Jeffrey C. Carver; An Experimental Evaluation of the Effectiveness and Efficiency of the Test Driven Development Assessing, Comparing, and Combining Statechart- based testing and Structural testing: An Building Software Cost Estimation Models using Homogenous Data Characterizing Software Architecture Changes: An Initial Study ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 PS358 Ricardo Valerdi; Cognitive Limits of Software Cost Estimation ESEM 2007 PS361 Sergio Di Martino;Filomena Ferrucci;Carmine Gravino;Emilia Mendes PS362 Cigdem Gencel; Onur Demirors PS363 Juha Itkonen; Mika V. Ma ntyla ; Casper Lassenius PS365 Pekka Abrahamsson; Raimund Moser; Witold Pedrycz; Alberto Sillitti; Giancarlo Succi Comparing Size Measures for Predicting Web Application Development Effort: A Case Study Conceptual Differences Among Functional Size Measurement Methods Defect Detection Efficiency: Test Case Based vs. Exploratory Testing Effort Prediction in Iterative Software Development Processes Incremental Versus Global Prediction Models ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 PS366 M. Ciolkowski;J. Heidrich;J. Mu nch;f. Simon;M. Radicke Evaluating Software Project Control Centers in Industrial Environments ESEM 2007 PS368 Muhamad Ali Babar; Dietmar Winkler; Stefan Biffl Evaluating the Usefulness and Ease of Use of a Groupware Tool for the Software Architecture Evaluation Process ESEM 2007

85 83 ID Autor Título Fonte Ano PS369 Osamu Mizuno; Shiro Ikami; Shuya Nakaichi; Tohru Kikuno Fault-Prone Filtering: Detection of Fault- Prone Modules Using Spam Filtering Technique ESEM 2007 PS370 Gernot Liebchen; Bheki Twala; Martin Shepperd; Michelle Cartwright; Mark Stephens Filtering, Robust Filtering, Polishing: Techniques for Addressing Quality in Software Data ESEM 2007 PS372 Hanna Scott; Philip M. Johnson PS373 Jingzhou Li; Ahmed Al-Emran; Guenther Ruhe Generalizing fault contents from a few classes Impact Analysis of Missing Values on the Prediction Accuracy of Analogy- based Software Effort Estimation Method AQUA ESEM 2007 ESEM 2007 PS374 Jacek Ratzinger; Thomas Sigmund; Peter Vorburger; Harald Gall PS375 Ossi Taipale; Katja Karhu; Kari Smolander PS377 Andreas Jedlitschka; Marcus Ciolkowski; Christian Denger; Bernd Freimut; Andreas Schlichting PS380 Atul Gupta; Pankaj Jalote PS381 Yasutaka Kamei; Akito Monden; Shinsuke Matsumoto; Takeshi Kakimoto; Ken-ichi Matsumoto Mining Software Evolution to Predict Refactoring Observing Software Testing Practice from the Viewpoint of Organizations and Knowledge Management Relevant Information Fontes for Successful Technology Transfer: A Survey Using Inspections as an Example Test Inspected Unit or Inspect Unit Tested Code? The Effects of Over and Under Sampling on Fault-prone Module Detection ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 PS382 Muhammad Ali Babar; Barbara Kitchenham PS383 Lucas Layman; Laurie Williams; Robert St. Amant The Impact of Group Size on Software Architecture Evaluation: A Toward Reducing Fault Fix Time: Understanding Developer Behavior for the Design of Automated Fault Detection Tools ESEM 2007 ESEM 2007 PS384 Gerardo Canfora; Corrado Aaron Visaggio PS385 Tayana Conte; Jobson Massollar; Emilia Mendes; Guilherme H. Travassos PS386 Andrew Begel; Nachiappan Nagappan PS388 Nachiappan Nagappan; Thomas Ball PS389 Ana Magazinović; Joakim Pernstål PS390 Junzhong Ji; Jingyue Li; Reidar Conradi; Chunnian Liu; Jianqiang Ma; Weibing Chen Tuning anonymity level for assuring high data quality: an empirical study. Usability Evaluation Based on Web Design Perspectives Usage and Perceptions of Agile Software Development in an Industrial Context: An Exploratory Study Using Software Dependencies and Churn Metrics to Predict Field Failures: An Empirical Estudo de caso ESEM 2007 ESEM 2007 ESEM 2007 ESEM 2007 Any Other Cost Estimation Inhibitors? ESEM 2007 Some Lessons Learned in Conducting Software Engineering Surveys in China ESEM 2007

86 84 ID Autor Título Fonte Ano PS391 Vu Nguyen; Bert Steece; Barry Boehm A Constrained Regression Technique for COCOMO Calibration ESEM 2007 PS392 Joakim Pernstål; Ana Magazinovic; Peter Öhman A Multiple Estudo de caso Investigating the Interaction between Manufacturing and Development Organizations in Automotive Software Engineering ESEM 2007 PS393 Ariadi Nugroho; Michel R.V. Chaudron A Survey into the Rigor of UML Use and its Perceived Impact on Quality and Productivity ESEM 2008 PS394 Yuepu Guo; Carolyn Seaman A Survey of Software Project Managers on Software Process Change ESEM 2008 PS395 Da Yang; Qing Wang; Mingshu Li; Ye Yang; Kai Ye; Jing Du A Survey on Software Cost Estimation in the Chinese Software Industry ESEM 2008 PS396 Jacek Rosik; Andrew Le Gear; Muhammad Ali Babar; Jim Buckley An Industrial Estudo de caso of Architecture Conformance ESEM 2008 PS397 Hanna Scott; Claes Wohlin Capture-recapture in Software Unit Testing A Case Study PS398 Nikolaos Mittas; Lefteris Angelis PS399 Dan Port; Marcel Korte Combining Regression and Estimation by Analogy in a Semi-parametric Model for Software Cost Estimation Comparative Studies of the Model Evaluation Criterions MMRE and PRED in Software Cost Estimation Research ESEM 2008 ESEM 2008 ESEM 2008 PS402 Marcus Ciolkowski; Jens Heidrich; Frank Simon; Mathias Radicke; PS403 Gursimran Singh Walia; Jeffrey C. Carver; PS404 Lucas Layman; Gunnar Kudrjavets; Nachiappan Nagappan PS405 Luigi A. Lavazza; Vieri del Bianco; Carla Garavaglia; PS406 Sarah Heckman; Laurie Williams; Empirical Results from Using Custom Made Software Project Control Centers in Industrial Environments Evaluation of Capture-Recapture Models for Estimating the Abundance of Naturally- Occurring Defects Iterative Identification of Fault-Prone Binaries Using In-Process Metrics ESEM 2008 ESEM 2008 ESEM 2008 Model-based Functional Size Measurement ESEM 2008 On Establishing a Benchmark for Evaluating Static Analysis Alert Prioritizationand Classification Techniques ESEM 2008 PS407 Andrew Begel; Nachiappan Nagappan; PS411 Qi Li; Qing Wang; Ye Yang; Mingshu Li; Pair Programming: What s in it for Me? ESEM 2008 Reducing Biases in Individual Software Effort Estimations: A Combining Approach ESEM 2008 PS415 Kai Petersen; Kari Rönkkö; Claes Wohlin; PS416 Medha Umarji; Carolyn Seaman; PS417 Sebastien Jeanmart; Yann- Gael Gueheneuc; Houari Sahraoui; Naji Habra; The Impact of Time Controlled Reading on Software Inspection Effectiveness and Efficiency ESEM 2008 Why Do Programmers Avoid Metrics? ESEM 2008 Impact of the Visitor Pattern on Program Comprehension and Maintenance ESEM 2009

87 85 ID Autor Título Fonte Ano PS418 Ilenia Fronza; Alberto Sillitti; Giancarlo Succi; An Interpretation of the Results of the Analysis of Pair Programming during Novices Integration in a Team ESEM 2009 PS422 Karen Scarfone;Peter Mell PS423 Norsaremah Salleh;Emilia Mendes;John Grundy;Giles St. J Burch PS425 A. Corazza;S. Di Martino;F. Ferrucci;C. Gravino;E. Mendes PS426 Sebastian Barney;Claes Wohlin PS428 Bryan Robbins;Jeff Carver An Analysis of CVSS Version 2 Vulnerability Scoring An Empirical Study of the Effects of Personality in Pair Programming using the Five-Factor Model Applying Support Vector Regression for Web Effort Estimation using a Cross-Company Dataset ESEM 2009 ESEM 2009 ESEM 2009 Balancing Software Product Investments ESEM 2009 Cognitive Factors in Perspective-Based Reading (PBR): A Protocol Analysis Study ESEM 2009 PS429 Stefan Hanenberg;Sebastian Kleinschmager;Manuel Josupeit-Walter Does Aspect-Oriented Programming Increase the Development Speed for Crosscutting Code? An Empirical Study ESEM 2009 PS430 Gengshen Du;Guenther Ruhe Does Explanation Improve the Acceptance of Decision Support for Product Release Planning? ESEM 2009 PS432 Dr. Rahul Razdan;Steve Esposito;Jay Lawrence;Peter Conner Empirical Results from the Transformation of a Large Commercial Technical Computing Environment ESEM 2009 PS433 Arilo Claudio Dias- Neto;Guilherme Horta Travassos Evaluation of {model-based} Testing Techniques Selection Approaches: an External Replication ESEM 2009 PS434 Carlton A. Crabtree;Carolyn B. Seaman;Anthony F. Norcio PS436 Medha Umarji;Carolyn Seaman Exploring Language in Software Process Elicitation: A Grounded Theory Approach Gauging acceptance of software metrics: Comparing perspectives of managers and developers ESEM 2009 ESEM 2009 PS438 Koen Buyens;Riccardo Scandariato;Wouter Joosen Measuring the Interplay of Security Principles in Software Architectures ESEM 2009 PS441 Hideyuki Tanaka Quantitative Analysis of Information Security Interdependency Between Industrial Sectors ESEM 2009 PS442 Salvatore Alessandro Sarcia; Victor Robert Basili; Giovanni Cantone Scope Error Detection and Handling concerning Software Estimation Models ESEM 2009 PS443 James Walden; Maureen Doyle; Grant A. Welch; Michael Whelan Security of Open FonteWeb Applications ESEM 2009

88 86 ID Autor Título Fonte Ano PS444 Pietro Abate; Jaap Boender; Roberto Di Cosmo; Stefano Zacchiroli Strong Dependencies between Software Components ESEM 2009 PS445 Muhammad Ali Babar; He Zhang Systematic Literature Reviews in Software Engineering: Preliminary Results from Interviews with Researchers ESEM 2009 PS446 Lucas Lima; Juliano Iyoda; Augusto Sampaio; Eduardo Aranha PS447 Audris Mockus; Nachiappan Nagappan; Trung T. Dinh- Trong PS448 Steffen Olbrich; Daniela S. Cruzes; Victor Basili; Nico Zazworka PS449 Barbara Kitchenham; Pearl Brereton; Mark Turner; Mahmood Niazi; Stephen Linkman; Rialette Pretorius; David Budgen Test Case Prioritization Based on Data Reuse An Experimental Study Test Coverage and Post-Verification Defects: A Multiple Estudo de caso The Evolution and Impact of Code Smells: A Case Study of Two Open Fonte Systems The Impact of Limited Search Procedures for Systematic Literature Reviews A Participant-Observer Estudo de caso ESEM 2009 ESEM 2009 ESEM 2009 ESEM 2009 PS452 Simon Denier; Houari Sahraoui Understanding the Use of Inheritance with Visual Patterns PS453 Aiko Fallas Yamashita; Hans Christian Benestad; Bente Anda; Per Einar Arnstad; Dag I. K. Sjøberg; Leon Moonen Using Concept Mapping for Maintainability Assessments ESEM 2009 ESEM 2009 PS454 Natalia Juristo; Sira Vegas PS456 Yolanta Beres; Marco Casassa Mont; Jonathan Griffin; Simon Shiu Using Differences among Replications of Software Engineering s to Gain Knowledge Using Security Metrics Coupled with Predictive Modeling and Simulation to Assess Security Processes ESEM 2009 ESEM 2009 PS458 Philip Johnson; Shaoxuan Zhang We need more coverage, stat! Classroom experience with the Software ICU ESEM 2009 PS459 Marcus Ciolkowski What Do We Know About Perspective-Based Reading? An Approach for Quantitative Aggregation in Software Engineering ESEM 2009 PS460 Davide Falessi; Giovanni Cantone; Gerardo Canfora PS461 Alessandro Murgia; Giulio Concas; Michele Marchesi; Roberto Tonelli PS462 Aniket Dahotre; Yan Zhang; Christopher Scaffidi PS463 Luke Nguyen-Hoan; Shayne Flint; Ramesh Sankaranarayana A Comprehensive Characterization of NLP Techniques for Identifying Equivalent Requirements A machine learning approach for text categorization of fixing-issue commits on CVS A Qualitative Study of Animation Programming in the Wild ESEM 2010 ESEM 2010 ESEM 2010 A Survey of Scientific Software Development ESEM 2010

89 ID Autor Título Fonte Ano PS464 Sejun Kim; Jongmoon Baik An Effective Fault Aware Test Case Prioritization by Incorporating a Fault Localization Technique ESEM 2010 PS466 Hazem Qattous; Philip Gray; Ray Welland An Empirical Study of Specification by Example in a Software Engineering Tool 87 ESEM 2010 PS467 Nico Zazworka; Kai Stapel; Eric Knauss; Forrest Shull; Victor R. Basili; Kurt Schneider Are Developers Complying with the Process: An XP Study ESEM 2010 PS468 Jan Schumacher; Nico Zazworka; Forrest Shull; Carolyn Seaman; Michele Shaw PS469 Kenneth Lind; Rogardt Heldal PS470 Andreas Jedlitschka PS472 Margaret Burnett; Scott D. Fleming; Shamsi Iqbal; Gina Venolia; Vidya Rajaram; Umer Farooq; Valentina Grigoreanu; Mary Czerwinski PS474 Luigi Lavazza; Gabriela Robiolo PS475 Fabio Calefato; Domenico Gendarmi; Filippo Lanubile PS477 Filippo Ricca; Giuseppe Scanniello; Marco Torchiano; Gianna Reggio; Egidio Astesiano PS478 Jo E. Hannay; Hans Christian Benestad PS480 Andrew Meneely; Laurie Williams PS482 Jussi Kasurinen; Ossi Taipale; Kari Smolander; PS483 Norsaremah Salleh; Emilia Mendes; John Grundy; Giles St. J Burch; PS484 Jingyue Li; Nils B. Moe; Tore Dybå; PS486 Emad Shihab; Zhen Ming Jiang; Walid M. Ibrahim; Bram Adams; Ahmed E. Hassan; PS487 Nathalie Aquino; Jean Vanderdonckt; Nelly Condori- Fernández; Óscar Dieste; Óscar Pastor; Building Empirical Support for Automated Code Smell Detection Categorization of Real-Time Software Components for Code Size Estimation Evaluating a Model of Software Managers Information Needs An Gender Differences and Programming Environments: Across Programming Populations Introducing the Evaluation of Complexity in Functional Size Measurement: a UML-based Approach Investigating the Use of Tags in Collaborative Development Environments: A Replicated Study On the Effectiveness of Screen Mockups in Requirements Engineering: Results from an Internal Replication Perceived Productivity Threats in Large Agile Development Projects Strengthening the Empirical Analysis of the Relationship between Linus Law and Software Security Test Case Selection and Prioritization: Risk- Based or Design-Based? The Effects of Neuroticism on Pair Programming: An Empirical Study in the Higher Education Context Transition from a Plan-Driven Process to Scrum A Longitudinal Estudo de caso on Software Quality Understanding the Impact of Code and Process Metrics on Post-release Defects: A Case Study on the Eclipse Project Usability Evaluation of Multi-Device/Platform User Interfaces Generated by Model-Driven Engineering ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010 ESEM 2010

90 88 ID Autor Título Fonte Ano PS489 Xiao Qu; Brian Robinson; A Case Study of concolic testing tools and their limitations ESEM 2011 PS490 John Noll; Sarah Beecham; Dominik Seichter; A Qualitative Study of Open Fonte Software Development: the OpenEMR Project ESEM 2011 PS491 Jari Soini; PS493 He Zhang; Muhammad Ali Babar; A Survey of Metrics Use in Finnish Software Companies An Empirical Investigation of Systematic Reviews in Software Engineering ESEM 2011 ESEM 2011 PS494 Fabio Q. B. da Silva; A. César C. França; Tatiana B. Gouveia; Cleviton V. F. Monteiro; Elisa S. F. Cardozo; Marcos Suassuna; PS495 Lionel Briand; Yvan Labiche; Reymes Madrazo-Rivera; An Empirical Study on the Use of Team Building Criteria in Software Projects An Experimental Evaluation of the Impact of System Sequence Diagrams and System Operation Contracts on the Quality of the Domain Model ESEM 2011 ESEM 2011 PS496 Sebastian Nanz; Faraz Torshizi; Michela Pedroni; Bertrand Meyer; PS498 Werner Heijstek; Thomas K uhne; Michel R. V. Chaudron; PS499 Janet Feigenspan; Sven Apel; Jorg Liebig; Christian Kastner; Design of an Empirical Study for Comparing the Usability of Concurrent Programming Languages Experimental Analysis of Textual and Graphical Representations for Software Architecture Design Exploring Software Measures to Assess Program Comprehension ESEM 2011 ESEM 2011 ESEM 2011 PS500 Rainer Lutz; David Wurfel; Stephan Diehl; How Humans merge UML-Models ESEM 2011 PS503 Debarshi Chatterji; Jeffrey C. Carver; Beverly Massengill; Jason Oslin; Nicholas A. Kraft; Measuring the Efficacy of Code Clone Information in a Bug Localization Task: An Empirical Study ESEM 2011 PS504 Lianfa Li; Hareton Leung; Mining Static Code Metrics for a Robust Prediction of Software Defect-Proneness ESEM 2011 PS505 Rahul Premraj; Kim Herzig; Network versus Code Metrics to Predict Defects: A Replication Study ESEM 2011 PS506 Wladimir Araujo; Lionel C. Briand; Yvan Labiche; On the Effectiveness of Contracts as Test Oracles in the Detection and Diagnosis of Race Conditions and Deadlocks in Concurrent Object-Oriented Software ESEM 2011 PS507 Andrew Austin; Laurie Williams; One Technique is Not Enough: A Comparison of Vulnerability Discovery Techniques ESEM 2011

91 89 ID Autor Título Fonte Ano PS508 Aram Hovsepyan; Riccardo Scandariato; Stefan Van Baelen; Wouter Joosen; Serge Demeyer; Preserving Aspects via Automation: a Maintainability Study ESEM 2011 PS511 Bartosz Michalik; Danny Weyns; Nelis Bouck; Alexander Helleboogh; PS512 Eero I. Laukkanen; Mika V. Maantyla; Supporting Online Updates of Software Product Lines: A Survey Reproduction of Defect Reporting in Industrial Software Development ESEM 2011 ESEM 2011 PS515 Katia R. Felizardo; Norsaremah Salleh; Rafael M. Martins; Emilia Mendes; Stephen G. MacDonell; José C. Maldonado; PS516 Dana S. Kusumo; Mark Staples; Liming Zhu; Ross Jeffery; Using Visual Text Mining to Support the Study Selection Activity in Systematic Literature Reviews Analyzing Differences in Risk Perceptions between Developers and Acquirers in OTSbased Custom Software Projects Using Stakeholder Analysis ESEM 2011 ESEM 2011 PS518 Fabio Calefato; Filippo Lanubile; Tayana Conte; Rafael Prikladnicki; PS519 Carol Passos; Daniela S. Cruzes; Tore Dybå; Manoel Mendonça; PS522 Hans Christian Benestad; Jo E. Hannay PS523 Kenneth Hullett; Nachiappan Nagappan; Eric Schuh; John Hopson PS524 Mel O Cinne ide; Laurence Tratt; Mark Harman; Steve Counsell; Iman Hemati Moghadam Assessing the Impact of Real-Time Machine Translation on Requirements Meetings: A Replicated Challenges of Applying Etnografia to Study Software Practices Does the Prioritization Technique Affect Stakeholders Selection of Essential Software Product Features? Empirical Analysis of User Data in Game Software Development Experimental Assessment of Software Metrics Using Automated Refactoring ESEM 2011 ESEM 2011 ESEM 2012 ESEM 2012 ESEM 2012 PS525 Krzysztof Wnuk; Dietmar Pfahl; David Callele; Even-Andre Karlsson How can Open Fonte Software Development Help Requirements Management Gain the Potential of Open Innovation: An Exploratory Study ESEM 2012 PS526 Emanuel Giger; Marco D Ambros; Martin Pinzger; Harald C. Gall Method-Level Bug Prediction ESEM 2012 PS527 Luigi Lavazza; Sandro Morasca; Davide Taibi; Davide Tosi On the Definition of Dynamic Software Measures ESEM 2012 PS529 Ulrich Sta rk; Lutz Prechelt; Ilija Jolevski PS530 Jue Wang; Hongyu Zhang PS531 Breno Miranda; Eduardo Aranha; Juliano Iyoda Plat_Forms 2011: Finding Emergent Properties of Web Application Development Platforms Predicting Defect Numbers Based on Defect State Transition Models ESEM 2012 ESEM 2012 Recommender Systems for Manual Testing ESEM 2012

92 90 ID Autor Título Fonte Ano PS533 Pilar Rodri guez; Jouni Markkula; Markku Oivo; Kimmo Turula Survey on Agile and Lean Usage in Finnish Software Industry ESEM 2012 PS535 Nauman Bin Ali; Kai Petersen; Mika V. Ma ntyla PS536 Emad Shihab; Christian Bird; Thomas Zimmermann PS537 Marco Anto nio Pereira Arau jo; Vitor Faria Monteiro; Guilherme Horta Travassos PS538 Cheng Zhang; David Budgen; Sarah Drummond Testing Highly Complex System of Systems: An Industrial Estudo de caso The Effect of Branching Strategies on Software Quality Towards a Model to Support in silico Studies of Software Evolution Using a Follow-on Survey to Investigate Why Use of the Visitor, Singleton & Facade Patterns is Controversial ESEM 2012 ESEM 2012 ESEM 2012 ESEM 2012 PS539 Tore Dyba; Dag I.K. Sjøberg; Daniela S. Cruzes What Works for Whom, Where, When, and Why? On the Role of Context in Empirical Software Engineering ESEM 2012 PS541 Thomas P. Frazier; John W. Bailey; Melissa L. Corso Comparing Ada and FORTRAN Lines of Code: Some Experimental Results ESEJ 1996 PS542 John C. Munson; Gregory A. Hall PS543 John Daly; Andrew Brooks; James Miller; Marc Roper; Murray Wood Estimating TestEffectivenesswith Dynamic Complexity Measurement Evaluating Inheritance Depth on the Maintainability of Object-Oriented Software ESEJ 1996 ESEJ 1996 PS548 Victor R. Basil; Scott Green; Oliver Laitenberger; Filippo Lanubile; Forrest Shull; Sivert Sorumgard; Marvin V. Zelkowitz The Empirical Investigation of Perspective- Based Reading ESEJ 1996 PS549 Taghi M. Khoshgofiaar; Edward B. Allen; Kalai S. Kalaichelvan; Nishith Goel The Impact of Software Evolution and Reuse on Software Quality ESEJ 1996 PS550 F. Macdonald; J. Miller PS551 Christopher M. Lott PS553 Pierfrancesco Fisaro; Filippo Lanbile; Guiseppe Visaggio A Comparison of Tool-Based and Paper- Based Software Inspection A to Evaluate On- Line Process Guidance A Replicated to Assess Requirements Inspection Techniques ESEJ 1998 ESEJ 1997 ESEJ 1997 PS556 Lionel C. Briand; Christian Bunse; John W. Daly; Christiane Differding An Experimental Comparison of the Maintainability of Object-Oriented and Structured Design Documents ESEJ 1997 PS557 Per Runeson; Claes Wohlin An Experimental Evaluation of an Experience-Based Capture-Recapture Method in Software Code Inspections ESEJ 1998

93 ID Autor Título Fonte Ano PS558 Kristian Sandahl; Ola Blomkvist; Joachim Karlsson; Christian Krysander; Mikael Lindvall; Niclas Ohlsson An Extended Replication of an for Assessing Methods for Software Requirements Inspections ESEJ PS560 Taghi M. Khoshgoftaar; Edward B. Allen PS561 Adam Porter; Lawrence Votta; Classification of Fault-Prone Software Modules: Prior Probabilities, Costs, and Model Evaluation Comparing Detection Methods For Software Requirements Inspections: A Replication Using Professional Subjects ESEJ 1998 ESEJ 1998 PS562 David Jankowski; PS563 Philip M. Johnson; Danu Tjahjono; PS571 J. Miller; M. Wood; M. Roper; PS572 Robert W. Bowdidge; William G. Griswold; PS584 James H. Cross Ii;T. Dean Hendrix;Saeed Maghsoodloo Computer-Aided Systems Engineering Methodology Support and Its Effect on the Output of Structured Analysis Does Every InspectionReallyNeed a Meeting? Further Experiences with Scenarios and Checklists How Software Engineering Tools Organize Programmer Behavior During the Task of Data Encapsulation The Control Structure Diagram: An Overview and Initial Evaluation ESEJ 1997 ESEJ 1998 ESEJ 1998 ESEJ 1997 ESEJ 1998 PS588 James D. Kiper;Brent Auernheimer;Charles K. Ames PS589 Taghi M. Khoshgoftaar;Edward B. Allen PS590 Philip M. Johnson;Anne M. Disney PS599 F. Paternò;C. Mancini PS601 Zhijun Zhang; Victor Basili; Ben Shneiderman PS606 Anders Wesslén PS608 Michael Berry; Ross Jeffery PS610 Björn Regnell; Per Runeson; Thomas Thelin Visual Depiction of Decision Statements: What is Best for Programmers and Non- Programmers? A Comparative Study of Ordering and Classification of Fault-Prone Software Modules A Critical Analysis of PSP Data Quality: Results from A Case Study Engineering the Design of Usable Hypermedia Perspective-based Usability Inspection: An Empirical Validation of Efficacy A Replicated Empirical Study of the Impact of the Methods in the PSP on Individual Engineers An Instrument for Assessing Software Measurement Programs Are the Perspectives Really Different? Further Experimentation on Scenario- Based Reading of RequirementsAre the Perspectives Really Different? Further Experimentation on Scenario- Based Reading of Requirements ESEJ 1997 ESEJ 1999 ESEJ 1999 ESEJ 1999 ESEJ 1999 ESEJ 2000 ESEJ 2000 ESEJ 2000

94 92 ID Autor Título Fonte Ano PS611 A. Von Mayrhauser; C. Wohlin; M. C. Ohlsson Assessing and Understanding Efficiency and Success of Software Production ESEJ 2000 PS612 Taghi M. Khoshgoftaar; Xiaojing Yuan; Edward B. Allen Balancing Misclassification Rates in Classification-Tree Models of Software QualityBalancing Misclassification Rates in Classification-Tree Models of Software Quality ESEJ 2000 PS614 Andrew Brooks; Fredrik Utbult; Catherine Mulligan; Ross Jeffery Early Lifecycle Work: Influence of Individual Characteristics, Methodological Constraints, and Interface Constraints ESEJ 2000 PS615 Alessandro Maccari; Claudio Riva PS618 Karl Cox; Keith Phalp Empirical Evaluation of CASE Tools Usage at Nokia Replicating the CREWS Use Case Autoring Guidelines ESEJ 2000 ESEJ 2000 PS619 Luigi Lavazza; Giuseppe Valetto PS620 Lesley Pek Wee Land; Chris Sauer; Ross Jeffery Requirements-Based Estimation of Change Costs The Use of Procedural Roles in Code Inspections: An Experimental Study ESEJ 2000 ESEJ 2000 PS621 Martin Ho St; Bjo Rn Regnell; Claes Wohlin Using Students as Subjects A Comparative Study of Students and Professionals in Lead- Time Impact Assessment ESEJ 2000 PS623 Erik Arisholm; Dag I. K. Sje berg; Magne Je rgensen PS625 Taghi M. Khoshgoftaar; Edward B. Allen Assessing the Changeability of two Object- Oriented Design Alternatives: a Controlling Overfitting in Classification-Tree Models of Software Quality ESEJ 2001 ESEJ 2001 PS628 Tracy Hall; Valerie Flynn PS629 Márcio Eduardo Delamaro; José Carlos Maldonado; Alberto Pasquini; Aditya Mathur Ethical Issues in Software Engineering Research: A Survey of Current Practice Interface Mutation Test Adequacy Criterion: An Empirical Evaluation ESEJ 2001 ESEJ 2001 PS632 Khaled El-Emam; Dennis Goldenson; James Mccurley; James Herbsleb Modelling the Likelihood of Software Process Improvement: An Exploratory Study ESEJ 2001 PS634 Patrick D'astous; Pierre N. Robillard; France Oise Dea Tienne; Willemien Visser Quantitative Measurements of the Influence of Participant. Roles during Peer Review Meetings ESEJ 2001 PS635 Lionel C. Briand; Jurgen Wust; Hakim Lounis Replicated Case Studies for Investigating Quality Factors in Object-Oriented Designs ESEJ 2001

95 93 ID Autor Título Fonte Ano PS637 Ignatios S. Deligiannis; Martin Shepperd; Steve Webster; Manos Roumeliotis A Review of Experimental Investigations into Object-Oriented Technology ESEJ 2002 PS638 C. Stringfellow; A. Amschler Andrews PS639 Oliver Laitenberger; Thomas Beil; Thilo Schwinn An Empirical Method for Selecting Software Reliability Growth Models An Industrial Estudo de caso to Examine a Non-Traditional Inspection Implementation for Requirements Specifications ESEJ 2002 ESEJ 2002 PS640 Mari Carmen Otero; Jose Javier Dolado PS641 Lars Bratthall; Magne Jørgensen; PS642 Helen C. Purchase; David Carrington; Jo-Anne Allder; An Initial Experimental Assessment of the Dynamic Modelling in UML Can you Trust a Single Data Fonte Exploratory Software Engineering Estudo de caso? Empirical Evaluation of Aesthetics-based Graph Layout ESEJ 2002 ESEJ 2002 ESEJ 2002 PS643 Hareton K. N. Leung; Estimating Maintenance Effort by Analogy ESEJ 2002 PS644 Shinji Kusumoto; Akira Nishimatsu; Keisuke Nishie; Katsuro Inoue; PS645 Jean-Marie Burkhardt; Franc Oise De Tienne; Susan Wiedenbeck; Experimental Evaluation of Program Slicing for Fault Localization Object-Oriented Program Comprehension: Effect of Expertise, Task and Phase ESEJ 2002 ESEJ 2002 PS647 Taghi M. Khoshgoftaar; Xiaojing Yuan; Edward B. Allen; Wendell D. Jones; John P. Hudepohl; Uncertain Classification of Fault-Prone Software Modules ESEJ 2002 PS648 Stefan Biffl; Walter J. Gutjahr; PS649 Emilia Mendes; Ian Watson; Chris Triggs; Nile Mosley; Steve Counsell; Using a Reliability Growth Model to Control Software Inspection A Comparative Study of Cost Estimation Models for Web Hypermedia Applications ESEJ 2002 ESEJ 2003 PS651 Mikael Lindvall; Roseanne Tesoriero Tvedt; Patricia Costa; PS652 Dietmar Pfahl; Oliver Laitenberger; Jorg Dorsch; Gunther Ruhe; An Empirically-Based Process for Software Architecture Evaluation An Externally Replicated for Evaluating the Learning Effectiveness of Using Simulations in Software Project Management Education ESEJ 2003 ESEJ 2003 PS654 Taghi M. Khoshgoftaar; Naeem Seliya; Analogy-Based Practical Classification Rules for Software Quality Estimation ESEJ 2003

96 94 ID Autor Título Fonte Ano PS655 Griselda Giraudo; Paolo Tonella; Designing and Conducting an Empirical Study on Test Management Automation ESEJ 2003 PS658 Taghi M. Khoshgoftaar; Naeem Seliya; PS659 Maurizio Pighin; Vili Podgorelec; Peter Kokol; Fault Prediction Modeling for Software Quality Estimation: Comparing Commonly Used Techniques Fault-Threshold Prediction with Linear Programming Methodologies ESEJ 2003 ESEJ 2003 PS661 Claes Wohlin; Anneliese Amschler Andrews; PS662 Sarah Beecham; Tracy Hall; Austen Rainer; PS663 Nadine Hanebutte; Carol S. Taylor; Reiner R. Dumke; Prioritizing and Assessing Software Project Success Factors and Project Characteristics using Subjective Data Software Process Improvement Problems in Twelve Software Companies: An Empirical Analysis Techniques of Successful Application of Factor Analysis in Software Measurement ESEJ 2003 ESEJ 2003 ESEJ 2003 PS664 Marek Voka C; Walter Tichy; Dag I. K. Sjøberg; Erik Arisholm; Magne Aldrin; A Comparing the Maintainability of Programs Designed with and without Design Patterns A Replication in a Real Programming Environment ESEJ 2004 PS665 Helen Sharp; Hugh Robinson; An Ethnographic Study of XP Practice ESEJ 2004 PS666 Daniela Damian; Didar Zowghi; Lakshminarayanan Vaidyanathasamy; Yogendra Pal; An Industrial Estudo de caso of Immediate Benefits of Requirements Engineering Process Improvement at the Australian Center for Unisys Software ESEJ 2004 PS667 Claes Wohlin; PS668 Matthias M. Muller; PS669 Taghi M. Khoshgoftaar; Naeem Seliya; PS670 Thomas Theli; Per Runeson; Claes Wohlin; Thomas Olsson; Carina Andersson; Are Individual Differences in Software Development Performance Possible to Capture Using a Quantitative Survey? Are Reviews an Alternative to Pair Programming? Comparative Assessment of Software Quality Classification Techniques: An Empirical Estudo de caso Evaluation of Usage-Based Reading Conclusions after Three s ESEJ 2004 ESEJ 2004 ESEJ 2004 ESEJ 2004 PS671 Kjetil Moløkken-Østvold; Magne Jørgensen; Group Processes in Software Effort Estimation ESEJ 2004 PS672 Jarmo J. Ahonen; Tuukka Junttila; Markku Sakkinen; Impacts of the Organizational Model on Testing: Three Industrial Cases ESEJ 2004 PS677 Sira Vegas; Victor Basili; A Characterization Schema for Software Testing Techniques ESEJ 2005

97 95 ID Autor Título Fonte Ano PS678 Mira Kajko-Mattsson; A Survey of Documentation Practice within Corrective Maintenance ESEJ 2005 PS679 Yasunari Takagi; Osamu Mizuno; Tohru Kikuno; An Empirical Approach to Characterizing Risky Software Projects Based on Logistic Regression Analysis ESEJ 2005 PS682 Taghi M. Khoshgoftaar; Naeem Seliya; Kehan Gao; PS683 Amela Karahasanovic; Bente Anda; Erik Arisholm; Siw Elisabeth Hove; Magne Jørgensen; Dag I. K. Sjøberg; Ray Welland; Assessment of a New Three-Group Software Quality Classification Technique: An Empirical Estudo de caso Collecting Feedback During Software Engineering s ESEJ 2005 ESEJ 2005 PS684 Kjetil Moløkken-Østvold; Magne Jørgensen; Expert Estimation of Web-Development Projects: Are Software Professionals in Technical Roles More Optimistic Than Those in Non-Technical Roles? ESEJ 2005 PS685 Bente Anda; Dag I. K. Sjøberg; Investigating the Role of Use Cases in the Construction of Class Diagrams ESEJ 2005 PS686 Jorg Zettel; Methodology Support in CASE Tools and Its Impact on Individual Acceptance and Use: A ESEJ 2005 PS687 Iris Reinhartz-Berger; Dov Dori; PS688 Daniela Damian; James Chisan; Lakshminarayanan Vaidyanathasamy; Yogendra Pal OPM vs. UML ing with Comprehension and Construction of Web Application Models Requirements Engineering and Downstream Software Development: Findings from A Case Study ESEJ 2005 ESEJ 2005 PS690 Hyunsook Do; Sebastian Elbaum; Gregg Rothermel; PS692 Jan Verelst Supporting ation with Testing Techniques: An Infrastructure and its Potential Impact The Influence of the Level of Abstraction on the Evolvability of Conceptual Models of Information Systems ESEJ 2005 ESEJ 2005 PS694 Judith Segal PS695 Daniel M. German PS698 Mats Grindal; Birgitta Lindstro M; Jeff Offutt; Sten F. Andler When Software Engineers Met Research Scientists: Case Study An empirical study of fine-grained software modifications An evaluation of combination strategies for test case selection ESEJ 2005 ESEJ 2006 ESEJ 2006

98 96 ID Autor Título Fonte Ano PS699 Johan Natt Och Dag; Thomas Thelin; Bjorn Regnell An on linguistic tool support for consolidation of requirements from multiple Fontes in market-driven product development ESEJ 2006 PS700 Avik Sinha; Carol Smidts An Experimental evaluation of a higherordered- typed-functional specification-based test-generation technique ESEJ 2006 PS704 Bente Anda; Kai Hansen; Ingolf Gullesen; Hanne Kristin Thorsen Experiences from introducing UML-based development in a large safety-critical project ESEJ 2006 PS705 Jane Huffman Hayes; Jeff Offutt Input validation analysis and testing ESEJ 2006 PS706 Daniel Karlstrom; Per Runeson Integrating agile software development into stage-gate managed product development ESEJ 2006 PS708 José C. Maldonado; Jeffrey Carver; Forrest Shull; Sandra Fabbri; Emerson Dória; Luciana Martimiano; Manoel Mendonça; Victor Basili Perspective-Based Reading: A Replicated Focused on Individual Reviewer Effectiveness ESEJ 2006 PS709 Hyunsook Do; Gregg Rothermel; Alex Kinneer Prioritizing JUnit Test Cases: An Empirical Assessment and Cost-Benefits Analysis ESEJ 2006 PS710 Ahmed E. Hassan; Richard C. Holt Replaying development history to assess the effectiveness of change propagation tools ESEJ 2006 PS711 Mika V. Mantyla; Casper Lassenius Subjective evaluation of software evolvability using code smells: An empirical study ESEJ 2006 PS713 Sharifah Syed-Abdullah; Mike Holcombe; Marian Gheorge The Impact of an Agile Methodology on the Well Being of Development Teams ESEJ 2006 PS714 Christian Bunse Using patterns for the refinement and translation of UML models: A ESEJ 2006 PS716 Ping Li; Toan Huynh; Marek Reformat; James Miller A practical approach to testing GUI systems ESEJ 2007 PS718 Xiangyu Zhang; Neelam Gupta; Rajiv Gupta PS719 Dowming Yeh; Pei-chen Sun; William Chu; Chien-Lung Lin; Hongji Yang A study of effectiveness of dynamic slicing in locating real faults An empirical study of a reverse engineering method for the aggregation relationship based on operation propagation ESEJ 2007 ESEJ 2007 PS721 Marcela Genero; Esperanza Manso; Aaron Visaggio; Gerardo Canfora; Mario Piattini; PS722 Raimund Moser; Barbara Russo; Giancarlo Succi Building measure-based prediction models for UML class diagram maintainability Empirical analysis on the correlation between GCC compiler warnings and revision numbers of Fonte files in five industrial software projects ESEJ 2007 ESEJ 2007

99 97 ID Autor Título Fonte Ano PS723 Man Xiao; Mohamed El-Attar; Marek Reformat; James Miller Empirical evaluation of optimization algorithms when used in goal-oriented automated test data generation techniques ESEJ 2007 PS725 Mikael Lindvall; Ioana Rus; Paolo Donzelli; Atif Memon; Marvin Zelkowitz; Aysu Betin- Can; Tevfik Bultan; Chris Ackermann; Bettina Anders; Sima Asgari; Victor Basili; Lorin Hochstein; Jo rg Fellmann; Forrest Shull; Roseanne Tvedt; Daniel Pech; Daniel Hirschbach ing with software testbeds for evaluating new technologies ESEJ 2007 PS726 Allen E. Milewski PS727 Douglas Kirk; Marc Roper; Murray Wood PS728 Margaret A. Wojcicki; Paul Strooper PS729 Lena Karlsson; Thomas Thelin; Björn Regnell; Patrik Berander; Claes Wohlin Global and task effects in informationseeking among software engineers Identifying and addressing problems in object-oriented framework reuse Maximising the information gained from a study of static analysis technologies for concurrent software Pair-wise comparisons versus planning game partitioning s on requirements prioritisation techniques ESEJ 2007 ESEJ 2007 ESEJ 2007 ESEJ 2007 PS731 Victor R. Basili; Marvin V. Zelkowitz; Dag I. K. Sjøberg; Philip Johnson; Anthony J. Cowling PS735 Hélène Waeselynck; Pascale Thévenod-Fosse; Olfa Abdellatif-Kaddour PS736 Matthias M. Mu ller; Andreas Ho fer PS737 Sebastian Elbaum; Satya Kanduri; Anneliese Andrews PS738 Liguo Yu PS739 Adalberto Nobiato Crespo; Mario Jino; Alberto Pasquini; Jose Carlos Maldonado Protocols in the use of empirical software engineering artifacts Simulated annealing applied to test generation: landscape characterization and stopping criteria The effect of experience on the test-driven development process Trace anomalies as precursors of field failures: an empirical study Understanding component co-evolution with a study on Linux A binomial software reliability model based on coverage of structural testing criteria ESEJ 2007 ESEJ 2007 ESEJ 2007 ESEJ 2007 ESEJ 2007 ESEJ 2008 PS741 Jens Knodel; Dirk Muthig; Matthias Naab; PS742 Marco Lormans; Arie van Deursen; Hans-Gerhard Gross; PS743 Mark Hennessy; James F. Power; PS745 Muhammad Ali Babar; Barbara Kitchenham; Ross Jeffery; An on the role of graphical elements in architecture visualization An industrial Estudo de caso in reconstructing requirements views Analysing the effectiveness of rule-coverage as a reduction criterion for test suites of grammar-based software Comparing distributed and face-to-face meetings for software architecture evaluation: A ESEJ 2008 ESEJ 2008 ESEJ 2008 ESEJ 2008

100 98 ID Autor Título Fonte Ano PS746 Yvonne Dittrich; Kari Rönkkö; Jeanette Eriksson; Christina Hansson; Olle Lindeberg; Cooperative method development: Combining qualitative empirical research with method, technique and process improvement ESEJ 2008 PS748 Raimar Falke; Pierre Frenzel; Rainer Koschke; PS750 Wes Masri; Empirical evaluation of clone detection using syntax suffix trees Exploiting the empirical characteristics of program dependences for improved forward computation of dynamic slices ESEJ 2008 ESEJ 2008 PS751 Norman Fenton; Martin Neil; William Marsh; Peter Hearty; Łukasz Radliński; Paul Krause; On the effectiveness of early life cycle defect prediction with Bayesian Nets ESEJ 2008 PS752 David Budgen; Barbara A. Kitchenham; Stuart M. Charters; Mark Turner; Pearl Brereton; Stephen G. Linkman; Presenting software engineering results using structured abstracts: a randomised ESEJ 2008 PS753 Nachiappan Nagappan; E. Michael Maximilien; Thirumalesh Bhat; Laurie Williams; PS756 John Moses; Malcolm Farrow; Realizing quality improvement through test driven development: results and experiences of four industrial teams Tests for consistent measurement of external subjective software quality attributes ESEJ 2008 ESEJ 2008 PS757 M. Pikkarainen; J. Haikara; O. Salo; P. Abrahamsson; J. Still; The impact of agile practices on communication in software development ESEJ 2008 PS760 Silvia T. Acuña; Marta Gómez; Natalia Juristo; PS761 Cory J. Kapser; Michael W. Godfrey; Towards understanding the relationship between team climate and software quality a quasi-experimental Cloning considered harmful considered harmful: patterns of cloning in software ESEJ 2008 ESEJ 2008 PS762 Anita Gupta; Jingyue Li; Reidar Conradi; Harald Rønneberg; Einar Landre; PS763 Y. F. Li; M. Xie; T. N. Goh; A Case Study comparing defect profiles of a reused framework and of applications reusing it A study of the non-linear adjustment for analogy based software cost estimation ESEJ 2009 ESEJ 2009 PS764 Mohamed El-Attar; James Miller; PS765 Brendan Cleary; Chris Exton; Jim Buckley; Michael English; PS766 Panagiotis Sfetsos; Ioannis Stamelos; Lefteris Angelis; Ignatios Deligiannis PS768 Toan Huynh; James Miller; A subject-based empirical evaluation of SSUCD s performance in reducing inconsistencies in use case models An empirical analysis of information retrieval based concept location techniques in software comprehension An Experimental investigation of personality types impact on pair effectiveness in pair programming Another viewpoint on evaluating web software reliability based on workload and failure data extracted from server logs ESEJ 2009 ESEJ 2009 ESEJ 2009 ESEJ 2009

101 99 ID Autor Título Fonte Ano PS769 Andrea De Lucia; Rocco Oliveto; Genoveffa Tortora; Assessing IR-based traceability recovery tools through s ESEJ 2009 PS770 José A. Cruz-Lemus; Marcela Genero; M. Esperanza Manso; Sandro Morasca; Mario Piattini; PS772 Christiane Gresse von Wangenheim;Marcello Thiry;Djone Kochanski PS774 Gürcan Güle sir;klaas van den Berg;Lodewijk Bergmans;Mehmet Ak sit PS777 Jesus M. Gonzalez- Barahona;Gregorio Robles;Martin Michlmayr;Juan José Amor;Daniel M. German Assessing the understandability of UML statechart diagrams with composite states A family of empirical studies Empirical evaluation of an educational game on software measurement Experimental evaluation of a tool for the verification and transformation of Fonte code in event-driven systems Macro-level software evolution: A Case Study of a large software compilation ESEJ 2009 ESEJ 2009 ESEJ 2009 ESEJ 2008 PS778 Ben H. Smith;Laurie Williams PS779 Rattikorn Hewett;Phongphun Kijsanayothin On guiding the augmentation of an automated test suite ESEJ 2009 On modeling software defect repair time ESEJ 2009 PS781 Andrea Herrmann;Barbara Paech PS782 Jihyun Lee;Sungwon Kang;Chang-Ki Kim Practical challenges of requirements prioritization based on risk estimation Software architecture evaluation methods based on cost benefit analysis and quantitative decision making ESEJ 2009 ESEJ 2009 PS784 Denys Poshyvanyk;Andrian Marcus;Rudolf Ferenc;Tibor Gyimóthy PS785 Lucian Voinea;Alexandru Telea PS788 Zibin Zheng;Michael R. Lyu PS789 Toan Huynh;James Miller PS790 Gerardo Cepeda Porras;Yann- Gaël Guéhéneuc Using information retrieval based coupling measures for impact analysis Visual querying and analysis of large software repositories An adaptive QoS-aware fault tolerance strategy for web services An empirical investigation into open Fonte web applications implementation vulnerabilities An empirical study on the efficiency of different design pattern representations in UML class diagrams ESEJ 2009 ESEJ 2009 ESEJ 2010 ESEJ 2010 ESEJ 2010 PS792 Andrea De Lucia;Carmine Gravino;Rocco Oliveto;Genoveffa Tortora PS796 Seiyoung Lee;Hwan-Seung Yong An Experimental comparison of ER and UML class diagrams for data modelling Distributed agile: project management in a global environment ESEJ 2010 ESEJ 2010 PS798 Hideaki Hata;Osamu Mizuno;Tohru Kikuno Fault-prone module detection using largescale text features based on spam filtering ESEJ 2010

102 100 ID Autor Título Fonte Ano PS801 Nikolaos Mittas; Lefteris Angelis LSEbA: least squares regression and estimation by analogy in a semi-parametric model for software cost estimation ESEJ 2010 PS802 George Michaelides; Chris Thomson; Stephen Wood Measuring fidelity to extreme programming: a psychometric approach ESEJ 2010 PS803 Constantin Sârbu; Andréas Johansson; Neeraj Suri; Nachiappan Nagappan PS804 Barbara A. Kitchenham; Pearl Brereton; Mark Turner; Mahmood K. Niazi; Stephen Linkman; Rialette Pretorius; David Budgen PS805 Michael Kläs; Haruka Nakao; Frank Elberzhager; Jürgen MünchMichael Kläs; Haruka Nakao; Frank Elberzhager; Jürgen Münch Profiling the operational behavior of OS device drivers Refining the systematic literature review process two participant-observer case studies Support planning and controlling of early quality assurance by combining expert judgment and defect data A Case Study ESEJ 2009 ESEJ 2010 ESEJ 2009 PS806 Eduardo Cunha de Almeida; Gerson Sunyé; Yves Le Traon; Patrick Valduriez Testing peer-to-peer systems ESEJ 2009 PS808 Kai Petersen; Claes Wohlin The effect of moving from a plan-driven to an incremental software development approach with agile practicesthe effect of moving from a plan-driven to an incremental software development approach with agile practices ESEJ 2010 PS809 Hans Christian Benestad; Bente Anda; Erik Arisholm Understanding cost drivers of software evolution: a quantitative and qualitative investigation of change effort in two evolving software systems ESEJ 2009 PS810 Martin P. Robillard; Robert DeLine A field study of API learning obstacles ESEJ 2010 PS815 Steffen Herbold; Jens Grabowski; StephanWaack Calculation and optimization of thresholds for sets of software metricscalculation and optimization of thresholds for sets of software metrics ESEJ 2011 PS816 Michel Wermelinger; Yijun Yu; Angela Lozano; Andrea Capiluppi PS817 Radosław Hofman Assessing architectural evolution: A Case Study Behavioral economics in software quality engineering ESEJ 2011 ESEJ 2010 PS818 Zude Li; Nazim H. Madhavji; Syed Shariyar Murtaza; Mechelle Gittens; Andriy V. Miranskyy; David Godwin; Enzo Cialini Characteristics of multiple-component defects and architectural hotspots: a large system Estudo de caso ESEJ 2011

103 101 ID Autor Título Fonte Ano PS819 Segla Kpodjedo; Filippo Ricca; Philippe Galinier; Yann-Gaël Guéhéneuc; Giuliano Antoniol Design evolution metrics for defect prediction in object oriented systems ESEJ 2010 PS822 Anne Martens; Heiko Koziolek; Lutz Prechelt; Ralf Reussner From monolithic to component-based performance evaluation of software architectures - A series of s analysing accuracy and effort ESEJ 2010 PS825 Laurie McLeod; Stephen G. MacDonell; Bill Doolin PS826 David Budgen; Andy J. Burn; Barbara Kitchenham Qualitative research on software development: a longitudinal Estudo de caso methodology Reporting computing projects through structured abstracts: a quasi- ESEJ 2011 ESEJ 2010 PS827 Juan J. Durillo; Yuanyuan Zhang; Enrique Alba; Mark Harman; Antonio J. Nebro PS828 Andy Zaidman; Bart Van Rompaey; Arie van Deursen; Serge Demeyer PS829 Natalia Juristo; Sira Vegas PS830 Lutz Prechelt; Christopher Oezbek PS831 Steve Adolph; Wendy Hall; Philippe Kruchten PS832 Alessandro Marchetto; Paolo Tonella A study of the bi-objective next release problem Studying the co-evolution of production and test code in open Fonte and industrial developer test processes through repository mining The role of non-exact replications in software engineering s The search for a research method for studying OSS process innovation Using grounded theory to study the experience of software development Using search-based algorithms for Ajax event sequence generation during testing ESEJ 2010 ESEJ 2010 ESEJ 2010 ESEJ 2011 ESEJ 2011 ESEJ 2011 PS833 Meghan Revelle; Malcom Gethers; Denys Poshyvanyk PS834 Iain Bate; Usman Khan PS836 Mohammad Azzeh PS839 Foyzur Rahman; Christian Bird; Premkumar Devanbu PS840 Fabio Calefato; Daniela Damian; Filippo Lanubile PS842 Marco D Ambros; Michele Lanza; Romain Robbes Using structural and textual information to capture feature coupling in object-oriented software WCET analysis of modern processors using multi-criteria optimization A replicated assessment and comparison of adaptation techniques for analogy-based effort estimation ESEJ 2011 ESEJ 2011 ESEJ 2011 Clones: what is that smell? ESEJ 2012 Computer-mediated communication to support distributed requirements elicitations and negotiations tasks Evaluating defect prediction approaches: a benchmark and an extensive comparison ESEJ 2012 ESEJ 2012 PS843 Serdar Tasiran; M. Erkan Keremoglu; Kıvanc Muslu Location pairs: a test coverage metric for shared-memory concurrent programs ESEJ 2012 PS847 Nikolaos Mittas; Lefteris Angelis A permutation test based on regression error characteristic curves for software cost estimation models ESEJ 2012

104 102 ID Autor Título Fonte Ano PS848 Tomaž Kosar; Marjan Mernik; Jeffrey C. Carver Program comprehension of domain-specific and general-purpose languages: comparison using a family of s ESEJ 2012 PS849 Lile Palma Hattori; Michele Lanza; Romain Robbes PS850 KrzysztofWnuk; Martin Höst; Björn Regnell PS852 Minna Pikkarainen & Outi Salo; Raija Kuusela; Pekka Abrahamsson Refining code ownership with synchronous changes Replication of an on linguistic tool support for consolidation of requirements from multiple Fontes Strengths and barriers behind the successful agile deployment insights from the three software intensive companies in Finland ESEJ 2012 ESEJ 2012 ESEJ 2012 PS855 Shane McIntosh; Bram Adams; Ahmed E. Hassan PS856 Jayalath Ekanayake; Jonas Tappolet; Harald C. Gall; Abraham Bernstein PS858 Monperrus, Martin; Eichberg, Michael; Tekes, Elif; Mezini, Mira; The evolution of Java build systems ESEJ 2012 Time variance and defect prediction in software projects What should developers be aware of? An empirical study on the directives of API documentation ESEJ 2012 ESEJ 2012

105 103 Apêndice C Evidências Este apêndice cataloga todas evidências extraídas dos estudos selecionados utilizados neste trabalho. Legenda: IDC = IDentificador do Campo de pesquisa que o tipo de estudo empírico foi aplicado; IDF = IDentificador da Finalidade que o tipo de estudo empírico foi aplicado. ID Título Tipo de Estudo Empírico PS001 A Subjective Effort Estimation PS002 Perspective-based reading of code documents at Robert Bosch GmbH PS004 An empirical evaluation of defect detection techniques PS006 Reusability and maintainability in hypermedia applications for education PS013 A formative evaluation of information retrieval techniques applied to software catalogues PS014 An evaluation of the business object approach to software development PS015 Investigating principles of stakeholder evaluation in a modern IS development approach IDC IDF Evidências Estimativa Avaliar Avaliar como os especialistas fazem estimativas de esforço de forma a refletir no trabalho final Inspeção Avaliar Avaliar leitura de código através de PBR (Perspectivebased reading) Técnica Comparar Comparar técnicas de detecção de defeito Survey Métrica Investigar Investigar métricas em sistemas de autoria e comparar empiricamente os resultados das métricas com outras existentes Técnica Avaliar Avaliar se as técnicas de recuperação de informação são eficazes para acessar católogo de software industrial Estudo de caso Desenvolvimento Avaliar Avaliar uso de objetos e componentes de negócios para o desenvolvimento software de aplicação de negócios Survey Desenvolvimento Investigar Investigar nova estratégia de desenvolvimento de software

106 104 ID Título Tipo de Estudo Empírico PS016 Analysing Process Models Quantitatively PS017 Evaluation of Code Review Methods through Interviews and Experimentation PS018 The role of comprehension in software inspection PS022 Experimental assessment of the effect of inheritance on the maintainability of object-oriented systems PS024 Early lifecycle work: influence of individual characteristics, methodological constraints, and interface constraints. PS025 Evaluating Defect Content Estimation Rules in Software Inspections PS026 Practitioners' views on the use of formal methods: an industrial survey by structured interview PS028 Experiences Using Case-Based Reasoning to Predict Software Project Effort PS030 Requirements-Based Estimation of Change Costs PS031 Use Case Autoring: Replicating the CREWS1 Guidelines PS032 Experimental Evaluation of the Stimulus Response Requirements Specification Notation IDC IDF Evidências Estudo de caso Modelo Investigar Investigar o modelo de processo de obtenção de novos negócios para um grande desenvolvedor software de telecomunicações Teste Investigar Investigar se o menor número de falhas são encontrados em fases de teste e se o código é revisto Inspeção Analisar Analisar a relação entre inspeção e compreensão de software Manutenção Avaliar Avaliar se o nível de herança impacta na manutenção e entendimento do software Modelo Avaliar Produção de modelo de fluxo para pacientes por especialistas com experência através de ferramenta Modelo Avaliar Avaliar duas melhorias diferentes de um modelo de estimativa de conteúdo já existente Survey Método Analisar Entrevistar usuários sobre o uso de métodos formais e os impactos em várias aspectos da engenharia de software. Estimativa Avaliar Avaliar os problemas práticos associados com o uso de raciocínio baseado em estimativas software por analogia Estudo de caso Requisitos Avaliar Avaliar quantitativamente o impacto da mudança de requisitos e o custo para realizar as mudanças Casos de uso Avaliar Replicar (projeto CREWS) que sugere o uso de ferramenta profissional para melhorar a integridade dos casos de uso Requisitos Avaliar Avaliar os custos e benefícios de realizar notações de requisitos com uma versão formal e não formal

107 105 ID Título Tipo de Estudo Empírico PS033 An Instrument for Assessing Software Measurement Programs PS035 Measurement, Prediction and Risk Analysis for Web Applications PS036 Experimental Comparison of the Comprehensibility of a Z Specification and its Implementation PS037 An Initial Experimental Assessment of the Dynamic Modelling in UML PS038 A Targeted Assessment of the Software Measurement Process IDC IDF Evidências Survey Ferramenta Investigar Desenvolvimento e validação de uma nova ferramenta para coleta de dados empíricos Estudo de caso Modelo Reportar Apresentar um projeto Web e um modelo de previsão de criação com base num conjunto de métricas que foram coletados por meio de uma avaliação de estudo de caso Especificação Comparar Comparar a compreensão de especificação Z com sua implementação em Java. UML Avaliar Avaliar a compreensão semântica de notação UML Survey Processo Avaliar Melhorar a forma de medição no acompanhamento de processo e supervisão de software PS039 Can you Trust a Single Data Fonte Exploratory Software Engineering Estudo de caso? PS040 A Comparison of Length, Complexity and Functionality as Size Measures for Predicting Web Design and Autoring Effort PS041 Evaluation of a perspective based review method applied in an industrial setting Estudo de caso Dados Avaliar Avaliar que várias fontes de dados são mais confiáveis empiricamente do que uma única fonte de dado Estudo de caso Métrica Avaliar Avaliar métricas que são usadas para gerar modelos de previsão de esforço para criação de projeto WEB Estudo de caso Método Avaliar Avaliar métodos de revisão aplicados em configuração industrial PS042 A Family of s to Investigate the Influence of Context on the Effect of Inspection Techniques ; Survey Contexto Investigar Investigar a influencia do contexto em técnicas de inspeção

108 106 ID Título Tipo de Estudo Empírico PS044 Aggregating viewpoints for strategic software process improvement-a method and A Case Study PS045 Benchmarking of Processes for Managing Product Platforms - A Case Study PS047 Estudo de caso: Evaluating the Effect of Interruptions within the Workplace PS049 about Test-first programming PS050 Investigating the influence of software inspection process parameters on inspection meeting performance PS051 Investigation of Product Process Dependency Models through Probabilistic Modeling PS052 Making inferences with small numbers of training sets PS054 Supporting Communicability with Use Case Guidelines: An Empirical Study PS055 Validating metrics for data warehouses PS058 An Ethnographic Study of XP Practice PS059 An investigation of software engineering curricula IDC IDF Evidências Estudo de caso Método Avaliar Criação de método para identificar e agregar pontos de vista estratégico para a melhoria do processo de software Estudo de caso Ferramenta Avaliar Avaliar o processo de bencmarking na prática Estudo de caso Tecnologia Avaliar Avaliação do efeito da avaliação de interrupção de e- mail no local de trabalho Teste Comparar Comparação de 'test-first' com programação tradicional Inspeção Investigar Investigação da influência dos parâmetros do processo de inspeção de software na perfomance do mesmo Estudo de caso Modelo Investigar Investigar a dependência de modelo de processo de produto através de modelagem probabilística Estudo de caso Técnica Avaliar Avaliar empiricamente técnicas de previsão para não conduzir a formação de resultados desonestos Casos de uso Comparar Comparar a utilidade de casos de uso escrito através de 'Guidelines' Métrica Avaliar Avaliar métricas para data warehouses Etnografia Metodologia Reportar Reportar uma visão sobre a cultura e comunidade da aplicação da metodologia XP na prática Survey Educação Avaliar Avaliar se o ensino ministrado por 4 universidades correspondem aos requisitos solicitados pela indústria de software

109 107 ID Título Tipo de Estudo Empírico PS060 Are Reviews an Alternative to Pair Programming? PS061 Comprehension of diagram syntax: an empirical study ofentity relationship notations PS062 A framework for evaluating a software bidding model PS063 Exploiting Use Case Descriptions for Specification and Design - An Empirical Study PS064 Impacts of the Organizational Model on Testing: Three Industrial Cases PS065 Investigating Early Web Size Measures for Web Cost Estimation PS067 Toward Authentic Measures of Program Comprehension PS068 Using Game Theory to Study Bidding for Software Projects PS069 Using Students as Subjects An Analysis on Graduate and Freshmen Student Data PS070 A Comparison of Cross-company and Within-company Effort Estimation Models for Web Applications PS071 An Empirical Assessment of Completeness in UML Designs IDC IDF Evidências Programação em pares Investigar Uma investigação com um para saber se um único programador equipado com uma fase de revisão adicional de código pode competir com a programação em pares em termos de qualidade de código e custo de desenvolvimento. UML Avaliar Avaliar qual das notações possuem um entendimento mais fácil (UML ou Entidade Relacionamento) Estudo de caso Modelo Avaliar Avaliar a qualidade do modelo de requisitos de software Casos de uso Avaliar Avaliar os casos de uso como ferramenta para especificações de projeto de software Estudo de caso Modelo Avaliar Avaliar as vantagens e desvantagens de cada modelo de teste organizacional com seus dados empíricos Survey; Estudo de caso Desenvolvimento Investigar Identificar métricas de tamanho e de custos para a estimativa de custos Web com base nas práticas atuais de diversas empresas da Web em todo o mundo Estudo de caso Métrica Avaliar Avaliar métricas para compreender programas Teoria Avaliar Uso de teoria do jogo para licitação de projeto de software Estudantes Analisar Analisar os dados de estudantes em relação ao curso da universidade Modelo Investigar Investigar o uso de cross-empresa e modelo de estimativa de custos intra-empresa para projetos web Estudo de caso UML Avaliar Avaliar o nível de perfeição do projeto UML na prática (indústria)

110 108 ID Título Tipo de Estudo Empírico IDC IDF Evidências PS072 An Experimental Comparison of the Effectiveness and Usefulness of Inspection Techniques for Object-Oriented Programs Técnica Avaliar Avaliar as técnicas em termos de eficácia, mas também em termos do apoio que eles oferecem na compreensão do código e a compreensibilidade e utilidade das técnicas. PS074 Differences in Views between Development Roles in Software Process Improvement - A Quantitative Comparison PS078 Requirements Prioritisation: An on Exhaustive Pair- Wise Comparisons versus Planning Game Partitioning PS079 Toward a Framework for Evaluating Extreme Programming PS082 Assessing multiview framework (MF) comprehensibility and efficiency: A replicated Estudo de caso Desenvolvimento Comparar Realizar um estudo quantitativo que compara como diferentes papéis em uma organização de desenvolvimento de software visualiza diferentes questões em melhoria de processos de software Técnica Analisar Analisar as diferenças das técnicas disponiveis para priorização de requisitos sobre o consumo de tempo, facilidade de uso e precisão Estudo de caso Ferramenta Reportar Revelar os fatores que podem influenciar quando e como um determinado processo / prática é benéfica em comparação com outros processos / práticas Ferramenta Avaliar Avaliar a compreensão e eficiência de um framework para qualidade de software PS084 A preliminary study on the impact of a pair design phase on pair programming and solo programming Programação em pares Avaliar Avaliar impacto de uma fase de projeto com programação em pares e programação tradicional PS085 Trust in software outsourcing relationships: An empirical investigation of Indian software companies Estudo de caso Software Investigar Investigar a confiança nos relacionamentos de terceirização de software

111 109 ID Título Tipo de Estudo Empírico PS089 Assessing the value of Architectural Information Extracted from Patterns for Architecting PS091 Experiences of Performance Tuning Software Product Family Architectures Using a Scenario-Driven Approach PS093 Prediction of Overoptimistic Predictions PS094 Reusability Ranking of Software Components by Coupling Measure PS095 Simulation of s for Data Collection a replicated study PS097 Software Product Lines in Value Based Software Engineering PS098 Trust in Software Outsourcing Relationships: An Analysis of Vietnamese Practitioners Views PS099 A Framework for Effort Management in Software Projects PS100 An Measuring the Effects of Maintenance Tasks on Program Knowledge PS102 Experimental Comparison of the Comprehensibility of a UML-based Formal Specification versus a Textual One IDC IDF Evidências Arquitetura Avaliar Avaliar se o uso do ASIP(Informação de padrões de arquitetura significativos) fornece suporte mais eficaz em entender ou projetar arquitetura de software em comparação com o padrão original documentado Estudo de caso Arquitetura Analisar Analisar a perfomance da abordagem "scenariodriven" na arquitetura de uma família de produto de software Teste Avaliar Avaliar previsão através de testes Estudo de caso Métrica Comparar Comparar novas medidas de acoplamento com outras pré-estabelecidas e mostrar que as novas medidas possuem ranking superior de reusabilidade Modelo Avaliar Avaliar a generalidade do modelo de custo Estudo de caso Software Analisar Analisar o valor que a linha de produto representa para vários stakeholders Estudo de caso; Survey Estudo de caso; Survey Manutenção Investigar Obter uma compreensão das percepções sobre a importância de fatores que são críticos para o estabelecimento dos fornecedores e manutenção de confiança em projetos de terceirização de software no Vietnã. Ferramenta Avaliar Aumentar a precisão de gerenciamento de esforço de projeto de software com o framework Manutenção Investigar Investigar se os programadores adquirem conhecimento sobre um programa estranho ao aumentar seu código ou documentando o mesmo UML Comparar Comparar a compreensão de especificação UML versus Textual

112 110 ID Título Tipo de Estudo Empírico PS104 Motivators of Software Process Improvement: An Analysis of Vietnamese Practitioners Views PS105 Outsourcing and Knowledge Management in Software Testing PS106 Predicting Short-Term Defect Inflow in Large Software Projects An Initial Evaluation PS108 Preliminary results of a study of the completeness and clarity of structured abstracts PS112 A Preliminary Study of Sequence Effects in Judgment-based Software Development Work- Effort Estimation PS113 Adopting Curvilinear Component Analysis to Improve Software Cost Estimation Accuracy Model, Application Strategy, and an Experimental Verification PS114 An Evaluation of Function Point Counting Based on Measurement-Oriented Models PS115 Assessment of a Framework for Designing and Evaluating Security Sensitive Architecture PS116 Comparing Inspection Methods using s IDC IDF Evidências Survey Processo Analisar Prover praticantes SPI (Melhoria em Processo de Sofware) com alguma perspicácia para projetar estratégias apropriadas implementação do SPI e maximizar o apoio médico para a SPI. Estudo de caso Teste Investigar Explorar outsourcing em testes de software e formar hipóteses que explicam a associação entre outsourcing e gestão do conhecimento Estudo de caso Projeto Analisar Prever defeitos em grandes projetos de software Investigar Investigar se os resumos estruturados são mais completos e mais fáceis de entender do que resumos não-estruturados para trabalhos de engenharia de software que descrevem s Quase- Estimativa Investigar Investigar como um julgamento inicial na estimativa do desenvolvimento de software pode afetar o desenvolvimento Estimativa Avaliar Avaliar adoção de curva linear para melhorar a precisão de estimativa de custo de software Metodologia Avaliar Avaliar a metodologia por ponto de função em relação a sua precisão, procedimentos e regras Quase- Ferramenta Avaliar Avaliação de um framework para projetar e avaliar a segurança da arquitetura de software Método Comparar Comparar métodos de inspeção com s controlados

113 111 ID Título Tipo de Estudo Empírico PS117 Empirical-WebGen; a Web-based Enfironment for the Automatic Generation of Surveys and s PS118 Evaluating Structural Criteria for Testing Mobile Code PS120 Impact of Experience and Team Size on the Quality of Scenarios for Architecture Evaluation PS122 Lessons from a Cross-domain Survey Investigation of Empirical Practices PS127 Using a Protocol Template for Estudo de caso Planning PS131 An Evaluation of Quality Checklist Proposals A participant-observer Estudo de caso PS132 Building an Expert-based Web Effort Estimation Model using Bayesian Networks PS134 Empirical Validation of a Requirements Engineering Process Guide PS136 Investigating the Use of Chronological Splitting to Compare Software Cross-company and Single-company Effort Predictions: A Replicated Study IDC IDF Evidências Estudo de caso Ferramenta Avaliar Devido a limitação de tempo e espaço para realização dos s em laboratório, surgiu a necessidade de uma ferramenta que contornasse essa limitação. Nesse contexto, foi necessário avaliar a eficiência da ferramenta na prática. Estudo de caso Teste Avaliar Avaliação do critério utilizado para testar código móvel Arquitetura Investigar Investigação do impacto da experiência e do tamanho da equipe na avaliação da qualidade da arquitetura do software entre outros fatores Práticas Empíricas Investigar Investigar as melhores práticas baseadas em evidências em pesquisas de engenharia de software Estudo de caso Planejamento Investigar Investigar protocolo para planejamento de Estudo de caso Estudo de caso Teste Avaliar Avaliar se a lista de critérios de qualidade ajudar os pesquisadores a construir listas de verificação de qualidade adaptados, no caso, para teste unitário Estudo de caso Modelo Analisar Uso de redes bayseanas para contruir modelo de esforço web Requisitos Avaliar Avaliar um guia de requistos visto que nenhum projeto desenvolvido é estruturado e definido como desejado inicialmente Estudo de caso Estimativa Investigar Investigar o uso de predição de esforço PS140 A on Team Meeting Style in Software Architecture Evaluation Arquitetura Avaliar Avaliar a arquitetura de software com processos de brainstorming

114 112 ID Título Tipo de Estudo Empírico PS142 Alignment of Software Product Quality Goals in Two Outsourcing Relationships PS143 An Approach Based on Visual Text Mining to Support Categorization and Classification in the Systematic Mapping PS144 Evaluating Tools that Support Pair Programming in a Distributed Engineering Environment PS145 Field Study on Requirements Engineering Artefacts and Patterns PS146 Identifying Architectural Patterns Used in Open Fonte Software: Approaches and Challenges PS147 Investigating effort prediction of web-based applications using CBR on the ISBSG dataset PS148 On Searching Relevant Studies in Software Engineering IDC IDF Evidências Estudo de caso Software Comparar Comparar e contrastar a prioridade que dois grupos colocam no qualidade de produto de software: as partes interessadas internas para a organização de desenvolvimento e as partes interessadas de relações de outsourcing. Estudo de caso Mapeamento Reportar Reduzir tempo e esforço no processo de mapeamento sistemático Survey Ferramenta Avaliar Avaliar a ferramenta supportando desafios como comunicação, colaboração distribuída e troca de dados Estudo de caso Requisitos Avaliar Avaliar artefatos e padrões em requisitos Survey Arquitetura Investigar Investigar padrões de arquitetura de software livre Estimativa Investigar Investigar predição de estimativa de esforço Estudo de caso Revisão Sistemática Reportar Melhorar o passo de pesquisar em revisão sistemática e identificar abordagens práticas para identificar os estudos relevantes visto que nesse passo podemos ter estudos nada relevantes PS150 The Effect of Reasoning Strategies on Success in Early Learning of Programming: Lessons Learned from an External Replication PS151 The value of mapping studies A participant-observer Estudo de caso Educação Avaliar Avaliar o efeito de estratégias de raciocínio com uso de programação na educação infantil através de um replicado Estudo de caso Mapeamento Avaliar Avaliar o valor dos estudos de mapeamento - que são uma forma de SLR - que tem como objetivo identificar e categorizar as pesquisas disponíveis sobre um tema específico.

115 113 ID Título Tipo de Estudo Empírico PS152 A Case Study on the Application of an Artefact-Based Requirements Engineering Approach PS154 An Empirical Assessment of A Systematic Search Process for Systematic Reviews PS155 An Empirical Evaluation of Requirement Engineering Techniques for Collaborative Systems PS156 An Empirical Validation of FindBugs Issues Related to Defects PS158 Comparative analysis of metaanalysis methods: when to use which? PS160 On the Effectiveness of the UML Object Diagrams: A Replicated PS162 Repeatability of systematic literature reviews IDC IDF Evidências Estudo de caso Requisitos Investigar Investigar as vantagens e limitações da aplicação da abordagem personalizada de requistos em um contexto industrial Estudo de caso Processo Avaliar Avaliar o processo de pesquisa baseada em QGS (Quasi-Gold Standard) para revisão sistemática Estudo de caso Técnica Avaliar Avaliar se as técnicas atuais para engenharia de requisitos são apropriados ou não, explorando a relação entre a capacidade de sensibilização e o padrão dos fatores de qualidade. Ferramenta Avaliar Avaliar o percentual e as questões retornados pela ferramenta (FindBugs) que são defeitos reais Método Analisar Análise comparativa de métodos meta-análise UML Avaliar Avaliar eficácia de diagrama UML Estudo de caso Revisão Sistemática Investigar Identificar em que condições revisões são suscetíveis de serem estáveis em relação a estudos primários selecionados quando usados em engenharia de software PS165 Using Background Colors to Support Program Comprehension in Software Product Lines Software Avaliar Avaliar compreensão de background em linha de produto de software PS168 An Initial Evaluation of Requirements Dependency Types in Change Propagation Analysis Estudo de caso Requisitos Investigar Investigar se dependência é útil na propagação de mudanças

116 114 ID Título Tipo de Estudo Empírico PS171 Evaluating Methods and Technologies in Software Engineering with Respect to Developers Skill Level PS172 Evaluation of Traceability Recovery in Context: A Taxonomy for Information Retrieval Tools PS175 Mapping study completeness and reliability - a case study Quase- IDC IDF Evidências Tecnologia Investigar Investigar a utilidade de uma tecnologia como uma função de habilidade. Ferramenta Avaliar Avaliar ferramenta de recuperação de rastreabilidade em contexto Estudo de caso Mapeamento Investigar Identificar mapeamento sistematicos nos grupos de estudos completos PS176 Maturity of Software Modelling and Model Driven Engineering: a Survey in the Italian Industry PS181 Risks of Off-The-Shelf-based Software Acquisition and Development: A Systematic Mapping Study and A Survey Survey Modelo Investigar Investigar o nivel do modelo de software na indústria italiana Mapeamento Sistemático; Survey Desenvolvimento Investigar Identificar, classificar e comparar riscos na aquisição e desenvolvimento de software baseado em off-the-shelf PS185 Towards an Explanatory Theory of Motivation in Software Engineering: A Qualitative Estudo de caso of a Government Organization PS187 Using the ISOIIEC product quality model to classify defects a Controlled Estudo de caso Teoria Reportar Construir uma teoria explanatória sobre a motivação em empresas de software Qualidade Investigar Investigar se a classificação baseada no ISO/IEC 9126 é útil e confiável para detectar os defeitos que impactam na qualidade do produto

117 115 ID Título Tipo de Estudo Empírico PS188 A Multiple-View Analysis Model of Debugging Processes PS189 Survey on Testing Technique Empirical Studies: How Limited is our Knowledge PS190 An Approach for Estimation of Software Aging in a Web Server PS191 An Approach to Experimental Evaluation of Software Understandability PS192 An Experimental Comparison of Checklist-Based Reading and Perspective-Based Reading for UML Design Document Inspection PS193 An Industrial Experience in Process Improvement: An early assessment at the Australian Center for Unisys Software PS195 Elimination of Crucial Faults by a New Selective Testing Method PS196 Empirical Validation of Class Diagram Metrics PS201 Replicating Software Engineering s: Addressing the Tacit Knowledge Problem PS202 The Appropriateness of Gutman s Means-End Chain Model in Software Evaluation PS203 The Detection of Faulty Code Violating Implicit Coding Rules IDC IDF Evidências Estudo de caso Processo Reportar Observar o processo de debugging em ambiente controlado Survey Técnica Analisar Analisar a maturidade do nível de conhecimento sobre técnicas de teste na amostragem existente de estudos empíricos sobre tais técnicas Estimativa Avaliar Avaliar abordagem de estimativa de software em servidor web Software Avaliar Avaliar o processo de entendimento de software UML Comparar Comparar metodologias distintas para inspeção UML Estudo de caso Requisitos Reportar Abordar a melhoria do gerenciamento de requesitos da Unisys Estudo de caso Método Avaliar Avaliar método de seleção de teste Métrica Analisar Analisar se a métrica proposta para UML está relacionado a algum característica de manutenção para diagrama de classe: compreensão, análise,modificação Analisar Replicar Survey Modelo Analisar Examinar o modelo de evolução de software Gutman s Means-End Chain Estudo de caso Método Reportar Propor um método que detecta código defeituoso

118 116 ID Título Tipo de Estudo Empírico PS204 Verification and Validation in Industry - A Qualitative Survey on the State of Practice PS205 A Case Study Using Sampling to Improve Software Inspection Effectiveness PS208 A Study of Collaboration in Software Design PS209 A Study on Agreement Between Participants in an Architecture Assessment IDC IDF Evidências Survey Processo Investigar Verificar e validar processos de software em empresas Estudo de caso Inspeção Analisar Um estudo de caso utilizando amostragem para melhorar a eficácia de Inspeção de Software Etnografia Desenvolvimento Reportar Reportar um corpo de conhecimento sobre as atividades colaborativas envolvidas em projeto de de software desenvolvido por 5 equipes. Estas equipes foram estudadas durante o projeto através de entrevistas e eventos de log. Arquitetura Avaliar Atuar como um apoio em relação a decisão de quais pessoas devem ser incluidas na avaliação da arquitetura PS210 An Empirical Analysis of Fault Persistence Through Software Releases PS211 An Empirical Comparison of Two Safe Regression Test Selection Techniques PS213 An on software project size and effort estimation PS214 An Experimental Evaluation of Inspection and Testing for Detection of Design Faults PS215 An Industrial Estudo de caso of the Impact of Requirements Engineering on Downstream Development Software Analisar Analisar o comportamento em todo o ciclo de vida dos arquivos de origem com um elevado número de faltas na sua primeira versão e através de s com 2 projetos, verificar como essas falhas persistem nas próximas versões Técnica Comparar Comparar empírica entre duas técnicas de seleção de teste de regressão seguro Estimativa Investigar Investigar como checklist e discussões em grupo ajudam a melhorar a estimativa de software Teste Investigar Investigar documentos do projeto e testes correspondentes para detectar falhas na concepção do projeto Estudo de caso Requisitos Investigar Investigar o gerencimanto de requisitos na melhoria de processos e seus efeitos no desenvolvimento downstream no contexto industrial

119 117 ID Título Tipo de Estudo Empírico PS217 Analogy Based Prediction of Work Item Flow in Software Projects: A Case Study PS218 Applying Use Cases to Design versus Validate Class Diagrams A Using a Professional Modelling Tool PS219 Building Pair Programming Knowledge through a Family of s PS220 Composable Process Elements for Developing COTS-Based Applications PS221 Comprehensibility and Efficiency of Multiview Framework for Measurement Plan Design PS222 Conducting On-line Surveys in Software Engineering PS225 Identification of Key Factors in Software Process Management - A Case Study PS226 Investigating the Accuracy of Defect Estimation Models for Individuals and Teams Based on Inspection Data PS227 Management of Interdependencies in Collaborative Software Development PS228 Observational Studies to Accelerate Process Experience in Classroom Studies: An Evaluation PS229 Quantitative Studies in Software Release Planning under Risk and ReFonte Constraints IDC IDF Evidências Estudo de caso Projeto Reportar Previsão com base analógica do Fluxo de item de trabalho em Projetos de Software Casos de uso Avaliar Avaliar caso de uso para design gerados por ferramentas profissionais a partir da validação dos diagramas de classes Programação em pares Comparar Comparar s de programação em pares entre universidades dos USA envolvendo 1200 alunos Estudo de caso Processo Avaliar Avaliar elementos do processo industrial para aplicar no desenvolmento de sodtware Ferramenta Avaliar Avaliar os resultados do framework Survey Método Avaliar Discutir métodos de como executar surveys online no contexto de engenharia de software. Estudo de caso Processo Investigar Identificando fatores chave em gerenciamento do processo de software Modelo Investigar Investigando a precisão de modelos de estimação de defeitos para indivíduos e equipes com base em dados de inspeção Survey Desenvolvimento Avaliar Avaliar interdependência dos desenvolvedores de software em desenvolvimento colaborativo Quase- Educação Avaliar Avaliar como os estudos observacionais podem acelerar no processo de aprendizado em salas de aula Software Avaliar Avaliar planejamento de release de software

120 118 ID Título Tipo de Estudo Empírico PS230 The Anatomy of an Experience Repository PS231 The Application of Capture- Recapture Log-Linear Models To Software Inspections Data PS233 An Ethnographic Study of Copy and Paste Programming Practices in OOPL PS234 A Case Study of Reading Techniques in a Software Company PS236 An Empirical Study of a Qualitative Systematic Approach to Requirements Analysis (QSARA) PS237 An Empirical Study of eservices Product UML Sizing Metrics PS239 Analyzing Systems Failures Through the Use of Case Histories PS240 Assessing the Reproducibility and Accuracy of Functional Size Measurement Methods through Experimentation PS242 Comparing Code Reading Techniques Applied to Objectoriented Software Frameworks with regard to Effectiveness and Defect Detection Rate PS243 Comparing the Fault Detection Effectiveness of N-way and Random Test Suites PS244 Extreme Programming: A Survey of Empirical Data from a Controlled Estudo de caso IDC IDF Evidências Estudo de caso Dados Investigar Identificar e compreender aspectos detalhados da utilização do repositório experiente Modelo Avaliar Avaliar modelos para inspeção de dados de software Etnografia Desenvolvimento Investigar Investigar implicações de copiar e colar código durante o desenvolvimento de sotware. Para isso, foi observado um grupo de desenvolvedores. Estudo de caso Técnica Reportar Estudo de caso sobre leitura de técnicas em empresa de software Requisitos Analisar Determinar se a abordagem de qualidade sistemática alcançou os objetivos determinados no artigo em relação à análise de requisitos Métrica Avaliar Avaliar métricas UML para tamanho de eservices Estudo de caso Casos de uso Analisar Analisando histórias de casos de uso a fim de encontrar as falhas apresentadas pelo sistema industrial Método Investigar Investigar a confiabilidade do método de ponto de função orientado a objetos em relação a outros métodos orientados a objetos Técnica Comparar Comparar três técnicas de leitura para inspeção de frameworks de software Teste Comparar Comparar a eficiência da detecção de falhas N-way com testes aleatórios Pesquisa Ação Metodologia Reportar A metodologia ágil XP é fortemente criticada por falta de dados empíricos. Com isso, a pesquisa reporta dados empíricos obtidos a partir de um estudo de caso sobre programação XP em ambientes práticos

121 119 ID Título Tipo de Estudo Empírico PS245 Identifying the Relevant Information for Software Testing Technique Selection PS246 Increasing the Accuracy and Reliability of Analogy-Based Cost Estimation with Extensive Project Feature Dimension Weighting PS247 Infrastructure Support for ation with Software Testing and Regression Testing Techniques PS248 Investigating the active Guidance Factor in Reading Techniques for Defect Detection PS249 Practical automated process and product metric collection and analysis in a classroom setting: Lessons learned from Hackystat- UH PS249 Practical automated process and product metric collection and analysis in a classroom setting: Lessons learned from Hackystat- UH ; Survey IDC IDF Evidências Técnica Avaliar Avaliar técnica de seleção de teste Estimativa Avaliar Avaliar o rigor e a confiablididade em estimativa de custo Survey Técnica Investigar Investigar técnicas de teste, a qual é lenta, ineficiente e escassa para o progresso de ação Estudo de caso Técnica Investigar Investigação de fatores ativos em leitura técnica para detectar defeito Estudo de caso; Survey Estudo de caso; Survey Métrica Analisar Analisar, em sala de aula, métricas coletadas em processo automático Métrica Analisar Analisar, em sala de aula, métricas coletadas em processo automático PS250 The Architectural Change Process Estudo de caso; Arquitetura Avaliar Mudança no processo de arquitetura de software PS251 The Influence of the Level of Abstraction on the Evolvability of Conceptual Models of Information Systems PS252 Tool-Supported Unobtrusive Evaluation of Software Engineering Process Conformance PS254 Understanding the Impact of Assumptions on Experimental Validity Modelo Investigar Investigar se o nível de abstração ou generalidade influencia um modelo conceitual Ferramenta Avaliar Avaliar ferramenta de processo de engenharia de software Avaliar Entendendo o impacto de hipóteses em validação Experimental

122 120 ID Título Tipo de Estudo Empírico PS256 Using Students as Subjects in Requirements Prioritization PS258 A Case Study of The Class Firewall Regression Test Selection; PS259 A comparative study on the redocumentation of existing software: Code annotations vs. drawing editors PS261 A Multiple-Estudo de caso of Software Effort Estimation based on Use Case Points PS262 A Study of the Effect of Disruptions on the Performance of Software Engineering Teams PS264 Addressing the Challenges of Replications of Surveys in Software Engineering Research PS266 An Empirical Investigation of the Comprehensibility of Requirements Specifications IDC IDF Evidências Estudantes Avaliar Avaliar os casos em que os estudantes podem ser utilizados com êxito em ação Estudo de caso Teste Avaliar Testar uma seleção de técnica em um cenário reduzido e ter o mesmo desempenho em um cenário grande e distribuido Documentação Comparar Comparar as duas abordagens de documentação de software, de modo a entender qual é a mais fácil de usar e quais são as limitações de ambas Estudo de caso Estimativa Investigar Investigar estimativa de esforço de software em 35 empresas diferentes e ter um posicionamento sobre o uso de estimativa baseada em casos de uso Etnografia Desenvolvimento Reportar Observar e analisar desempenho de equipes de estudantes que trabalham em desenvolvimento de software ao longo do ano ( ) para indústrias Survey Survey Investigar Investigar os desafios relacionados às repetições de pesquisas em Engenharia de Software Especificação Comparar Comparar a compreensão de duas especificações, sendo uma formal e outra informal (ou semi-formal), na tentativa de quantificar a formação necessária para compreender os métodos formais PS267 An Empirical investigation on the Visualization of Temporal Uncertainties in Software Engineering Project Planning PS268 An Empirical Study of Factors that Affect User Performance when Using UML Interaction Diagrams Planejamento Comparar Comparar o desempenho PlanningLines e PERT charts em relação ao tempo necessário para padronizar as etapas do planejamento além de relatar os número de erros cometidos UML Investigar Investigar os fatores que podem afetar desempenho do usuário ao usar diagramas de interação UML

123 121 ID Título Tipo de Estudo Empírico IDC IDF Evidências PS269 An on subjective evolvability evaluation of objectoriented software: Explaining factors and interrater agreement PS270 Cloning by Accident: An Empirical Study of Fonte Code Cloning Across Software Systems PS271 Commercial Adoption of Open Fonte Software: An Empirical Study PS272 Comparison of Various Methods for Handling Incomplete Data in Software Engineering Databases PS276 Dialog-Based Protocol: An Empirical Research Method for Cognitive Activities in Software Engineering PS277 Effects of Pair Programming at the Development Team Level: An PS278 Empirical Results from an on Value-Based Review (VBR) Processes PS281 Evaluating a Rapid Simulation Modelling Process (RSMP) through s PS283 Exploratory Testing: A Multiple Estudo de caso Código Avaliar Avaliar o grau de concordância entre avaliadores de código e quais os fatores que influencia nas decisões dos avaliadores para decidir sobre refatoração de código Estudo de caso Código Avaliar Avaliar clonagem de código fonte através de sistemas de software Survey Software Investigar Investigar a lógica por trás da adoção de software livre, de modo a identificar os fatores que as organizações predispostas para tentar uma empreitada tão arriscada, e os fatores militados contra isso Método Comparar Comparar métodos para capturar dados incompletos em banco de dados Estudo de caso Método Avaliar Avaliar o funcionamento de um Método de Pesquisa Empírica para atividades cognitivas em Engenharia de Software Programação em pares Avaliar Executar um bem planejado alocando pares de desenvolvedores de uma equipe em partes grande do software para ter mais dados para verificar os efeitos da programação Inspeção Avaliar Apresentar uma nova abordagem de leitura baseada em perspectiva para revisão de artefatos Modelo Avaliar Avaliar a usuabilidade e utilidade da simulação rápida de uma modelo de processo Estudo de caso Teste Reportar Reportar teste exploratório na literatura e como fumciona na prática em 3 empresas distintas

124 122 ID Título Tipo de Estudo Empírico PS284 Further Investigations into Evaluating Website Reliability PS285 Genetic Algorithms to Support Software Engineering Experimentation PS286 Identification of Test Process Improvements by Combining Fault Trigger Classification and Faults- Slip-Through Measurement PS287 Integrating Agile Software Development and Software Process Improvement: a Longitudinal Estudo de caso PS288 Investigating Training Effects on Software Reviews: A PS293 Measuring Software Methodology Usage: Challenges of Conceptualization and Operationalization PS295 Quality vs. Quantity: Comparing Evaluation Methods in a Usability- Focused Software Architecture Modification Task PS296 Reflections on Conducting an International Survey of Software Engineering PS297 Reporting Guidelines for s in Software Engineering PS298 Reusability before and after Reuse: A Darwin Estudo de caso IDC IDF Evidências Survey Software Investigar Investigar confiabilidade de sites Modelo Avaliar Melhorar a execução de em engenharia de software usando modelo de otimização de algoritmo genético variando parâmetros e observando variáveis de interesse, diminuindo, assim, o custo do. Estudo de caso Teste Investigar Investigar melhorias em proceso de teste de detecção de falhas Estudo de caso Desenvolvimento Analisar Analisar o benefício mútuo coexistente entre desenvolvimento ágil e aprendizado em nível organizacional Código Investigar Investigar efeitos de treinamento em revisão de código Survey Metodologia Analisar Analisar desafios no conceito e no operacional de metodologia de software Métrica Investigar Aumentar a validade da métrica de qualidade durante a construção de arquitetura e investigar essa validade de acordo com a avaliação de especialistas Survey Survey Reportar Reportar os desafios, abordagens e experiências ao realizar survey internacionalmente Survey Investigar Pesquisar o que há de mais proeminente em relação a guidelines e unificar em um padrão único para discussões futuras Estudo de caso Projeto Reportar Mostrar que o projeto de software open Fonte Darwin é um bom exemplo de como reusar software melhorando a qualidade e a produtividade do software

125 123 ID Título Tipo de Estudo Empírico PS299 Risk Analysis Terminology for ITsystems: Does it match intuition? PS300 Software Reconn-exion: Understanding Software Using a Variation on Software Reconnaissance and Reexion Modelling PS301 System Test Case Prioritization of New and Regression Test Cases PS303 Tool Assisted Identifier Naming for Improved Software Readability: An Empirical Study PS304 TUCCA: Improving the Effectiveness of Use Case Construction and Requirement Analysis PS306 What is Important when Deciding to Include a Software Requirement in a Project or Release? PS307 A Case Study on the Application of UML in Legacy Development IDC IDF Evidências Survey Análise de risco Investigar Conduzir um survey com 57 profissionais e estudantes para investigar porque análise de risco nao é intuitiva Estudo de caso Técnica Reportar Demonstrar técnica desenvolvida para o sistema de reconexão Estudo de caso Teste Analisar Melhorar a percepção do usuário em relação a qualidade de software envolvendo custo efetivo e melhorar a detecção de faltas severas durante os niveis de testes (código novo x código antigo) Ferramenta Avaliar Identificar se os programadores melhoram a leitura do código fonte ao usar um editor de código com feedback sobre os nomes utilizados para identificar variáveis, métodos, classes e interfaces. Requisitos Analisar Analisar requisitos com uma construção de caso de uso eficiente Survey Requisitos Analisar Compreender as razões subjacentes para a inclusão de certos requisitos em uma específica release Estudo de caso UML Analisar Analisar aplicação de UML em Desenvolvimento Legado PS309 A Family of Empirical Studies to Compare Informal and Optimization-based Planning of Software Releases PS310 A Follow up Study of the Effect of Personality on the Performance of Software Engineering Teams Software Comparar Comparar planejamento baseado em Otimização em versões de software através de famílias de estudos empíricos Etnografia Desenvolvimento Reportar Observar e analisar o desempenho de equipes de estudantes que trabalham em desenvolvimento de software ao longo do ano ( ) para indústrias e comparar os com resultados da pesquisa realizada anteriormente (PS262).

126 124 ID Título Tipo de Estudo Empírico PS312 A Goal Question Metric Based Approach for Efficient Measurement Framework Definition PS314 Agile Customer Engagement: a Longitudinal Qualitative Estudo de caso PS315 An Empirical Analysis and Comparison of Random Testing Techniques PS316 An Empirical Comparison Between Pair Development and Software Inspection in Thailand PS317 An Empirical Evaluation of a Testing and Debugging Methodology for Excel IDC IDF Evidências Estudo de caso Métrica Investigar Investigar um conjunto de métricas no contexto industrial Estudo de caso Requisitos Investigar Entrevistar clientes internos e externos para investigar os aspectos práticos, custos, ganhos e pré-requisitos no gerenciamento de processo evolutivo. Teste Analisar Analisar e comparar todos os ART (Adaptive Random Testing) já publicados (analisar e comparar todos os métodos ART publicado até agora sobre a eficácia de testes em tempo de execução) Programação em pares Comparar Comparar empiricamente desenvolvimento em pares e inspeção de software Teste Avaliar Avaliação empírica de metodologia de debugging e teste para Excel PS318 An Empirical Study of Developers Views on Software Reuse in Statoil ASA PS319 An Industrial Estudo de caso of Structural Testing Applied to Safety-critical Embedded Software PS322 Comparing the Fault-Proneness of New and Modified Code: An Industrial Estudo de caso PS323 Cross-company and Singlecompany Effort Models Using the ISBSG Database: a Further Replicated Study PS325 Distributed Versus Face-to-Face Meetings for Architecture Evaluation: A Survey Desenvolvimento Analisar Analisar as visões do desenvolvedores de software com a finalidade de criar categorias Estudo de caso Teste Comparar Comparar os testes normais com os resultados dos testes baseados em critérios lógicos Estudo de caso Código Comparar Comparar códigos novos e modificados em relação a propensão a falhas Modelo Avaliar Avaliar modelo de custo em estudo replicado Arquitetura Avaliar Avaliar a arquitetura através de framework proposto já que reuniões com stakeholders sobre projetos são de alto custo

127 125 ID Título Tipo de Estudo Empírico PS326 Documenting Design Decision Rationale to Improve Individual and Team Design Decision Making: An Experimental Evaluation PS327 Drivers for Software Refactoring Decisions PS328 Eliciting Better Quality Architecture Evaluation Scenarios: A on Top- Down vs. Bottom-Up PS329 Empirical Estimates of Software Availability of Deployed Systems PS330 Evaluating Advantages of Test Driven Development: a with Professionals PS332 Evaluating the Efficacy of Test- Driven Development: Industrial Case Studies PS333 Evaluating the Practical Use of Different Measurement Scales in Requirements Prioritisation IDC IDF Evidências Técnica Avaliar Avaliar o impacto da técnica desenvolvida para documentar decisão de projeto numa tomda de decisão em relação a uma mudança de requisito Survey Código Analisar Analisar guias para apoiar decisões de refatoração de código Arquitetura Avaliar Avaliar o quão eficiente são os cenários top-down e bottom-up de arquitetura de software Estudo de caso Software Avaliar Avaliar empiricamente sistemas implantados pois proporciona maior nível de confiança de simulações, testes, ou modelos. Atributos: tempo de execução, o número de interrupções e a duração das interrupções. Teste Avaliar Avaliar testes dirigidos com profissionais (qualidade e produtividade) Estudo de caso Métrica Comparar Comparar a eficiência e métricas de qualidade em diversos contextos e em diversos produtos Requisitos Avaliar Avaliar o uso de medidas diferentes em priorização de requisitos PS334 Identifying Domain-Specific Defect Classes Using Inspections and Change History PS335 Improving Software Testing by Observing Practice Estudo de caso; Survey Grounded Theory; Estudo de caso; Survey Software Analisar Analisar defeitos em programas paralelos que usam a biblioteca MPI (Message Passing Interface) Teste Analisar Compreender a complexa prática de teste de software, e com base neste conhecimento, desenvolver propostas de melhoria de processos que pode simultaneamente reduzir custos de desenvolvimento e de testes e melhorar a qualidade do software

128 126 ID Título Tipo de Estudo Empírico PS336 Maximising the Information Gained From an Experimental Analysis of Code Inspection and Static Analysis for Concurrent Java Components PS337 PBR vs. Checklist: A Replication in the N-Fold Inspection Context IDC IDF Evidências Ferramenta Analisar Examinar a combinação das ferramentas automáticas de análise estática e inspeção de código no contexto da verificação e validação (V & V) de componentes concorrentes em Java. Inspeção Avaliar Avaliar a perspectiva baseada em leitura numa inspeção N-fold PS338 Predicting Component Failures at Design Time PS339 Predicting Fault-prone Components in a Java Legacy System PS340 Predicting Good Requirements for In-house Development Projects Estudo de caso Software Investigar Investigar como prever falhas de componentes em tempo de projeto Estudo de caso Software Investigar Investigar como prever falhas de componentes em um sistema legado em JAVA Survey Requisitos Investigar Desenvolver uma equação de previsão para bons requistos PS341 Requirement Error Abstraction and Classification: An Empirical Study Requisitos Analisar Ajudar os desenvolvedores a chegar à raiz de uma falha mais rapidamente e entender os problemas reais no desenvolvimento de software. PS343 Testing and Inspecting Reusable Product Line Components: First Empirical Results Técnica Investigar Investigar o defeito das técnicas encontradas em componentes reutilizáveis de software com a característica comum e variante PS344 The Evolution of FreeBSD and Estudo de caso Software Investigar Investigar a evolução do linux Linux PS345 Using Observational Pilot Studies to Test and Improve Lab Packages PS346 A Comparative Estudo de caso on the Impact of Test-Driven Development on Program Design and Test Coverage PS347 A Comparative Study of Aspect- Oriented Requirements Engineering Approaches Estudo de caso Dados Analisar Usar estudos pilotos para teste e melhorar o material a ser utilizado no Estudo de caso Teste Investigar Explorar o impacto de desenvolvimento de Test-Driven em projetos e cobertura de teste Estudo de caso Requisitos Comparar Destacar os pontos em comum e as diferenças que motivaram a necessidade de criar a nomenclatura comum e esquema de processo comum para requisito em OA

129 127 ID Título Tipo de Estudo Empírico PS349 A Replicate Empirical Comparison between Pair Development and Software Development with Inspection PS350 A Visual Text Mining approach for Systematic Reviews PS351 AN EMPIRICAL STUDY OF THE EFFECTS OF GESTALT PRINCIPLES ON DIAGRAM UNDERSTANDABILITY PS352 An Estimation Model for Test Execution Effort PS353 An Experimental Evaluation of the Effectiveness and Efficiency of the Test Driven Development Estudo de caso IDC IDF Evidências Programação em pares Revisão Sistemática Comparar Avaliar Replicar uma comparação empírica entre desenvolvimento em pares e desenvolvimento de software com Inspeção Avaliar o potencial da mineração de texto visual em revisão sistemática Arquitetura Analisar Analisar os erros de interpretação de diagramas de arquitetura de software a fim de ajudar engenheiros de software a evitar tais erros no futuro Modelo Avaliar Avaliar modelo de estimativa para execução de teste Teste Avaliar Avaliar o impacto de TDD em várias atividades de desenvolvimento como projeto, codificação e testes e comparar com o desenvolvimento convencional de código. PS355 Assessing, Comparing, and Combining Statechart- based testing and Structural testing: An PS356 Building Software Cost Estimation Models using Homogenous Data PS357 Characterizing Software Architecture Changes: An Initial Study PS358 Cognitive Limits of Software Cost Estimation PS361 Comparing Size Measures for Predicting Web Application Development Effort: A Case Study Teste Avaliar Avaliar a eficiência na detecção de falhas Modelo Avaliar Avaliar modelos de estimativa de custo Arquitetura Analisar Analisar as mudanças de arquiteura de software com o intuito de criar uma catálogo Estimativa Avaliar Ajudar a melhorar o entendimento de como os engenheiros de software tomam decisões com base em informação limitada. Estudo de caso Métrica Comparar Comparar métricas de desenvolvimento web em 15 empresas usando técnicas de predição (Forward Stepwise Regression (SWR) and Case-Based Reasoning (CBR).)

130 128 ID Título Tipo de Estudo Empírico PS362 Conceptual Differences Among Functional Size Measurement Methods PS363 Defect Detection Efficiency: Test Case Based vs. Exploratory Testing PS365 Effort Prediction in Iterative Software Development Processes Incremental Versus Global Prediction Models PS366 Evaluating Software Project Control Centers in Industrial Environments PS368 Evaluating the Usefulness and Ease of Use of a Groupware Tool for the Software Architecture Evaluation Process PS369 Fault-Prone Filtering: Detection of Fault-Prone Modules Using Spam Filtering Technique PS370 Filtering, Robust Filtering, Polishing: Techniques for Addressing Quality in Software Data PS372 Generalizing fault contents from a few classes PS373 Impact Analysis of Missing Values on the Prediction Accuracy of Analogy- based Software Effort Estimation Method AQUA PS374 Mining Software Evolution to Predict Refactoring IDC IDF Evidências Estudo de caso Método Investigar Explorar similiridades e diferenças entre os métodos FSM (Functional Size Measurement) Teste Comparar Comparar a eficiência do caso de teste com teste exploratório Estudo de caso Desenvolvimento Avaliar Avaliar previsão de esforço em processo de desenvolvimento de software iterativo Estudo de caso Software Avaliar Avaliar projetos de controle de sofware em amientes industriais Ferramenta Avaliar Avaliando a usabilidade de uma ferramenta para avaliar processo de arquitetura de software Técnica Analisar Mostrar a utilidade de aplicar filtros spam diretamente em código fonte (texto) para detectar Módulos Fault- Prone e não filtrar técnicas como mineração de dados em s, por exemplo. Método Comparar Comparar métodos para avaliar o benefício de identificar e/ou filtrar e/ou editar casos problemáticos. Estudo de caso Método Investigar Investigação empíirica sobre um método que generaliza sistema Método Investigar Investigar método de estimação de esforço através de análise de impacto Estudo de caso Código Avaliar Avaliar refatoração de sistema orientado a objetos

131 129 ID Título Tipo de Estudo Empírico PS375 Observing Software Testing Practice from the Viewpoint of Organizations and Knowledge Management PS377 Relevant Information Fontes for Successful Technology Transfer: A Survey Using Inspections as an Example PS380 Test Inspected Unit or Inspect Unit Tested Code? PS381 The Effects of Over and Under Sampling on Fault-prone Module Detection PS382 The Impact of Group Size on Software Architecture Evaluation: A PS383 Toward Reducing Fault Fix Time: Understanding Developer Behavior for the Design of Automated Fault Detection Tools PS384 Tuning anonymity level for assuring high data quality: an empirical study. PS385 Usability Evaluation Based on Web Design Perspectives PS386 Usage and Perceptions of Agile Software Development in an Industrial Context: An Exploratory Study PS388 Using Software Dependencies and Churn Metrics to Predict Field Failures: An Empirical Estudo de caso PS389 Any Other Cost Estimation Inhibitors? IDC IDF Evidências Estudo de caso Teste Investigar Entender a prática complexa de teste de software Survey Software Investigar Investigação sistemática para a tomada de decisão em engenharia de software em indústrias Teste Comparar Comparar teste unitário com inspeção de código Modelo Avaliar Melhorar a predição desempenho dos modelos de previsão de módulo propenso a falhas através de métodos Arquitetura Investigar Investigarse o tamanho da equipe impacta na qualidade dos perfis dos cenários de arquiteura de software, os quais foram desenvolvidos por diferentes tamanhos de equipes Ferramenta Avaliar Avaliar desempenho de ferramenta que detecta falhas no software desenvolvido Técnica Analisar Analisar técnicas que preservam a privacidade dos dados Técnica Avaliar Avaliar a eficácia e eficiencia de técnica baseada em web design Método Reportar Reportar experiência com método ágil Estudo de caso Software Analisar Analisar software com suas dependências e métricas para prever falhas Estudo de caso Estimativa Investigar Investigar as causas dos erros na estimação de custo

132 130 ID Título Tipo de Estudo Empírico PS390 Some Lessons Learned in Conducting Software Engineering Surveys in China PS391 A Constrained Regression Technique for COCOMO Calibration PS392 A Multiple Estudo de caso Investigating the Interaction between Manufacturing and Development Organizations in Automotive Software Engineering PS393 A Survey into the Rigor of UML Use and its Perceived Impact on Quality and Productivity PS394 A Survey of Software Project Managers on Software Process Change PS395 A Survey on Software Cost Estimation in the Chinese Software Industry PS396 An Industrial Estudo de caso of Architecture Conformance PS397 Capture-recapture in Software Unit Testing A Case Study PS398 Combining Regression and Estimation by Analogy in a Semiparametric Model for Software Cost Estimation PS399 Comparative Studies of the Model Evaluation Criterions MMRE and PRED in Software Cost Estimation Research PS402 Empirical Results from Using Custom Made Software Project Control Centers in Industrial Environments IDC IDF Evidências Survey Survey Reportar Reportar lições apreendidas em engenharia de software Técnica Avaliar Avaliar técnica para construir modelo de estimativa de custo Estudo de caso Dados Analisar Analisar dados para manufatura e desenvolvimento do produto Survey UML Avaliar Avaliar o impacto de UML na produtividade de software Survey Processo Analisar Analisar mudança no processo de software Survey Método Investigar Investigar métodos de estimativa de custo em indústria chinesa Estudo de caso Arquitetura Avaliar Avaliar a proposta de arquitetura durante o desenvolvimento de software Estudo de caso Método Avaliar Avaliar método para estimar quantidade total de falhas possíveis para provocar a partir de uma unidade, sem dependência de dados históricos. Modelo Comparar Comparar modelo de estimativa de custo com outros modelos existentes Modelo Comparar Comparar modelo de estimativa de custo com outros modelos existentes Estudo de caso Mecanismo Avaliar Avaliar mecanismos para controle de projeto industrial

133 131 ID Título Tipo de Estudo Empírico PS403 Evaluation of Capture-Recapture Models for Estimating the Abundance of Naturally-Occurring Defects PS404 Iterative Identification of Fault- Prone Binaries Using In-Process Metrics PS405 Model-based Functional Size Measurement PS406 On Establishing a Benchmark for Evaluating Static Analysis Alert Prioritizationand Classification Techniques PS407 Pair Programming: What s in it for Me? PS411 Reducing Biases in Individual Software Effort Estimations: A Combining Approach IDC IDF Evidências Modelo Avaliar Avaliar o uso de modelos que capturam defeitos em artefatos Estudo de caso Código Investigar Identificar binários usando processo de métricas ; Estudo de caso Técnica Avaliar Avaliar técnica de ponto de função Estudo de caso Ferramenta Avaliar Avaliar benchamark que classifica técnicas Survey Programação em pares Avaliar Reportar avaliação de programação em pares na Microsoft Técnica Analisar Analisar técnicas de estimativa de esforço de software PS415 The Impact of Time Controlled Reading on Software Inspection Effectiveness and Efficiency PS416 Why Do Programmers Avoid Metrics? PS417 Impact of the Visitor Pattern on Program Comprehension and Maintenance PS418 An Interpretation of the Results of the Analysis of Pair Programming during Novices Integration in a Team PS422 An Analysis of CVSS Version 2 Vulnerability Scoring Estudo de caso; Survey Estudo de caso Inspeção Investigar Inspecionar leitura de software (documento de projeto) Métrica Investigar Investigar padronização de métricas Arquitetura Analisar Coletar dados sobre o impacto do padrão visitor na compreensão e manutenção de diagrama de classes Programação em pares Analisar Análise de programação em pares para introduzir novos membros Software Analisar Analisar sistema de medida de vulnerabilidade de software

134 132 ID Título Tipo de Estudo Empírico PS423 An Empirical Study of the Effects of Personality in Pair Programming using the Five-Factor Model PS425 Applying Support Vector Regression for Web Effort Estimation using a Cross-Company Dataset PS426 Balancing Software Product Investments PS428 Cognitive Factors in Perspective- Based Reading (PBR): A Protocol Analysis Study IDC IDF Evidências Programação em pares Investigar Investigar o aspecto humano em programação em pares Estudo de caso Técnica Analisar Analisando SVR (Support Vector Regression) para estimativa de esforço web Estudo de caso Método Avaliar Avaliar método que ajuda a determinar as prioridades no desenvolvimento de software Técnica Investigar Investigar fatores cognitivos envolvidos na aplicação da técnica PBR (Perspective-Based Reading) para detectar defeitos na inspeção de software PS429 Does Aspect-Oriented Programming Increase the Development Speed for Crosscutting Code? An Empirical Study PS430 Does Explanation Improve the Acceptance of Decision Support for Product Release Planning? PS432 Empirical Results from the Transformation of a Large Commercial Technical Computing Environment PS433 Evaluation of {model-based} Testing Techniques Selection Approaches: an External Replication PS434 Exploring Language in Software Process Elicitation: A Grounded Theory Approach Desenvolvimento Comparar Comparar tempo de desenvolvimento transversal entre composição tradicional x aspectos Ferramenta Avaliar Avaliar as explicações geradas como um meio de melhorar a aceitação da ferramenta pelo usuário Estudo de caso Ambiente Reportar Reportar os resultados de uma transfromação do ambiente de uma empresa de computação técnica Teste Avaliar Avaliar 2 abordagens de seleção de técnicas de teste Etnografia Processo Investigar Investigar como as pessoas descrevem processos de software em linguagem natural. Realizar um estudo de campo pequeno, com quatro participantes trabalhando em um help desk de TI.

135 133 ID Título Tipo de Estudo Empírico PS436 Gauging acceptance of software metrics: Comparing perspectives of managers and developers PS438 Measuring the Interplay of Security Principles in Software Architectures PS441 Quantitative Analysis of Information Security Interdependency Between Industrial Sectors PS442 Scope Error Detection and Handling concerning Software Estimation Models PS443 Security of Open FonteWeb Applications PS444 Strong Dependencies between Software Components PS445 Systematic Literature Reviews in Software Engineering: Preliminary Results from Interviews with Researchers PS446 Test Case Prioritization Based on Data Reuse An Experimental Study PS447 Test Coverage and Post- Verification Defects: A Multiple Estudo de caso PS448 The Evolution and Impact of Code Smells: A Case Study of Two Open Fonte Systems PS449 The Impact of Limited Search Procedures for Systematic Literature Reviews A Participant- Observer Estudo de caso IDC IDF Evidências Survey Métrica Comparar Comparar perspectiva de métricas entre desenvolvedores e gerentes Estudo de caso Arquitetura Analisar Medir os princípios de segurança em arquitetura de software Estudo de caso Segurança de info Analisar Análise quantitativa de segurança da informação entre setores industriais Estudo de caso Estimativa Investigar Detectar erros e capturá-los em modelos de estimativa de software Survey Métrica Analisar Desenvolvimento de métrica de segurança de aplicações web Estudo de caso Software Analisar Analisar a forte dependência (acoplamento) entre componentes de software Survey Revisão sistemática Reportar Reportar entrevistas com especialistas sobre o revisão sistemática Teste Avaliar Avaliar priorização de casos de teste Estudo de caso Teste Investigar Investigar a eficiência de cobertura de teste Estudo de caso Código Avaliar Avaliar a evolução e o impacto de código smells Estudo de caso Revisão Sistemática Comparar Comparar pesquisa manual com a automática em revisão sistemática

136 134 ID Título Tipo de Estudo Empírico PS452 Understanding the Use of Inheritance with Visual Patterns PS453 Using Concept Mapping for Maintainability Assessments PS454 Using Differences among Replications of Software Engineering s to Gain Knowledge PS456 Using Security Metrics Coupled with Predictive Modeling and Simulation to Assess Security Processes PS458 We need more coverage, stat! Classroom experience with the Software ICU IDC IDF Evidências Estudo de caso Software Analisar Visualizar herança em programas orientados a objeto para compreendê-los Estudo de caso Manutenção Avaliar Avaliar manutenção de software industriais Investigar Propor um processo que permite aos pesquisadores gerar novos conhecimentos durante a execução de repetições nos s Estudo de caso Segurança de info Avaliar Processos baseados em métricas para avaliar a segurança de software Estudo de caso Segurança de info Analisar Medir a eficácia da segurança de processos em grandes organizações PS459 What Do We Know About Perspective-Based Reading? An Approach for Quantitative Aggregation in Software Engineering PS460 A Comprehensive Characterization of NLP Techniques for Identifying Equivalent Requirements PS461 A machine learning approach for text categorization of fixing-issue commits on CVS PS462 A Qualitative Study of Animation Programming in the Wild PS463 A Survey of Scientific Software Development PS464 An Effective Fault Aware Test Case Prioritization by Incorporating a Fault Localization Technique Inspeção Investigar Investigar se a PBR (Perspective-Based reading) melhora a eficácia da equipe em relação a leitura de abordagens alternativas. Estudo de caso Técnica Analisar Compreender a técnica NLP (Natural Language Processing) Dados Avaliar Avaliar classificação de máquina de aprendizado em categorização de texto em commit CVS Ferramenta Avaliar Avaliar ferramenta de projeto de animação Survey Desenvolvimento Investigar Investigar e Identificar melhorias que podem ser realizadas em desenvolvimento de softwares científicos Técnica Avaliar Avaliar técnica de priorização de caso de teste

137 135 ID Título Tipo de Estudo Empírico PS466 An Empirical Study of Specification by Example in a Software Engineering Tool PS467 Are Developers Complying with the Process: An XP Study PS468 Building Empirical Support for Automated Code Smell Detection PS469 Categorization of Real-Time Software Components for Code Size Estimation PS470 Evaluating a Model of Software Managers Information Needs An PS472 Gender Differences and Programming Environments: Across Programming Populations PS474 Introducing the Evaluation of Complexity in Functional Size Measurement: a UML-based Approach PS475 Investigating the Use of Tags in Collaborative Development Environments: A Replicated Study PS477 On the Effectiveness of Screen Mockups in Requirements Engineering: Results from an Internal Replication PS478 Perceived Productivity Threats in Large Agile Development Projects IDC IDF Evidências Ferramenta Avaliar Avaliar eficiência da ferramenta CASE(Computer Aided Software Engineering) Estudo de caso Processo Investigar Investigar processos com práticas XP (extreme Programming) Código Avaliar Verificar detecção de código smell Código Analisar Identificar fatores que ajudam a estimar o tamanho do código Modelo Avaliar Avaliar modelo de software Estudo de caso Ferramenta Investigar Investigar ferramentas de âmbito industrial Estudo de caso Métrica Avaliar Avaliar métricas para modelos UML Desenvolvimento Investigar Investigar o uso de tags em ambiente de desenvolvimento colaborativo Requisitos Avaliar Avaliar mockups em requisitos de software Estudo de caso Metodologia Avaliar Avaliar metodologia ágil PS480 Strengthening the Empirical Analysis of the Relationship between Linus Law and Software Security Estudo de caso Segurança de info Analisar Analisar segurança de software

138 136 ID Título Tipo de Estudo Empírico PS482 Test Case Selection and Prioritization: Risk-Based or Design-Based? PS483 The Effects of Neuroticism on Pair Programming: An Empirical Study in the Higher Education Context PS484 Transition from a Plan-Driven Process to Scrum A Longitudinal Estudo de caso on Software Quality PS486 Understanding the Impact of Code and Process Metrics on Postrelease Defects: A Case Study on the Eclipse Project PS487 Usability Evaluation of Multi- Device/Platform User Interfaces Generated by Model-Driven Engineering PS489 A Case Study of concolic testing tools and their limitations PS490 A Qualitative Study of Open Fonte Software Development: the OpenEMR Project PS491 A Survey of Metrics Use in Finnish Software Companies PS493 An Empirical Investigation of Systematic Reviews in Software Engineering Grounded Theory; Survey; Estudo de caso IDC IDF Evidências Teste Analisar Analisar como as organizações decidem os casos de testes que utilizarão em seus projetos de software Programação em pares Investigar Investigar os efeitos de neuroticismo em programação em pares Estudo de caso Qualidade Comparar Comparar qualidade do processo de software com scrum e com plan-driven Estudo de caso; Código / Métrica Investigar Entendendo o impacto de código e métricas dos processos em defeitos pós-release Estudo de caso; Survey; Modelo Avaliar Avaliar a usabilidade do modelo MDE (Model-Driven Engineering) Ferramenta Avaliar Avaliar ferramentas de testes e suas limitações no âmbito industrial Estudo de caso; Desenvolvimento Analisar Estudo qualitativo sobre desenvolvimento de software livre Estudo de caso; Survey; Semi-structured interviews; Tertiary study; Survey; Processo / Métrica Revisão sistemática Investigar Investigar Identificar processo de software e métricas de prdoutos usados em empresas filandesas Investigar a adoção de revisão sistemática PS494 An Empirical Study on the Use of Team Building Criteria in Software Projects Semi-structured interviews; Survey; Projeto Investigar Investigar os critérios utilizados por indústrias para formar a equipe de projeto de software e a relação disso com o sucesso do projeto

139 137 ID Título Tipo de Estudo Empírico PS495 An Experimental Evaluation of the Impact of System Sequence Diagrams and System Operation Contracts on the Quality of the Domain Model PS496 Design of an Empirical Study for Comparing the Usability of Concurrent Programming Languages PS498 Experimental Analysis of Textual and Graphical Representations for Software Architecture Design PS499 Exploring Software Measures to Assess Program Comprehension IDC IDF Evidências UML Avaliar Avaliar o impacto de UML e seus benefícios Desenvolvimento Avaliar Comparar a usabilidade de linguagem de programas concorrentes Arquitetura Investigar Estudar se artefatos visuais ou textuais são mais eficazes nas decisões de projeto de arquitetura de software pelos desenvolvedores Métrica Avaliar Avaliar como as métricas e a compreensão de software estão relacionadas PS500 How Humans merge UML-Models UML Comparar Como comparar e misturar modelos UMLs PS503 Measuring the Efficacy of Code Clone Information in a Bug Localization Task: An Empirical Study PS504 Mining Static Code Metrics for a Robust Prediction of Software Defect-Proneness PS505 Network versus Code Metrics to Predict Defects: A Replication Study PS506 On the Effectiveness of Contracts as Test Oracles in the Detection and Diagnosis of Race Conditions and Deadlocks in Concurrent Object-Oriented Software PS507 One Technique is Not Enough: A Comparison of Vulnerability Discovery Techniques PS508 Preserving Aspects via Automation: a Maintainability Study Código Investigar Investigar a utilidade de informação clonada para localizar bug em códigos Método Avaliar Avaliar métodos de mineração de dados de código estático para prever defeitos Métrica Comparar Comparar métricas de código para prever defeitos com outras formas de prever defeitos Estudo de caso Técnica Avaliar Avaliar técnica que diagnóstica deadelocks em programas orientados a objetos concorrentes Estudo de caso Técnica Comparar Comparar duas técnicas descobertas Modelo Comparar Comparar duas alternativas para gerar códigos de modelos orientados a aspectos

140 138 ID Título Tipo de Estudo Empírico PS511 Supporting Online Updates of Software Product Lines: A PS512 Survey Reproduction of Defect Reporting in Industrial Software Development PS515 Using Visual Text Mining to Support the Study Selection Activity in Systematic Literature Reviews PS516 Analyzing Differences in Risk Perceptions between Developers and Acquirers in OTS-based Custom Software Projects Using Stakeholder Analysis PS518 Assessing the Impact of Real-Time Machine Translation on Requirements Meetings: A Replicated PS519 Challenges of Applying Etnografia to Study Software Practices PS522 Does the Prioritization Technique Affect Stakeholders Selection of Essential Software Product Features? PS523 Empirical Analysis of User Data in Game Software Development PS524 Experimental Assessment of Software Metrics Using Automated Refactoring PS525 How can Open Fonte Software Development Help Requirements Management Gain the Potential of Open Innovation: An Exploratory Study IDC IDF Evidências Arquitetura Avaliar Avaliar abordagem de arquitetura centrada para updates onlines de linhas de produto de software Survey Software Avaliar Avaliar sobre a qualidade, utilidade dos defeitos reportados por software industrial Estudo de caso Revisão Sistemática Analisar Analisar a abordagem de mineração de texto visual para selecionar estudos primários em revisão sistemática Survey Software Analisar Analisar as diferenças de percepções entre desenvolvedores e clientes sobre projetos de software encomendados por stakeholders Etnografia; Estudo de caso Requisitos Avaliar Avaliar o impacto de máquinas de tradução em tempo real em reuniões sobre requisitos com equipes multilíngües Software Reportar Desafios da aplicação de etnografia para estudar práticas de software Técnica Investigar Investigar se certos atributos de técnicas fazem julgar o produto como essencial para partes interessadas Estudo de caso Dados Analisar Analisar dados de usuário em desenvolvimento de jogo Métrica Avaliar Avaliar eficência das métricas de software através de refatoração automática Estudo de caso Desenvolvimento Investigar Como desenvolvimento de software livre ajuda gerenciamento de requisitos a ganhar inovação PS526 Method-Level Bug Prediction Modelo Avaliar Avaliar modelos de predição de bug

141 139 ID Título Tipo de Estudo Empírico PS527 On the Definition of Dynamic Software Measures PS529 Plat_Forms 2011: Finding Emergent Properties of Web Application Development Platforms PS530 Predicting Defect Numbers Based on Defect State Transition Models PS531 Recommender Systems for Manual Testing PS533 Survey on Agile and Lean Usage in Finnish Software Industry PS535 Testing Highly Complex System of Systems: An Industrial Estudo de caso PS536 The Effect of Branching Strategies on Software Quality PS537 Towards a Model to Support in silico Studies of Software Evolution PS538 Using a Follow-on Survey to Investigate Why Use of the Visitor, Singleton & Facade Patterns is Controversial PS539 What Works for Whom, Where, When, and Why? On the Role of Context in Empirical Software Engineering PS541 Comparing Ada and FORTRAN Lines of Code: Some Experimental Results PS542 Estimating TestEffectivenesswith Dynamic Complexity Measurement PS543 Evaluating Inheritance Depth on the Maintainability of Object-Oriented Software IDC IDF Evidências Estudo de caso Métrica Comparar Comparar métrica dinâmica de tamanho de software e acoplamento contra as estáticas Ferramenta Investigar Encontrando propriedades de plataformas de desenvolvimento web Método Avaliar Avaliar método de predição de defeito Teste Avaliar Avaliar algoritmos de caso de teste Survey Metodologia Investigar Investigar a adoção de metodologia ágil em software industriais Estudo de caso Teste Reportar Fornecer entendimento de teste SoS (Systems of systems) em escala industrial Estudo de caso Qualidade Avaliar Avaliar efeito de estratégias de software de qualidade Modelo Avaliar Avaliar modelo que supporta decadência de software através de simulações de sistemas dinâmicos Mapeamento Sistemático; Survey ; Survey Arquitetura Investigar Investigar o uso de design patterns (arquitetura) Contexto Reportar Reportar como o contexto afeta uma pesquisa empírica Código Comparar Comparar linhas de código de fortran e ada Software Investigar Investigar os aspectos distintos de complexidade de software ; Survey Manutenção Avaliar Avaliar níveis de herança na manutenção de software orientado a objetos

142 140 ID Título Tipo de Estudo Empírico PS548 The Empirical Investigation of Perspective-Based Reading PS549 The Impact of Software Evolution and Reuse on Software Quality PS550 A Comparison of Tool-Based and Paper-Based Software Inspection PS551 A to Evaluate On-Line Process Guidance PS553 A Replicated to Assess Requirements Inspection Techniques PS556 An Experimental Comparison of the Maintainability of Object- Oriented and Structured Design Documents PS557 An Experimental Evaluation of an Experience-Based Capture- Recapture Method in Software Code Inspections PS558 An Extended Replication of an for Assessing Methods for Software Requirements Inspections PS560 Classification of Fault-Prone Software Modules: Prior Probabilities, Costs, and Model Evaluation PS561 Comparing Detection Methods For Software Requirements Inspections: A Replication Using Professional Subjects PS562 Computer-Aided Systems Engineering Methodology Support and Its Effect on the Output of Structured Analysis IDC IDF Evidências Técnica Comparar Comparar técnicas de leitura de software Estudo de caso Software Analisar Analisar evolução de software e reuso de software de qualidade Ferramenta Comparar Comparar ferramentas de inspeção de software Processo Comparar Comparar processo on-line e off-line Técnica Comparar Comparar técnicas de detecção de defeito Documentação Avaliar Verificar se os documentos de projetos orientados a objetos são mais faceis de entender e modificar do que os documentos de projetos estruturados Método Avaliar Avaliar método de capturar-recapturar em inspeção de código Método Avaliar Avaliar método de inspeção de requisito de software Estudo de caso Técnica Avaliar Avaliar técnicas de classificação de qualidade de software ; Survey Método Comparar Comparar métodos de detecção para inspeção de requisitos Ferramenta Comparar Comparar o nivel de metodologia suportado pela ferramenta CASE através do framework desenvolvido

143 141 ID Título Tipo de Estudo Empírico PS563 Does Every InspectionReallyNeed a Meeting? PS571 Further Experiences with Scenarios and Checklists PS572 How Software Engineering Tools Organize Programmer Behavior During the Task of Data Encapsulation PS584 The Control Structure Diagram: An Overview and Initial Evaluation PS588 Visual Depiction of Decision Statements: What is Best for Programmers and Non- Programmers? PS589 A Comparative Study of Ordering and Classification of Fault-Prone Software Modules PS590 A Critical Analysis of PSP Data Quality: Results from A Case Study PS599 Engineering the Design of Usable Hypermedia PS601 Perspective-based Usability Inspection: An Empirical Validation of Efficacy PS606 A Replicated Empirical Study of the Impact of the Methods in the PSP on Individual Engineers PS608 An Instrument for Assessing Software Measurement Programs IDC IDF Evidências Métrica Avaliar Avaliar medidas de custo e a eficiência de ter ou não reunião baseada em método de revisão Inspeção Avaliar Avaliar componente do processo de inspeção de software Ferramenta Investigar Investigar como as ferramentas de Engenharia de Software organizam tarefas de encapsulamento de dados Arquitetura Avaliar Avaliar o desempenho de CSD (Control Structure Diagram) através de Reportar Reportar o resultado de dois s que investigam diferenças na compreensão de textual e notações gráficas para representar decisão Estudo de caso Modelo Reportar Demonstrar como modelos de módulo de ordem podem ser utilizados para a classificação além de compará-los com modelos de classificação estatística. Estudo de caso Dados Analisar Analisar criticamente a qualidade dos dados do PSP (Personal Software Process) Estudo de caso Método Avaliar Avaliar método sistemático para projeto de hypermedia Inspeção Avaliar Avaliar eficácia de inspeção de software Estudo de caso Método Avaliar Avaliar o impacto de métodos de PSP (Personal Software Process) em indústrias Survey Métrica Avaliar Avaliar as diversas métricas de software

144 142 ID Título Tipo de Estudo Empírico PS610 Are the Perspectives Really Different? Further Experimentation on Scenario-Based Reading of RequirementsAre the Perspectives Really Different? Further Experimentation on Scenario-Based Reading of Requirements PS611 Assessing and Understanding Efficiency and Success of Software Production PS612 Balancing Misclassification Rates in Classification-Tree Models of Software QualityBalancing Misclassification Rates in Classification-Tree Models of Software Quality PS614 Early Lifecycle Work: Influence of Individual Characteristics, Methodological Constraints, and Interface Constraints PS615 Empirical Evaluation of CASE Tools Usage at Nokia PS618 Replicating the CREWS Use Case Autoring Guidelines PS619 Requirements-Based Estimation of Change Costs PS620 The Use of Procedural Roles in Code Inspections: An Experimental Study IDC IDF Evidências Inspeção Avaliar Avaliar técnica de inspeção PBR (Perspective-Based Reading) Estudo de caso Software Avaliar Avaliar e entender a eficiência e sucesso de produção de software Estudo de caso Modelo Avaliar Avaliar modelo de classificação de qualidade de software Ferramenta Avaliar Avaliar as ferramentas CASE em relação a interface homem-máquina Survey Ferramenta Reportar Reportar o uso de ferramentas CASE na Nokia Casos de uso Avaliar Replicar de caso de uso Estudo de caso Requisitos Avaliar Avaliar impacto de mudança de requisito Quase- Inspeção Avaliar Avaliar uso de regras de procedimento em inspeção de software

145 143 ID Título Tipo de Estudo Empírico PS621 Using Students as Subjects A Comparative Study of Students and Professionals in Lead-Time Impact Assessment PS623 Assessing the Changeability of two Object-Oriented Design Alternatives: a PS625 Controlling Overfitting in Classification-Tree Models of Software Quality PS628 Ethical Issues in Software Engineering Research: A Survey of Current Practice PS629 Interface Mutation Test Adequacy Criterion: An Empirical Evaluation PS632 Modelling the Likelihood of Software Process Improvement: An Exploratory Study PS634 Quantitative Measurements of the Influence of Participant. Roles during Peer Review Meetings PS635 Replicated Case Studies for Investigating Quality Factors in Object-Oriented Designs PS637 A Review of Experimental Investigations into Object-Oriented Technology PS638 An Empirical Method for Selecting Software Reliability Growth Models PS639 An Industrial Estudo de caso to Examine a Non-Traditional Inspection Implementation for Requirements Specifications IDC IDF Evidências Desenvolvimento Comparar Comparar tempo de desenvolvimento de software por estudantes e por profissionais Arquitetura Avaliar Avaliar o impacto de mudanças em 2 projetos de software orientados a objetos Estudo de caso Modelo Avaliar Aplicar modelo de classificação de qualidade de software Survey Teoria Investigar Explorar questões éticas em engenharia de software empírica Teste Avaliar Avaliar Critério de adequação de teste Survey Processo Analisar Melhorar modelagem processo de software Estudo de caso Requisitos Avaliar Avaliar influência do stakeholders no levantamento de requisitos Estudo de caso Qualidade Investigar Investigar fatores de qualidade em projetos OO Tecnologia Investigar Investigar tecnologia orientada a objetos em termos de eficiência Estudo de caso Método Avaliar Avaliar método empírico para selecionar SRGMs (software reliability growth models) Estudo de caso Inspeção Avaliar Avaliar inspeção de software não tradicional no contexto industrial

146 144 ID Título Tipo de Estudo Empírico PS640 An Initial Experimental Assessment of the Dynamic Modelling in UML PS641 Can you Trust a Single Data Fonte Exploratory Software Engineering Estudo de caso? PS642 Empirical Evaluation of Aestheticsbased Graph Layout PS643 Estimating Maintenance Effort by Analogy PS644 Experimental Evaluation of Program Slicing for Fault Localization PS645 Object-Oriented Program Comprehension: Effect of Expertise, Task and Phase PS647 Uncertain Classification of Fault- Prone Software Modules PS648 Using a Reliability Growth Model to Control Software Inspection PS649 A Comparative Study of Cost Estimation Models for Web Hypermedia Applications PS651 An Empirically-Based Process for Software Architecture Evaluation PS652 An Externally Replicated for Evaluating the Learning Effectiveness of Using Simulations in Software Project Management Education PS654 Analogy-Based Practical Classification Rules for Software Quality Estimation IDC IDF Evidências UML Comparar Comparar modelagens UML dinâmicas Estudo de caso Dados Investigar Investigar fonte de dados múltiplos Algoritmo Investigar Investigar algoritmos baseados em layout gráfico Estudo de caso Método Avaliar Avaliar método para estimar esforço de projeto Software Avaliar Avaliar programa Slice em relação a localização de falhas Software Analisar Compreender programa orientado a objetos Estudo de caso Técnica Avaliar Aplicar técnicas para classificar módulos do software Inspeção Investigar Investigar uso de modelo para controlar inspeção de software Estudo de caso Modelo Comparar Comparar modelos de estimativa de custo Estudo de caso Arquitetura Avaliar Avaliar arquitetura de software Modelo Avaliar Avaliar eficiência de aprendizando usando modelo de simulação Estudo de caso Qualidade Avaliar Avaliar regras de classificação para avaliar qualidade de software

147 145 ID Título Tipo de Estudo Empírico PS655 Designing and Conducting an ; Empirical Study on Test Survey Management Automation PS658 Fault Prediction Modeling for Software Quality Estimation: Comparing Commonly Used Techniques PS659 Fault-Threshold Prediction with Linear Programming Methodologies PS661 Prioritizing and Assessing Software Project Success Factors and Project Characteristics using Subjective Data PS662 Software Process Improvement Problems in Twelve Software Companies: An Empirical Analysis IDC IDF Evidências Teste Avaliar Avaliar automação de testes Estudo de caso Técnica Comparar Comparar técnicas para estimar qualidade de software Desenvolvimento Comparar Comparar programação linear com programação de definição de risco Estudo de caso Projeto Analisar Analisar o impacto que os fatores de projeto de software tem no sucesso do projeto. Para esta análise, o método foi aplicado em 47 projetos Estudo de caso Processo Analisar Analisar 12 empresas de software para entender os problemas geralmente praticados com o objetivo de melhorar o processo de software PS663 Techniques of Successful Application of Factor Analysis in Software Measurement Métrica Analisar Analisar padrão de métricas de software PS664 A Comparing the Maintainability of Programs Designed with and without Design Patterns A Replication in a Real Programming Environment Manutenção Comparar Comparar manutenção de software desenvolvido com ou sem padrão de projeto PS665 An Ethnographic Study of XP Practice Etnografia Metodologia Reportar Reportar a prática XP realizada em uma pequena empresa de desenvolvimento de anúncios inteligentes baseados na web de forma relatar práticas em termos de cultura XP.

148 146 ID Título Tipo de Estudo Empírico PS666 An Industrial Estudo de caso of Immediate Benefits of Requirements Engineering Process Improvement at the Australian Center for Unisys Software PS667 Are Individual Differences in Software Development Performance Possible to Capture Using a Quantitative Survey? PS668 Are Reviews an Alternative to Pair Programming? PS669 Comparative Assessment of Software Quality Classification Techniques: An Empirical Estudo de caso PS670 Evaluation of Usage-Based Reading Conclusions after Three s PS671 Group Processes in Software Effort Estimation IDC IDF Evidências Estudo de caso Requisitos Avaliar Avaliar as melhorias e benefícios do modelo CMM no processo de gereciamento de requisitos num centro australiano de software ; Survey Desenvolvimento Avaliar Avaliar número de defeitos e quantidade de tempo de desenvolvimento de software com PSP (Personal Software Process) Programação em pares Investigar Investigar se programação tradicional em equipe pode concorrer com programação em pares em termos de custo de desenvolvimento e qualidade Estudo de caso Técnica Comparar Comparar técnicas de classificação de qualidade de software em um sistema legado de telecomunicações Técnica Investigar Investigar técnica usage-based reading (UBR) de inspeção de software Estimativa Analisar Analisar estimativa de software baseado em um grupo de discussão de especialistas PS672 Impacts of the Organizational Model on Testing: Three Industrial Cases PS677 A Characterization Schema for Software Testing Techniques PS678 A Survey of Documentation Practice within Corrective Maintenance Estudo de caso; Teste Reportar Reportar 3 modelos de organização de software industriais com suas vantagens e desvantagens para testes Técnica Avaliar Avaliar artefato para ajudar técnica de seleção de teste Survey Documentação Analisar Analisar a prática de documentação industrial na Suécia em manutenção corretiva.

149 147 ID Título Tipo de Estudo Empírico PS679 An Empirical Approach to Characterizing Risky Software Projects Based on Logistic Regression Analysis PS682 Assessment of a New Three- Group Software Quality Classification Technique: An Empirical Estudo de caso PS683 Collecting Feedback During Software Engineering s PS684 Expert Estimation of Web- Development Projects: Are Software Professionals in Technical Roles More Optimistic Than Those in Non-Technical Roles? PS685 Investigating the Role of Use Cases in the Construction of Class Diagrams IDC IDF Evidências Análise de risco Avaliar Avaliar caracterização de análise de risco baseado em regressão logística Estudo de caso Técnica Investigar Investigar a validação e eficiência da técnica proposta de classificação de qualidade de software em software industrial de larga escala. Reportar Reportar feedback de s de forma a criar uma base dados para ser utilizada no desempenho de outros s Estimativa Investigar Investigar como o papel e a competência do desenvolvedor pode influenciar na estratégia de estimativa de software Casos de uso Investigar Investigar regras de casos de uso na construção de diagramas de classe em projeto orientado a objetos PS686 Methodology Support in CASE Tools and Its Impact on Individual Acceptance and Use: A ; Survey Ferramenta Avaliar Avaliar metodologia de ferramenta CASE e avaliar o impacto e aceitação da ferramenta pelos usuários PS687 OPM vs. UML ing with Comprehension and Construction of Web Application Models PS688 Requirements Engineering and Downstream Software Development: Findings from A Case Study Estudo de caso UML Comparar Comparar a compreensão de software web construido com UML e com Object-Process Methodology (OPM) para verificar qual o melhor Estudo de caso Requisitos Investigar Investigar práticas industriais do processo de gerenciamento de requisistos

150 148 ID Título Tipo de Estudo Empírico PS690 Supporting ation with Testing Techniques: An Infrastructure and its Potential Impact PS692 The Influence of the Level of Abstraction on the Evolvability of Conceptual Models of Information Systems PS694 When Software Engineers Met Research Scientists: A Case Study PS695 An empirical study of fine-grained software modifications PS698 An evaluation of combination strategies for test case selection PS699 An on linguistic tool support for consolidation of requirements from multiple Fontes in market-driven product development PS700 An Experimental evaluation of a higher-ordered- typed-functional specification-based test-generation technique PS704 Experiences from introducing UML-based development in a large safety-critical project PS705 Input validation analysis and testing PS706 Integrating agile software development into stage-gate managed product development IDC IDF Evidências Survey Técnica Reportar Reportar os desafios dos pesquisadores com técnicas de teste Modelo Investigar Investigar o nivel conceitual dos modelos que são construidos a base de informações de sistemas Estudo de caso Documentação Avaliar Avaliar engenheiros de software desenvolvendo um software para um grupo de cientistas com metodologia de documentação tradicional Software Avaliar Avaliar modificação de software livre Teste Avaliar Avaliar a comparação de estratégias de casos de teste Ferramenta Avaliar Avaliar ferramenta que consolida os requisitos solicitados para desenvolvimento de Software para atender a vários clientes UML Avaliar Avaliar a abordagem SORT (Systematic Object- Oriented Refinement and Translation) para diagramas UML Estudo de caso UML Reportar Reportar a experiência de utilizar diagrama UML em um grande projeto de segurança crítica em uma empresa global Estudo de caso Teste Analisar Analisar os dados de entrada e a execução dos casos de testes numa indústria (Tomahawk Cruise Missile) Estudo de caso Metodologia Avaliar Avaliar metodologia ágil utilizada em dois projetos de software independentes

151 149 ID Título Tipo de Estudo Empírico PS708 Perspective-Based Reading: A Replicated Focused on Individual Reviewer Effectiveness PS709 Prioritizing JUnit Test Cases: An Empirical Assessment and Cost- Benefits Analysis PS710 Replaying development history to assess the effectiveness of change propagation tools PS711 Subjective evaluation of software evolvability using code smells: An empirical study PS713 The Impact of an Agile Methodology on the Well Being of Development Teams PS714 Using patterns for the refinement and translation of UML models: A PS716 A practical approach to testing GUI systems PS718 A study of effectiveness of dynamic slicing in locating real faults PS719 An empirical study of a reverse engineering method for the aggregation relationship based on operation propagation PS721 Building measure-based prediction models for UML class diagram maintainability IDC IDF Evidências Inspeção Comparar Comparar inspeção utilizando Perspective Based Reading (PBR) e usando um checklist Teste Analisar Analisar se priorização de caso de teste pode ser eficaz em programas testados com JUnit Estudo de caso Ferramenta Avaliar Avaliar ferramenta de propagação de mudanças baseada em Development Replay (DR) Survey Código Avaliar Avaliar como os desenvolvedores lidam quanto a "code smell" num stakeholders familiarizado Metodologia Analisar Analisar se metodologia ágia tem efeito distinto sobre cada desenvolvedor numa equipe UML Avaliar Avaliar padrões para refinamento de modelos UML Teste Avaliar Avaliar uma abordagem para testar sistemas GUI Algoritmo Avaliar Avaliar o comportamento dos algoritmos Dynamic slicing Estudo de caso Método Avaliar Avaliar método de engenharia reversa em biblioteca de classes Oz++ UML Investigar Investigar métricas de diagramas UML para manutenção de software

152 150 ID Título Tipo de Estudo Empírico PS722 Empirical analysis on the correlation between GCC compiler warnings and revision numbers of Fonte files in five industrial software projects PS723 Empirical evaluation of optimization algorithms when used in goal-oriented automated test data generation techniques PS725 ing with software testbeds for evaluating new technologies PS726 Global and task effects in information-seeking among software engineers PS727 Identifying and addressing problems in object-oriented framework reuse PS728 Maximising the information gained from a study of static analysis technologies for concurrent software PS729 Pair-wise comparisons versus planning game partitioning s on requirements prioritisation techniques PS731 Protocols in the use of empirical software engineering artifacts PS735 Simulated annealing applied to test generation: landscape characterization and stopping criteria PS736 The effect of experience on the test-driven development process PS737 Trace anomalies as precursors of field failures: an empirical study IDC IDF Evidências Estudo de caso Código Analisar Analisar se o uso de alertas gerados pelo compilador GNU C + + pode ser usado para identificar arquivos de código fonte que são susceptíveis de ser erro. Técnica Comparar Estudo comparativo sobre eficiência de técnicas em automação de teste Tecnologia Avaliar Avaliar o comportamento de novas tecnologias com testbed Survey Projeto Reportar Obter informação de contexto humano e tecnológico com os engenheiros de software do mundo Ferramenta Investigar Investigar problemas em reuso de framework orientado a objetos Técnica Analisar Analisar técnicas para software concorrentes Técnica Comparar Comparar técnicas de priorização de requisitos Reportar Reportar artefatos em engenharia de software empírica Estudo de caso Técnica Investigar Investigar se a técnica Simulated Annealing (SA) pode ser utilizado para geração de teste Quase- Processo Comparar Comparar experientes e novatos no desenvolvimento de processo orientado a teste Desenvolvimento Investigar Investigar percusores de falhas em desenvolvimento de software

153 151 ID Título Tipo de Estudo Empírico PS738 Understanding component coevolution with a study on Linux PS739 A binomial software reliability model based on coverage of structural testing criteria PS741 An on the role of graphical elements in architecture visualization PS742 An industrial Estudo de caso in reconstructing requirements views PS743 Analysing the effectiveness of rulecoverage as a reduction criterion for test suites of grammar-based software PS745 Comparing distributed and face-toface meetings for software architecture evaluation: A PS746 Cooperative method development: Combining qualitative empirical research with method, technique and process improvement PS748 Empirical evaluation of clone detection using syntax suffix trees PS750 Exploiting the empirical characteristics of program dependences for improved forward computation of dynamic slices PS751 On the effectiveness of early life cycle defect prediction with Bayesian Nets PS752 Presenting software engineering results using structured abstracts: a randomised IDC IDF Evidências Estudo de caso Método Avaliar Avaliar método que correlaciona acoplamento evolutivo e de referencia em versões do Linux. Modelo Avaliar Avaliar modelo de software confiável baseado em critérios de teste Arquitetura Reportar Reportar regra para representação gráfica do entendimento da arquitetura do software Estudo de caso Requisitos Investigar Investigar como a visão de requisitos podem ser geradas automaticamente a fim de monitorizar os requisitos em prática industrial. Teste Analisar Analisar a eficiência de testes elaboarados com grammar-based software Arquitetura Avaliar Avaliar arquitetura de software elaborada através de framework groupware Pesquisa Ação Método Reportar Reportar as experiências no desenvolvimento de métodos de ferramentas baseadas em diversos projetos de pesquisa em cooperação com parceiros industriais. Estudo de caso Técnica Avaliar Comparar técnica de detecção de código clonado com outras técnicas usando the Bellon benchmark Software Investigar Investigar as características empíricas de dependências de programas para a melhoria da computação Modelo Reportar Reportar modelo construído baseado em redes bayseanas para predição de defeito Investigar Investigar se resumos estruturados de artigos que reportam s em engenharia de software são mais fáceis de entender do que resumos não estruturados

154 152 ID Título Tipo de Estudo Empírico PS753 Realizing quality improvement through test driven development: results and experiences of four industrial teams PS756 Tests for consistent measurement of external subjective software quality attributes PS762 A Case Study comparing defect profiles of a reused framework and of applications reusing it IDC IDF Evidências Estudo de caso Teste Avaliar Avaliar desenvolvimento orientado a testes no contexto industrial Métrica Avaliar Avaliar métricas de qualidade de software Estudo de caso Metodologia Avaliar Avaliar o impacto de SCRUM e XP em equipes de desenvolvimento de software no contexto industrial PS757 The impact of agile practices on communication in software development PS760 Towards understanding the relationship between team climate and software quality a quasi- Experimental PS761 Cloning considered harmful considered harmful: patterns of cloning in software Quase- Qualidade Investigar Investigar se o clima da equipe de desenvolvimento de software impacta na qualidade do software Estudo de caso Código Avaliar Avaliar a frequência de códigos clonados em software livre Estudo de caso Ferramenta Avaliar Avaliar reuso de Java Class framework e aplicações em empresa PS763 A study of the non-linear adjustment for analogy based software cost estimation PS764 A subject-based empirical evaluation of SSUCD s performance in reducing inconsistencies in use case models PS765 An empirical analysis of information retrieval based concept location techniques in software comprehension Técnica Analisar Analisar ajuste não linear na técnica Analogy Based Estimation (ABE) para estimativa de custo de software Casos de uso Avaliar Avaliar a redução de inconsistências dos modelos de casos de uso decorrentes da implantação de uma nova estrutura chamada (Simple Structured Use Case Descriptions) SSUCD, que é usado para ajudar no desenvolvimento de descrições de caso de uso Técnica Avaliar Avaliar técnica para information retrieval (IR)

155 153 ID Título Tipo de Estudo Empírico PS766 An Experimental investigation of personality types impact on pair effectiveness in pair programming PS768 Another viewpoint on evaluating web software reliability based on workload and failure data extracted from server logs PS769 Assessing IR-based traceability recovery tools through s PS770 Assessing the understandability of UML statechart diagrams with composite states A family of empirical studies PS772 Empirical evaluation of an educational game on software measurement PS774 Experimental evaluation of a tool for the verification and transformation of Fonte code in event-driven systems PS777 Macro-level software evolution: A Case Study of a large software compilation PS778 On guiding the augmentation of an automated test suite IDC IDF Evidências Programação em pares Investigar Investigar como a personalidade do desenvolvedor pode impactar numa programação em pares Estudo de caso Técnica Avaliar Avaliar técnica que avalia a confiabilidade de site ; Survey Ferramenta Avaliar Avaliar ferramenta de recuperação de rastreabilidade em termos de eficência UML Avaliar Avaliar o entendimento de diagramas UML Educação Avaliar Avaliar o aprendizado com jogos educacionais Ferramenta Avaliar Avaliar ferramenta que combina técnicas de programação para diminuir tempo de desenvolvimento de software Estudo de caso Software Avaliar Avaliar a evolução da compilação do software no contexto Linux Teste Analisar Analisar ferramenta desenvolvida em java para teste de mutação PS779 On modeling software defect repair time PS781 Practical challenges of requirements prioritization based on risk estimation Estudo de caso Desenvolvimento Analisar Analisar relatórios de defeitos coletados durante a desenvolvimento de um sistema de software médico grande. Estimativa Analisar Analisar os fatores desafiantes envolvidos na estimativa de risco

156 154 ID Título Tipo de Estudo Empírico PS782 Software architecture evaluation methods based on cost benefit analysis and quantitative decision making PS784 Using information retrieval based coupling measures for impact analysis PS785 Visual querying and analysis of large software repositories PS788 An adaptive QoS-aware fault tolerance strategy for web services PS789 An empirical investigation into open Fonte web applications implementation vulnerabilities PS790 An empirical study on the efficiency of different design pattern representations in UML class diagrams PS792 An Experimental comparison of ER and UML class diagrams for data modelling PS796 Distributed agile: project management in a global environment PS798 Fault-prone module detection using large-scale text features based on spam filtering PS801 LSEbA: least squares regression and estimation by analogy in a semi-parametric model for software cost estimation IDC IDF Evidências Estudo de caso Método Comparar Comparar métodos de avaliação de arquitetura de software Estudo de caso Métrica Investigar Investigar o uso de métricas de acoplamento durante o impacto de mudança de software no contexto do Mozilla Estudo de caso Ferramenta Avaliar Avaliar framework de repositório de mineração de software em repositórios industriais Arquitetura Reportar Reportar as vantagens de uma estratégia de tolerância a falhas para serviços web baseados em Service- Oriented Architecture (SOA) Survey Desenvolvimento Investigar Investigar vulnerabilidade em desenvolvimento de software livre de aplicações web UML Avaliar Avaliar o impacto de representações visuais construídas a partir da compreensão de padrão de projeto com a representação em UML UML Analisar Analisar se diagramas UML são mais compreensíveis do que diagramas ER em modelos de manutenção Estudo de caso Metodologia Reportar Reportar práticas de metodologia ágil no contexto industrial Modelo Avaliar Avaliar abordagem de que utiliza recursos de texto em larga escala para construção de modelos de detecção de falhas Técnica Avaliar Avaliar técnica desenvolvida (LSEbA) para estimativa de custo de software

157 155 ID Título Tipo de Estudo Empírico PS802 Measuring fidelity to extreme programming: a psychometric approach PS803 Profiling the operational behavior of OS device drivers PS804 Refining the systematic literature review process two participantobserver case studies PS805 Support planning and controlling of early quality assurance by combining expert judgment and defect data A Case Study IDC IDF Evidências Survey Metodologia Investigar Investigar como um indivíduo ou uma equipe adere a metodologia ágil XP Estudo de caso Ferramenta Avaliar Avaliar desempenho e estabilidade de benchmark com cargas de dados nos drivers do windows XP e VISTA Estudo de caso Revisão Sistemática Comparar Comparar busca manual com busca automática e comparar métodos busquem qualidade na pesquisa Estudo de caso Método Avaliar Avaliar método de combinação híbrida que combina dados de medição e conhecimento especializado de contexto específico, no caso, industrial PS806 Testing peer-to-peer systems Ferramenta Avaliar Avaliar framework para testar sistemas P2P (peer-topeer) PS808 The effect of moving from a plandriven to an incremental software development approach with agile practicesthe effect of moving from a plan-driven to an incremental software development approach with agile practices Estudo de caso Desenvolvimento Avaliar Avaliar desenvolvimento de software incremental com práticas de metodologia ágil no contexto industrial PS809 Understanding cost drivers of software evolution: a quantitative and qualitative investigation of change effort in two evolving software systems PS810 A field study of API learning obstacles PS815 Calculation and optimization of thresholds for sets of software metricscalculation and optimization of thresholds for sets of software metrics Estudo de caso Software Avaliar Avaliar custo de drivers na evolução do software envolvendo software industriais Survey Ferramenta Reportar Reportar o aprendizado que os desenvolvedores de software tiveram com API da microsoft Estudo de caso Algoritmo Avaliar Avaliar algoritmo que calcula conjunto de métricas no contexto software livre

158 156 ID Título Tipo de Estudo Empírico PS816 Assessing architectural evolution: A Case Study PS817 Behavioral economics in software quality engineering PS818 Characteristics of multiplecomponent defects and architectural hotspots: a large system Estudo de caso PS819 Design evolution metrics for defect prediction in object oriented systems PS822 From monolithic to componentbased performance evaluation of software architectures - A series of s analysing accuracy and effort PS825 Qualitative research on software development: a longitudinal Estudo de caso methodology PS826 Reporting computing projects through structured abstracts: a quasi- PS827 A study of the bi-objective next release problem PS828 Studying the co-evolution of production and test code in open Fonte and industrial developer test processes through repository mining PS829 The role of non-exact replications in software engineering s PS830 The search for a research method for studying OSS process innovation IDC IDF Evidências Estudo de caso Arquitetura Avaliar Avaliar evolução da arquitetura de software no contexto da ferramenta Eclipse Qualidade Reportar Reportar a influência do conhecimento dos usuários na avaliação da qualidade de software. Estudo de caso Arquitetura Avaliar Avaliar características dos defeitos de múltiplos componentes em arquitetura de software em grandes sistemas legados da indústria Estudo de caso Métrica Avaliar Avaliar métricas para predição de defeitos em software orientado a objetos Arquitetura Avaliar Avaliar os métodos monolíticos em termos de precisão e eficiencia durantes uma avaliação de arquitetura de software Estudo de caso Metodologia Avaliar Reportar lições apreendidas de metodologia qualitativa em software de organizações multinacionais Quase- Dados Reportar Reportar como resumos estruturados podem ajudar na extração de informações relevantes pelos pesquisadores Estudo de caso Requisitos Analisar Analisar quais requisitos devem ser incluidos numa proxima liberação de versão de software da motorola. Estudo de caso Teste Avaliar Avaiar código de teste em processos de teste de código aberto em desenvolvimento industrial Estudo de caso Processo Analisar Analisar processo de para não replicar s Estudo de caso Método Reportar Reportar método de inovação de pesquisa em Open Fonte Software

159 157 ID Título Tipo de Estudo Empírico PS831 Using grounded theory to study the experience of software development PS832 Using search-based algorithms for Ajax event sequence generation during testing PS833 Using structural and textual information to capture feature coupling in object-oriented software PS834 WCET analysis of modern processors using multi-criteria optimization PS836 A replicated assessment and comparison of adaptation techniques for analogy-based effort estimation IDC IDF Evidências Estudo de caso Desenvolvimento Analisar Utilizar grounded theory para avaliar questões práticas de desenvolvimento de software Estudo de caso Algoritmo Avaliar Avaliar algoritmos baseados em pesquisa para a geração de teste com Ajax e técnicas web Estudo de caso Métrica Avaliar Avaliar se as métricas capturadas no software orientado a objetos são de acoplamento e analisar o impacto delas Métrica Investigar Investigar a eficiência da técnica The Worst-Case Execution Time (WCET) em processadores complexos em relação a caches e pipelines Técnica Avaliar Avaliar e comparar técnicas de estimativa de esforço PS839 Clones: what is that smell? Estudo de caso Desenvolvimento Avaliar Avaliar a prática de clonagem em desenvolvimento de software no contexto industrial PS840 Computer-mediated communication to support distributed requirements elicitations and negotiations tasks PS842 Evaluating defect prediction approaches: a benchmark and an extensive comparison PS843 Location pairs: a test coverage metric for shared-memory concurrent programs PS847 A permutation test based on regression error characteristic curves for software cost estimation models Requisitos Avaliar Analisar a eficiência de um computador síncrono utilizado nas mediações de licitações e negociações de requisitos Ferramenta Avaliar Avaliar Benchmark que avalia abordagens de predição de defeito Estudo de caso Métrica Avaliar Avaliar métrica de compartilhamento de memória em sistemas concorrentes no contexto de servidor ftp Estudo de caso Teste Avaliar Avaliar teste de permutação baseado em Regression Error Characteristic (REC) para estimar modelo de custo de software

160 158 ID Título Tipo de Estudo Empírico PS848 Program comprehension of domain-specific and generalpurpose languages: comparison using a family of s PS849 Refining code ownership with synchronous changes PS850 Replication of an on linguistic tool support for consolidation of requirements from multiple Fontes PS852 Strengths and barriers behind the successful agile deployment insights from the three software intensive companies in Finland PS855 The evolution of Java build systems PS856 Time variance and defect prediction in software projects PS858 What should developers be aware of? An empirical study on the directives of API documentation IDC IDF Evidências Documentação Comparar Comparar a compreensão de um sistema a ser desenvolvido com notação domain-specific languages (DSL) e com notação general-purpose languages (GPLs) Estudo de caso Código Avaliar Avaliar mudanças sincronas no código desenvolvido Ferramenta Avaliar Replicar um que avalia ferramenta linguística para a consolidação de requisitos de várias fontes distintas Estudo de caso Metodologia Reportar Reportar as vantagens e as barreiras por trás do sucesso do desenvolvimento de software com metodologia ágil em empresas na Filândia Estudo de caso Software Reportar Reportar desenvolvimento de sistemas open Fonte com seus tamanhos de código e estruturas Modelo Investigar Investigar a existência de variabilidade na precisão de um modelo de previsão de erro ao longo do tempo visualmente e estatisticamente Estudo de caso Software Analisar Analisar porque Application Programming Interfaces (API) existem e o contexto foi Java

161 159 Apêndice D Estudos relacionados Para cada estudo selecionado, seus dados foram extraídos e analisados para identificar o campo de pesquisa (IDC - Identificador do campo de pesquisa que o tipo de estudo empírico foi aplicado) e a finalidade da pesquisa (IDF Identificador da Finalidade que o tipo de estudo empírico foi aplicado) que a publicação estava relacionada. Então para cada IDC e IDF identificados, foi necessário catalogar o tipo de estudo empírico aplicado para auxiliar na construção da abordagem apresentada no capítulo 4. Estes estudos relacionados foram responsáveis pela construção do fluxograma geral da abordagem apresentado na seção e serão apresentados a seguir: IDC Algoritmo IDF Estudo de caso Avaliar PS718 PS815, PS832 Investigar PS642 IDC Análise de risco IDF Survey Avaliar Investigar PS679 PS299 IDF Avaliar PS679 IDC Ambiente Estudo de caso IDC Contexto IDF Survey Investigar PS42 Reportar PS539 PS539

162 160 IDC Código IDF Estudo de caso Survey Analisar PS469, PS722 PS327 Avaliar PS269, PS468 PS270, PS374, PS448, PS711 PS761, PS849 Comparar PS541 PS322 Investigar PS503, PS288 PS404, PS486 Reportar IDC Dados IDF Estudo de caso Analisar Avaliar Investigar Reportar PS826 PS345, PS392, PS523, PS590 PS39, PS461 PS230, PS641 IDC Educação IDF Survey Avaliar PS150, PS228, PS772 PS59 IDC Especificação IDF Comparar Reportar PS36, PS266 PS731 IDC Estudantes IDF Survey Analisar PS69 Avaliar PS256 PS667 IDC Mecanismo IDF Avaliar PS402 Estudo de caso

163 161 IDC IDF Survey Analisar PS201 Avaliar PS264 Investigar PS108, PS454, PS752 PS297 Reportar PS588, PS683 IDC Manutenção IDF Estudo de caso Survey Analisar PS22, PS543 Avaliar PS453 PS543 Comparar PS664 Investigar PS98, PS100 PS98 IDC Mapeamento sistemático IDF Avaliar Investigar Reportar PS151 PS175 PS143 Estudo de caso IDC Metodologia IDF Estudo de caso Survey Analisar PS713 PS293 Avaliar PS114 PS478, PS706, PS757, PS825 Comparar PS562 Investigar PS533, PS802 Reportar PS796, PS852 IDC Planejamento IDF Estudo de caso Comparar Investigar PS267 PS127

164 162 IDF Investigar PS122 IDC Práticas empíricas Survey IDF Investigar Reportar PS264 PS296, PS390 IDC Survey Survey IDC Projeto IDF Estudo de caso Survey Analisar PS106 Avaliar PS661 Investigar PS494 Reportar PS217, PS298 PS726 IDC Processo IDF Estudo de caso Survey Analisar PS662, PS829 PS104, PS394, PS632 Avaliar PS154, PS220 PS38 Comparar PS551, PS736 Investigar PS225, PS467 PS204, PS491 Reportar PS188 IDC Programação em pares IDF Estudo de caso Survey Analisar PS418 Avaliar PS84, PS277,PS219 PS407 Comparar PS316, PS349, Investigar PS60, PS423, PS483, PS668, PS766

165 163 IDC Qualidade IDF Estudo de caso Avaliar PS536, PS654 Comparar PS484 Investigar PS187, PS760 PS635 Reportar PS817 IDC Revisão sistemática IDF Estudo de caso Survey Analisar PS515 Comparar PS449, PS804 Investigar PS162, PS350 PS493 Reportar PS148 PS445 IDC Software IDF Estudo de caso Survey Analisar PS210, PS422, PS645 PS97, PS334, PS388, PS444, PS334, PS516 PS452, PS549, PS858 Avaliar PS191, PS229, PS695, PS329, PS366, PS611, PS809, PS512 PS165, PS644 PS777 Comparar PS309 PS142 Investigar PS542, PS750 PS85, PS344, PS338, PS339 PS271, PS284, PS377 Reportar PS519, PS855 IDC Tecnologia IDF Estudo de caso Avaliar PS725 PS47 Investigar PS171, PS637 IDC Teoria IDF Estudo de caso Survey Avaliar Reportar Investigar PS68 PS185 PS628

166 164 IDC Técnica IDF Estudo de caso Survey Analisar PS78, PS369, PS384, PS425, PS460 PS189 PS411, PS763, PS728 Avaliar PS13, PS72, PS245, PS52, PS155, PS405, PS506, PS245 PS391, PS464, PS677, PS765, PS801, PS326, PS385, PS405, PS836 PS560, PS647, PS748, PS768 Comparar PS04, PS211, PS548, PS507, PS658, PS669 PS553, PS723, PS242, PS729 Investigar PS428, PS670, PS343, PS248, PS682, PS735 PS42, PS247 PS522 Reportar PS234, PS300, PS690 IDC UML IDF Estudo de caso Survey Analisar PS792 PS307 Avaliar PS37, PS61, PS160, PS790, PS495, PS700, PS714, PS770 PS71 Comparar PS102, PS500, PS640, PS192 PS687 Investigar PS268, PS721 Reportar PS704 PS393