Avaliação da ferramenta StArt utilizando o modelo TAM e o paradigma GQM

Transcrição

1 Avaliação da ferramenta StArt utilizando o modelo TAM e o paradigma GQM Elis Hernandes elis_hernandes@dc.ufscar.br Augusto Zamboni augusto_zamboni@comp.ufscar.br André Di Thommazo andredt@cefetsp.br Sandra Fabbri sfabbri@dc.ufscar.br 50 Laboratório de Pesquisa em Engenharia de Software /

2 Objetivo da apresentação A tecnologia Como estamos avaliando a tecnologia TAM GQM Validação Experimental de Processos 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

3 Roteiro A importância de avaliar Revisão Sistemática StArt Validação Experimental de Processos TAM e GQM Objetivo do estudo A avaliação Planejamento Definição Coleta de dados Análise dos resultados Conclusões 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

4 A importância de avaliar Pesquisas em computação geralmente envolvem o desenvolvimento de novos sistemas, métodos e técnicas com o objetivo de resolver problemas... poucos estudos são conduzidos para demonstrar a utilidade da nova abordagem. (Basili et al., 1996) EBSE - Evidence-Based Software Engineering Basili, V. R.; Green, S.; Laitenberger, O.; Lanubile, F.; Shull, F.; Sorumgard, S.; Zelkowitz, M. (1996). Packaging researcher experience to assist replication of experiments. In: Inter. Software Engineering Research Network Meeting (ISERN). Australia, ISERN. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

5 Nosso objetivo A tecnologia Como estamos avaliando a tecnologia TAM GQM Validação Experimental de Processos 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

6 Revisão Sistemática tica Revisões Sistemáticas têm como objetivo apresentar uma avaliação criteriosa a respeito de um tópico de pesquisa, fazendo uso de uma metodologia de revisão que seja confiável, rigorosa e que permita auditagem. (Kitchenham, 2004) Kitchenham, B. A. Procedures for performing systematic reviews. Technical Report TR/SE-0401, Keele University and NICTA, /11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

7 StArt Condução Protocolo Execução Seleção Extração Sumarização 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

8 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

17 Nosso objetivo A tecnologia Como estamos avaliando a tecnologia TAM GQM Validação Experimental de Processos 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

18 Metodologia para Validação Experimental de Processos Feasibility Study O processo provê resultados úteis? Did the processes provide usable results? N Redesign basic idea O tempo dispendido no processo é satisfatório? Y Was the time well spent? N Y Observational Study As etapas do processo fazem sentido? Did the steps of the processes make sense? N Rework process A ordem de execução está correta? Y Case Study: Use in real lifecycle O processo se adequa a um ciclo de vida real? Did processes fit into lifecycle? N Tailor process and/or trainning Y Case Study: Use in industry O processo se adequa às indústrias? Did processes fit into industrial setting? Y N Tailor process and/or trainning Shull, F.; Carver, J.; Travassos, G. H. (2001). An Empirical Methodology for Introducing Software Processes. In European Software Engineering Conference. Austria, ACM. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

19 O estudo Feasibility Study Did the processes provide usable results? Y Was the time well spent? N N Redesign basic idea Nosso objetivo: avaliar a viabilidade de continuar o desenvolvimento da StArt; verificar a utilidade da ferramenta para apoiar o processo de RS; verificar se a ferramenta é fácil de usar. Y TAM Technology Acceptance Model 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

20 GQM e TAM TAM (Technology Acceptance Model) Proposto por Davis e outros (1989); Objetivo; identificar porque determinada tecnologia é aceita ou rejeitada pelos usuários Baseia-se em dois conceitos: percepção sobre utilidade o quanto o usuário acredita que usando uma determinada tecnologia ele pode melhorar seu desempenho; percepção sobre facilidade de uso o quanto o usuário acredita que usando determinada tecnologia ele pode minimizar esforços para realização de determinada tarefa. Davis, F. D.; Bagozzi, R.; Warshaw, P. R. (1989). User acceptance of computer technology: a comparison of two theoretical models. In Management Science, pp /11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

21 GQM e TAM GQM (Goal-Question-Metric) Proposto por Basili e outros nos anos 70 (Soligen, Berghout, 1999); Abordagem sistemática para estabelecer um sistema de medição dirigido aos objetivos de um determinado projeto. Identificar objetivos representá-los por meio de perguntas definir métricas para fornecer dados para responder as perguntas Soligen, R., Berghout, E. (1999), The Goal/Question/Metric Method: a practical guide for quality improvement of software development, McGraw W-Hill Companies. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

22 Avaliação Planejamento Definição Coleta de dados Análise dos resultados 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

24 Planejamento Objeto de estudo: A ferramenta StArt Equipe da avaliação: 1 desenvolvedor, orientadora, 2 analistas de requisitos e testadores. Características: Falta de participantes com alto conhecimento em RS Dificuldade de reunir todos os participantes presencialmente 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

26 Definição Analisar Com o propósito de Com relação a Do ponto de vista de No contexto de a ferramenta StArt avaliar a versão atual da ferramenta e detectar melhorias a serem implantadas sua utilidade e facilidade de uso Pesquisadores em computação que conhecem RS alunos de pós-graduação 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

27 Definição Questionário 1 identificar o contato atual do parrticipante com RS e sua opinião sobre o assunto Questionário 2 identificar os aspectos de utilidade e facilidade de uso seguindo diretrizes do TAM Participantes: 14 alunos de pós-gradução; cursaram a disciplina de Metodologia de Pesquisa; executaram RS até a fase de seleção manualmente; treinamento da StArt por meio de 2 vídeos. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

28 Definição 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

29 Definição - Questões 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

30 Definição - Questões Questão Descrição Questão Descrição Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Qual atividade exigida no processo de revisão sistemática você julga ser a mais DIFÍCIL Depois de conhecer o processo de revisão sistemática, você modificou sua forma de realizar revisão bibliográfica? Você tentou aplicar novamente o processo de revisão sistemática após a disciplina realizada no segundo semestre de 2009? Qual seu grau de concordância com a afirmação: "A revisão sistemática é fundamental para a qualidade de uma pesquisa acadêmica" Foi fácil aprender a utilizar a StArt Consegui utilizar a StArt da forma que eu queria Eu entendia o que acontecia na minha interação com a StArt Foi fácil ganhar habilidade no uso da StArt Foi fácil lembrar como realizar uma revisão sistemática com o uso da StArt Q10 Considero a StArt fácil de usar Q11 Q12 Q13 Q14 Q15 A StArt me permitiu executar a revisão sistemática em conformidade com o processo definido na literatura Usar a StArt melhorou o meu desempenho durante a execução das atividades do processo de revisão sistemática que foram realizadas. Usar a StArt facilitou a execução das atividades que compõem o processo da revisão sistemática Usar a StArt melhorou minha produtividade na execução das atividades do processo de revisão sistemática que foram realizadas. Eu considero a StArt útil para executar minha(s) revisão sistemática 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

31 Definição - Métricas 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

32 Definição Métrica M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 M13 M14 Descrição Número de pessoas que escolheram elaboração do protocolo Número de pessoas que escolheram criação das strings de busca Número de pessoas que escolheram busca de artigos nas máquinas de busca Número de pessoas que escolheram selecionar os artigos que serão lidos por completo Número de pessoas que escolheram extrair informações dos artigos lidos por completo Número de pessoas que escolheram sumarizar o resultado da revisão sistemática Número de pessoas que escolheram SIM Número de pessoas que escolheram NÃO Número de pessoas que escolheram Concordo totalmente Número de pessoas que escolheram Concordo amplamente Número de pessoas que escolheram Concordo parcialmente Número de pessoas que escolheram Discordo totalmente Número de pessoas que escolheram Discordo amplamente Número de pessoas que escolheram Discordo parcialmente 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

34 Coleta dos dados Questionários respondidos online Escala de Likert sem valor neutro intermediário (Conte, et al., 2010) Espaço para comentários adicionais Conte, T. U. et al. Aplicação do Modelo de Aceitação de Tecnologia para uma Técnica de Inspeção de Usabilidade. In: IX Simpósio Brasileiro de Qualidade de Software, 2010, Belém. Anais... Porto Alegre : SBC, v. 1. p /11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

36 Análise dos resultados: Questionário 1 Elaboração do protocolo Criação das strings de busca Busca de artigos nas máquinas de busca Selecionar os artigos que serão lidos por completo Extrair informações /dados dos artigos lidos por completo Sumarizar o resultado da revisão sistemática Outra 1) Qual atividade exigida no processo de revisão sistemática você julga ser a mais DIFÍCIL: Tabela 1. Respostas da questão 1. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

37 Análise dos resultados: Questionário 1 2) Depois de conhecer o processo de revisão sistemática, você modificou sua forma de realizar revisão bibliográfica? ) Você tentou aplicar novamente o processo de revisão sistemática após a disciplina realizada no segundo semestre de 2009? 6 8 Tabela 2. Respostas da questão 2 e 3. Sim Não 4) Qual seu grau de concordância com a afirmação: "A revisão sistemática é fundamental para a qualidade de uma pesquisa acadêmica" Concordo totalmente Concordo amplamente Concordo parcialmente Discordo totalmente Discordo parcialmente Discordo amplamente Tabela 3. Respostas da questão 4. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

38 Análise dos resultados Tabela de interpretação Nº Expressão Interpretação (próximas ações da equipe) 1 M1 > M i, i= 2, 3, 4, 5 e 6 atividade de maior dificuldade é a elaboração do protocolo 7 8 Para Q2: M7 M8 e Q3: M7 M8 Para Q4: M9 + M10 + M11 M12 + M13 + M14 ocorreu mudança na forma de realizar revisão bibliográfica após conhecer o processo de revisão sistemática embora a maioria não tenha executado o processo novamente a RS é vista como um recurso fundamental para a qualidade de uma pesquisa acadêmica 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

39 Análise dos resultados: Questionário 2 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

40 Análise dos resultados: Questionário 2 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

41 Análise dos resultados Tabela de interpretação Nº Expressão Interpretação (próximas ações da equipe) a StArt é fácil de ser utilizada, porém, o próximo passo deve ser a análise dos dados enviados pelos 10 Para Q i,, i=5 a 10: M9 M10 + M11 e M10 M11 participantes por meio de comentários com o intuito de identificar as melhorias necessárias para facilitar o uso da ferramenta. Feitas as melhorias, a mesma avaliação deve ser realizada com um novo grupo de participantes 12 Para Q i,, i=11 a 15: M9 M10 + M11 a StArt é útil para realizar revisão sistemática, sendo que o próximo passo é a condução de um estudo experimental para comprovar o resultado 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

42 Conclusões Quanto a utilidade: 71,42% concordaram totalmente 24,28% concordam amplamente 2,85% concordam parcialmente 1,42% discordam amplamente 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

43 Conclusões Quanto a utilidade: 71,42% concordaram totalmente 24,28% concordam amplamente 2,85% concordam parcialmente 1,42% discordam amplamente 9) Usar a StArt melhorou minha produtividade na execução das atividades do processo de revisão sistemática que foram realizadas. Em relação a produtividade, não tenho experiência suficiente para comparações, mas acho que demorei muito, tanto quanto demoraria sem a ferramenta. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

44 Conclusões Quanto a facilidade de uso: 38,09% concordaram totalmente 45,23% concordaram amplamente 14,28% concordaram parcialmente 2,38% discordaram parcialmente 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

45 Conclusões Quanto a facilidade de uso: 38,09% concordaram totalmente 45,23% concordaram amplamente 14,28% concordaram parcialmente 2,38% discordaram parcialmente 5) Foi fácil lembrar como realizar uma revisão sistemática com o uso da StArt 4) Foi fácil ganhar habilidade no uso da StArt? Como tenho pouca experiência com revisão sistemática, a ferramenta impediu que eu pulasse etapas ou esquecesse algum passo. Isso contribuiu para que o processo fosse realizado corretamente, apesar que não fiz a revisão até o final.. Algumas sugestões que podem facilitar o uso: -As janelas de ajuda sobre o significado dos campos do protocolo deviam conter exemplos. A explicação às vezes não é clara e os campos se confundem. -- As opções mais comuns de máquinas de buscas poderiam já estar cadastradas, de modo que o usuário poderia simplesmente selecioná-las e/ou adicionar alguma específica de cada revisão. 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

46 Conclusões Limitações Número de participantes Característica dos participantes Treinamento não presencial Trabalhos futuros Desenvolvimento de novas funcionalidades na StArt Novos estudos (avaliações) Maior número de participantes 12/11/2010 Laboratório de Pesquisa em Engenharia de Software / 47

47 Obrigada! Dúvidas? Elis Hernandes 50 /