Uso dos Resultados de um Estudo Baseado em Revisão Sistemática para Elaborar uma Proposta Inicial de Pesquisa

Transcrição

1 VII Experimental Software Engineering Latin American Workshop (ESELAW 2010) Uso dos Resultados de um Estudo Baseado em Revisão Sistemática para Elaborar uma Proposta Inicial de Pesquisa Natália Chaves Lessa Schots Ana Regina Rocha Gleison Santos

2 Agenda Contexto Estudo Baseado em Revisão Sistemática Definição do Escopo Definição do Protocolo Teste do Protocolo Avaliação do Protocolo Execução da Pesquisa Avaliação dos Resultados Conclusão 2

3 Contexto (1/3) Muitos defeitos e problemas surgem durante o processo de desenvolvimento de software Quando não são tratados, comprometem a qualidade do processo e do produto As causas, geralmente, não são analisadas Consequência: os mesmos defeitos e problemas voltam a ocorrer A análise de causas é um processo para identificar e analisar causas associadas à ocorrência de defeitos e outros problemas (Collofello e Gosalia, 1993) Previne a ocorrência de defeitos e problemas no futuro Causa: elemento responsável por criar ou manter um fenômeno ou situação 3

4 Contexto (2/3) Em engenharia de software, há abordagens para análise de causas de defeitos Não são extensíveis para outros tipos de problemas Na maioria das abordagens, a identificação da causa-raiz não segue formalismos Ex.: diagrama de Ishikawa, brainstorming Verificou-se a possibilidade de utilizar pesquisas qualitativas para: Aumentar a qualidade dos dados coletados Prover maior sistematização durante a análise dos dados Dentre os métodos de pesquisa qualitativa, escolheu-se o Grounded Theory (Strauss e Corbin, 1998) 4

5 Contexto (3/3) Objetivo da abordagem: Apoiar a identificação de causas de problemas Melhorando a qualidade das informações coletadas» Conceitos da Grounded Theory Minimizando a subjetividade da coleta e análise dos dados» Conjunto de passos do Grounded Theory» Definição de um processo e modelos (templates) 5

6 Estudo Baseado em Revisão Sistemática Metodologia específica de pesquisa, desenvolvida para coletar e avaliar evidências disponíveis sobre determinado tópico (Biolchini et al., 2005) Resultados mais abrangentes Repetição da pesquisa e comparação dos resultados Processo de condução (Silva Filho, 2006): Definir escopo e estudos preliminares Definir protocolo Testar protocolo Avaliar protocolo Executar a pesquisa Avaliar resultados da pesquisa Empacotar e publicar resultados 6

7 Definição do Escopo Pesquisa informal sobre Análise de Causas de Problemas Importância da etapa de identificação de causas de problemas Carência de técnicas que possibilitassem uma forma sistemática para esta identificação Escopo: estudos com propostas de execução de Análise de Causas, especificamente a etapa de identificação da causa-raiz 7

8 Definição do Protocolo (1/3) Objetivo: Analisar relatos de experiência e publicações científicas sobre análise de causas Com propósito de identificar técnicas, métodos, processos e ferramentas Com relação a procedimentos para identificação das causas raiz dos problemas Do ponto de vista de pesquisadores No contexto acadêmico e industrial 8

9 Definição do Protocolo (2/3) Questões de Pesquisa: QP QS1 QS2 QS3 QS4 Que técnicas, métodos, processos e ferramentas têm sido propostos e/ou utilizados para identificar causas raiz de problemas durante o processo de análise de causas? Quais técnicas, métodos, processos e ferramentas que apoiam a sistematização da identificação de causa raiz de problemas? Que dados de problemas são, geralmente, coletados para que as causas do problema sejam identificadas eficientemente? Quais são as características dos problemas normalmente tratados pela análise de causas? Como os problemas são categorizados durante o processo de análise de causas? 9

10 Definição do Protocolo (3/3) Procedimentos de seleção e critérios 1ª etapa: seleção e catalogação preliminar dos estudos coletados pela máquina de busca 2ª etapa: seleção dos estudos relevantes (1º filtro)» Leitura dos títulos e resumos 3ª etapa: seleção dos estudos relevantes (2º filtro):» Leitura completa Critérios de inclusão C1: técnicas, métodos, processos e/ou ferramentas relacionadas à Análise de Causas C2: técnicas, métodos, processos e/ou ferramentas relacionadas à identificação de causas; C3 : técnicas, métodos, processos e/ou ferramentas relacionadas à captura de problemas para Análise de Causas C4: esquemas de classificação de problemas na Análise de Causas. 10

11 Teste do Protocolo 8 artigos de controle selecionados 5 indexados na Scopus 4 indexados na Compendex Rodada Máquina de busca Nº publicações (total) Nº artigos de controle 1ª Scopus Compendex ª Scopus Compendex

12 Teste do Protocolo nº de nº de resumos lidos publicações selecionadas Área de conhecimento Nº total de publicações Nº de resumos lidos Nº de publicações selecionadas Índice de relevância Engenharia ,35 Medicina Ciência da Computação Enfermagem ,08 Engenharia Química ,44 Ciências Sociais ,63 Física e Astrologia ,67 Energia ,67 Ciência de Materiais Negócios, Gerência e Contabilidade ,43 Matemática

13 Teste do Protocolo Escolha da Scopus: Função Limit to Resultados pouco relevantes da Compendex Rodada Máquina de busca Nº publicações (total) Nº artigos de controle 4ª Scopus ª Scopus String de busca: TITLE-ABS-KEY("causal analysis" OR "cause analysis" OR "cause-effect analysis" OR "cause-and-effect analysis" OR "root cause analysis" OR "root-cause analysis" OR "defect analysis") AND ("root cause") AND (process OR approach OR method OR methodology OR technique OR tool OR paradigm OR strategy)) AND PUBYEAR AFT 1975 AND (LIMIT-TO(SUBJAREA, "COMP") OR LIMIT-TO(SUBJAREA, "BUSI") OR LIMIT-TO(SUBJAREA, "MULT")) 13

14 Avaliação do Protocolo Duas formas: Apresentações de seminários ministrados na COPPE/UFRJ» Escopo e abrangência das questões de pesquisa» Participação de orientadores e outros alunos da Área de Qualidade de Software do PESC/COPPE/UFRJ Revisão de especialista» Formalismo do estudo e adequação da string de busca 14

15 Execução da Pesquisa Publicações retornadas (expressão de busca) 1ª seleção (leitura título e resumo) 2ª seleção (leitura completa) 1ª execução (ago/2009) 2ª execução (abr/2010) (25 novas) 53 (42 foram recuperadas)

16 Exemplo de Coleta de Informações Dados da publicação Referência completa: Collofello, J., Gosalla, B. (1993). Application of Causal Analysis to the Software Modification Process, Software Practice and Experience, 23(10),pp Resumo da publicação Os autores sugerem uma adaptação do processo de análise de causas de falhas de software para ativida des de manutenção de software. A abordagem proposta de análise de causas aplicada para processos de modificação de software é composta pelas seguintes atividades: (1) Obter relatórios de problemas; (2) Priorizar problemas; (3) Categorizar faltas; (4) Determinar causas da falta; (5) Desenvolver recomendações. É apresentado um estudo para avaliar a viabilidade da abordagem. Como ocorre a identificação das causas raiz? A identificação de causas raiz ocorre na atividade Determinar causas da falta, onde sugere-se entrevistar o indivíduo responsável pela inserção do defeito no software. Aconselha-se que a entrevista seja informal para impedir que o indivíduo fique intimidado. Após a obtenção das informações, seleciona-se uma categoria para o erro que está sendo analisado. A abordagem propõe sete categorias, específicas para a manutenção de software: (1) conhecimento/experiência do sistema, (2) comunicação, (3) impactos de software, (4) métodos/padrões, (5) implantação, (6) ferramentas de apoio e (7) erro humano. Quais dados dos problemas são utilizados durante a identificação da causa raiz? O artigo cita que as seguintes informações devem ser obtidas para cada defeito: tipo de defeito; fase em que o defeito foi encontrado; fase em que o defeito foi inserido; causa do defeito; soluções para prevenir que o defeito re-ocorra no futuro. Quais são as características dos problemas tratados pela Análise de Causas? São tratados defeitos/falhas de manutenção de software. No exemplo citado, utiliza como fonte de dados um relatório de testes de integração. Quais categorias de problema são utilizadas? Utiliza uma categorização própria criada especificamente para manutenção de software. Classifica as faltas em: (1) defeitos de projeto, (2) incompatibilidade de interface, (3) sincronização incorreta de código proveniente de projetos paralelos, (4) remendo (patch) incorreto de objetos e (5) insuficiência de recursos do sistema. 16

17 Avaliação dos Resultados (1/2) QP QS1 QS2 QS3 QS4 Que técnicas, métodos, processos e ferramentas têm sido propostos e/ou utilizados para identificar causas raiz de problemas durante o processo de análise de causas? Quais técnicas, métodos, processos e ferramentas que apoiam a sistematização da identificação de causa raiz de problemas? Que dados de problemas são, geralmente, coletados para que as causas do problema sejam identificadas eficientemente? Quais são as características dos problemas normalmente tratados pela análise de causas? Como os problemas são categorizados durante o processo de análise de causas? 17 17

18 Avaliação dos Resultados (2/2) Limitações: A indisponibilidade de acesso a alguns artigos retornados pode ser considerada uma possível limitação deste trabalho, pois pode ter afetado a abrangência dos resultados obtidos. Resultados para a abordagem: Identificação de abordagens, a partir das quais a abordagem proposta se baseou Elaboração dos formulários de coleta de dados dos problemas Estabelecimento da premissa de que a organização deve possuir uma política quanto à seleção dos problemas que serão analisados a partir da Análise de Causas 18

19 Conclusão A execução da revisão sistemática Permitiu verificar a ausência de trabalhos com os mesmos objetivos da abordagem proposta Auxiliou o refinamento da abordagem proposta, apresentando alguns aspectos que não haviam sido identificados anteriormente A abordagem proposta foi avaliada a partir de um estudo de viabilidade e há indícios de que seja viável para problemas complexos e críticos para uma organização [Schots et al. 2010] [Schots 2010]. Durante a avaliação, melhorias na abordagem foram identificadas. Perspectivas Futuras A partir da evolução da abordagem, reexecuções periódicas do estudo baseado em revisão sistemática sejam conduzidas a fim de fornecer mais subsídios para esta evolução 19

20 Referências BIOLCHINI, J., MIAN, P. G., NATALI, A. C. C., TRAVASSOS, G. H., 2005, Systematic Review in Software Engineering, Relatório Técnico COPPE/UFRJ. COLLOFELLO, J. S., GOSALIA B. P., 1993, An Application of Causal Analysis to the Software Modification Process, Software- Practice and Experience, v. 23, n. 10, pp , October. SILVA FILHO, R. C., 2006, Uma Abordagem para Avaliação de Propostas de Melhoria em Processos de Software. Dissertação de M.Sc., COPPE/UFRJ, Rio de Janeiro, RJ, Brasil. STRAUSS, A., CORBIN, J. M., 1998, Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory, Second Edition, Sage Publications. SCHOTS, N. C. L., 2010, Uma Abordagem para a Identificação de Causas de Problemas Utili zando Grounded Theory. Dissertação de M.Sc., COPPE/UFRJ, Rio de Janeiro, RJ, Brasil. SCHOTS, N. C. L., ROCHA, A. R., SANTOS, G., 2010, Uma Abordagem para a Identificação de Causas de Problemas utilizando Grounded Theory. In: XXXVI Conferencia Latinoamericana de Informatica (CLEI 2010), Assunción, Paraguay. 20

21 VII Experimental Software Engineering Latin American Workshop (ESELAW 2010) Natália Chaves Lessa Schots Ana Regina Rocha Gleison Santos