Planejando um Estudo Parte 2

Transcrição

1 Planejando um Estudo Parte 2 Métodos de Pesquisa Experimental em Engenharia de Software Esta aula é baseada no material do curso SelectingResearchMethodsfor EmpiricalSoftware Engineering, Steve Easterbrook& Jorge Aranda, University of Toronto. IASESE 2009, Orlando, FL. 1

2 Planejando um Estudo Parte 1: Definindo um tópico Identificando a pergunta da pesquisa Revisando a literatura Identificando seu posicionamento filosófico Identificando teorias apropriadas Escolhendo um método de pesquisa Parte 2 -Projeto do Estudo Unidade de Análise População Técnicas de Amostragem Coleta da Dados Variáveis e métricas Fatores de confusão (confounding factors) Parte 3 Ameaças à Validade Parte 4 Ética na Pesquisa em Engenharia de Software Parte 5 Escrevendo relatório de resultados Baseado em Steve Easterbrook& Jorge Aranda, IASESE 2009 Course Material. 2

3 Parte 2 Unidade de Análise População Técnicas de Amostragem Coleta da Dados Variáveis e métricas Fatores de confusão (confounding factors) 3

4 Unidade de Análise Define os fenômenos que serão analisados Escolha dependa as questões de pesquisa Escolha afeta decisões sobre coleta de dados e análise Difícil de modificar depois de iniciado o estudo Se possível, utilizar a mesma unidade de estudos anteriores (por que?) Diversas opções: Desenvolvedor Equipe Decisão Processo Projeto Sistema/Software Organização 4

5 Exemplos Como novos integrantes de equipes se naturalizam? Indivíduos Equipe Organização Como programação em pares realmente funciona? Episódios de programação Pares de programadores Equipe Organização Como software evolui? Relatório de modificações Arquivo Sistema Release Release Estável 5

6 Parte 2 Unidade de Análise População Técnicas de Amostragem Coleta da Dados Variáveis e métricas Fatores de confusão (confounding factors) 6

7 População-alvo Determina o escopo de aplicabilidade do resultado da pesquisa: Ligado à validade externa e generalização estatística Se não está definida não é possível saber se o resultado é aplicável a alguma coisa Define de qual população sua UA é escolhida: UA = desenvolvedores utilizando XP População: Todos os desenvolvedores do mundo Todos que usam métodos ágeis Todos na indústria brasileira Todos das empresas do Porto Digital Estudantes da UFPE Escolha está diretamente relacionada ao método de amostragem... e determina os limites da generalização e impactam validade externa 7

8 Parte 2 Unidade de Análise População Técnicas de Amostragem Coleta da Dados Variáveis e métricas Fatores de confusão (confounding factors) 8

9 Método de Amostragem Usado para selecionar um conjunto representativo da população (representativo está diretamente ligado à pergunta de pesquisa, posicionamento filosófico e método empírico) Amostragem aleatória simples Amostragem aleatória estratificada Amostragem aleatória em cluster Amostragem intencional Tamanho da amostra é importante Balanço entre custo e significância Processo: Decidir sobre que dados coletar Determinar a população Escolher o tipo de amostragem Escolher o tamanho da amostra 9

10 Amostragem Intencional Caso típico Típico, normal, na média Caso extremo ou desviante Fora de série, exótico Caso crítico Se vale pare este caso vale para todos Intensidade Riqueza da informação Variação máxima Maior amplitude de variação na informação Homogêneo Mínima variação simplifica análise Bola da Neve ou Cadeia Um caso leva aos próximos Critério Todos os casos preenchem um critério Confirmação ou não Confirmação Exceções ou variações do caso inicial Oportunista Oportunidade rara que normalmente seria de acesso impossível ou muito difícil Politicamente importante Atrai atenção Ou uma combinação de vários destes métodos. 10

11 Amostragem Intencional Caso típico Típico, normal, na média Caso extremo ou desviante Fora de série, exótico Caso crítico Se vale pare este caso vale para todos Bola da Neve ou Cadeia Um caso leva aos próximos Critério Todos os casos preenchem um critério NÃO USAR AMOSTRAGEM POR Intensidade Riqueza da informação Variação máxima Maior amplitude de variação na informação Homogêneo Mínima variação simplifica análise CONVENIÊNCIA Confirmação ou não Confirmação Exceções ou variações do caso inicial Oportunista BAIXA CREDIBILIDADE Oportunidade rara que normalmente seria de acesso impossível ou muito difícil Politicamente importante Atrai atenção Ou uma combinação de vários destes métodos. 11

12 Parte 2 Unidade de Análise População Técnicas de Amostragem Coleta da Dados Variáveis e métricas Fatores de confusão (confounding factors) 12

13 Coleta de Dados de Campo Utilizadas quando queremos entender como os engenheiros de software fazem o que eles fazem. Participantes ou sujeitos? Em pesquisa de campo, preferimos utilizar participante Sujeitos em experimentos... O tipo de coleta: É escolhido em função do tipo de objetivo da pesquisa Determina o nível de interação pesquisador/participante Determina a quantidade de dados que deverá ser tratada e o tipo de tratamento 13

14 Técnicas de Coleta Técnicas Diretas Técnicas Indiretas Contato com Participantes Técnicas Independentes Contato com Artefatos Produzidos pelos Participantes 14

15 Técnicas Diretas Brainstorming Grupo Focal Entrevistas Questionários Modelagem Conceitual Diários de Trabalho Protocolos de Falar em Voz Alta Sombra Observação Observação participante Indiretas Instrumentação FlyontheWall Independentes Análise de bases de dados de trabalho realizado Análise de logs Análise de documentação Análise estática e dinâmica de um Sistema 15

16 Registro da Informação Vídeo Áudio Manual Tomar Notas Escriba 16

17 Codificação e Análise Qualitativa Codificação Comparações constantes Member checking Auditoria Quantitativa Estatística descritiva Testes de hipóteses Etc. 17

18 Este documento está sujeito a copyright. Todos os direitos estão reservados para o todo ou partes do documento. Em particular, os direitos de tradução, reprodução, reuso de figuras, citações, reprodução de qualquer forma, armazenagem em sistemas de informação, inclusive na Web, estão sujeitas a autorização prévia por escrito dos autores. O uso de nomes registrados, marcas, figuras de outras publicações etc. neste documento não implica que estes objetos deixam de estar sujeitos às leis de proteção da propriedade intelectual aplicáveis. Portanto, mesmo sem indicação explícita, esses objetos não estão disponíveis para uso livre. 18