Estratégias de Pesquisa Ricardo de Almeida Falbo Metodologia de Pesquisa Departamento de Informática Universidade Federal do Espírito Santo
Agenda Survey Design e Criação Estudo de Caso Pesquisa Ação Experimento 2
Survey Propósito: obter os mesmos tipos de dados a partir de um grande grupo de pessoas ou eventos, de modo sistemático e padronizado, de modo a identificar padrões, visando generalizar para uma população maior que seu grupo alvo. 3
Planejando e Projetando um Survey O que considerar: Que dados você quer gerar? Pense antecipadamente sobre como você pretende analisar os dados, que padrões você procura e interpretações que podem surgir Método de Geração de Dados Questionário? Entrevista? Observação? Análise de Documentos? 4
Planejando e Projetando um Survey O que considerar: Quadro de Amostragem: Definir a lista da população de pessoas, eventos ou documentos alvo de seu survey. Técnica de Amostragem Definir como você vai selecionar a amostra real a partir do quadro de amostragem. Amostra probabilística? Não probabilística? 5
Planejando e Projetando um Survey O que considerar: Taxa de Resposta: Taxas da ordem de 10% não são incomuns. Necessidade de definir uma estratégia para tentar aumentar o número de respostas. Tamanho da Amostra Menor do que 30 compromete uma análise estatística confiável. Considerar nível de confiança e margem de erro. 6
Survey: Vantagens Provê uma cobertura ampla. Comparativamente a outras estratégias, produz grande quantidade de dados, em pouco tempo e a custo relativamente baixo. Permite análise de dados quantitativa. Pode ser replicado. 7
Survey: Desvantagens Falta de profundidade. Tende a enfocar o que pode ser contado e medido. Provê um retrato instantâneo em um particular ponto no tempo, ao invés de examinar processos em andamento e mudanças. Não estabelece relações de causa e efeito. 8
Design e Criação Esta estratégia enfoca o desenvolvimento de novos produtos ou artefatos de TI. 9
Design e Criação Que artefatos podem ser criados? Constructos: novas noções ou conceitos (p.ex., a noção de objetos) Modelos: combinação de constructos para representar uma situação Métodos: orientações sobre modelos a serem produzidos e processos a serem seguidos para resolver problemas. Instanciações: sistemas demonstrando que constructos, modelos, métodos, ideias ou teorias podem ser implementados em um sistema computacional. 10
Design e Criação Problema: É pesquisa ou apenas uma demonstração de habilidades técnicas? Para ser pesquisa: Tem de contribuir para o conhecimento de alguma forma. Tem de exibir qualidades acadêmicas: análise, explanação, argumento, justificativa e avaliação crítica. 11
Design e Criação A forma de contribuição para o conhecimento pode se dar de três maneiras principais: Como foco principal da pesquisa (p.ex., aplicação incorpora uma nova teoria) Um veículo para alguma outra coisa (p.ex., comparar e avaliar diferentes algoritmos) Um produto final tangível de um projeto, cujo foco é o processo de desenvolvimento (p.ex., ilustrar o uso de um método) 12
Design e Criação Pode ser usada como única estratégia de pesquisa ou como uma das estratégias dentro do método global de pesquisa. Deve seguir um processo de desenvolvimento de software (não confundir com método de pesquisa). 13
Design e Criação Em trabalhos de pós-graduação, sobretudo doutorado, a implementação pode ser desnecessária ou terceirizada. 14
Design e Criação e Avaliação Prova de Conceito: artefato é apenas uma mostra de exequibilidade. Não há uma avaliação se o artefato funciona ou não em um contexto real (p.ex., um protótipo). Prova por Demonstração: artefato é avaliado em uso, mas em um contexto restrito (p.ex., participação de estudantes ao invés de profissionais). 15
Design e Criação e Avaliação Avaliação de Mundo Real: artefato é avaliado em situações reais. Neste caso, é necessário usar uma outra estratégia de maneira complementar (estudo de caso, survey etc). 16
Design e Criação: Vantagens Ter algo tangível para mostrar ao invés de ter somente teorias abstratas ou outro conhecimento. É um modo de pesquisa normalmente esperado em várias áreas da computação. Como o uso de computação em muitos domínios é relativamente novo e como a tecnologia avança rapidamente, há muito espaço para o desenvolvimento de novos artefatos de TI que deem uma contribuição ao conhecimento. 17
Design e Criação: Desvantagens Você pode ser questionado se seu trabalho não é somente um design normal. É arriscado se você não tem as habilidades técnicas necessárias. Pode ser difícil generalizar para configurações diferentes daquela situação única em que o artefato de TI foi usado. Pode produzir pesquisa perecível. Avanços rápidos na tecnologia podem invalidar os resultados. 18
Estudo de Caso Focaliza uma instância da coisa a ser investigada (uma organização, um sistema, um projeto etc.), dentro de um contexto real. O objetivo é obter uma compreensão rica e detalhada da vida deste caso e de suas relações e processos complexos. 19
Estudo de Caso Um caso não testa uma hipótese. Mas, a partir do estudo de um caso, podem ser obtidos insights e conhecimento que podem ser relevantes para outras situações. 20
Generalização a partir de Estudo de Caso Generalizações podem ser criticadas. Procure dar detalhes suficientes do caso que permitam a um leitor decidir se o caso escolhido é similar a um caso que lhe seja familiar. 21
Estudo de Caso Atenção! Muitos pesquisadores em disciplinas de Computação usam o termo estudo de caso para designar um cenário no qual eles aplicaram suas ideias. Esse cenário é, na maioria das vezes, artificial e muito mais simples do que ocorre na vida real. Ou seja, não é um estudo de caso efetivamente. É na verdade, uma prova de conceito. 22
Estudo de Caso: Vantagens Bastante usado para testar uma teoria (método, técnica etc.). Permite lidar com situações complexas em que é difícil estudar um único fator isoladamente. Produz dados próximos das experiências das pessoas. 23
Estudo de Caso: Desvantagens Muitas vezes é tido como uma estratégia que peca pela falta de rigor e por levar a generalizações com pouca credibilidade. Pode ser difícil negociar acesso ao cenário, pessoas e documentos necessários. Não há regras definidas para a condução de estudos de caso. A presença do pesquisador pode afetar o comportamento das pessoas. 24
Pesquisa Ação Enfoca a pesquisa em ação (o pesquisador atua efetivamente). O pesquisador planeja fazer alguma coisa em uma situação do mundo real, faz isso, reflete sobre o que aconteceu ou aprendeu, e começa outro ciclo planeja-faz-reflete. 25
Pesquisa Ação Um protocolo de pesquisa deve ser desenvolvido e acordado entre todos os envolvidos. Este protocolo deve envolver, dentre outros: Objetivos do projeto e como ele será avaliado. Papéis e responsabilidades dos participantes. Restrições organizacionais 26
Generalização em Pesquisa Ação Não faça generalizações abrangentes a partir de um estudo que deve ter características únicas, não encontradas em outras situações. Dê detalhes suficientes da situação que permitam a um leitor decidir se cenário é similar a um cenário que lhe seja familiar. 27
Pesquisa Ação Uma importante aplicação é na exploração de novos métodos de desenvolvimento (p.ex., métodos de Engenharia de Software). Nestes casos, alguns pesquisadores defendem que a pesquisa ação é a estratégia mais apropriada. P.ex., Technical Action Research (TAR) Roel Wieringa. 28
Technical Action Research Pesquisador desempenha três papéis: Projetista: o pesquisador projeta uma técnica (método, processo ou outro artefato) Ajudante: aplica a técnica para ajudar outros Pesquisador: tira lições sobre o uso da técnica. 29
Pesquisa Ação: Vantagens Pode fazer a ponte entre a pesquisa acadêmica e o estado da prática, resultando em melhorias reais. É particularmente apropriada para a criação e refinamento de métodos de desenvolvimento de sistemas e de resolução de problemas. 30
Pesquisa Ação: Desvantagens É criticada por alguns pela falta de rigor, inabilidade de estabelecer causa e efeito, e resultados que podem não ser generalizáveis para outras situações. Pode ser difícil satisfazer as necessidades e expectativas de todos os envolvidos. 31
Experimento É uma estratégia que investiga relações de causa e efeito, procurando provar ou refutar uma relação causal entre um fator e um resultado observado. 32
Experimento Requer a formulação de uma hipótese. O experimento é projetado para comprovar ou rejeitar a hipótese. Todos os fatores que podem afetar o resultado são excluídos do estudo, exceto o fator (dito variável independente) que se pensa ser a causa para um resultado particular. 33
Experimento Entretanto, até os experimentos de laboratório mais bem projetados podem ser contaminados por outros fatores desconhecidos... Assim, não se pode tirar conclusões firmes de experimentos, até que eles sejam repetidos várias vezes, preferencialmente por outros pesquisadores. 34
Experimento: Variáveis É importante identificar a variável independente e as variáveis dependentes. A variável independente afeta uma ou mais variáveis dependentes. O objetivo é mostrar que apenas um fator causa um efeito observado. Assim, o pesquisador tenta controlar todas as demais variáveis. 35
Experimento: Meios de Controlar Variáveis Eliminar o fator do experimento (p.ex., eliminar estudantes com experiência) Quando não for possível eliminar, manter o fator constante. Usar seleção randômica de indivíduos. Garantir que as pessoas não influenciam os resultados devido às suas expectativas. 36
Experimento: Meios de Controlar Variáveis Usar grupos de controle: Dois grupos são estabelecidos de modo a igualmente balancear os membros. Para um deles (o grupo de controle), nenhuma manipulação da variável independente é feita. Para o outro (o grupo experimental), a variável independente é manipulada. Resultados são medidos para cada grupo. 37
Experimento: Observações e Medições Dados quantitativos são medidos e análises estatísticas são feitas. É importante definir, antes de realizar o experimento, exatamente o que vai ser medido e que testes estatísticos serão usados para analisar os resultados. 38
Experimento: Validade Interna Um experimento tem boa validade interna se os valores medidos obtidos são realmente devidos à manipulação da variável independente (e não decorrentes de outro fator). 39
Ameaças Comuns à Validade Interna de um Experimento Diferenças entre o grupo experimental e o grupo de controle. Amadurecimento: características dos participantes mudam entre os testes. 40
Ameaças Comuns à Validade Interna de um Experimento Instrumento imperfeito usado para medir as variáveis dependentes afetam os resultados. Alguns participantes saírem do experimento antes do estudo ser completado. Pessoas podem alterar seu comportamento como uma reação ao fato de estarem sendo testadas. 41
Experimento: Validade Externa Um experimento tem boa validade externa se os resultados não são únicos para um particular conjunto de circunstâncias, mas sim são generalizáveis. A melhor maneira de demonstrar capacidade de generalização é repetir o experimento muitas vezes, em muitas situações diferentes. 42
Ameaças Comuns à Validade Externa de um Experimento A principal ameaça à validade externa vem da não representatividade: usar uma amostra de participantes que não seja típica. Excesso de confiança em tipos especiais de participantes (p.ex., estudantes, voluntários). Muito poucos participantes. 43
Experimento: Vantagens Estratégia bem estabelecida, tida como a mais científica e, portanto, muito bem aceita. É a única estratégia de pesquisa que pode provar relações causais. Experimentos de laboratório permitem elevados níveis de precisão na medição de resultados e na análise de dados. 44
Experimento: Desvantagens Experimentos de laboratório frequentemente criam situações artificiais, não comparáveis a situações reais. Muitas vezes é difícil ou até impossível controlar todas as variáveis relevantes. Frequentemente é difícil recrutar uma amostra representativa de participantes. 45
Referência OATES, B.J., Researching Information Systems and Computing, SAGE Publications, 2006. 46