Métodos de pesquisa quantitativa e qualitativa para Ciência da Computação

Transcrição

1 Métodos de pesquisa quantitativa e qualitativa para Ciência da Computação Jacques Wainer Gabriel de Barros Paranhos da Costa Gabriel Dias Cantareira

2 Metodologia de pesquisa científica em Ciências da Computação Avaliação: processo de julgar o mérito ou valor de um sistema de informação Verificação Validação Usualmente leis e teorias Em CC: rasas, de caráter estatístico e datadas 4 tipos de pesquisa

3 Tipos de pesquisa - Analítica Gerar/obter conhecimento sobre programas e algoritmos Pressuposições Provas matemáticas Exemplo Análise de complexidade assintótica de algoritmos

4 Tipos de pesquisa - Quantitativa Medida de poucas variáveis objetivas Comparação de resultados Benchmarks, competições, questionários Pesquisa correlacional ou modelagem estatística Relação entre variáveis em um grande conjunto de dados

5 Tipos de pesquisa - Qualitativa Variáveis que não podem ser medidas Observação Pesquisa-ação Estudo do sistema em questão no ambiente em que está sendo usado

6 Tipos de pesquisa - Bibliográfica Revisão sistemática Meta-análises Coletar todos os artigos publicados sobre um determinado experimento quantitativo Resumir os resultados

7 Métodos quantitativos Visão dita positivista Diferentes observadores devem obter os mesmos resultados em observações distintas Define claramente o que é melhor e o que é pior Medições numéricas consideradas mais ricas que descrições verbais

8 Dados sintéticos Benchmarks Testes com o programa novo e a "concorrência" usando os mesmos dados Pode avaliar tempo de execução, qualidade do resultado ou resultados esperados Atenção a limitações como efeitos teto e chão Competições

9 Significância estatística Métodos usados variam com diferentes tipos de medida Medidas categóricas Medidas ordinais Medidas intervalares Medidas de razão

10 Significância estatística Testes estatísticos levam em consideração uma hipótese nula Significância estatística pode medir o valor de corte (p-value) da probabilidade de rejeição dessa hipótese

11 Significância estatística Testes com menor valor p-value são considerados mais fortes Testes estatísticos podem ser configurados para gerar um intervalo de resultados prováveis dentro de um valor de confiança (intervalos de confiança)

12 Significância estatística Diversos testes para comparar dois conjuntos de dados usando intervalos de confiança Teste T Intervalo de Wald Teste T Pareado Wilcoxon rank-sum test Wilcoxon signed-rank test Fischer exact test Teste chi-quadrado São apropriados para diferentes tipos de medidas

13 Significância estatística Para mais de dois conjuntos, comparações 2 a 2 em sequência reduzem a confiança e podem propagar erros São usados outros testes one-way ANOVA, Kruskal-Wallis, etc

14 Desenhos fatoriais Em análises, podem ser identificados fatores e níveis Design de experimento considerado fatorial se todas as combinações fator/nível são testadas Caso contrário, o desenho é chamado fatorial parcial e a escolha das combinações deve ser cuidadosa

15 Questionários Forma rápida e simples de receber informações acerca experiências de usuários Tentam medir uma característica invisível ou latente Perguntas com respostas predefinidas

16 Questionários Propriedades Confiabilidade Validade Atenção à elaboração de perguntas, alternativas e encorajamento de usuários Problemas: viés de amostragem e nãoresposta

17 Experimentos Observação de comportamento de variáveis em situações controladas ou artificiais Em computação, sempre envolvem pessoas

18 Experimentos Validade Interna: validade das manipulações Externa: aplicabilidade do experimento para generalizações Seguem duas divisões de grupo: grupo pré-teste/pós-teste e grupo experimental/controle

19 Experimentos Grupos pré-teste/pós-teste Testes diferentes com o mesmo grupo para cada caso Ameaças: Instrumentação Testagem Maturação História

20 Experimentos Grupos experimentais/controle Mesmos testes para grupos diferentes nas condições a serem observadas Ameaças: Seleção Mortalidade seletiva Contaminação Comportamento competitivo Comportamento compensatório

21 Experimentos Outras ameaças Regressão à média Efeito de expectativa do sujeito Efeito de expectativa do experimentador Influência de parte da intervenção

22 Métodos Qualitativos Observar variáveis que não podem ser medidas Estudo sobre um sistema no ambiente onde ele está sendo usado Dois tipos de pesquisa Pesquisa observacional Pesquisa-ação

23 Pesquisa Observacional Observar o ambiente sem modificá-lo Perspectiva positivista Busca seguir os fundamentos da pesquisa quantitativa Teorias e provas Perspectiva interpretativista Interpretação de um observador Perspectiva crítica Revelar relações de poder e dominação

24 Pesquisa Observacional Positivista Descritiva ou exploratória Exploratória Descreve um fenômeno Propõe novas teorias Explanatória Busca provar ou desprovar uma teoria

25 Estilos de Pesquisa Observacional Estudo de caso Interação do pesquisador com os sujeitos é semiformal Descobrir "o que as pessoas escrevem" e "o que as pessoas dizem" Entrevistas e conversas programadas Etnografia O pesquisador "vive e trabalha" junto com os sujeitos Descobrir "o que as pessoas fazem" "Fazer parte" do grupo

26 Técnicas de Pesquisa Observacional Como garantir que os dados e as conclusões obtidas são confiáveis, válidas e generalizáveis? Controlar a subjetividade ou o viés do pesquisador

27 Pesquisa-ação Modificar o ambiente Colaboração dos sujeitos com o pesquisador Ciclo Infra-estrutura cliente-sistema Diagnóstico Planejamento de ação Tomada de ação Avaliação Aprendizado

28 Outras formas qualitativas de avaliação Crítica artística Especialista na área usa o sistema e expressa sua opinião sobre a experiência Comitê de Especialista (Professional Review) Grupo de especialistas Várias técnicas são utilizadas para manter a subjetividade sob controle

29 Publicação de pesquisa qualitativa Defender o mérito dos métodos qualitativos Em pesquisa-ação, mostrar que não é apenas o desenvolvimento de um sistema, ou resultados de uma consultoria Mostrar evidências no artigo de que é um pesquisador competente

30 Ética em pesquisa em computação O sujeito de um experimento em ciência da computação deve ser informado que ele participa de um experimento? Caso sim, ele deve ser avisado antes e concordar em participar do experimento ou somente aprovar que os dados coletados sejam utilizados na pesquisa após a realização do experimento?

31 Referências Bibliográficas WAINER, J. (2007). Métodos de pesquisa quantitativa e qualitativa para a ciência computação. In T. KOWALTOWSKI e K. BREITMAN (Org.), Atualização em Informática da Sociedade Brasileira de Computação, pp