Métodos de pesquisa quantitativa e qualitativa para Ciência da Computação Jacques Wainer Gabriel de Barros Paranhos da Costa Gabriel Dias Cantareira
Metodologia de pesquisa científica em Ciências da Computação Avaliação: processo de julgar o mérito ou valor de um sistema de informação Verificação Validação Usualmente leis e teorias Em CC: rasas, de caráter estatístico e datadas 4 tipos de pesquisa
Tipos de pesquisa - Analítica Gerar/obter conhecimento sobre programas e algoritmos Pressuposições Provas matemáticas Exemplo Análise de complexidade assintótica de algoritmos
Tipos de pesquisa - Quantitativa Medida de poucas variáveis objetivas Comparação de resultados Benchmarks, competições, questionários Pesquisa correlacional ou modelagem estatística Relação entre variáveis em um grande conjunto de dados
Tipos de pesquisa - Qualitativa Variáveis que não podem ser medidas Observação Pesquisa-ação Estudo do sistema em questão no ambiente em que está sendo usado
Tipos de pesquisa - Bibliográfica Revisão sistemática Meta-análises Coletar todos os artigos publicados sobre um determinado experimento quantitativo Resumir os resultados
Métodos quantitativos Visão dita positivista Diferentes observadores devem obter os mesmos resultados em observações distintas Define claramente o que é melhor e o que é pior Medições numéricas consideradas mais ricas que descrições verbais
Dados sintéticos Benchmarks Testes com o programa novo e a "concorrência" usando os mesmos dados Pode avaliar tempo de execução, qualidade do resultado ou resultados esperados Atenção a limitações como efeitos teto e chão Competições
Significância estatística Métodos usados variam com diferentes tipos de medida Medidas categóricas Medidas ordinais Medidas intervalares Medidas de razão
Significância estatística Testes estatísticos levam em consideração uma hipótese nula Significância estatística pode medir o valor de corte (p-value) da probabilidade de rejeição dessa hipótese
Significância estatística Testes com menor valor p-value são considerados mais fortes Testes estatísticos podem ser configurados para gerar um intervalo de resultados prováveis dentro de um valor de confiança (intervalos de confiança)
Significância estatística Diversos testes para comparar dois conjuntos de dados usando intervalos de confiança Teste T Intervalo de Wald Teste T Pareado Wilcoxon rank-sum test Wilcoxon signed-rank test Fischer exact test Teste chi-quadrado São apropriados para diferentes tipos de medidas
Significância estatística Para mais de dois conjuntos, comparações 2 a 2 em sequência reduzem a confiança e podem propagar erros São usados outros testes one-way ANOVA, Kruskal-Wallis, etc
Desenhos fatoriais Em análises, podem ser identificados fatores e níveis Design de experimento considerado fatorial se todas as combinações fator/nível são testadas Caso contrário, o desenho é chamado fatorial parcial e a escolha das combinações deve ser cuidadosa
Questionários Forma rápida e simples de receber informações acerca experiências de usuários Tentam medir uma característica invisível ou latente Perguntas com respostas predefinidas
Questionários Propriedades Confiabilidade Validade Atenção à elaboração de perguntas, alternativas e encorajamento de usuários Problemas: viés de amostragem e nãoresposta
Experimentos Observação de comportamento de variáveis em situações controladas ou artificiais Em computação, sempre envolvem pessoas
Experimentos Validade Interna: validade das manipulações Externa: aplicabilidade do experimento para generalizações Seguem duas divisões de grupo: grupo pré-teste/pós-teste e grupo experimental/controle
Experimentos Grupos pré-teste/pós-teste Testes diferentes com o mesmo grupo para cada caso Ameaças: Instrumentação Testagem Maturação História
Experimentos Grupos experimentais/controle Mesmos testes para grupos diferentes nas condições a serem observadas Ameaças: Seleção Mortalidade seletiva Contaminação Comportamento competitivo Comportamento compensatório
Experimentos Outras ameaças Regressão à média Efeito de expectativa do sujeito Efeito de expectativa do experimentador Influência de parte da intervenção
Métodos Qualitativos Observar variáveis que não podem ser medidas Estudo sobre um sistema no ambiente onde ele está sendo usado Dois tipos de pesquisa Pesquisa observacional Pesquisa-ação
Pesquisa Observacional Observar o ambiente sem modificá-lo Perspectiva positivista Busca seguir os fundamentos da pesquisa quantitativa Teorias e provas Perspectiva interpretativista Interpretação de um observador Perspectiva crítica Revelar relações de poder e dominação
Pesquisa Observacional Positivista Descritiva ou exploratória Exploratória Descreve um fenômeno Propõe novas teorias Explanatória Busca provar ou desprovar uma teoria
Estilos de Pesquisa Observacional Estudo de caso Interação do pesquisador com os sujeitos é semiformal Descobrir "o que as pessoas escrevem" e "o que as pessoas dizem" Entrevistas e conversas programadas Etnografia O pesquisador "vive e trabalha" junto com os sujeitos Descobrir "o que as pessoas fazem" "Fazer parte" do grupo
Técnicas de Pesquisa Observacional Como garantir que os dados e as conclusões obtidas são confiáveis, válidas e generalizáveis? Controlar a subjetividade ou o viés do pesquisador
Pesquisa-ação Modificar o ambiente Colaboração dos sujeitos com o pesquisador Ciclo Infra-estrutura cliente-sistema Diagnóstico Planejamento de ação Tomada de ação Avaliação Aprendizado
Outras formas qualitativas de avaliação Crítica artística Especialista na área usa o sistema e expressa sua opinião sobre a experiência Comitê de Especialista (Professional Review) Grupo de especialistas Várias técnicas são utilizadas para manter a subjetividade sob controle
Publicação de pesquisa qualitativa Defender o mérito dos métodos qualitativos Em pesquisa-ação, mostrar que não é apenas o desenvolvimento de um sistema, ou resultados de uma consultoria Mostrar evidências no artigo de que é um pesquisador competente
Ética em pesquisa em computação O sujeito de um experimento em ciência da computação deve ser informado que ele participa de um experimento? Caso sim, ele deve ser avisado antes e concordar em participar do experimento ou somente aprovar que os dados coletados sejam utilizados na pesquisa após a realização do experimento?
Referências Bibliográficas WAINER, J. (2007). Métodos de pesquisa quantitativa e qualitativa para a ciência computação. In T. KOWALTOWSKI e K. BREITMAN (Org.), Atualização em Informática da Sociedade Brasileira de Computação, pp. 221-262.