1 Aula 11 Interação Humano-Computador (com foco em métodos de pesquisa) Prof. Dr. Osvaldo Luiz de Oliveira
2 Atividade prática Apresentação individual e discussões. Entrega dos relatórios técnicos (artigos).
3 Surveys (questionários) Leitura obrigatória: Chapter 5 of Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010. Leitura complementar (também podem ser achadas livremente na Internet): Lewis, J. R. IBM Computer Usability Satisfaction Questionnaires: psychometric evaluation and instructions for use. International Journal of Human- Computer Interaction, n. 7, v. 1, pp. 57-78, 1995. Lin, H. X., Choong, Y.-Y., and Salvendy, G. A. Proposed Index of Usability: A Method for Comparing the Relative Usability of Different Software Systems. Behaviour & Information Technology, n. 16, v. 4/5, pp. 267-278, 1997.
O que são Surveys e para que servem? Um Survey é um conjunto bem definido e bem escrito de perguntas a que um indivíduo é convidado a responder.
O que são Surveys e para que servem? Normalmente auto-administrados. Surveys são bons para: Obtenção de um grande número de respostas. Atingir população dispersa geograficamente. Você pode capturar a visão geral de forma relativamente rápida. Se for utilizada uma amostragem aleatória estruturada, você pode ser capaz de fazer estimativas populacionais precisas.
O que são Surveys e para que servem? Planejar um bom Survey requer muito trabalho: Surveys devem atingir a população de interesse. Métodos apropriados de amostragem devem ser utilizados. As questões devem ser bem redigidas e testadas. O pesquisador não está presente quando os usuários preenchem o Survey, por isso ele deve ser fácil de usar, entender e de ser retornado ao pesquisador.
Survey é a mesma coisa que questionário? Em termos específicos, um questionário é a lista das questões. O Survey é a abordagem metodológica completa da pesquisa. Mas os dois termos são frequentemente usados como sinônimos.
Benefícios dos Surveys Pode-se coletar dados de um grande número de pessoas, a um custo relativamente baixo. Pode-se obter uma visão geral de uma população de usuários em um curto espaço de tempo. Não requerem nenhum equipamento especial. São geralmente aprovados Comitês Institucionais de Ética, porque eles são geralmente não intrusivos.
Desvantagens dos Surveys Surveys são bons em obter dados abrangentes, mas não são bons para obter dados aprofundados. Como geralmente são auto-administrados, normalmente não é possível fazer perguntas a partir de respostas dos participantes. Podem não ser bons para estudos de indivíduos cuja cultura é mais orientada à linguagem falada do que à linguagem escrita.
Desvantagens dos Surveys Podem introduzir viés por dificuldade de lembrança em estudos que objetivam investigar padrões de uso ou emoções, por exemplo. Exemplo: quantas vezes você usou um aplicativo nos últimos 6 meses? O que você sentiu quando usou um aplicativo? Viéses por dificuldade de lembrança podem ser evitados com o uso combinado de Surveys com outros métodos: diários, registros automáticos de dados.
População-alvo (ou população de usuários em IHC) A população-alvo, ou a população de interesse, são os usuários de computador que você deseja estudar. A população é bem definida? Você sabe aproximadamente quantas pessoas pertencem à população-alvo? Alguns parâmetros para definir a população-alvo: Idade, sexo, escolaridade, experiência com computador. Usuários de determinados site, aplicativo, Sistema Operacional.
Como o pesquisador entrará em contato com os usuários da população-alvo? Por meio de encontros face a face. Por e-mail. Usando os Correios. Por intermédio de um site que os usuários visitam. Através de uma rede social que congrega os usuários. Por meio de uma Organização da qual os usuários fazem parte.
13 Censo Todas as pessoas da população-alvo são escolhidas para participar do estudo. Em geral é muito caro.
14 Amostra da população-alvo Um subconjunto de indivíduos da populaçãoalvo.
Como construir uma amostra? Dois métodos de amostragem. Amostragem aleatória (probabilística): Amostragem não aleatória (não probabilística): A comunidade de IHC aceita estudos com amostragem não aleatória (algumas outras comunidades científicas não).
Amostragem estratificada Uma amostra é estratificada quando tem uma quantidade adequada, para o estudo que está sendo realizado, de respostas de classes (subconjuntos) de uma população de usuários. Exemplo: uma amostra aleatória de estudantes universitários contendo 70% de veteranos e 30% de calouros.
Tamanho mínimo da amostra Depende de muitos fatores: tipo de variável (qualitativa ou quantitativa), magnitude do erro estatístico tolerável entre outros. BioEstat / Tamanho das amostras. É necessário estimar alguns parâmetros.
Fontes de erros e vieses no Survey Erro de amostragem (tamanho insuficiente da amostra). Erro de cobertura (nem todos os membros da população-alvo tem uma probabilidade igual de serem amostrados). Erro de medição (perguntas mal formuladas). Erro de insuficiência de respostas (quantidade de respostas é pequena em relação ao tamanho mínimo da amostra).
Dados demográficos no Survey A inclusão de dados demográficos pode ajudar a verificar se as respostas representam a diversidade da população.
Superamostragem Quando não há uma lista bem definida de usuários, não há conhecimento sobre o tamanho da população e a amostragem aleatória não é possível, a quantidade de respostas se torna um fator muito importante para o estudo. Uma superamostragem consiste em amostrar uma quantidade de indivíduos muito grande em relação ao suposto tamanho da população-alvo (e.g., amostrar 500 indivíduos de uma suposta população de 5000 indivíduos). Isto ajuda a estabelecer uma validade informal para os resultados do Survey.
Amostragem aleatória de uso, não usuários Exemplo: um Survey aparece a cada 10 vezes que uma página web é carregada. Esta é uma amostragem aleatória de uso, não usuários. Os usuários que visitam a página web podem ficar super representados na população-alvo. Cuidados especiais devem ser tomados limitar IPs, dados demográficos, superamostragem etc..
22 Surveys auto-selecionáveis Exemplo: uma página web tem um link para um Survey. Quem visita a página pode selecionar ou não respondê-lo. Isto conduz a amostragens não aleatórias. Surveys auto-selecionáveis são muitas vezes utilizados como um primeiro passo no estudo de grupos de usuários ou fenômenos desconhecidos.
Populações desconhecidas Se uma população é desconhecida, pode ser um grande desafio encontrar e recrutar os usuários que atendam aos critérios do estudo. Você pode precisar de: Obter cooperação de líderes da comunidade em estudo. Usar amostragem bola de neve : um entrevistado recruta outros que ele conhece. Sabendo-se que a amostragem bola de neve pode levar a um viés provocado pelos respondentes, aumente o tamanho da amostra.
Densenvolvimento das questões do Survey O objetivo geral é desenvolver questões bem escritas e que não induzam viés. Como a maioria dos Surveys são auto-administrados, as questões precisam se auto-explicar. Você precisa se concentrar em duas coisas: Na formulação das questões propriamente. Na estrutura global do Survey.
Tipos de questões Questões abertas (ou discursivas).
26 Tipos de questões Questões fechadas: Resposta em uma escala (e.g., escala de Likert) Respostas de múltipla escolha
Problemas comuns com questões Fazer duas perguntas em uma única questão. O uso de palavras negativas nas questões pode causar confusão: Você concorda que o software de e-mail não é fácil de usar? Redação tendenciosa em questões: Você não concordaria que... Identificar a posição de uma pessoa ou organização muito respeitada pode causar viés: Joaquim Barbosa argumenta que... O uso de palavras polêmicas pode causar viés. Liberal, conservador, terrorismo etc.
Estrutura global do Survey Todos os Surveys devem começar com instruções: Em um Survey impresso em papel, deve-se marcar as respostas com um X ou preencher completamente um círculo? Todos os participantes devem responder todas as perguntas? Um lembrete sobre quem está e quem não está qualificado a responder. Toda seção do Survey deve ter um título. Que caminho (de uma seção para a outra) um participante deve tomar?
Estrutura global do Survey Se o Survey é eletrônico, os links de ajuda são fornecidos? Se o Survey está impresso em papel: Existe espaço em branco suficiente? Os fontes são legíveis e o Survey está bem e uniformemente formatado? Dobras e grampos dificultam a leitura? Informações para contato com o pesquisador (e-mail, telefone, web site, etc.) são fornecidos para que o participante possa tirar dúvidas?
Estrutura global do Survey Questões relacionadas a um tópico semelhante devem ser agrupadas. Geralmente não é uma boa ideia embaralhar a ordem das questões. Fornecer questões interessantes no início do Survey. Deixar questões demográficas para o final do Survey. Se houver quaisquer questões sensíveis ou desagradáveis, deixe-as para o fim. Seja razoável sobre a duração Survey.
Surveys existentes Não reinvente a roda. Alguns Surveys têm sido propostos, testados e validados na literatura de IHC, principalmente para testes de usabilidade e avaliação: Computer System Usability Questionnaire (CSUQ). Interface Consistency Testing Questionnaire (ICTQ). Purdue Usability Testing Questionnaire (PUTQ). Questionnaire for User Interaction Satisfaction (QUIS). Website Analysis and MeasureMent Inventory (WAMMI).
32 Computer System Usability Questionnaire (CSUQ) Lewis, J. R. IBM Computer Usability Satisfaction Questionnaires: psychometric evaluation and instructions for use. International Journal of Human-Computer Interaction, n. 7, v. 1, pp. 57-78, 1995.
33 Website Analysis and MeasureMent Inventory (WAMMI) http://www.wammi.com/samples/.
Testando o Survey Você deve testar: A estrutura global do Survey. As questões do Survey. Em um mundo ideal, você deve: Ter especialistas revisando o Survey. Agendar entrevistas com potenciais participantes para avaliar o conteúdo e as qualidades motivacionais do Survey. Fazer um estudo piloto para certificar a funcionalidade do Survey e dos procedimentos de implementação dele.
Taxa de resposta Um dos principais desafios de do pesquisador é obter uma alta taxa de resposta a um Survey. Incentivos para os entrevistados são tipicamente baixos ou inexistentes. Sendo auto-administrados, a motivação é um fator a ser trabalhado para obter alta taxa de resposta.
Técnicas para aumentar a taxa de resposta Enviar uma carta de apresentação de um membro respeitado da comunidade entrevistado. Facilitar o retorno das respostas (incluir um envelope já endereçado com taxas de correio pagas). Enviar lembretes de preenchimento. Enviar o Survey novamente para participantes que não o responderam, digamos após transcorrido um período de 2 ou 4 semanas. Fazer um contato final solicitando o preenchimento, utilizando um canal diferente de comunicação (se o Survey foi enviado por e-mail, então tente um contato telefônico).
Análise dos dados Separe os dados quantitativos dos qualitativos. Limpe os dados, procurando por: Respostas inválidas. Repetições (a mesma pessoa preencheu duas vezes) Respostas incompletas. Executar análise estatística.
38 Outros métodos de pesquisa em IHC Entrevistas. Grupos Focais. Etnografia. Diários. Estudos de Casos. Leituras recomendadas: Chapter 6, 7, 8 and 9 of Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
39 Entrevistas como método de pesquisa Uma entrevista é uma conversa onde perguntas são feitas pelo entrevistador para obter fatos ou declarações do entrevistado.
40 Grupos focais Um grupo focal é uma forma de pesquisa qualitativa, em que as pessoas de um grupo são questionadas sobre as suas percepções, opiniões, crenças e atitudes em relação a uma interface, um design ou um produto. Perguntas são feitas para o grupo em um ambiente interativo, onde os participantes são livres para falar com outros membros do grupo.
41 Vantagens das entrevistas e grupos focais Obtenção de informações em profundidade. Flexibilidade: baseados na resposta dos entrevistados, os entrevistadores podem reordenar as questões ou desenvolver novas linhas de investigação durante as sessões.
42 Desvantagens das entrevistas e grupos focais Requer habilidade para gerenciar as sessões. Consome tempo e recursos: preparar, conduzir a entrevista e analisar os dados obtidos é difícil e consome tempo.
43 Aplicações de entrevistas e grupos focais em IHC Exploração inicial. Descoberta de requisitos. Avaliar as reações subjetivas de usuários sobre protótipos ou produtos.
44 Pesquisa etnográfica Etnografia é a representação da cultura de um grupo. Estudos etnográficos buscam entender em grupo a sua linguagem, os seus valores, as suas crenças, as suas produções materiais e a forma como os seus indivíduos trabalham e interagem.
45 Como é realizada a pesquisa etnográfica Por meio da imersão do pesquisador no grupo a ser estudado. O pesquisador deve inserir-se no o ambiente do grupo (local de trabalho, vila, cidade, país etc.): Observar in-loco as pessoas trabalhando. Conversar com as pessoas sobre o que elas fazem, como se sentem e qual a compreensão que possuem do mundo ao redor delas. Construir um profundo entendimento da linguagem, valores, crenças etc. do grupo.
46 Processo iterativo da pesquisa etnográfica Continue até que: Não haja mais o que aprender. O tempo ou o dinheiro acabarem. Sub-métodos principais: Observações. Entrevistas.
47 Diários como método de pesquisa Diário é um documento criado por um indivíduo que mantém registros regulares de eventos escritos no tempo em que eles ocorreram. Diários são úteis para registrar informações que mudam ao longo do tempo tal como o humor e sentimentos do usuário tais como frustração,raiva, dor etc.. A pesquisa com diários preenche uma lacuna deixada por métodos de pesquisa como os experimentais em laboratório, observações in-loco, entrevistas e Surveys.
48 Algumas formas de diário Em papel. Blog. Twitter. Alterações de estado do Facebook.
49 Estudos de caso Um estudo de caso é um estudo em profundidade de uma instância (produto, interação, sistema etc.) ou conjunto de instâncias dentro de um contexto específico da vida real. Estudos de caso geralmente usam uma teoria para guiar o planejamento e a execução dos trabalhos envolvidos no estudo. Em IHC em geral são usados para descobrir requisitos ou avaliar interfaces.
50 Exemplo de um estudo de caso Objetivo: desenvolver uma compreensão aprofundada de como Sara (uma pessoa cega) utiliza tecnologias assistivas. Método: observações e entrevistas com Sara em situações reais: Lidando com objetos físicos e digitais. Realizando tarefas. Resultados: insights que podem ser usados para melhorar designs. Shinohara and Tenemberg (2007) cited in chapter 6 of the Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.