1 Aula 7 Interação Humano-Computador (com foco em métodos de pesquisa) Prof. Dr. Osvaldo Luiz de Oliveira
2 Pesquisa experimental Wilhelm Wundt (1832-1920), Pai da Psicologia Experimental. Leituras obrigatórias: Chapter 2 and 3 of Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
3 Tipos de pesquisa comportamental Descritiva. Relacional. Experimental.
Pesquisa descritiva Objetiva o desenvolvimento de uma descrição do que está acontecendo. Exemplo: um pesquisador observou, em relação ao uso do Software Educacional X, que foram aprovados em Matemática com conceito A: - 7 de cada 10 alunos que usaram o software. - 4 de cada 10 alunos que não usaram o software.
5 Pesquisa relacional Objetiva identificar as relações entre múltiplos fatores. Exemplo: Um pesquisador verifica que existe uma correlação positiva entre a média de notas de Matemática e a quantidade de horas de uso do Software Educacional X por alunos do 7º ano da Escola Y. Contudo, estudos relacionais raramente determinam o relacionamento causal entre múltiplos fatores.
6 Pesquisa experimental Objetiva estabelecer um relacionamento causal entre variáveis. Exemplo: Um pesquisador recrutou jovens do 7º ano da Escola Y e, aleatoriamente, os associou a dois grupos. Um grupo utilizou 2 horas por semana em laboratório o Software Educacional X. O outro grupo não usou o software. Após um semestre, o pesquisador verificou que a média de notas de Matemática obtidas pelos alunos que usaram o Software X foi significativamente maior do que a média de notas do outro grupo. Então ele concluiu que o uso do Software X causa uma melhoria no desempenho dos alunos em Matemática.
Tipos de pesquisa comportamental Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Hipóteses de pesquisa Um experimento normalmente inicia com uma hipótese de pesquisa. Uma hipótese é uma afirmação precisa de um problema que pode ser diretamente testado através de uma investigação empírica. Comparado com uma teoria, uma hipótese é uma afirmação pequena e bem focada, que pode ser examinada por um único experimento.
Tipos de hipóteses Hipótese nula: tipicamente afirma que não há diferença entre os tratamentos experimentais. Hipótese alternativa: é a afirmação mutuamente exclusiva com a hipótese nula. O objetivo do experimento é encontrar evidências estatísticas para refutar ou anular a hipótese nula, a fim de apoiar a hipótese alternativa. A hipótese deve especificar as variáveis independentes e variáveis dependentes.
10 Exemplos de hipóteses Hipótese nula H 0 : Não existe diferença entre o menu pull-down e o menu pop-up em relação ao tempo gasto para localizar páginas. Hipótese alternativa (descrita como H 1 ou H A ) H A : Existe diferença entre o menu pull-down e o menu pop-up em relação ao tempo gasto para localizar páginas.
Tipos de variáveis Variáveis independentes: referem-se aos fatores que os pesquisadores estão interessados em estudar ou a possível causa da mudança na variável dependente. São independentes do comportamento do participante. São usualmente os tratamentos ou condições que os pesquisadores podem controlar. Variáveis dependentes: referem-se ao resultado ou efeito que os pesquisadores estão interessados. São dependentes do comportamento de um participante ou das mudanças nas variáveis independentes. São geralmente os resultados que os pesquisadores precisam medir.
12 Exemplo Variável independente: tipo de menu. H 0 : Não existe diferença entre o menu pulldown e o menu pop-up em relação ao tempo gasto para localizar páginas. Variável dependente: tempo gasto para localizar páginas.
Variáveis independentes típicas em IHC Relacionadas com a tecnologia: Diferentes dispositivos (teclado, mouse etc.). Tipos de design (menus pull-down, pop-up etc.). Relacionadas com o usuário: idade, gênero, experiência com computador, profissão, nível de estudo, cultura, motivação, humor e deficiências. Relacionadas com o contexto de uso: Fatores físicos (ruído, iluminação, temperatura etc.). Estado do usuário (assentado, caminhando etc.). Estado social (quantidade de pessoas próximas do usuário).
Variáveis dependentes típicas em IHC Eficiência: e.g., o tempo de conclusão da tarefa, a velocidade. Precisão : e.g., taxa de erro. Satisfação subjetiva: e.g., conceitos na escala de Likert (1-5). Facilidade de aprendizagem e taxa de retenção. Demanda física ou cognitiva.
Componentes de um experimento Tratamentos (condições): as diferentes técnicas, dispositivos, ou procedimentos que se deseja comparar. Unidades: os objetos a que se aplicam os tratamentos experimentais. Na pesquisa em IHC, as unidades são normalmente seres humanos com características específicas, tais como sexo, idade ou experiência em computação. Método de atribuição: a maneira em que as unidades experimentais são atribuídas a diferentes tratamentos.
16 Exemplo Suponha que um pesquisador está executando um experimento para comparar a velocidade de digitação usando teclados dos tipos QWERTY e DVORAK. Tratamento (condições): diferentes teclados. Unidades: os participantes recrutados. Método de atribuição: participantes serão aleatoriamente associados aos dois tratamentos.
Aleatoriedade Randomização: atribuição aleatória dos tratamentos às unidades experimentais ou participantes. Em um experimento totalmente aleatório, qualquer um, incluindo os próprios pesquisadores, é incapaz de prever o tratamento (condição) para o qual um participante será atribuído. Métodos de randomização: Uso de moeda, dado, roleta, papéis colocados em uma urna. Tabela para randomização. Uso de software para randomização.
Testes de significância Por que precisamos de testes de significância? Quando os valores de todos os membros das populações que estão sendo estudadas são todos conhecidos, nenhum teste de significância é necessário, uma vez que não há incerteza envolvida. Quando a população é grande, só podemos fazer experimento com um grupo de indivíduos (amostra) da população. Testes de significância permitem determinar o quanto os resultados observados para uma amostra da população podem ser generalizados para toda a população.
Erros Tipo I e Tipo II Todos os testes de significância estão sujeitas ao risco de erros do Tipo I e Tipo II. Um erro Tipo I (também chamado de erro α ou um falso positivo ) refere-se ao erro de rejeitar a hipótese nula quando ela é verdadeira. Um erro de Tipo II (também chamado de erro β ou um falso negativo ) refere-se ao erro de não rejeitar a hipótese nula quando ela é falsa.
Erros Tipo I e Tipo II H 0 : O réu é inocente. H 1 : O réu é culpado (guilty). Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
21 Erros Tipo I e Tipo II H 0 : Não existe diferença de facilidade de uso entre Touchscreen ATMs e Button ATMs. H 1 : Touchscreen ATMs são mais fáceis de usar do que Button ATMs. Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Erros Tipo I e Tipo II Os estatísticos chamam de erros Tipo I um erro que envolve credulidade. Um erro de tipo I pode resultar em uma condição pior do que o estado atual. Erros do tipo II são erros que envolvem cegueira. Um erro de tipo II pode custar a oportunidade de melhorar o estado atual.
Controlando o risco de erros Em estatística, a probabilidade de cometer um erro Tipo I é chamada de α (ou nível de significância, valor-p). A probabilidade de cometer um erro Tipo II é chamado β. A probabilidade complementar β é 1 β. Ela é chamada de Poder do Teste estatístico, i.e., probabilidade de afirmar que realmente existe uma diferença quando ela realmente existe.
Controlando o risco de erros Alfa e beta são inter-relacionados. Diminuindo alfa reduz a chance de cometer erros Tipo I, mas aumenta a chance de cometer erros Tipo II. Na pesquisa experimental, acredita-se que os erros de Tipo I são piores do que os erros Tipo II. Assim, um valor-p baixo (0,05) é amplamente adotado para controlar a ocorrência de erros Tipo I.
Limitações da pesquisa experimental Pesquisa experimental exige hipóteses bem definidas e testáveis que consistem em um número limitado de variáveis dependentes e independentes. A pesquisa experimental exige um rigoroso controle de fatores que podem influenciar as variáveis dependentes. Experimentos em laboratório pode não ser uma boa representação do comportamento típico de interação dos usuários.
Tipos de experimentos Experimentos, semi-experimentos, e não-experimentos: Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human- Computer Interaction. London: John Wiley & Sons, 2010.
Características de verdadeiros experimentos É normalmente baseado em pelo menos uma hipótese testável. Tem no mínimo duas condições: condição de tratamento e condição de controle (ou grupo de tratamento e grupo de controle). As variáveis dependentes podem ser medidas quantitativamente. Utiliza testes de significância estatística para analisar os resultados. Planeja a remoção de vieses (biases). É replicável.
Fatores a considerar Hipótese de pesquisa: Claramente definida. Escopo apropriado. Variáveis dependentes: Fácil de medir. Variáveis independentes e tratamentos (condições): Fácil de controlar.
29 Controlar variáveis independentes às vezes é fácil Hipótese H 0 : Não existe diferença entre a velocidade de seleção usando um mouse, um joystick, ou um trackball para selecionar ícones de diferentes tamanhos (pequeno, médio e grande). Variáveis independentes: - Tipo de dispositivo de apontamento (3 valores). - Tamanho dos ícones (3 valores). Quantidade de condições C = 3. 3 = 9. Controlar as variáveis independentes aqui é trivial: basta apresentar aos participantes a condição (ou condições) que ele experimentará.
30 Outras vezes controlar variáveis independentes pode ser difícil Hipótese H 0 : O comportamento de interação do usuário não é afetado por erros de reconhecimento de um sistema de reconhecimento de voz. Variável independente: - Comportamento de interação do usuário (2 valores, um na presença e outro na ausência de erros). Quantidade de condições C = 2. Controle da variável independente: - Condição 1: o sistema de reconhecimento de voz não produz erros. - Condição 2: o sistema reconhecerá uma porcentagem das palavras faladas. - Utopia: não é possível controlar o sistema para estabelecer a condição 1 e a condição 2, pois sistemas de reconhecimento de voz sempre cometem erros e não se pode prever quando eles ocorrerão. Possível solução: Método do Mágico-de-Oz (computador do Fred Flintstone): coloque um ser humano no lugar o sistema de reconhecimento de voz.
Estrutura do experimento Quantas variáveis independentes queremos investigar no experimento? Quantos valores (níveis) cada variável independente possui?
Estrutura do experimento Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Investigando uma variável independente - Design Entre-grupos Um participante só experimenta um tratamento (condição) Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Design Entre-grupos Vantagens: Melhor controle do efeito de aprendizagem. Requer menos tempo dos participantes. Menos impacto de fadiga e frustração. Desvantagens: Impacto de diferenças individuais entre participantes. Mais difícil de detectar diferença entre as condições. Requer maior tamanho da amostra.
Investigando uma variável independente - Design Dentro-do-grupo Um participante experimenta mais do que um tratamento (condição) Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Design Dentro-do-grupo Vantagens Requer amostras de menor tamanho. Fácil de verificar diferenças entre condições. Desvantagens: Efeito aprendizagem. Toma tempo maior do participante. Impacto maior de fadiga e frustração.
Investigando uma variável independente- Entre-grupos vs. Dentro-do-grupo Design Entre-grupos deve ser escolhido quando: Tarefas são simples. Efeito aprendizagem tem alto impacto. Design Dentro-do-grupo é impossível. Design Dentro-do-grupo deve ser escolhido quando: Efeito aprendizagem tem pequeno impacto. Quantidade de potenciais participantes é pequena.
38 Situações de impossibilidade de escolher o Design Dentro-do-grupo H 0 : Não existe diferença no tempo requerido para localizar um item de uma loja on-line entre usuários novatos e experientes. H 0 : Não existe diferença na velocidade de seleção usando mouse entre crianças (7 a 12 anos) portadoras de Síndrome de Down ou Síndrome de Edwards.
Mais do que uma variável independente Design Fatorial divide os grupos experimentais ou condições em vários subgrupos de acordo com as variáveis independentes. Permite estudar efeitos de interação. Quantidade de condições:. n: quantidade de variáveis independentes. V a : quantidade de valores (níveis) que a variável independente V a pode assumir.
40 Exemplo cálculo da quantidade de condições Experimento para comparar velocidade de digitação usando três tipos de teclado (QWERTY, DVORAK e Alfabético). Estamos interessados também em examinar o efeito de duas diferentes tarefas (composição e transcrição) na velocidade de digitação. C = 3. 2 = 6 diferentes condições. Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Mais do que uma variável independente Três opções de design Fatorial: Entre-grupos. Dentro-do-grupo. Híbrido (Split-plot). Design Híbrido (Split-plot): Tem componentes Entre-grupos e Dentro-do-grupo.
42 Exemplo de um Design Híbrido Experimento para analisar as variações na atenção ao dirigir por motoristas de diferentes idades com e sem assistência de GPS. Impacto da idade (entre colunas): Design Entre-grupos. Impacto do GPS: Design Dentro-do-grupo. Cada motorista deve experimentar a condição com GPS e a condição sem GPS. O impacto do uso do GPS é analisado comparando as condições 1 com 4, 2 com 5 e 3 com 6 Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.
Efeitos de interação Efeito diferente de uma variável independente sobre a variável dependente, em função do nível particular de uma outra variável independente. Lazar, J., Feng, J. H. & Hochheiser, H. Research Methods in Human-Computer Interaction. London: John Wiley & Sons, 2010.