Interação Humano-Computador Avaliação em IHC: Primeiras noções (2) www.inf.puc-rio.br/~inf1403
Avaliação de IHC O que é? Chamamos de avaliação de IHC a atividade profissional especializada que tem por objetivo julgar a qualidade de interação que um sistema ou artefato computacional oferece aos seus usuários. 1. Avaliação é uma atividade profissional. Não é uma emissão de opinião baseada em preferências ou conjecturas pessoais. 2. Usuários sempre têm opiniões e julgamentos sobre a qualidade dos sistemas com que interagem: mas isto não é uma avaliação de IHC, a menos que os usuários sejam também profissionais.
Antes de começar qualquer avaliação, pergunte: Qual é mesmo o meu objetivo? Por que e para que estou fazendo a avaliação? Me encomendaram? Estou fazendo uma pesquisa? Estou fazendo um exercício?? Quais os meus recursos? Tenho prazos, orçamento, infraestrutura? Preciso observar pessoas? Onde? Como? Qual o objeto da minha avaliação? Tenho um sistema plenamente implementado? Parcialmente implementado? Apenas uma maquete? Completa? Parcial?
4 paradigmas para a avaliação de IHC 1. O rápido e rasteiro (que prima pela informalidade) 2. Os testes de usabilidade (experimentos controlados em laboratórios) 3. Os estudos em campo (que se realizam nos contextos naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade) 4. A avaliação preditiva (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)
DECIDE Guia para o planejamento de uma avaliação (Preece et al., 2005) Determinar os objetivos gerais que a avaliação deverá tratar Explorar perguntas específicas a serem respondidas Escolher (Choose) o paradigma e as técnicas de avaliação que responderão as perguntas Identificar questões práticas que devem ser tratadas Decidir como lidar com questões éticas Avaliar (Evaluate), interpretar e apresentar os dados PREECE, J.; ROGERS, I.; SHARP, H. Design de Interação: Além da Interação Humano-Computador Porto Alegre: Bookman, 2005.
DECIDE Guia para o planejamento de uma avaliação Determinar os objetivos gerais que a avaliação deverá tratar quais são os objetivos gerais da avaliação quem solicitou a avaliação, e por quê Os objetivos influenciam a escolha de paradigma e técnica. Por quê?
DECIDE Guia para o planejamento de uma avaliação Explorar perguntas específicas a serem respondidas Quem são os usuários-alvo? Quais são suas atividades? Em quais tarefas ocorrem mais erros? Quais tarefas apresentam problemas mais graves de desempenho? A proposta A é melhor do que a proposta B em algum aspecto? Qual(is)? Toda boa avaliação tem de ser guiada por objetivos e questões claras; se não for, vira uma perda de tempo.
DECIDE Guia para o planejamento de uma avaliação Escolher (Choose) o paradigma e as técnicas de avaliação que responderão as perguntas prazo, custo, equipamentos necessários, e grau de conhecimento e experiência dos avaliadores exigidos por cada técnica Alguns paradigmas são incompatíveis com certas técnicas. Por exemplo, estudos de campo não são compatíveis com testes ou com modelagem. Por quê?
DECIDE Guia para o planejamento de uma avaliação Identificar questões práticas que devem ser tratadas Como selecionar os usuários? perfil e número de usuários Como ficar dentro de um orçamento apertado? Como não extrapolar o cronograma? Como encontrar avaliadores? alocação de pessoal para a realização da avaliação Como selecionar e preparar equipamentos? Quais tarefas serão avaliadas? Que material deve ser preparado para a avaliação?
DECIDE Guia para o planejamento de uma avaliação Decidir como lidar com questões éticas os avaliadores devem se certificar que os direitos dos participantes do teste estão sendo respeitados Preparar um termo de consentimento Todo participante tem o direito de: saber exatamente o objetivo do estudo saber exatamente o que vai ser feito com os dados ter garantias de seus dados pessoais e privativos não ser citado ou mostrado em qualquer situação sem seu consentimento prévio abandonar o estudo quando e por que bem entender exigir ser tratado com toda educação
DECIDE Guia para o planejamento de uma avaliação Avaliar (Evaluate), interpretar e apresentar os dados confiabilidade dos dados: a técnica produz os mesmos resultados nas mesmas circunstâncias? validade dos dados: a técnica permite medir o que deveria? potenciais distorções: existe algum viés oculto? escopo: o que pode ser generalizado? validade ecológica : o quanto o ambiente em que a avaliação é feita influencia ou distorce os resultados? Análise e apresentação dependem de paradigma e técnica.
Estudos-piloto Servem de teste para o teste pra valer. Visam avaliar O estudo/experimento é viável? Você consegue conduzir o procedimento inteiro e bem? Os scripts, entrevistas, questionários estão claros e sem bugs? Quantos estudos-piloto se deve fazer? quantos forem necessários para ajustar a qualidade do experimento pelo menos um é indispensável E se não tiver usuários sobrando? Procurar pessoas com perfil semelhante. Vale até usar seus próprios conhecidos.
Conhecimentos necessários a um avaliador Conhecimento sobre o domínio necessário para determinar o que os usuários querem, do que eles precisam, quais são as tarefas mais freqüentes e quais as mais importantes Conhecimento sobre o projeto de interfaces de usuário avaliador deve ser capaz de analisar os aspectos mais importantes de um projeto de interfaces (e.g. navegação, terminologia, estruturas de controle, etc.) e conhecer os princípios e diretrizes disponíveis na literatura Experiência de utilização do método de avaliação permite ao avaliador ao representar um cliente, bem como o conhecimento sobre o que procurar e o que relatar como resultado da avaliação
Paradigmas, Métodos e Técnicas Paradigma? É um modelo ou forma de conceber a atividade, normalmente atrelado ao objetivo que se quer atingir com ela. Método? É um conjunto claramente definido de passos, que são sistematica e rigorosamente repetidos, para se realizar um procedimento. Técnica? É uma forma de realizar uma tarefa ou atividade.
4 paradigmas para a avaliação de IHC 1. O rápido e rasteiro (que prima pela informalidade) 2. Os testes de usabilidade (experimentos controlados em laboratórios) 3. Os estudos em campo (que se realizam nos contextos naturais de uso das tecnologias avaliadas e são mais difíceis de controlar e registrar do que os testes de usabilidade) 4. A avaliação preditiva (que se baseia em conhecimento heurístico ou teórico de um avaliador especializado)
Técnicas de avaliação de IHC Há diferentes técnicas de avaliação. Rápido e Rasteiro Testes de Usabilida de Estudos de Campo Avaliação Preditiva Cada técnica se aplica melhor ou pior (ou não se aplica) conforme o paradigma em que nos encontramos. Logo o que queremos fazer é saber como preencher as colunas de uma tabela como esta ao lado. (Por quê?) Técnica 1 Técnica 2 Técnica n
Sobre as técnicas de avaliação 1/5 Paradigmas de Avaliação Tipo de Técnica Observação de usuários Rápida & Rasteira Teste de Usabilidade Estudos de Campo Avaliação Preditiva É muito útil Registros da A observação é Não acontece. para se ter atitude e o coração dos noção geral, interação estudos de embora não ajudam a ver campo; eles muito rica, de erros, descobrir não existem como os caminhos sem ela. O usuários atuam inesperados na avaliador tem em seu interface e a de ficar imerso contexto calcular tempo no ambiente natural. de interação. dos usuários.
Sobre as técnicas de avaliação 2/5 Paradigmas de Avaliação Tipo de Técnica Rápida & Rasteira Teste de Usabilidade Estudos de Campo Avaliação Preditiva Perguntar aos usuários Focus groups: técnica qualitativa de análise; 8-15 representantes dos usuários participam de uma discussão liderada e focada em uma questão específica. A idéia não é generalizar é entender melhor. É útil conversar com usuários individualmente ou com grupos de usuários (reais ou potenciais). Pode-se usar a técnica de focus groups. Questionários (com perguntas abertas ou fechadas), bem como entrevistas (com perguntas abertas ou fechadas) exploram a satisfação do usuário. É possível (embora não indispensável) entrevistar os usuários. A etnografia tem métodos específicos para isto, que têm sido muito usados em IHC. Não acontece. Etnografia é uma técnica utilizada principalmente por antropólogos e cientistas sociais. Consiste em REGISTRAR ou ESCREVER ( grafia ) detalhadamente as práticas culturais de um grupo ( etno ).
Sobre as técnicas de avaliação 3/5 Paradigmas de Avaliação Tipo de Técnica Consultar especialistas Rápida & Rasteira É bom colher críticas de especialistas ( relatório crítico ), pois o olhar do especialista treinado costuma identificar logo vários problemas. Teste de Usabilidade Estudos de Campo Avaliação Preditiva Não acontece. Não acontece. Previsões de especialistas logo no início do ciclo de design, sobretudo a partir de heurísticas, traz ganhos no tempo de desenvolvimento global.
Sobre as técnicas de avaliação 4/5 Paradigmas de Avaliação Tipo de Técnica Rápida & Rasteira Teste de Usabilidade Estudos de Campo Avaliação Preditiva Testes com usuários Não acontece. Testes com representantes de usuários típicos, em laboratórios, com variáveis controláveis, são o coração dos testes de usabilidade. Não acontece. Não acontece.
Sobre as técnicas de avaliação 5/5 Paradigmas de Avaliação Tipo de Técnica Modelo de desempenho dos usuários Rápida & Rasteira Teste de Usabilidade Estudos de Campo Avaliação Preditiva Não acontece. Não acontece. Não acontece. Especialistas podem usar modelos específicos para prever o desempenho de usuários, comparativamente aos modelos de design que há.
Sobre os dados coletados (1/2) Avaliação quantitativa necessariamente envolve métricas e números métrica é a expressão numérica de uma qualidade requer conhecimentos de outras disciplinas, em especial de Estatística amostragens que podem ser muito volumosas pode-se obter previsões bastante boas sobre o comportamento dos usuários
Sobre os dados coletados (2/2) Avaliação qualitativa normalmente não envolve métricas e números requer conhecimentos teóricos e técnicos de várias disciplinas, e também de conhecimentos práticos dos profissionais (heurísticas) trabalha tipicamente com casos fornece insumos para pesquisas quantitativas que poderão fazer previsões entender antes de medir
Exercício (para próxima aula) A partir do exercício realizado na aula anterior (em azul abaixo) Escolha uma aplicação e defina uma tarefa a ser executada. Em seguida: 1. Faça uma lista do que você acha que são itens a avaliar. 2. Identifique na sua lista o que é: subjetivo e objetivo 3. Identifique na sua lista o que, como visto em aulas anteriores, é relativo a: Interface/ Interação Usabilidade / Acessibilidade / Comunicabilidade) Defina um paradigma e as técnicas de avaliação que você julgue apropriados para essa avaliação que você propôs. Argumente sobre os prós e contras dessa escolha.
Referências Livro capítulo 9 BARBOSA, S.D.J.; SILVA, B.S. Interação Humano-Computador. Editora Campus-Elsevier, 2010.