IV AVALIAÇÃO. Resumo Aula Anterior IV.2 AVALIAÇÃO PREDITIVA. o Avaliação Heurística (Cont.) o Fases da Avaliação Heurística

Transcrição

1 IV AVALIAÇÃO IV.2 AVALIAÇÃO PREDITIVA HCI, Cap. 12, Alan Dix Interactive System Design, Cap. 8, William Newman Resumo Aula Anterior o Avaliação Heurística (Cont.) o Fases da Avaliação Heurística Treino; Avaliação; Atribuir Severidades; Relatar o Exercício de Avaliação Heurística o Consolidação de Avaliações 2 1

2 Sumário o Modelos para Avaliação Preditiva Hierarquia de Objectivos e Tarefas GOMS Modelos Físicos e de Dispositivos KLM 3 Melhor e Pior? 4 2

3 Avaliação de Usabilidade o Testa a usabilidade e funcionalidade do sistema o Métodos Analíticos: Avaliação Heurística (Avaliação por peritos) Avaliação Preditiva GOMS, CCT e KLM o Métodos Empíricos (Avaliação com utilizadores): Requer um protótipo funcional 5 Porquê Avaliação Preditiva o Nenhuma empresa constrói um avião sem primeiro fazer uma análise de Eng. para prever o seu desempenho O custo de construção e o risco de falhar são muito elevados 6 3

4 Porquê Avaliação Preditiva o Do mesmo modo, o custo de construir uma IU e testá-la com vários utilizadores até descobrir todos os problemas é inaceitável. 7 Modelos Preditivos o São rápidos e informais o Permitem avaliação de produtos sem envolver os utilizadores o Modelos cognitivos dos utilizadores são usados para testar o desenho o Mais barato que testes com utilizadores o São úteis apenas para sistemas com tarefas prevísiveis 8 4

5 Aplicação Modelos Preditivos o Duas fases 1. Determinação da sequência pela qual a actividade é realizada 2. Análise dos passos da sequência para determinar medidas de usabilidade Tempo para realizar cada passo Passos onde podem ocorrer erros 9 Tipos de Modelos Preditivos o Modelos Hierárquicos Representam a estrutura da tarefa e dos objectivos GOMS e CCT Modelo a estudar: GOMS o Modelos Físicos e de Dispositivo Representam capacidades psicomotoras Modelo a estudar: KLM o Modelos Linguísticos Gramática de interacção pessoa-máquina 10 5

6 Modelos Hierárquicos o Modelam processamento mental o Subdividem recursivamente os objectivos 11 Modelos Hierárquicos o Exemplo: Fazer uma Reserva o Efectuar Reserva Saber horário voo Fazer chamada telefónica Obter número TAP Consultar páginas amarelas - Cons.Categoria Comp.Aéreas - Pesquisa linear da categoria Usar telefone 12 6

7 Questões Modelos Hierárquicos o Granularidade Onde começar? Onde parar? o Conflitos Estratégias alternativas. Diferentes métodos para fazer o mesmo? Interacções entre subtarefas o Erros Como tratar os erros de interacção? 13 GOMS o GOMS Goals Operators Methods Selection o Card, Moran, Newell:

8 GOMS o Goals - Objectivo da interacção Podem ser divididos em subobjectivos Exemplo: Passar palavras gato preto da frase O gato preto saltou o muro. para Bold Objectivo: Passar palavras para Bold Dois subobjectivos: Seleccionar palavras Aplicar o Bold 15 GOMS o Operators Acções básicas para atingir os objectivos Exemplo: Mover o cursor do rato; Carregar no botão do rato; Carregar numa tecla Um Goal é obtido e um Operator é executado. 16 8

9 GOMS o Methods Sequência de Operators para atingir um objectivo. 17 GOMS o Selection - Operador de escolha de métodos quando existe mais que um disponível. Ex. Aplicar Bold usando teclado ou menus. 18 9

10 Como se faz Análise GOMS o Gerar descrição da tarefa o Avaliar a descrição da tarefa o Aplicar resultados à IU o Iterar 19 Gerar descrição da tarefa o Identificar objectivo de alto-nível o Escrever método para atingir objectivo (pode ter subobjectivos) o Escrever métodos para subobjectivos Isto é recursivo Parar quando chegar a operadores 20 10

11 Exemplo Passar palavras gato preto da frase O gato preto saltou o muro. para Bold 21 GOMS (Exemplo) GOAL: Passar- GatoPreto- Bold 22 11

12 GOMS (Exemplo) GOAL: Passar- GatoPreto- Bold GOAL: Seleccionar- Palavras Mover- cursor- início- gato Carregar- sem- libertar- botão- esquerdo- rato Mover- cursor- fim- preto Libertar- botão- rato [Select GOAL: Aplicar- Bold- Teclado Carregar- Control- sem- libertar Carregar- B Libertar- Control ] GOAL: Aplicar- Bold- Menu Mover- cursor- Menu- Format Carregar- sem- libertar- botão- esquerdo- rato Mover- até- opção- Bold Libertar- botão- rato 23 GOMS (Exemplo) GOAL: Passar- GatoPreto- Bold GOAL: Seleccionar- Palavras Mover- cursor- início- gato Carregar- sem- libertar- botão- esquerdo- rato Mover- cursor- fim- preto Libertar- botão- rato [Select GOAL: Aplicar- Bold- Teclado Carregar- Control- sem- libertar Carregar- B Libertar- Control ] GOAL: Aplicar- Bold- Menu Mover- cursor- Menu- Format Carregar- sem- libertar- botão- esquerdo- rato Mover- até- opção- Bold Libertar- botão- rato 24 12

13 GOMS (Exemplo) GOAL: Passar- GatoPreto- Bold GOAL: Seleccionar- Palavras Mover- cursor- início- gato Carregar- sem- libertar- botão- esquerdo- rato Mover- cursor- fim- preto Libertar- botão- rato [Select GOAL: Aplicar- Bold- Teclado Carregar- Control- sem- libertar Carregar- B Libertar- Control GOAL: Aplicar- Bold- Menu Mover- cursor- Menu- Format Carregar- sem- libertar- botão- esquerdo- rato Mover- até- opção- Bold Libertar- botão- rato ] Regras: Regra 1: Usar Aplicar- Bold- Teclado se utilizador usar teclado Regra 2: Usar Aplicar- Bold- Menu se utilizador usar o rato 25 GOMS o Decomposição de objectivos: Tarefa alto nível -> tarefas individuais Requer conhecimento detalhado da estratégia utilizador tarefa domínio do problema 26 13

14 GOMS o A sua utilização pode produzir Medidas de desempenho Boas para utilizadores experientes Não tão boas para inexperientes 27 GOMS (Exemplo Real) o Nynex empresa telefónica EUA o Queriam instalar novo sistema p/ operadores o Análise GOMS detalhada para avaliar acções ao estabelecer uma chamada o GOMS + diagramas de PERT (modelar operações em paralelo) Identificar caminho crítico 28 14

15 GOMS (Exemplo Real) o Conclusão: Novo sistema mais lento! Pouparam Milhões de dólares!! 29 Problema Modelos Hierárquicos o Problema de Fecho Ex.: Levantar na ATM GOAL: Obter GOAL: USAR-MB» Inserir-Cartão» Digitar-Código» Sel-levantamento GOAL: LEVANTAR-» Digitar-» Retirar- GOAL: RETIRAR-CARTAO» Retirar-Cartão 30 15

16 Problema de Fecho Transacção o Objectivo: LEVANTAR- o Objectivo: RETIRAR-CARTAO 31 Problema de Fecho Transacção o Transacção completa ao retirar mas cartão ainda na ATM? o Como se resolve? 32 16

17 Problema de Fecho Transacção o Solução: FORÇAR utilizador a retirar cartão ANTES de retirar o Problema subsiste com os recibos :-( 33 KLM - Keystroke-Level Model o Modela interacções ao nível físico do dispositivo o Baseado no conhecimento empírico do sistema psicomotor humano o Consegue prever desempenho dos utilizadores na execução das tarefas 34 17

18 KLM - Keystroke-Level Model o Aplica-se a interacções elementares (poucos comandos - dezenas) o Semelhante a mini-goms (Método já seleccionado) o Usa-se em conjunto com GOMS 35 Operadores de Execução o Objectivo KLM determinar tempos de execução de comandos o Tempo de execução T exe = T K + T B + T P + T H + T D + T M + T R o Operadores K - premir uma tecla (físico-motor) B premir botão rato (físico-motor) P - apontar, mover rato (físico-motor) H localizar rato/teclado (físico-motor) D - desenhar com rato (físico-motor) M - Preparação mental p/ acção (Mental) R - resposta do sistema (Sistema) 36 18

19 Valores Típicos dos Operadores o T K (depende da velocidade de escrita) 0,08 ~ 0,12 s (O melhor - Bom) 0,20 ~ 0,28 s (médio) 0,50 ~ 1,20 s (Mau) o T B 0,1 s (down/up) 0,2 s (click) o T P = 1,10 s (média) dado pela Lei de Fitts o T H = 0,4 s o T D =? (variável) o T M = 1,35 s o T R =? (medir) 37 Exemplo GOAL: Passar- GatoPreto- Bold GOAL: Seleccionar- Palavras Mover- cursor- início- gato Carregar- sem- libertar- botão- esquerdo- rato Mover- cursor- fim- preto Libertar- botão- rato [Select GOAL: Aplicar- Bold- Teclado Carregar- Control- sem- libertar Carregar- B Libertar- Control GOAL: Aplicar- Bold- Menu Mover- cursor- Menu- Format Carregar- sem- libertar- botão- esquerdo- rato Mover- até- opção- Bold Libertar- botão- rato ] Regras: Regra 1: Usar Aplicar- Bold- Teclado se utilizador experiente Regra 2: Usar Aplicar- Bold- Menu se utilizador não experiente 38 19

20 Exemplo Bold: Ctrl-B vs Menu Seleccionar Palavras Localizar rato H 0,4 Apontar palavra gato P 1,1 Duplo-click e não libertar B 0,3 Mover rato para preto P 1,1 Libertar botão rato B 0,1 Subtotal 3,0 Menu Format (5,4seg) Apontar menu Format Carregar botão rato sem libertar Mover para Bold Libertar botão rato Subtotal P B P B 1,1 0,1 1,1 0,1 2,4 Ctrl-B (4,5seg) Carregar Control Teclar B K K 0,5 0,5 O uso de aceleradores reduz o tempo em cerca de 1 segundo! (no pior caso) Libertar Control Subtotal K 0,5 1,5 39 Características e Vantagens o Previsões são apenas aproximações o O seu valor está em permitir comparações de soluções o Rapidamente identificamos a solução mais rápida o Mais barato que testes com utilizadores o Não é necessário construir sistema 40 20

21 Conclusões o Modelos para Avaliação Preditiva Modelam Interacção pessoa-sistema Permitem estimar tempos de interacção GOMS: Goals, Operators, Methods, Selection Baseado em decomposição hierárquica KLM: Keystroke Level Model Operações atómicas 41 Próxima Aula o Avaliação com utilizadores o Local de avaliação Laboratório ou local de trabalho o Métodos de Avaliação Observação Interrogação Monitorização fisiológica o Ler: HCI, Cap.9, Alan Dix Interaction Design, Cap , J. Preece 42 21