Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos: Um Estudo de Caso com a HybridDesk

Transcrição

1 Composição de Métodos de Avaliação de IHC para Ambientes Virtuais Híbridos: Um Estudo de Caso com a HybridDesk Marcus Franco Costa de Alencar INF Abril 2012

2 Sumário Introdução Ambiente de Avaliação - HybridDesk Metodologia de Avaliação Resultados da Avaliação Conclusão e Trabalhos Futuros

3 Introdução HybridDesk: Mesa de trabalho com 3 Ambientes Virtuais Híbridos para suportar anotações num mundo virtual 3D Motivação: Avaliação Qualitativa de IHC para identificar principais Questões de IHC Metodologia: Sequência de Métodos de Avaliação de Usabilidade [Gabbard 1999] combinados com o Método de Avaliação de Comunicabilidade (MAC) [de Souza 2005] Resultados da Avaliação: Identificação de Questões de IHC, Questões Únicas de cada Método, Questões com os Dispositivos de Entrada, Interação com Múltiplos Designers

4 Ambiente de Avaliação HybridDesk VR-Nav - Navegação e Seleção VR-Manip - Manipulação WIMP - Anotação Ilustração de Felipe Carvalho (2009)

5 Ambiente de Avaliação HybridDesk VR-Nav - Navegação e Seleção Mini-CAVE Wand Rastreada Óculos Estéreo Rastreado VR-Manip - Manipulação LCD Wand Rastreada Óculos Estéreo Rastreado WIMP - Anotação LCD Teclado Mouse Fotos de Felipe Carvalho (2009)

6 Ambiente de Avaliação HybridDesk Transições dos Dispositivos de Interação [Carvalho 2009]

7 Ambiente de Avaliação HybridDesk Foto de Felipe Carvalho (2009)

8 Ambiente de Avaliação HybridDesk Foto de Felipe Carvalho (2009)

9 Metodologia de Avaliação -Trabalhos Relacionados Método de Avaliação de Comunicabilidade (MAC) Avaliação CommEST [Salgado 2007] Engenharia Semiótica [de Souza 2005] Avaliação SpiderPad e Arachnophilia [Prates et. al. 2000] Avaliação Audacity [de Souza & Leitão 2009] Métodos de Avaliação de Usabilidade User-centered Evaluation of Battlefield VE [Gabbard et. al. 1999] Heurísticas de Usabilidade em AVs [Gabbard 1997] Protocol Analysis (Think-Aloud) [Ericsson & Simon 1993] Avaliação de AVs no Second Life [Gentil 2008, ] Usability Engineering [Nielsen 1993] Interaction Design [Sharp et. al. 2007] 3D User Interfaces [Bowman et. al. 2005] Measuring the User Experience [Tullis & Albert 2008] VE Evaluation Methods [Bowman et. al. 2002] Avaliação HybridDesk [Carvalho 2009]

10 Metodologia de Avaliação - Etapas Com unicabilidade Usabilidade Preparação da Avaliação Observação de Uso Avaliação Heurística Etiquetagem da Interação Interpretação dos Dados Elaboração do Perfil Sem iótico Tabulação e Interpretação dos Dados Com paração dos Resultados

11 Metodologia de Avaliação Preparação Comunicabilidade Inspeção Semiótica Informal Usabilidade Identificação das Tarefas Perfil dos Participantes Cenários de Uso Definição dos Avaliadores Questões Éticas Material de Observação Configuração do Ambiente de Avaliação Teste Piloto

12 Metodologia de Avaliação - Etapas Com unicabilidade Usabilidade Preparação da Avaliação Observação de Uso Avaliação Heurística Etiquetagem da Interação Interpretação dos Dados Elaboração do Perfil Sem iótico Tabulação e Interpretação dos Dados Com paração dos Resultados

13 Avaliação Heurística As 10 Heurísticas de Usabilidade de Nielsen (Alto Nível) Visibilidade do Estado do Sistema Correspondência entre Sistema e Mundo Real Controle e Liberdade para o Usuário Consistência e Padronização Prevenção de Erros Ajuda para Reconhecer, Diagnosticar e Remediar Erros Reconhecimento ao Invés e Memorização Flexibilidade e Eficiência no Uso Design Estético e Minimalista Ajuda e Documentação

14 Avaliação Heurística Heurísticas (Sugestões) de Gabbard: Mais de 180 sugestões de Heurísticas de Usabilidade para Ambientes Virtuais Taxonomia organizada em 4 Grupos e 18 Sub-grupos VE Users and User Tasks (5 sub-grupos) VE User Interface Input Mechanisms (5 sub-grupos) The Virtual World (4 sub-grupos) VE User Interface Presentation Components (4 sub-grupos)

15 Avaliação Heurística Taxonomia para Heurísticas [Gabbard 1997]

16 Metodologia de Avaliação - Etapas Com unicabilidade Usabilidade Preparação da Avaliação Observação de Uso Avaliação Heurística Etiquetagem da Interação Interpretação dos Dados Elaboração do Perfil Sem iótico Tabulação e Interpretação dos Dados Com paração dos Resultados

17 Metodologia de Avaliação Observação de Uso Comunicabilidade Usabilidade Recepção dos Participantes Acomodação dos Participantes Cenário de Uso 1 Entrevista Pós-Uso Questionário de Usabilidade Cenário de Uso 2 Questionário de Presença

18 Resultados da Avaliação Heurística Rótulo Diretriz (Heurística) Questão Users1 Users4 Users5 Tasks7 Nav1 Nav4 Levar em conta a experiência do usuário (ex, suportar tanto o usuário especialista como iniciantes). Suportar tanto os destros como os canhotos. Acomodar a interação natural e não forçada de usuários de diversas idades, sexo, altura e tamanho. Prover refinamento das tarefas em passos, incluindo a habilidade de desfazer. Suportar tipos apropriados de navegação do usuário. Quando apropriado, incluir rótulos espaciais, marcos para orientação e um horizonte. Sistema não oferece menu de opções ou sistema de ajuda para usuários iniciantes. Sistema foi projetado para destros, pois LCD à esquerda é ruim para canhotos. Usuários que usam óculos terão problemas para usar óculos por cima de óculos. Sistema não tem função para desfazer ações, nem indicações de como se recuperar de erros. Falta um modo para navegar direto para um objeto. Sistema não tem rótulos espaciais, marcos para orientação ou um horizonte.

19 Resultados da Avaliação Heurística Resultados da Avaliação Heurística Quantidade Questões Identificadas 26 Sistema de acordo com Diretriz 41 Diretriz não Aplicável 59 Número Total de Diretrizes Consideradas (*) 126 (*) Sub-grupos não aplicáveis ao sistema avaliado foram desconsiderados (ex: speech recognition)

20 Resultados da Avaliação Heurística Distribuição das 26 Questões Heurísticas por Sub-área de Interação Sub-area Issues Quantity Sub-area Issues Quantity VE Users 3 Manipulation 3 VE Tasks 1 Input 4 Navigation 4 HandHeld 1 Selection 6 System Info 4

21 Resultados da Avaliação Questionário Usabilidade 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00 1. Foi simples Navegar no Cenário 3D 2. Foi simples Selecionar o ícone 3D 3. Foi simples Selecionar os objetos 4. Foi simples Manipular os objetos 5. Foi simples Anexar o ícone 3D ao objeto 6. Foi simples Ler o arquivo que descrevia a tarefa 7. Foi simples Criar os arquivos com anotações 8. Foi simples a transição do ambiente VR-Navegação para o ambiente VR-Manipulação 9. Foi simples retornar do ambiente VR-Manipulação para o ambiente VR-Navegação 10. Foi simples a transição do ambiente VR-Manipulação para o ambiente WIMP 11. Foi simples retornar do ambiente WIMP para o ambiente VR- Manipulação 12. Foi simples a transição do ambiente VR-Navegação para o ambiente WIMP 13. Foi simples retornar do ambiente WIMP para o ambiente VR- Navegação

22 Resultados da Avaliação Questionário Usabilidade 14. Foi fácil memorizar os comandos para transição entre os ambientes 15. As animações ajudaram na percepção das transições 16. Foi fácil orientar-se durante as transições de ambiente 17. Eu não percebi inconsistências na interação entre os ambientes de Navegação e de Manipulação 18. Eu me senti confortável usando os óculos no ambiente WIMP 19. Eu me senti confortável usando a Wand 20. Eu me senti confortável usando o Teclado 21. Eu me senti confortável manipulando objetos no LCD 22. Eu me senti confortável usando os óculos nas interações em geral 23. Eu me senti confortável deslocando o LCD lateralmente 24. Eu não senti tontura ao usar o sistema 25. Eu me senti confortável interagindo com o sistema 26. Foi fácil aprender a usar o sistema 27. Quando cometi um erro, eu me recuperei fácil e rapidamente 28. De uma maneira geral, eu estou satisfeito com este sistema 1,00 1,50 2,00 2,50 3,00 3,50 4,00 4,50 5,00

23 Resultados da Avaliação Questionário Usabilidade Sumário De uma maneira geral, os Usuários ficaram satisfeitos com o sistema (4 de 5) Difícil selecionar o ícone de anotação 3D (2.5 de 5) Usuários desconfortáveis usando o óculos 3D (2.67 de 5) Usuários desconfortáveis para mover o LCD de lado (2.6 de 5) Alguns usuários desconfortáveis usando a Wand (3.17 de 5)

24 Diferença entre Imersão e Presença Imersão Se refere ao nível objetivo de fidelidade sensorial provida por um sistema de Ambientes Virtuais [Mel Slater 2003]; A imersão é objetiva e mensurável, um sistema pode ter um nível de imersão maior que outro [Bowman & McMahan 2007]. Presença Se refere à resposta psicológica subjetiva de um usuário a um sistema de Ambientes Virtuais [Mel Salter 2003]; Presença é uma resposta individual e dependente do contexto de um usuário, relacionada à sensação de estar lá [Bowman & McMahan 2007].

25 Resultados da Avaliação Questionário IPQ Subescalas IPQ HybridDesk Second Life Half-Life Tomb Raider Senso de Estar Lá (Geral) 4,50 3,75-17% 3,93-13% 3,00-33% Presença Espacial 4,47 3,73-16% 3,99-11% 3,06-31% Envolvimento 4,25 3,91-8% 3,27-23% 2,40-44% Realismo Experimentado 3,04 2,84-7% 2,34-23% 1,92-37%

26 Resultados da Avaliação Questionário IPQ Subescalas IPQ HybridDesk Second Life Half-Life Tomb Raider Senso de Estar Lá (Geral) 4,50 3,75-17% 3,93-13% 3,00-33% Presença Espacial 4,47 3,73-16% 3,99-11% 3,06-31% Envolvimento 4,25 3,91-8% 3,27-23% 2,40-44% Realismo Experimentado 3,04 2,84-7% 2,34-23% 1,92-37%

27 Resultados da Avaliação - MAC Etiquetagem da Interação Etiqueta / Participante P2 P3 P7 Total Cadê? 1 1 Para mim está bom Assim não dá. 0 Ué, o que houve? Por que não funciona? O que é isto? Socorro! 0 Epa! Onde estou? E agora? 4 4 Vai de outro jeito. 1 1 Não, obrigado. 0 Desisto. 0 Total Rupturas Referência: The Semiotic Engineering of HCI [de Souza 2005]

28 Resultados da Avaliação - MAC Interpretação dos Dados Tarefas de Interação [Bowman et. al. 2005] Etiqueta / Tarefa Interação Navegação Seleção Manipulação Anotação Controle Total Cadê? 1 1 Para mim está bom Assim não dá. 0 Ué, o que houve? Por que não funciona? O que é isto? Socorro! 0 Epa! Onde estou? 3 3 E agora? Vai de outro jeito. 1 1 Não, obrigado. 0 Desisto. 0 Total Rupturas Ambiente VR- Nav VR-Manip WIMP Todos

29 Resultados da Avaliação - MAC Interpretação dos Dados Categorias Típicas de IHC Etiqueta / Categoria IHC Execução Navegação Significado Percepção Total Cadê? 1 1 Para mim está bom Assim não dá. 0 Ué, o que houve? 4 4 Por que não funciona? O que é isto? 7 7 Socorro! 0 Epa! Onde estou? 3 3 E agora? 4 4 Vai de outro jeito. 1 1 Não, obrigado. 0 Desisto. 0 Total Rupturas

30 Resultados da Avaliação MAC Análise do Perfil Semiótico Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita...

31 Resultados da Avaliação MAC Análise do Perfil Semiótico Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita... mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.

32 Resultados da Avaliação MAC Análise do Perfil Semiótico Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita... mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim.

33 Resultados da Avaliação MAC Análise do Perfil Semiótico Na minha interpretação você é um usuário com conhecimentos de modelagem 3D, tem bastante experiência na navegação em ambientes virtuais e trabalha na inspeção da modelagem de cenários 3D. Acredito que você vai interagir com o sistema utilizando a mão direita... mas eu acho que você irá aprender a usar as teclas com a prática, porque não disponibilizei nenhum sistema de ajuda on-line sobre como usá-las. Existem teclas para você se movimentar no cenário 3D, mas quando você estiver longe do objeto a aproximação vai parecer muito lenta.... terá que usar as funções da Wand que você aprendeu com o uso. Se você quiser poderá inspecionar os objetos no ambiente de navegação, embora eu tenha concebido o ambiente de manipulação para este fim....ao interagir com a Wand você descobrirá que se acionar a tecla A muito forte ou duas vezes, e estiver apontando para um objeto, você irá selecioná-lo e sair do ambiente de navegação.

34 Resultados da Avaliação Comparação Métodos N o Questões de IHC Heur. Obs.TA Qu./Ent. MAC Total 1 Navegação lenta para aproximar do cenário 3D quando longe Falta de feedback na tela do LCD ao se liberar ícone 3D indicando se foi anexado ao objeto ou não. Fez inspeção da ponta do guindaste rodando o próprio cenário 3D em navegação. 4 Desconfortável arrastar o LCD para o centro, alguns prefiram nem arrastar Apertou o botão A duas vezes e voltou de manipulação para WIMP Uso prolongado da Wand com braço esticado causa fadiga do braço do usuário, pois evita apenas parcialmente o uso dos grupos de músculos maiores Achou óculos desconfortáveis, principalmente usuários que já usam óculos Verificou ponta mas não deixou anotação no guindaste sem rachadura Não ficou claro como voltar de manipulação para navegação, uso do botão Home não é muito consistente Ícone 3D que representa a anotação é pequeno e difícil de selecionar Selecionou gancho pensando que poderia ser a ponta guindaste, verificou os dois

35 Resultados da Avaliação Comparação Métodos Questões de IHC Aval. Heur. Obser. TA Quest./ Entrev. MAC Total de Ocorrências Questões Distintas Questões Únicas de cada Método Avaliação Heurística baseada no Conhecimento de Especialistas Observação do Usuário com Talk Aloud baseada na Observação do Usuário pelo Avaliador Questionário e Entrevista Pós Uso - baseada na Percepção da Interação pelo Usuário MAC (Avaliação de Comunicabilidade) baseada na Intenção do Designer versus a Percepção do Usuário na intepretação de um Avaliador

36 Resultados da Avaliação Questões com Dispositivo de Entrada Botão A - Navegação Ativa Ray-casting Desativa Ray-casting Seleciona Objeto (Transição para Manipulação) Botão A - Manipulação Libera Icone 3D Transição para WIMP

37 Resultados da Avaliação Questões com Dispositivo de Entrada Botão Home - Navegação Retorna Posição Inicial Botão Home - Manipulação Transição para Navegação

38 Resultados da Avaliação Interação com Múltiplos Designers Gerente:... instruções... em arquivo anexado acima da escada à direita do Heliporto. Participante: direita ou esquerda? Depende de por onde estou olhando..

39 Resultados da Avaliação Interação com Múltiplos Designers Gerente:... instruções... em arquivo anexado acima da escada à direita do Heliporto. Participante: direita ou esquerda? Depende de por onde estou olhando.. Gerente:... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não. Participante: não sei se é essa parte (ponta) ou a parte de baixo ali (gancho)..

40 Resultados da Avaliação Interação com Múltiplos Designers Gerente:... instruções... em arquivo anexado acima da escada à direita do Heliporto. Participante: direita ou esquerda? Depende de por onde estou olhando.. Gerente:... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não. Participante: não sei se é essa parte (ponta) ou a parte de baixo ali (gancho).. Interação com a Anotação: Designer da Tarefa (Gerente)

41 Resultados da Avaliação Interação com Múltiplos Designers Gerente:... instruções... em arquivo anexado acima da escada à direita do Heliporto. Participante: direita ou esquerda? Depende de por onde estou olhando.. Gerente:... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não. Participante: não sei se é essa parte (ponta) ou a parte de baixo ali (gancho).. Interação com a Anotação: Designer da Tarefa (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo

42 Resultados da Avaliação Interação com Múltiplos Designers Gerente:... instruções... em arquivo anexado acima da escada à direita do Heliporto. Participante: direita ou esquerda? Depende de por onde estou olhando.. Gerente:... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não. Participante: não sei se é essa parte (ponta) ou a parte de baixo ali (gancho).. Interação com a Anotação: Designer da Tarefa (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação

43 Resultados da Avaliação Interação com Múltiplos Designers Gerente:... instruções... em arquivo anexado acima da escada à direita do Heliporto. Participante: direita ou esquerda? Depende de por onde estou olhando.. Gerente:... Anexar ao guindaste uma mensagem de notificação para o responsável, informando se a ponta do guindaste tem rachadura ou não. Participante: não sei se é essa parte (ponta) ou a parte de baixo ali (gancho).. Interação com a Anotação: Designer da Tarefa (Gerente) Interação com Cenário e Objetos 3D: Designer do Conteúdo Interação com o Programa de Visualização: Designer da Aplicação Interação com a HybridDesk: Designer do Sistema

44 Resultados da Avaliação Interação com Múltiplos Designers USUÁRIO D E S I G N E R S TAREFAS CONTEÚDO APLICAÇÃO SISTEMA OPERACIONAL HARDWARE

45 Conclusões e Trabalhos Futuros Conclusões O uso de diversos métodos de avaliação permitiu a descoberta de questões qualitativas de interação únicas Os Designers da Interação devem prestar atenção redobrada na interação com novos dispositivos, mesmo quando parecem ser simples de aprender e usar Os Designers da Interação devem integrar de forma consistente os diversos sistemas de significação utilizados pelos outros Designers de Interação Trabalhos Futuros Estudar a integração dos diversos Designers de Interação Estudar a integração de tarefas 2D em Ambientes Virtuais 3D Estudar a transição entre Ambientes Virtuais em Sistemas Híbridos

46 Obrigado Marcus Franco Costa de Alencar