IV.4 Análise de Dados da Avaliação

Transcrição

1 Melhor e Pior? IV - Avaliação IV.4 Análie de Dado da Avaliação Interactive Sytem Deign, Cap. 0, William Newman Melhor e Pior? Reumo Aula Anterior Avaliação com utilizadore Local (Laboratório, Ambiente de trabalho) Utilizadore Método de avaliação Obervação Interrogação e Entrevita Monitorização fiiológica Vídeo de exemplo de avaliação 3 4 Sumário Ante do Tete (Planear) Tete com utilizadore Fae do Tete Análie do dado por método etatítico Tete t O plano de tete deve er definido ante de começar o tete: Objectivo do tete: O que e pretende atingir? Onde e quando erão o tete? Quanto durará cada eão de tete? Intervalo de Confiança Qual o equipamento neceário? Chi Quadrado Qual o oftware que é neceário para o tete? 5 6

2 Ante do Tete Ante do Tete Qual deve er o etado do itema no início do tete? Que critério erá uado para determinar o fim da execução de uma tarefa correctamente? Qual deve er a carga e tempo de repota do itema? Quem irá conduzir o tete? Quem erão o utilizadore que farão o tete e como o arranjaremo? Quanto utilizadore erão neceário? Que tarefa erão pedida ao utilizadore? Que ajuda (manuai, ajuda online, etc.) etarão diponívei ao utilizador durante o tete? Em que medida e pode ajudar o utilizadore durante o tete? Que dado irão er recolhido e como erão analiado? Qual erá o critério que dirá que a interface é um uceo? 7 8 Tete Piloto Ex. de Protocolo Experimental Nãofazertete emante experimentar o procedimento com ou ujeito piloto Qualquer peoa, não precia de pertencer ao potenciai utilizadore Intruçõe para o tete ão compreenívei? Quetionário? O tempo planeado para cada tarefa é realita? Refinar o procedimento experimental e clarificar aquilo que e vai medir (ex. O que é um erro) 9 0 Fae do Tete Preparação. Preparação Durante a preparação da experiência, o coordenador deve aegurar que:. Introdução 3. Realização do Tete A ala de tete etá pronta O itema etá no etado planeado Todo o material para tete etá diponível 4. Debriefing (intruçõe, quetionário) Preparar tudo ante da chegada do utilizador Deligar creenaver e outro programa que podem interromper (Mn, Skype, , etc.)

3 Introdução O coordenador do tete Dá a boa vinda ao utilizador Explica brevemente o propóito do tete Explica o procedimento do tete Se tiver algum formulário de conentimento (para filmar, fotografar, etc.) deve er apreentado na introdução. Ete deve er curto e uar linguagem imple e aceível ao utilizador Introdução Elemento a Referir O objectivo é avaliar o itema e não o utilizador Utilizador pode falar livremente em medo de ferir uceptibilidade O reultado do tete erão uado para melhorar a interface Explicar e vão gravar audio e vídeo Referir que o utilizador pode fazer a pergunta que quier, ma não durante o tete. Intruçõe epecífica para a experiência a realizar (ex. Penar em voz alta, ou realizar a tarefa tão rápido quanto poível em ajuda) 3 4 Durante a Realização do Tete Medida de Deempenho O coordenador Nãodeve Interagir com o utilizador Fazer comentário Ajudar o utilizador Deve Tomar nota da medida de deempenho Tomar nota do comentário e obervaçõe do utilizador 5 Medida de Uabilidade típica Tempo para completar uma tarefa Nº de tarefa concluída num determinado intervalo de tempo Nº de erro cometido Tempo gato a recuperar de erro Relação entre interacçõe com uceo e erro Nº comando ou funçõe uada pelo utilizador Nº comando ou funçõe que nunca foram uada Nº de funçõe do itema que o utilizador conegue recordar no debriefing Frequência de utilização de manuai ou ajuda Etc. 6 Debriefing Pedir ao utilizador para preencher um quetionário de atifação Ante de qualquer dicuão obre o itema Pedir comentário obre o itema Recebem-e comentário muito diferente Ma, por veze ervem para um novo deenho Coordenador do tete deve (depoi do utilizador air) Garantir que toda a informação recolhida etá identificada com o utilizador Ecrever um pequeno relatório obre a experiência (enquanto tudo etá freco) Relatório Avaliação Relatório contendo: Objectivo Decrição do itema a tetar Breve decrição do ambiente em que e fazem a tarefa Caracterítica do participante Metodologia Tarefa Tete e medida Análie do dado medido 7 8 3

4 Grandeza Etatítica Etatítica Interactive Sytem Deign, Cap. 0, William Newman SQ = X = ( X i X ) gl = N SQ = N = N X i Média Soma do quadrado da diferença Grau de liberdade Variância Devio padrão 0 Exemplo de Tete Significado Variância/Devio Padrão Métrica de deempenho: Execução <=30min Tete com 6 utilizadore Tete dá: 0, 5, 40, 90, 0, 5 Média = 30 Devio padrão = 3 Parece ok!? Errado, nada e pode afirmar Factore que contribuem para a incerteza? Pequeno nº de utilizadore no tete (n=6) Reultado muito variávei (devio padrão =3) Devio padrão = diperão do valor médio (-;6) Tete Etatítico Tete Etatítico Experimentação Controlada -Repondera: B A Solução A melhor que a B? Tendo em conta a ua uabilidade. Exemplo:» Alteração no tipo de menu (PullDown v Pie)» Caligráfico v Menu Solução cumpre o objectivo? O noo objectivo de uabilidade ão atingido Procedimento Ecolha da população ignificativa Público alvo Formulação da hipótee nula (H 0 ) Realização do tete Recolher o dado Concluão Analiar o reultado Aplicar tratamento etatítico 3 4 4

5 Hipótee Nula e Grau de Confiança Comparar dua Alternativa Hipótee H 0 Hipótee Nula Diz o contrário do que pretendemo Ex. A mudança de menu não afecta o deempenho Hipótee H - Hipótee experimental Diz o que queremo verificar Ex. O novo menu melhoram o deempenho Objectivo: rejeitar H 0 e aceitar H Demontramo que H 0 éfala para um determinado α (valor típico 0,05) Experiência entre grupo Doi grupo de tete Cada grupo ua apena um do itema Experiência Intragrupo Um grupo de utilizadore Cada peoa ua ambo o itema Não podem uar a mema tarefa ou pela mema ordem (aprendizagem) Melhor para técnica de interacção báica Entre grupo requer muito mai participante Ver e a diferença ão etatiticamente ignificativa Aume ditribuição normal & memo devio padrão 5 6 Comparar amotra Tete de t Tabela de t Objectivo : qual da dua é melhor Variância combinada Devio padrão da diferença Valor det Se t > th 0 (da tabela) ed ( SQ + SQ ) = N + N = + N N X X t = ed então H 0 é fala (para α) 7 8 Bicaudal e Unicaudal Exemplo: Tete de t - Bilheteira Amotra Amotra Objectivo: Comparar Bilheteira com Máquina Hipótee nula: a forma de aquiição do bilhete não tem influência no tempo da tarefa Medida bilheteira: 8, 5, 3, 6, 30, 3 egundo máquina: 3, 4, 37, 40, 30 egundo Média bilheteira: 9 máquina:

6 Tete de t - Bilheteira Tete de t - Bilheteira Contata-e que: a dua amotra têm uma probabilidade de (apena) 3,6% de erem a mema amotra Rejeita-e H 0, poi < 0.05 (ignificância p) Concluão A compra de bilhete em máquina é 4% (36/9) mai lenta com uma probabilidade de 96,4% 3 3 Intervalo de Confiança Intervalo de Confiança Tetar uma amotra contra um valor limite Intervalo de confiança extremo entre o quai toda uma população etá compreendida com uma dada probabilidade Exemplo uma operação não deve demorar mai do que 5 -> intervalo totalmente abaixo de 5 Evitar ete Intervalo de Confiança Intervalo de Confiança (Ex.) Calcular variância (S ) Devio padrão da média Determinar t unicaudal para a = S probabilidade pretendida e grau de liberdade da amotra O intervalo etará compreendido entre X X min max = X = X + ( t ) p, gl ( t ) p, gl em / N em em 35 Métrica: Nº de Erro Objectivo: nº erro <= 5 Devio padrão da média: em = 9,67 / 4 =,55 H 0 Nº de erro uperior a 5 Para p=0,05 t=,355 (da tabela) Intervalo x min = 9,5 -,355 x,55 = 5,85 x max = 9,5 +,355 x,55 = 3,5 Intervalo abaixo de 5 Rejeitar H 0 => Nº erro inferior a 5 c/ 95% de certeza Amotra: 3, 6, 8, Média: 9,5 Variância: 9,

7 Tete do Chi Quadrado Dado correpondente a uma ou mai categoria Ex: determinar preferência entre vária opçõe de ecolha Procedimento: cálculo da diferença entre a frequência obervada e a eperada χ ( f f ) = o f e e Tete do Chi Quadrado (Exemplo) Qual a opção preferida de entre a 3? H 0 Preferência igual pela 3 30 utilizadore Opção A B C f eperada f obervada Quad. Da Diferença Grau de liberdade: N=3-= Da tabela obtemo 5,99 para p=0,05 Rejeita-e a hipótee nula (5.99 < 6.) Diferença / f eperada,5 3,6 0, χ = Tabela do chi Quadrado Chi Quadrado no Excel < > Rejeitar H Ecolha de método ou algoritmo? Reumo Toda a funçõe etatítica etão diponívei em biblioteca: Matlab, SPSS, ou memo Excel O tete mai concluivo devem er realizado com utilizadore reai O tete devem er planeado e aprovado previamente Devem er recolhido dado qualitativo e quantitativo Aim o que é precio é aber Dado numérico ó ão concluivo e validado por tete etatítico ecolher o método mai apropriado Ecolhido o método etatítico adequado Uar a ferramenta exitente 4 4 7

8 Próxima Aula Documentação e Ajuda Importância, caracterítica e guia de etilo do manuai Manuai convencionai Princípio e guia para manuai Ajuda Interactiva Ler: HCI, Cap., Alan Dix 43 8