UNIFEI Universidade Federal de Itajubá Engenharia de Software II SIN 2012 Execução do Plano de Avaliação Megaman X Felipe Israel Camargo Pereira 19181 Matheus Rodrigues Silva 19196 Outubro de 2012
1. Introdução Este documento tem o objetivo de demonstrar os resultados obtidos durante a execução da avaliação do software Megaman X, demonstrando todos os dados coletados e realizando algumas análises. 2. Definição dos Participantes a. Quem serão? Os participantes da pesquisa selecionados são jogadores de vídeo games, provenientes de qualquer lugar do planeta, englobando desde jogadores pouco experientes até especialistas no assunto, que já tenham tido contato com o jogo Megaman X. b. Por que Eles? Foi escolhido esse público para englobar o máximo de tipos de jogadores diferentes, para que as opiniões não se tornem tendenciosas c. Amostra ou População? A análise vai ser realizada por amostragem, uma vez que os jogadores ao redor do mundo que já tiveram contato com esse produto ultrapassam a classe dos milhões apenas na sua primeira versão, que nem sequer foi a versão que mais vendeu, tornando assim impossível a obtenção da opinião de toda população de jogadores. d. Aleatória ou Intencional? Foi utilizada uma amostra aleatória, uma vez que foi usado um formulário web, toda e qualquer pessoa poderia responder, garantindo assim uma grande variabilidade nos dados. 3. Realização do Teste Piloto a. Motivação É necessária a realização de um teste piloto para constatar a eficiência do questionário de analise do produto, destacando pontos como: As perguntas estão fáceis de se entender? Há erros nas perguntas? A pergunta da margem a ambiguidades? Tendo destacado estes pontos, analisa-se o questionário novamente e se necessário, realiza-se uma modificação para corrigir os problemas encontrados. b. O teste Três pessoas foram submetidas ao questionário para o teste piloto. Buscou-se utilizar pessoas que fossem compatíveis com o perfil desejado de usuário que seria avaliado, ou seja, jogadores com idades variadas, com conhecimento a respeito do jogo em questão.
c. Os resultados Todos os três elementos que responderam ao questionário constataram que as perguntas são fáceis de se entender e que puderam responder com facilidade a todas elas. Concluiu-se que era desnecessário qualquer tipo de ajuste no formulário. 4. Coleta dos Dados Os dados foram coletados no período de 17 de outubro de 2012 até 20 de outubro de 2012, através de um formulário web disposto na plataforma google docs. Foram coletadas 41 respostas nesse período. O formulário foi divulgado nos seguintes fóruns da internet: Fórum Outerspace Fórum Retrogames Brasil Fórum NintendoBlast Fórum Uol Jogos Onde foi feita uma postagem em áreas estratégicas em cada fórum Fórum Outerspace o Área RestroSpace Como o fórum tem temática gamer em geral, foi publicada na área destinada a jogos antigos/clássicos. Fórum Retrogames Brasil o Área Game Analysis Este fórum já é especializado em jogos antigos, portanto foi postado o formulário na área de analises. Fórum NintendoBlast o Área Retrô Este fórum é especialista em jogos publicados pela Nintendo, que foi a principal distribuidora do jogo, foi postada na área dedicada aos jogos retrô do fórum. Fórum Uol Jogos o Área Museu do Video Game -> Nintendo -> Analises Este é um dos maiores fóruns de vídeo games do Brasil, foi publicado na área especifica de jogos antigos, na subdivisão destinada a produtos Nintendo na parte destinada a analises. Fórum PokeShiny o Área Video Games Este fórum é destinado aos jogos da franquia Pokémon, que é uma das mais famosas da Nintendo, na área de discussões sobre jogos em geral. Fórum PokemonMythology o Área Jogos em Geral
Este é o maior fórum de Pokémon do Brasil, possui uma área exclusiva para discussão sobre jogos eletrônicos que não fossem relacionados à Pokémon. Junto com o link para o formulário, foi colocada uma mensagem explicando a motivação da pesquisa e sua importância. Muitos usuários demonstraram um feedback positivo quanto a pesquisa, se interessando muito por ela, muitas vezes pedindo para que os resultados fossem divulgados posteriormente. 5. Análise dos Dados a. Codificação das Respostas Como foi utilizada a escala de Likert com 5 níveis, variando de discordo completamente à concordo completamente, foram codificadas as respostas da seguinte maneira: 1 = Discordo Totalmente 2 = 3 = 4 = 5 = Concordo Plenamente b. Análise Geral dos Dados i. Respostas Obtidas A tabela a seguir demonstra as respostas obtidas na pesquisa, a tabela apresenta um código de cores que facilita a visualização de áreas problemáticas no produto.. 1. Tabela de Respostas
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4 4 5 5 5 5 5 5 5 5 5 5 5 5 3 5 5 5 5 4 4 4 4 5 5 5 5 5 5 5 5 5 5 5 5 5 3 4 5 5 5 3 5 5 5 5 5 3 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4 5 4 4 5 5 5 5 5 5 5 5 4 5 3 5 5 5 3 4 1 4 4 3 4 5 5 5 5 5 5 5 5 4 5 4 3 5 5 5 4 5 5 4 5 4 5 5 4 5 5 3 3 5 3 5 5 5 5 5 5 5 5 4 4 3 3 2 5 5 5 4 2 2 4 5 4 4 5 5 4 5 5 5 4 5 4 5 5 5 4 5 5 4 3 4 3 5 5 5 4 5 4 4 5 3 5 5 4 4 5 5 5 5 5 5 5 4 5 5 4 4 3 5 5 2 4 5 5 5 5 5 5 2 4 5 5 4 5 5 5 4 4 3 5 4 5 5 5 5 5 3 5 5 4 5 5 4 5 5 4 5 3 4 3 3 4 5 5 5 5 5 5 4 4 5 4 5 5 5 5 5 5 3 3 5 4 5 5 5 5 5 5 5 5 5 5 4 3 5 4 5 5 5 5 4 5 4 5 4 5 5 5 5 5 5 5 3 3 4 4 2 5 5 5 5 5 5 5 5 5 4 5 5 5 5 5 5 5 5 3 2 3 5 5 2 5 5 5 5 2 5 5 3 3 5 5 5 5 5 5 5 5 3 4 3 4 4 5 5 4 4 4 5 4 4 3 4 2 4 2 3 4 3 3 2 2 5 4 5 2 4 4 4 5 5 3 4 4 5 5 5 5 5 5 5 4 4 4 5 5 4 5 5 5 4 5 4 4 4 4 5 5 5 4 4 4 5 5 5 5 5 5 5 5 4 5 5 4 5 5 5 5 5 5 5 5 5 5 5 3 3 4 5 5 5 5 5 5 4 4 3 3 3 3 4 5 5 5 5 4 4 5 4 3 5 5 3 5 5 5 4 3 4 2 2 3 5 5 5 4 3 4 4 5 5 3 4 5 5 5 5 4 4 5 5 4 3 5 5 5 4 5 4 5 4 2 4 4 3 5 5 3 5 5 5 3 4 5 3 4 5 5 5 5 3 5 5 4 5 5 3 3 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 3 3 5 5 5 3 5 3 5 5 5 5 5 5 5 5 5 5 2 3 5 5 5 5 5 5 5 5 5 5 5 5 5 3 3 4 4 5 3 4 5 5 4 3 2 4 5 3 5 5 5 3 4 3 3 3 2 5 5 5 5 5 5 5 5 5 5 4 5 5 5 4 5 5 5 4 5 4 3 5 3 5 5 5 4 3 3 5 5 4 5 5 4 5 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 3 4 4 5 5 4 5 5 5 4 5 4 4 5 5 5 5 5 4 5 2 3 3 4 5 5 5 5 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 4 4 4 4 4 3 4 4 3 4 4 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 3 5 5 5 5 5 5 5 5 3 5 3 3 3 3 5 5 5 5 5 5 5 5 5 4 4 5 5 4 5 4 4 4 3 4 3 5 5 2 5 5 5 5 4 5 5 5 2 5 5 4 4 5 5 5 5 5 5 5 3 5 5 3 5 5 4 5 4 4 2 2 2 5 5 5 4 5 3 5 2 5 5 5 5 5 4 4 3 4 4 3 5 5 5 4 5 5 5 5 5 5 5 5 5 5 5 5 4 3 3 3 3 3 3 4 5 5 5 5 5 5 5 5 4 5 4 4 3 3 4 5 4 5 5 5 3 4 5 4 4 4 3 2 3 3 3 2 4 4 4 5 5 5 5 5 5 3 4 4 5 5 4 5 5 5 5 5 1 5 5 5 5 5 5 4 3 3 5 3 4 5 5 5 5 5 5 5 5 5
5 5 5 5 4 5 5 5 5 4 5 5 5 5 3 5 5 5 5 4 4 5 2 5 5 5 5 5 5 5 5 5 5 4 4 4 5 5 5 4 4 5 5 5 5 5 5 4 5 5 5 4 4 3 2 3 2 5 5 5 5 4 4 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 1 3 2 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 3 1 2 4 5 5 5 5 5 4 4 4 5 5 4 5 4 5 5 5 4 5 5 4 5 5 3 4 5 2 5 5 5 5 5 2 1 1 4 5 5 3 4 4 4 5 5 5 5 5 5 4 5 5 4 5 5 5 4 5 5 5 5 5 5 5 4 3 2 4 4 1 5 5 5 5 4 5 5 4 3 4 4 4 4 5 5 5 5 5 5 4 3 4 4 3 5 5 5 5 4 4 3 4 2 5 5 4 5 5 5 4 4 4 4 5 4 5 5 5 4 5 5 3 3 3 4 5 4 5 5 5 5 5 2 3 4 4 5 5 5 3 3 4 5 5 5 Legenda Atributos de Usabilidade Atributos Voltados para Jogos Opções de Resposta da Escala Adotada 1-3 Uso de Recursos 19-21 Emoção 1 4-6 Apreensibilidade 22-24 Envolvimento 2 7-9 Operacionabilidade 25-27 Satisfação Geral 3 10-12 Design da UI 28-30 Apelo Visual 4 13-15 Adaptabilidade 31-33 Músicas 5 16-18 Prazer
ii. Informações Estatísticas por Pergunta A tabela a seguir mostra informações estatísticas sobre as respostas dadas a cada pergunta do questionário. Média Mínimo Máximo Mediana Desvio Padrão Variância 1 4,075 1 5 4 0,971 0,943 2 4,275 2 5 4,5 0,877 0,769 3 4,55 2 5 5 0,677 0,459 4 4,725 3 5 5 0,554 0,307 5 4,825 3 5 5 0,446 0,199 6 4,625 3 5 5 0,667 0,446 7 4,625 2 5 5 0,705 0,497 8 4,7 2 5 5 0,648 0,421 9 4,725 3 5 5 0,506 0,256 10 4,55 3 5 5 0,677 0,459 11 4,525 2 5 5 0,716 0,512 12 4,225 1 5 5 1,025 1,051 13 4,55 2 5 5 0,783 0,613 14 4,775 2 5 5 0,62 0,384 15 4,125 2 5 5 1,137 1,292 16 4,875 4 5 5 0,335 0,112 17 4,875 2 5 5 0,516 0,266 18 4,85 3 5 5 0,427 0,182 19 4,225 2 5 4 0,862 0,743 20 3,975 1 5 4 1,074 1,153 21 3,7 1 5 4 1,203 1,446 22 3,975 1 5 4 1,097 1,204 23 3,9 1 5 4 1,105 1,221 24 3,9 1 5 4 1,236 1,528 25 4,85 4 5 5 0,362 0,131 26 4,925 4 5 5 0,267 0,071 27 4,625 2 5 5 0,807 0,651 28 4,75 3 5 5 0,494 0,244 29 4,6 3 5 5 0,632 0,4 30 4,75 4 5 5 0,439 0,192 31 4,7 3 5 5 0,648 0,421 32 4,8 3 5 5 0,464 0,215 33 4,6 3 5 5 0,744 0,554 iii. Respostas por cada atributo A seguir, é mostrado a frequência de cada resposta em cada atributo, é mostrado também um gráfico comparativo entre eles. 1. Tabela de Frequências Discordo Concordo Completamente Plenamente Uso de Recursos 1 3 17 37 62 Apreensibilidade 0 0 7 19 94 Operacionabilidade 0 2 4 24 90 Design da UI 1 2 14 30 73 Adaptabilidade 0 7 13 15 85 Prazer 0 1 1 11 107 Emoção 2 9 31 27 51 Envolvimento 3 13 25 28 51 Satisfação Geral 0 2 2 14 102 Gráficos 0 0 4 28 88 Músicas 0 0 11 14 95
2. Gráfico de Frequências iv. Informações Estatísticas por Atributo Nesta seção são mostrados dados estatísticos sobre as respostas dadas nas questões correspondentes a cada atributo.
Média Mediana Desvio Padrão Variância Uso de Recursos 4,3 5 0,866 0,75 Apreensibilidade 4,725 5 0,565 0,319 Operacionabilidade 4,683 5 0,622 0,386 Design da UI 4,433 5 0,827 0,685 Adaptabilidade 4,483 5 0,907 0,823 Prazer 4,867 5 0,429 0,184 Emoção 3,967 4 1,069 1,142 Envolvimento 3,925 4 1,139 1,297 Satisfação Geral 4,8 5 0,544 0,296 Gráficos 4,7 5 0,528 0,279 Músicas 4,7 5 0,63 0,397 v. Dados Descritivos Gerais A tabela abaixo mostra dados gerais sobre a pesquisa. Tabela com Dados Descritivos Gerais Descrição Qtd. Qtd. De Participantes 40 Qtd. De Atributos Considerados 11 Qtd. De Questões por Atributo 3 Qtd. De Respostas por Atributo 120 Qtd. Geral de Respostas 1320 Valor Mínimo 1 Valor Máximo 5 Média 4,508 Mediana 5 Desvio Padrão 0,829 Variância 0,687 vi. Graficos de frequência das por pergunta de cada atributo A seguir serão mostradas a frequências das respostas para cada pergunta, agrupadas pelos atributos as quais pertencem.
1. Uso de Recursos 2. Apreensibilidade Apreensibilidade 6 5 4 0 10 20 30 40
3. Operacionabilidade Operacionabilidade 9 8 7 0 10 20 30 40 4. Design da UI Design da UI 12 11 10 0 10 20 30
5. Adaptabilidade Adaptabilidade 15 14 13 0 10 20 30 40 6. Prazer Prazer 18 17 16 0 10 20 30 40
7. Emoção Emoção 21 20 19 0 5 10 15 20 8. Envolvimento Envolvimento 24 23 22 0 5 10 15 20
9. Satisfação Geral Satisfação Geral 27 26 25 0 10 20 30 40 10. Apelo Visual Apelo Visual 30 29 28 0 10 20 30 40
11. Músicas Músicas 33 32 31 0 10 20 30 40 6. Sistematização dos Resultados Foi concluído acima de tudo que o jogo Megaman X é um jogo de extrema qualidade em todos os seus aspectos. Quanto ao uso de recursos, o jogo apresenta algumas falhas, porém fica constatado que a baixa memória do console em que era executado era a principal causadora dessas falhas, principalmente slowdowns e falhas de áudio. Durante a renderização dos gráficos tudo ocorre bem e geralmente nada acontece fora do que deveria. A apreensibilidade do jogo é muito boa, pois o mesmo conta com comandos simples de se aprender, além de contar com o estágio inicial que foi elaborado com maestria de maneira a fazer com que o jogador se encontre em situação em que é obrigado a utilizar os comandos, porém deixa obstáculos e/ou inimigos que te induzem a descobrir isso sem que alguém precise te dizer e sem ter que fazer muito esforço. As regras são fáceis de se aprender pois são regras padrão de vários jogos, assim como os objetivos, pois o jogo é muito straight forward, direto em frente. Os comandos do jogo estão dispostos no joystick de forma muito cômoda, até hoje o controlador do Super Nintendo é conhecido como um dos mais confortáveis já feito, o personagem sempre responde imediatamente após o acionamento do botão e o personagem é muito simples e fácil de se controlar, tornando a operacionabilidade do jogo muito boa. A interface de usuário é tão simples quanto completa, exatamente como é necessário nesse tipo de jogo, possui um menu direto ao assunto, possui informações suficientes durante o jogo dispostas na tela, tanto informando o necessário, quanto mantendo a tela limpa de informações desnecessárias.
Adaptabilidade é um fator interessante nesse jogo, pois o mesmo agrada tanto novatos quanto veteranos, o primeiro grupo pela dificuldade alta do jogo, o que o torna um bom desafio, já para os veteranos, o jogo te possibilita criar seus próprios objetivos e metas, tornando-o ainda mais desafiador. Todos jogadores demonstraram prazer ao jogar, afirmando que se divertiram, que jogariam novamente e que no geral o jogo é muito prazeroso de se jogar, não possui fatores inconvenientes ou irritantes que hoje em dia são muito comuns em jogos, como personagens que interrompem seu jogo para dar alguma informação inútil ou obvia. A emoção embora tenha sido o item mais variado da pesquisa, ainda apresenta uma nota bem alta, este fator é explicado pelo fato de que o jogo é repleto de ação rápida e dinâmica, há inimigos poderosos que dão muito trabalho para o jogador conseguir vencer, fazendo muitas vezes com que levem para o lado pessoal, incorporando o personagem. Isso já nos leva ao próximo item, o envolvimento com o jogo, que é muito bom principalmente pelas musicas que conseguem muito bem passar a emoção do personagem para o jogador, que sente o dever de jogar até o fim, o jogo tem a capacidade de fazer com que o jogador sinta que é parte da historia, que pode fazer a diferença, que pode acabar com as forças do mal. Todos jogadores demonstram que o jogo é muito satisfatório, afirmando que jogariam novamente, além de que recomendariam o jogo aos amigos e acima de tudo, que sua experiência com o jogo foi muito positiva. O jogo possui bons gráficos, os jogadores afirmam que o visual agrada ao olhar e que consegue demonstrar muito efetivamente os elementos, como inimigos ou obstáculos. Na minha opinião pessoal, o fator de maior apelo do jogo é a trilha sonora, ela consegue perfeitamente o cenário em que o personagem está inserido, como fabricas ou florestas, além dos efeitos sonoros que com certeza estavam sempre a frente de sua época, com efeitos muito realistas. 7. Conclusão O jogo no geral não apresenta deficiências que precisem ser revistas com o objetivo de melhorar sua qualidade. A média geral da avaliação do produto chegou ao valor de 4,508 que em termos matemáticos, pode ser arredondado para 5 caso seja desejada uma aproximação para o inteiro mais próximo. Isso demonstra uma altíssima qualidade do jogo em todos os aspectos.