UMA METODOLOGIA PARA AVALIAÇÃO DA QUALIDADE DE SOFTWARES DE GESTÃO DE PROJETOS BASEADA NA NORMA ISO/IEC 9126 E NO MÉTODO AHP

UMA METODOLOGIA PARA AVALIAÇÃO DA QUALIDADE DE SOFTWARES DE GESTÃO DE PROJETOS BASEADA NA NORMA ISO/IEC 9126 E NO MÉTODO AHP MATHEUS HENRIQUE BARTOLOMEU MARQUES MORAIS - matheusgxpmorais@gmail.com CENTRO UNIVERSITÁRIO DA FUNDAÇÃO EDUCACIONAL GUAXUPÉ - UNIFEG FRANCISCO RODRIGUES LIMA JUNIOR - eng.franciscojunior@gmail.com UNIVERSIDADE DE SÃO PAULO - USP - SÃO CARLOS Resumo: DIANTE DO ATUAL CENÁRIO COMPETITIVO GLOBAL, AS ORGANIZAÇÕES TENDEM A BUSCAR O APRIMORAMENTO DOS FATORES QUE INFLUENCIAM NA CONDUÇÃO E NO SUCESSO DE SEUS PROJETOS. O USO DE UM SOFTWARE DE GESTÃO DE PROJETOS ADEQUADO AOS REQUISITOS DA EQUIPE E DO GERENTE DE PROJETOS É FUNDAMENTAL PARA GARANTIR RESULTADOS SATISFATÓRIOS. NESTE CONTEXTO, ESTE ESTUDO PROPÕE UMA METODOLOGIA PARA APOIAR A AVALIAÇÃO DA QUALIDADE DE SOFTWARES DE GESTÃO DE PROJETOS BASEADA NOS CRITÉRIOS E SUBCRITÉRIOS DA NORMA ISO/IEC 9126. O MÉTODO AHP É UTILIZADO PARA AVALIAR OS PESOS DOS CRITÉRIOS E DOS SUBCRITÉRIOS ADOTADOS. A METODOLOGIA PROPOSTA FOI APLICADA EM UM CASO ILUSTRATIVO PARA SELECIONAR O SOFTWARE MAIS ADEQUADO AOS REQUISITOS DE TRÊS TOMADORES DE DECISÃO. FORAM AVALIADOS OS SOFTWARES BASECAMP, MS PROJECT E PRIMAVERA, SENDO QUE O PRIMAVERA SE MOSTROU O MAIS ADEQUADO. A METODOLOGIA PROPOSTA PODE SER USADA PARA AVALIAR ALTERNATIVAS DE SOFTWARE DISPONÍVEIS NO MERCADO DURANTE A COMPRA DE UM NOVO PRODUTO, BEM COMO PARA AVALIAR O NÍVEL DE ADEQUAÇÃO DE SOFTWARES QUE JÁ ESTÃO EM USO E IDENTIFICAR OS ASPECTOS QUE PRECISAM SER MELHORADOS. Palavras-chaves: GESTÃO DE PROJETOS; QUALIDADE DE SOFTWARE; ISO/IEC 9126; MÉTODO AHP. Área: 8 - GESTÃO DO CONHECIMENTO ORGANIZACIONAL Sub-Área: 8.4 - GESTÃO DE PROJETOS

A METHODOLOGY FOR QUALITY EVALUATION OF PROJECT MANAGEMENT SOFTWARE BASED ON ISO / IEC 9126 AND AHP METHOD Abstract: IN TODAY S COMPETITIVE ENVIRONMENT, ORGANIZATIONS ARE SEEKING THE IMPROVEMENT OF FACTORS INFLUENCING THE SUCCESS OF THEIR PROJECTS. THE ADOPTION OF PROJECT MANAGEMENT SOFTWARE SUITABLE TO ORGANIZATIONAL REQUIREMENTS IS ESSENTIAL TO ENSURE SSATISFACTORY RESULTS. IN THIS CONTEXT, THIS STUDY PROPOSES A METHODOLOGY TO AID THE EVALUATION OF QUALITY OF PROJECT MANAGEMENT SOFTWARE, WHICH IS BASED ON THE CRITERIA AND SUB-CRITERIA OF ISO/IEC 9126. THE AHP METHOD IS USED TO WEIGHTING THE CRITERIA AND SUB-CRITERIA. THE PROPOSED METHODOLOGY WAS APPLIED IN AN ILLUSTRATIVE CASE IN A COMPANY TO SELECT THE MOST SUITABLE. THE SOFTWARES BASECAMP, MS PROJECT AND PRIMAVERA WERE EVALUATED. PRIMAVERA WAS SELECTED SINCE IT WAS THE MOST SUITABLE. THE PROPOSED METHODOLOGY CAN BE ADOPTED TO EVALUATE THE SOFTWARE ALTERNATIVES AVAILABLE ON THE MARKET FOR THE PURCHASE OF NEW SOFTWARE AS WELL AS TO ASSESS THE ADEQUACY OF USE. Keyword: PROJECT MANAGEMENT; QUALITY OF SOFTWARE; ISO/IEC 9126; AHP METHOD. 3

1. Introdução Em organizações empresariais, a realização de projetos busca produzir resultados únicos a fim de atender a objetivos traçados, dentro de certas restrições de recursos e pressões relacionados a prazo, custo e qualidade. De acordo com a ISO 10006 (ABNT, 2000), um projeto pode ser entendido como um processo único, que consiste de um conjunto coordenado de atividades, com data para início e término, visando alcançar um objetivo conforme requisitos especificados. O gerenciamento de projetos tem se tornado uma competência estratégica para as organizações, uma vez que promove a aplicação de conhecimentos, habilidades e técnicas de execução que permitem alcançar os objetivos do negócio e satisfazer os stakeholders do projeto (GASNIER, 2000). Há uma série de softwares voltados para o apoio ao gerenciamento de projetos, os quais são chamados genericamente de sistemas de informação de gestão de projetos - Project Management Information System, ou PMIS. Esses softwares facilitam a aplicação de técnicas de controle, o gerenciamento de tempo e de recursos humanos e financeiros do projeto. Alguns exemplos são os softwares Microsoft Project, GP Web, Runrun, Basecamp, Zoho Projects, Pivoltracker, Artia, Smartsheet, DotProject, Primavera, Open WorkBench, entre outros. Devido à variedade de alternativas existentes, é necessário que as empresas estabeleçam seus próprios requisitos a fim de avaliar a adequação das opções disponíveis no mercado e escolher a mais apropriada (LIMA JUNIOR; FONDAZZI, 2010). A escolha de um software de gerenciamento de projetos é uma tarefa desafiadora, uma vez que requer uma análise ampla devido à quantidade de requisitos envolvidos. Tais requisitos devem refletir o que a empresa desejam obter de informação em relação aos projetos, garantindo também que as funcionalidades do software atendam às necessidades da empresa e da equipe do projeto. Neste sentido, deve-se optar por uma solução que possua os recursos necessários ao acompanhamento dos projetos, levando em conta aspectos como o orçamento disponível e a complexidade dos projetos (BELKE, 2015). Para apoiar a escolha do produto mais adequado, este estudo propõe uma metodologia de avaliação da qualidade de softwares de gerenciamento de projetos. A abordagem proposta utiliza critérios e subcritérios de avaliação provenientes da norma ISO/IEC 9126. Tais critérios e subcritérios são ponderados utilizando o método AHP (Analytic Hierarchy Process). Uma aplicação piloto do modelo foi realizada utilizando os julgamentos de um grupo de tomadores de decisão. Quanto à estrutura do artigo, a Seção 2 descreve os procedimentos metodológicos utilizados. A Seção 3 apresenta uma revisão bibliográfica sobre gestão de projetos, avaliação 4

da qualidade de softwares e sobre o método AHP. A Seção 4 apresenta a metodologia proposta e detalha a aplicação realizada. Finalmente, a Seção 5 apresenta as conclusões deste estudo e sugestões para pesquisas futuras. 2. Procedimentos Metodológicos Esta pesquisa está dividida em três etapas: Pesquisa bibliográfica: esta etapa consistiu no estudo de livros e artigos sobre conceitos e técnicas de gestão de projetos, softwares PMIS, normas de avaliação da qualidade de software e método AHP. Por meio desta, foi possível identificar requisitos de softwares PMIS e adquirir embasamento para apoiar o desenvolvimento e a aplicação da metodologia de avaliação da qualidade de softwares de gestão de projetos. Pesquisa de campo: esta etapa envolveu a coleta de dados junto a especialistas de uma empresa. Os três especialistas apontaram os critérios e subcritérios mais relevantes para avaliação de softwares PMIS conforme seus requisitos. A importância relativa desses critérios e subcritérios também foi avaliada. Modelagem e simulação: um modelo baseado no AHP foi construído usando o software Expert Choice. O modelo foi alimentado usando os julgamentos coletados para calcular os valores dos pesos dos critérios e dos subcritérios. Os valores resultantes foram usados para calcular o desempenho final dos softwares por meio do MS Excel. Embora esta pesquisa envolva simulação, esta pode ser melhor caracterizada como uma pesquisa-ação. Segundo Thiollent (1997), a pesquisa-ação é um tipo de pesquisa com base empírica que é realizada em estreita associação com uma ação ou com a resolução de um problema coletivo, na qual os pesquisadores e participantes representativos do problema estão envolvidos de modo cooperativo. Um dos autores deste estudo atuou junto aos funcionários da empresa na aplicação da metodologia proposta, apoiando a seleção dos critérios, subcritérios e atributos, bem como a avaliação dos pesos e do desempenho dos softwares. 3. Revisão Bibliográfica 3.1 Gestão De Projetos A gestão (ou gerenciamento) de projetos é definida pelo Professional Management Institute como a aplicação de conhecimentos, habilidades, ferramentas e técnicas às atividades de um projeto. Sua finalidade é atender às nove áreas do conhecimento de gerenciamento de projetos: gerenciamento do escopo, gerenciamento do tempo, gerenciamento do custo, gerenciamento da qualidade, gerenciamento da comunicação, gerenciamento de recursos 5

humanos, gerenciamento de aquisições, gerenciamento de riscos e gerenciamento da integração (PMBOK, 2008). Dentre os vários benefícios gerados pelas práticas de gestão de projetos, destacam-se o desenvolvimento de diferenciais competitivos, a antecipação a situações desfavoráveis, a adaptação ao mercado consumidor, o orçamento antes do início dos gastos, a agilidade nas decisões, o aumento do controle gerencial e a possibilidade de utilização de pessoas, documentações e facilidades em projetos futuros (VARGAS, 2005). Um fator que pode contribuir para o sucesso de um projeto é a adoção de um software de apoio adequado. A utilização de um software de gestão de projetos adequado propicia melhorias no sequenciamento das atividades e distribuição de recursos e custos, na correta identificação e decomposição do escopo, nas avaliações dos riscos envolvidos, no compartilhamento de informações e na colaboração entre a equipe de trabalho, na compreensão e solução do cronograma, na obtenção de informações em tempo real e na medição de resultados (LIMA JUNIOR; FONDAZZI, 2010). Dependendo da complexidade e do porte do projeto, muitos requisitos podem ser requeridos do software. Alguns requisitos básicos se referem à capacidade de gerenciar recursos humanos, físicos e financeiros, utilizar indicadores de desempenho, gerar relatórios, dar suporte ao funcionamento multiusuário, permitir o compartilhamento de arquivos e a troca de informações entre a equipe e operacionalizar técnicas básicas de gestão de projetos, como gráfico de Gantt e rede PERT (LIMA JUNIOR; FONDAZZI, 2010). Para extrair melhor os benefícios dos softwares de gestão de projetos, Schiff (2015) recomenda ações como analisar as necessidades dos usuários, verificar a facilidade de utilização, verificar a escalabilidade do software, escutar sugestões dos colaboradores, verificar a integração do software com outros aplicativos, treinar os colaboradores e ter um responsável para acompanhamento em tempo real. Além disso, modelos de avaliação da qualidade de softwares podem ser adotados para avaliar a adequação aos requisitos dos usuários e identificar pontos que requerem melhorias. 3.2 Normas ISO/IEC para Avaliação da Qualidade de Softwares Para apoiar a escolha dos critérios de avaliação da qualidade de software e o processo de avaliação em si, as normas ISO/IEC 14598 e ISO/IEC 9126 podem ser adotadas. A ISO 14598, denominada Avaliação de Produto de Software, pode ser utilizada na avaliação da qualidade de quaisquer softwares. O propósito da avaliação é apoiar diretamente o desenvolvimento e a aquisição de um software que atenda às necessidades de clientes e usuários. De acordo com essa norma, a avaliação da qualidade de software deve ser objetiva, imparcial, repetível e reprodutível (ABNT, 2001). 6

Já a norma ISO/IEC 9126, intitulada Qualidade do Produto, pode ser usada para orientar a seleção dos requisitos funcionais e não funcionais do cliente e do usuário. A ISO/IEC 9126 descreve um conjunto de seis características desejáveis à qualidade de um de software: funcionalidade (capacidade de prover funções que atendam às necessidades); confiabilidade (capacidade de manter um nível de desempenho especificado); usabilidade (capacidade de ser compreendido, aprendido, operado e atraente ao usuário); eficiência (capacidade de apresentar desempenho apropriado, relativo à quantidade de recursos usados) manutenibilidade (capacidade de ser modificado) e portabilidade (capacidade de ser transferido de um ambiente para outro). Conforme mostra o Quadro 1, essas características são desdobradas em subcaracterísticas da qualidade (ABNT, 2003; JUNG, 2007). Característica Subcaracterística Definição da subcaracterística Inteligibilidade Capacidade de possibilitar um usuário compreender se o software é apropriado e como ele pode ser usado para tarefas e condições de uso específicas. Usabilidade Apreensibilidade Capacidade de possibilitar ao usuário entender a sua aplicação. Operacionalidade Capacidade de propiciar ao usuário operá-lo e controlá-lo. Atratividade Capacidade de ser atrativo ao usuário. Adequação Capacidade de prover um conjunto apropriado de funções para tarefas e objetivos do usuário especificados. Acurácia Capacidade de prover, com o grau de precisão necessário, resultados ou efeitos correto. Funcionalidade Capacidade de interagir com um ou mais sistemas especificados Interoperabilidade (compatibilidade). Capacidade de proteger informações e dados, de forma que Segurança de acesso pessoas não-autorizadas não possam lê-los ou modificá-los e que não seja negado o acesso às pessoas ou sistemas autorizados. Maturidade Capacidade de evitar falhas decorrentes de defeitos no software. Capacidade de garantir um nível de desempenho especificado em Tolerância a falhas caso de defeitos no software ou de violação de sua interface Confiabilidade especificada. Capacidade de restabelecer seu nível de desempenho Recuperabilidade especificado e recuperar os dados diretamente afetados no caso de uma falha. Comportamento em Capacidade de fornecer tempos de resposta e processamento Eficiência relação ao tempo apropriados quando o software executa suas funções. Utilização de Capacidade de usar tipos e quantidades apropriados de recursos recursos enquanto o software executa sob condições apropriadas. Analisabilidade Capacidade de permitir o diagnóstico de deficiências ou causas de falhas no software. Modificabilidade Capacidade de permitir que uma modificação seja implementada. Manutenibilidade Capacidade de evitar efeitos inesperados decorrentes de tais Estabilidade modificações. Testabilidade Capacidade de permitir ser avaliado quando modificado. Capacidade de ser adaptado para ambientes especificados sem a Adaptabilidade necessidade de aplicação de outras ações ou meios além daqueles fornecidos para essa finalidade pelo software considerado. Portabilidade Capacidade de ser instalado Capacidade de ser instalado em um ambiente especificado. É importante por afetar a operacionalidade e a adequação. Coexistência Capacidade de coexistir com outros produtos de softwares independentes, em um ambiente comum e compartilhando 7

recursos comuns. Capacidade de ser usado em substituição a outro produto de Capacidade para software especificado, com o mesmo propósito e no mesmo substituir ambiente. QUADRO 1 Características e subcaracterísticas da qualidade de software. Fonte: ABNT (2003). Conforme apontam Lima Junior et al. (2012), a forma como as subcaracterísticas da qualidade são definidas pela ISO/IEC 9126 não permite sua medição direta, devido à subjetividade de interpretação e medição destas. Neste sentido, é necessário definir requisitos objetivos que sirvam como atributos de medição, e relacioná-los a cada subcaracterística da qualidade. O Quadro 2 exemplifica o desdobramento de uma subcaracterística da qualidade em atributos objetivos, definidos a partir dos requisitos dos usuários e do contexto de uso. Característica Subcaracterística Atributo de medição Funcionalidade Adequação O software provê agendamento de tarefas? Possui gráfico de Gantt? Possui redes de atividades? Permite o gerenciamento da estrutura organizacional? QUADRO 2 Desdobramento de uma subcaracterística em atributos. Fonte: Lima Junior et al. (2012) A avaliação de um software usando todas as características e subcaracterísticas da norma ISO/IEC 9126 pode se tornar inviável devido à grande quantidade de tempo desprendida para avaliação. Desta forma, tais características e subcaracterísticas devem servir de referência para a criação de métodos de avaliação adequados ao tempo, recursos humanos e informações disponíveis (JUNG, 2007). Vários autores vêm propondo métodos para avaliação da qualidade voltados para aplicações específicas com base na ISO/IEC 9126. Lima Junior et al. (2012) propuseram um método para avaliação de softwares de apoio à tomada de decisão. Já Lima Junior e Fondazzi (2010) propuseram um método para avaliação de softwares de gestão de projetos. Uma limitação desse estudo é que não é possível considerar o peso dos critérios. Como os requisitos dos usuários variam de acordo com o contexto de uso, é muito importante atribuir níveis de importância diferentes para os critérios e subcritérios de avaliação. Para apoiar essa avaliação, o método AHP pode ser utilizado. 3.3 O Método AHP O método AHP (Analytic Hierarchy Process) é um dos métodos de apoio à tomada de decisão multicritério mais utilizados no mundo. O AHP é capaz de lidar com aspectos qualitativos e quantitativos na tomada da decisão e facilitar a análise, compreensão e avaliação do problema por meio de sua estruturação em níveis hierárquicos. Para sua aplicação, estrutura-se uma hierarquia de três níveis, em que o primeiro nível representa o objetivo do problema, o segundo define os critérios de decisão e o terceiro identifica as alternativas. De acordo com a necessidade do problema a ser resolvido, pode haver mais 8

níveis na hierarquia, devido, por exemplo, à inclusão de subcritérios (SAATY, 1980; GOMES et al., 2004). Na estrutura hierárquica do AHP, os elementos de um mesmo nível devem ser comparados par a par por meio de julgamentos de especialistas no domínio de problema abordado (GOMES et al., 2004). A escala mostrada no Quadro 3 é usada para avaliar o peso dos critérios e dos subcritérios, bem como o desempenho das alternativas. 1/9 1/7 1/5 1/3 1 3 5 7 9 Extremamente Bastante Muito Pouco Igual Pouco Muito Bastante Extremamente...menos importante importância...mais importante QUADRO 3 Escala usada para comparação dos elementos do problema no método AHP. Fonte: Saaty (1980) Embora o AHP ajude a entender melhor o problema, este não elimina a necessidade do apoio de especialistas que forneçam informações baseadas na experiência, intuição e / ou em dados físicos. O fato de este método ser capaz de lidar com avaliação de fatores qualitativos e subjetivos com base na opinião de especialistas contribui para que o mesmo seja de grande valor no apoio à avaliação do nível de importância das características e subcaracterísticas da qualidade de software pelos clientes e usuários do sistema (LIMA JUNIOR et al., 2012). 4. Metodologia Proposta para Avaliação de Softwares de Gestão de Projetos A metodologia proposta por este estudo para apoiar a avaliação da qualidade de softwares de gestão de projetos é baseada nos critérios da norma ISO/IEC 9126 e no AHP. A metodologia proposta pode ser usada para avaliar opções de software disponíveis no mercado durante a compra de um novo produto, bem como para avaliar o nível de adequação dos softwares que já estão em uso por uma empresa e identificar os aspectos que precisam ser melhorados. Conforme mostra a Figura 1, a abordagem proposta é composta por três etapas principais. Na etapa 1, deve-se formar um grupo de funcionários da empresa, atuantes em áreas relacionadas à gestão de projetos, para atuar como tomadores de decisão. Esses tomadores de decisão devem escolher as características (critérios) e as respectivas subcaracterísticas (subcritérios) de avaliação da qualidade da norma ISO/IEC 9126 que melhor correspondem às necessidades da empresa. Em seguida, deve-se coletar os julgamentos dos tomadores de decisão em relação aos níveis de importância dos critérios e dos subcritérios de forma comparativa, usando a escala de julgamentos mostrada no Quadro 3. Após a coleta dos julgamentos, é necessário avaliar o índice de inconsistência de cada uma das matrizes de julgamentos comparativos conforme os procedimentos propostos por Saaty (1980). Os julgamentos que apresentarem índice de inconsistência maior que 0,1 devem ser revistos. Caso todas as matrizes estejam consistentes, devem-se agregar os julgamentos fornecidos pelos diferentes tomadores de decisão por meio do cálculo da média entre eles. Os 9

valores dos pesos de cada critério e subcritério devem ser calculados usando o método AHP (SAATY, 1980). Para isso, pode-se usar softwares de tomada de decisão baseados no AHP ou implementar os cálculos usando um software de planilhas eletrônicas. FIGURA 1 Metodologia proposta para apoiar a avaliação da qualidade de softwares de gestão de projetos Na etapa 2, definem-se os softwares a serem avaliados de acordo com o objetivo do processo de avaliação (compra de novo produto ou avaliação de softwares em uso). Após isso, os tomadores de decisão devem determinar um ou mais atributos de avaliação para cada critério. Tais atributos devem ser desdobrados a partir dos requisitos funcionais (o que o software deve fazer) e não funcionais (como deve fazer) dos tomadores de decisão, usuários e stakeholders. Posteriormente, os softwares devem ser avaliados de forma objetiva pelos tomadores de decisão ou por um analista de suporte. Durante o processo de avaliação, manuais, arquivos de ajuda e outros materiais de apoio devem ser consultados. Finalmente, na etapa 3, o objetivo é o cálculo do desempenho final de cada software. Para isso, para cada software avaliado (i), primeiramente deve-se calcular o percentual de atributos atendidos em cada subcritério (x ij ). Conforme representa a equação 1, o desempenho final de uma alternativa (D i ) é dado pela média ponderada entre o peso dos subcritérios (w j ) e a pontuação de cada alternativa em relação a cada subcritério (x ij ). Após o cálculo do desempenho final, ordenam-se as alternativas de forma decrescente de acordo com a pontuação alcançada. Visando demonstrar a aplicabilidade da abordagem proposta, um caso ilustrativo é apresentado a seguir. 10

Tomado r de decisão 3 Tomador de decisão 2 Tomador de decisão 1 XXII SIMPÓSIO DE ENGENHARIA DE PRODUÇÃO = (1) 4.1 Aplicação Uma empresa necessita adquirir um software de apoio à gestão de projetos. Três funcionários (um desenvolvedor de sistemas e dois gerentes de projetos) formaram um comitê para avaliar algumas das opções disponíveis no mercado e decidir qual delas atende melhor aos seus requisitos. A partir da análise de uma lista com os critérios e subcritérios da norma ISO/IEC 9126, os tomadores de decisão selecionaram o conjunto mostrado no Quadro 4. Critérios Subcritérios Funcionalidade (C 1 ) Adequação (SC 1 ), acurácia (SC 2 ), interoperabilidade (SC 3 ) e segurança (SC 4 ) Confiabilidade (C 2 ) Recuperabilidade (SC 5 ) Usabilidade (C 3 ) Inteligibilidade (SC 6 ), operacionalidade (SC 7 ) e atratividade (SC 8 ) Eficiência (C 4 ) Utilização de recursos (SC 9 ) Portabilidade (C 5 ) Adaptabilidade (SC 10 ) QUADRO 4 Critérios e subcritérios escolhidos para avaliação de softwares Para definir o peso entre os critérios e subcritérios, foram coletados julgamentos dos tomadores de decisão usando a escala de valores do Quadro 3. A Tabela 1 apresenta somente os julgamentos relativos aos pesos dos critérios. Os julgamentos referentes aos subcritérios foram omitidos devido à limitação de espaço do artigo. Usando o software Expert Choice, o índice de inconsistência (IC) foi calculado para todas as matrizes de julgamentos. Todos os valores obtidos são menores que 0,1 o que atesta a consistência dos julgamentos coletados. Os julgamentos coletados foram inseridos no Expert Choice para assim combiná-los usando média geométrica e calcular o peso dos critérios e dos subcritérios de avaliação. O peso calculado para os critérios C 1, C 2, C 3, C 4 e C 5 foi, respectivamente, 0,490; 0,204; 0,135; 0,119; 0,052. Os pesos dos subcritérios são mostrados na Tabela 2. TABELA 1 Valores dos julgamentos dos tomadores de decisão em relação aos pesos dos critérios IC = 0,10 C 1 C 2 C 3 C 4 C 5 C 1-5 7 9 9 C 2 - - 5 5 9 C 3 - - - 3 3 C 4 - - - - 3 C 5 - - - - - IC = 0,08 C 1 C 2 C 3 C 4 C 5 C 1-9 3 7 9 C 2 - - 1/3 1 1 C 3 - - - 7 1 C 4 - - - - 1/3 C 5 - - - - - IC = 0,07 C 1 C 2 C 3 C 4 C 5 C 1-1 3 1/3 7 C 2 - - 5 1 9 C 3 - - - 1/5 7 11

Julgamentos combinados XXII SIMPÓSIO DE ENGENHARIA DE PRODUÇÃO C 4 - - - - 9 C 5 - - - - - IC = 0,03 C 1 C 2 C 3 C 4 C 5 C 1-3,55689 3,97906 2,75892 8,27677 C 2 - - 2,0274 1,70998 4,32675 C 3 - - - 1,61343 2,75892 C 4 - - - - 2,08008 C 5 - - - - - Após a escolha e ponderação dos critérios e subcritérios, os tomadores de decisão escolheram três alternativas de software de gestão de projetos: o Microsoft Project Server (MS) versão 2013, a versão gratuita do Basecamp (B) e o Primavera P6 Project Management (P) versão 7. O Microsoft Project é um dos softwares pagos mais populares do mercado. O Basecamp é um software distribuído pela empresa 37Signals que possui duas versões diferentes de distribuição, sendo uma gratuita e outra paga. O software Primavera se destaca por permitir que vários usuários trabalhem em um único projeto ao mesmo tempo. A partir de discussões entre os tomadores de decisão e da análise da lista de atributos apresentada em Lima Junior e Fondazzi (2010), os atributos de avaliação foram definidos e associados a cada subcritério, conforme mostra o Quadro 5. Com o suporte de um dos autores desta pesquisa, os tomadores de decisão avaliaram o desempenho dos softwares em relação aos atributos escolhidos, baseando-se na documentação oficial dos produtos e fazendo simulações de uso. O Quadro 5 também apresenta o resultado da avaliação dos três produtos. Após a conclusão da avaliação, o percentual de requisitos atendidos por cada produto e os pesos dos subcritérios foram usados para calcular o desempenho final de cada software. Conforme mostra a Tabela 2, o MS Project e o Primavera são os mais adequados para apoiar o gerenciamento de projetos da empresa, uma vez que obtiveram o mesmo desempenho final (2,2560). Dentre os 30 requisitos avaliados, ambos os softwares atenderam a 29 requisitos, o que é um excelente desempenho. Em contrapartida, o Basecamp se mostrou uma alternativa razoável, já que atendeu a apenas 16 requisitos e teve desempenho final de 1,2636. Como o desempenho do MS Project e do Primavera é igual, algumas pequenas diferenças foram consideradas pelos tomadores de decisão para chegar à escolha final. O MS Project tem boa compatibilidade com outros produtos da empresa Microsoft. Além disso, este é de fácil utilização devido à interface intuitiva, exigindo menos treinamento para sua operacionalização. Em relação ao Primavera, o mesmo possui um custo de implantação menor e tem algumas funcionalidades que o favorecem em relação ao MS Project, tais como permitir que vários usuários trabalhem em um único projeto ao mesmo tempo e uso de uma quantidade não limitada de linhas de base. Diante disso, optou-se pela escolha do Primavera. 12

Subcaracterística da qualidade Adequação (SC 1 ) Acurácia (SC 2 ) Interoperabilidade (SC 3 ) Segurança (SC 4 ) Recuperabilidade (SC 5 ) Atributos (requisitos) B MS P O software permite o cadastro de instituições (como clientes, fornecedores e stakeholders)? O software permite a criação de lista de tarefas? O software permite a priorização de tarefas? Não Sim Sim O software realiza a codificação de tarefas automaticamente? Não Sim Sim O software permite o sequenciamento das atividades por meio de relação de dependência? Não Sim Sim O software permite a organização das tarefas em níveis diferentes? O software dispõe de calendários onde possam ser visualizadas as datas importantes do projeto? O software permite a criação de linha de tempo (timeline)? Não Sim Sim O software permite a criação de gráfico de Gantt? Não Sim Sim O software possui indicadores de desempenho sobre os custos estimados e realizados? Não Sim Sim O software possui indicadores de desempenho sobre os níveis de produtividade da equipe? Não Sim Sim O software possibilita o gerenciamento da utilização de recursos para nivelar o esforço? Não Sim Sim O software emite relatórios para análise de desempenho do projeto? Não Sim Sim O software permite a troca de informações entre a equipe do projeto? O software permite upload e download de documentos referentes às tarefas e projetos? É possível escolher o idioma usado nos menus do software? O software possibilita o cálculo da utilização de recursos financeiros? Não Sim Sim O software calcula datas de início e término com base nas datas das tarefas filhas? O software possibilita a interação com outros sistemas, permitindo importar e exportar dados? O software permite a definição de níveis de acesso diferentes para os usuários? O software possibilita o uso de senha de acesso para cada usuário? O software permite a recuperação de dados em caso de falha? Não Sim Sim O software exibe o nome dos ícones dos menus, facilitando a compreensão dos usuários? Inteligibilidade É possível customizar a exibição dos elementos da interface (SC 6 ) Não Sim Sim gráfica? O software apresenta tutorial que auxilia o usuário? O software permite trabalhar off-line? Não Sim Sim Operacionalidade O software possui atalhos das principais funcionalidades no (SC 7 ) menu principal? Atratividade (SC 8 ) O software possui serviço de suporte técnico ao usuário? Não Sim Sim Utilização de O software utiliza menos memória RAM que a média dentre os Sim Não Não recursos (SC 9 ) softwares avaliados? Adaptabilidade O software pode ser acessado por meio de dispositivos (SC 10 ) alternativos (tablet ou celular)? QUADRO 5 Atributos de softwares de gestão de projetos selecionados conforme os requisitos dos tomadores de decisão

TABELA 2 Peso dos subcritérios, percentual de atributos atendidos e desempenho final de cada software Critérios Subcritérios Peso dos Percentual de requisitos atendidos subcritérios B MS P C 1 SC 1 0,4700 0,4375 1,0000 1,0000 SC 2 0,4100 0,5000 1,0000 1,0000 SC 3 0,0680 1,0000 1,0000 1,0000 SC 4 0,0510 1,0000 1,0000 1,0000 C 2 SC 5 0,2040 0 1,0000 1,0000 C 3 SC 6 0,5120 0,7500 1,0000 1,0000 SC 7 0,3580 0,5000 1,0000 1,0000 SC 8 0,1310 0 1,0000 1,0000 C 4 SC 9 0,1190 1,0000 0 0 C 5 SC 10 0,0520 1,0000 1,0000 1,0000 Desempenho final 1,2636 2,2560 2,2560 Desempenho final normalizado 0,2188 0,3906 0,3906 Ordenação relativa MS = P > B 5. Conclusão Este estudo propôs uma nova abordagem para apoiar a avaliação da qualidade de softwares de gestão de projetos, que foi aplicada em um caso de seleção de software envolvendo a avaliação de 3 softwares. Os softwares foram avaliados através de 5 critérios e 10 subcritérios extraídos da norma ISO/IEC 9126, os quais foram mensurados por meio de 30 atributos. O resultado da aplicação mostrou que o Primavera e o MS Project são equivalentes, mas, devido a algumas diferenças entre eles, o Primavera foi eleito a melhor alternativa. A abordagem proposta por este estudo pode ser utilizada por gestores e pesquisadores que necessitem adquirir um software de gestão de projetos ou que desejem avaliar o nível de adequação de determinados softwares aos seus requisitos. As métricas a serem adotadas na avaliação dependem diretamente dos requisitos ou atributos desejáveis ao software em determinados cenários. A avaliação de software é uma atividade complexa, que exige a definição de critérios rígidos, imparciais e objetivos. A avaliação das alternativas de software em relação a tais critérios gera a necessidade de conhecer bem os produtos que serão avaliados. As metodologias de avaliação existentes devem ser adotadas para garantir que os diversos aspectos pertinentes à qualidade de software sejam considerados. Durante a realização deste estudo, a principal dificuldade encontrada foi a escolha das alternativas a serem avaliadas devido à existência de muitos softwares de gestão de projetos no mercado. A avaliação de softwares apresentada neste estudo complementa o estudo de Lima Junior e Fondazzi (2010), ao apresentar uma avaliação de três produtos diferentes daqueles já avaliados por tais autores. Aplicações futuras podem usar a metodologia proposta por este estudo para avaliar softwares como GP Web, Runrun, Zoho Projects, Pivoltracker, Artia e Smartsheet.

Referências ABNT - Associação Brasileira de Normas Técnicas. NBR ISO 10006: Gestão da qualidade - Diretrizes para a qualidade no gerenciamento de projeto. Rio de Janeiro, 2000. 42 p. ABNT - Associação Brasileira de Normas Técnicas. NBR ISO 14598: Tecnologia da informação Avaliação de produto de software. Rio de Janeiro, 2001. 14 p. ABNT - Associação Brasileira de Normas Técnicas. NBR ISO 9126: Engenharia de Software Qualidade do produto. Rio de Janeiro, 2003. 21p. PMBOK - Project Management Body of Knowledge. Um guia do conjunto de conhecimentos em gerenciamento de projetos. 4 ed. Pensilvânia: Project Management Institute, 2008. BELKE, R. Qual ferramenta de projetos escolher. Disponível em: <http://www.blog.bridgeconsulting.com.br/ferramenta-software-gerenciamento-de-projetos-qual-escolher/>. Acesso em 16 jan. 2015. DINSMORE, P.C.; SILVEIRA NETO, F.H. Gerenciamento de projetos: Como gerenciar seu projeto com qualidade, dentro do prazo e custos previstos. Rio de Janeiro: Qualitymark, 2004. 150 p. GASNIER, Daniel Georges. Guia prático para gerenciamento de projetos: Manual de sobrevivência para os profissionais de projetos. São Paulo: IMAM, 2000. 163 p. GOMES, L.F.A.M.; ARAYA, M.C.G.; CARIGNANO, C. Tomada de decisões em cenários complexos. São Paulo: Pioneira Thomson Learning, 2004. 168 p. JUNG, H. Validating the external quality sub characteristics of software products according to ISO/IEC 9126. Computer Standards & Interfaces, vol. 29, p.653-661, 2007. LIMA JUNIOR, F.R.; FONDAZZI, L.A.M. Avaliação da qualidade de software voltados a gestão de projetos. In: Encontro Nacional de Engenharia de Produção, 2010, São Carlos, SP. Anais XXX ENEGEP. 2010, 14 p. LIMA JUNIOR, F.R.; CARPINETTI, L.C.R.; OSIRO, L.; GANGA, G.M. Avaliação da qualidade de softwares de apoio à decisão. In: Encontro Nacional de Engenharia de Produção, 2012, Bento Gonçalves, RS. Anais XXXII ENEGEP. Bento Gonçalves-RS: ENEGEP, 2012, 16 p. SAATY, T.L. The Analytic Network Process. 1 ed. McGraw Hill: New York, 1980. SCHIFF, Jennifer L. Dez dicas para tirar o máximo proveito do software de gerenciamento de projetos. Disponível em: <http://cio.com.br/gestao/2012/10/11/dez-dicas-para-tirar-o-maximo-proveito-do-software-degerenciamento-de-projetos/>. Acesso em 17 jan. 2015. THIOLLENT, M. Metodologia da Pesquisa-Ação. São Paulo: Cortez, 1997. VARGAS; R.V. Gerenciamento de projetos: estabelecendo diferenciais competitivos. 6. ed. Rio de Janeiro. Brasport, 2005. 276 p.