UM ESTUDO DE CASO SOBRE A APLICAÇÃO DA NORMA NBR AVALIAÇÃO DE PACOTES DE SOFTWARE

Transcrição

1 ANDRÉ LUIS CURY CARAZZA UM ESTUDO DE CASO SOBRE A APLICAÇÃO DA NORMA NBR AVALIAÇÃO DE PACOTES DE SOFTWARE Dissertação apresentada ao Programa de Pós-Graduação Stricto Sensu em Gestão do Conhecimento e da Tecnologia da Informação da Universidade Católica de Brasília, como requisito parcial para obtenção do Título de Mestre em Gestão do Conhecimento e da Tecnologia da Informação. Orientador: Prof. Dr. Walcélio L. Melo BRASÍLIA UCB ii

2 Dissertação defendida em 12 de abril de 2004 e aprovada, pela banca examinadora constituída pelos professores: Prof. Dr. Walcélio L. Melo Orientador Prof. Dr. Javam de Castro Machado Banca Prof. Dr. Renato Guadagnin Banca iii

3 A minha esposa Carla, minha filha Vanessa e meu filho Vitor iv

4 A Deus, Que com a sua misericórdia e enorme bondade, permitiu a conclusão de um sonho. A minha esposa, Por todo o amor, compreensão e carinho entregues por ela, em vários momentos difíceis na trajetória desta dissertação. Aos meus filhos, Que souberam me agüentar, com todo o carinho do mundo, quando estava mais estressado. Aos meus pais e minha sogra, Não mais presentes aqui na terra comigo, mas que me orientaram na busca deste título. Ao meu sogro, Que tanto me ajudou. Aos meus amigos Andrea Kabu e Varely Fernandes, Que me ajudaram na construção desta dissertação. Ao meu irmão Sérgio, Pela revisão técnica desta dissertação. À Professora Sheila Pela revisão desta dissertação. Ao Professor Walcélio, Que conseguiu, num prazo exíguo, orientar-me na busca de novos conhecimentos, permitindo a conclusão desta dissertação. Ao Professor Gentil Lucena, Que ressuscitou esta dissertação. v

5 Qualidade não é uma ação. É um hábito. (Aristóteles) vi

6 RESUMO A Garantia da Qualidade de Software é um dos desafios que as empresas de tecnologia da informação enfrentam no mercado. Essa Garantia de Qualidade, em sentido amplo, envolve a avaliação de métodos, processos, pacotes de software e ferramentas usadas no processo de desenvolvimento do ciclo de vida de um software. No intuito de organizar as questões relacionadas à qualidade desses pacotes, a ABNT publicou a norma NBR ISO/IEC [12119], que define seus requisitos de qualidade. De acordo com [PESQUI01] [PESQUI99], somente um pequeno número de empresas brasileiras usam adequadamente a norma NBR ISO/IEC na avaliação desses pacotes. Nesta dissertação, está proposta uma metodologia para avaliação de pacotes de software baseada na NBR. Para validá-la, é desenvolvida uma avaliação dos pacotes dos softwares Lotus Notes e MS-Exchange. Esta dissertação apresenta os resultados da avaliação mencionada. Palavras-chave: Qualidade de Software, MS-Exchange, Lotus Notes, NBR ISO/IEC

7 ABSTRACT The Software Quality Assurance is one of the challenges information technology corporations face in their business. Software Quality Assurance in a broad sense would include the evaluation of the software methods, processes, software packages, and tools used in software development life cycle. In order to address issues related to the quality of software packages, ABNT published the standard NBR ISO/IEC [12119], which addresses quality requirements of software packages. According to [PESQUI01] [PESQUI99], only a few Brazilian companies adequately use the NBR ISO/IEC for evaluating software packages. In this dissertation, a roadmap for software package evaluation based on the NBR is proposed. In order to validate this roadmap, an evaluation of Lotus Notes and MS-Exchange software packages is performed. This dissertation presents the results of this evaluation. Keywords: Software Quality, MS-Exchange, Lotus Notes, NBR ISO/IEC

8 LISTA DE ABREVIATURAS ABNT Associação Brasileira de Normas Técnicas ISO International Organization for Standardization MINE Multiporpuse Internet Mail Extension SMTP Simple Mail Transfer Protocol

9 SUMÁRIO RESUMO... vii ABSTRACT...viii LISTA DE ABREVIATURAS... ix LISTA DE FIGURAS...12 LISTA DE TABELAS INTRODUÇÃO Motivação Objetivo e Metodologia Organização da Dissertação QUALIDADE DE SOFTWARE Conceito de Qualidade Conceito de Software Conceito de Qualidade de Software Métricas de Qualidade de Software Qualidade dos Produtos de Software Modelo para Características Externas e Internas Modelo para Qualidade em Uso Norma NBR ISO/IEC Pacotes de Software Avaliados Lotus Notes MS-Exchange A Abordagem Goal/Question/Metric (GQM) AVALIANDO A QUALIDADE DE PACOTES DE SOFTWARE Metodologia Elaboração do Formulário de Avaliação Estabelecimento dos requisitos de qualidade Elaboração e estabelecimento dos requisitos de qualidade para o Formulário de Avaliação ESTUDO DE CASO...87

10 Distribuição e captação do Formulário de Avaliação Avaliação e Análise de Resultados Análise Geral Análise do Lotus Notes Análise do MS-Exchange CONCLUSÕES E PERSPECTIVAS FUTURAS BIBLIOGRAFIA ANEXO I Formulário de Avaliação ANEXO II Aplicativo...162

11 12 LISTA DE FIGURAS Figura 1: Fatores de Qualidade de Software 28 Figura 2: Hierarquia GQM 52 Figura 3: Metodologia Proposta 57 Figura 4: Formulário de Avaliação com marcação dos requisitos de qualidade 84 Figura 5: Porcentagem de atendimento aos requisitos de qualidade - Descrição do Produto 96 Figura 6: Porcentagem de atendimento aos requisitos de qualidade - Documentação do Usuário 97 Figura 7: Porcentagem de atendimento aos requisitos de qualidade - Programas e Dados 97 Figura 8: Porcentagem de atendimento aos requisitos de qualidade 99 Figura 9: Tempo de conhecimento dos técnicos 100 Figura 10: Natureza das Organizações 100 Figura 11: Porcentagem de atendimento aos requisitos de qualidade para o Formulário de Avaliação 107 Figura 12: Porcentagem de atendimento aos requisitos de qualidade - Descrição do Produto - para o Lotus Notes 114 Figura 13: Porcentagem de atendimento aos requisitos de qualidade - Documentação do Usuário - para o Lotus Notes 115 Figura 14: Porcentagem de atendimento aos requisitos de qualidade - Programas e Dados - para o Lotus Notes 115 Figura 15: Porcentagem de atendimento aos requisitos de qualidade para o Lotus Notes 116 Figura 16: Tempo de conhecimento dos técnicos para o pacote Lotus Notes 117 Figura 17: Natureza das Organizações para o pacote Lotus Notes 118 Figura 18: Porcentagem de atendimento do pacote Lotus Notes aos requisitos de qualidade para o Formulário de Avaliação 125 Figura 19: Porcentagem de atendimento aos requisitos de qualidade - Descrição do Produto - para o MS-Exchange 132

12 13 Figura 20: Porcentagem de atendimento aos requisitos de qualidade - Documentação do Usuário - para o MS-Exchange 133 Figura 21: Porcentagem de atendimento aos requisitos de qualidade - Programas e Dados - para o MS-Exchange 133 Figura 22: Porcentagem de atendimento aos requisitos de qualidade para o MS- Exchange 135 Figura 23: Tempo de conhecimento dos técnicos para o pacote MS-Exchange 136 Figura 24: Natureza das Organizações para o pacote MS-Exchange 136 Figura 25: Porcentagem de atendimento do pacote MS-Exchange aos requisitos de qualidade para o Formulário de Avaliação 143 Figura 26: Porcentagem de atendimento aos requisitos de qualidade por pacote de software 145 Figura 27: Porcentagem de atendimento aos requisitos de qualidade do Formulário de Avaliação 146 Figura 28: Aplicativo Modelo Entidade x Relacionamento 164 Figura 29: Aplicativo Tela de Apresentação 164 Figura 30: Aplicativo Acesso ao Cadastro 165 Figura 31: Aplicativo Cadastro Pacote 166 Figura 32: Aplicativo Inclusão de Pacote 167 Figura 33: Aplicativo Alteração e/ou Exclusão de Pacote 167 Figura 34: Aplicativo Cadastro - Organizações 168 Figura 35: Aplicativo Inclusão de Organização 169 Figura 36: Aplicativo Alteração e/ou Exclusão de Organização 169 Figura 37: Aplicativo Cadastro Grupo de Respostas 170 Figura 38: Aplicativo Inclusão de Grupo de Respostas 171 Figura 39: Aplicativo Alteração e/ou Exclusão de Grupo de Respostas 171 Figura 40: Aplicativo Cadastro Respostas 172 Figura 41: Aplicativo Inclusão de Respostas 173 Figura 42: Aplicativo Alteração e/ou Exclusão de Respostas 173 Figura 43: Aplicativo Cadastro Seções da Norma 174 Figura 44: Aplicativo Inclusão de Seções 175 Figura 45: Aplicativo Alteração e/ou Exclusão de Seções 175

13 14 Figura 46: Aplicativo Cadastro Itens da Norma 176 Figura 47: Aplicativo Inclusão de Itens 177 Figura 48: Aplicativo Alteração e/ou Exclusão de Respostas 177 Figura 49: Aplicativo Cadastro Questões 178 Figura 50: Aplicativo Inclusão de Questões 179 Figura 51: Aplicativo Inclusão de Requisitos de Qualidade 179 Figura 52: Aplicativo Alteração e/ou Exclusão de Questões 180 Figura 53: Aplicativo Cadastro Avaliadores 181 Figura 54: Aplicativo Inclusão de Avaliadores 182 Figura 55: Aplicativo Inclusão de Avaliações 182 Figura 56: Aplicativo Alteração e/ou Exclusão de Avaliadores 183 Figura 57: Aplicativo Acesso a Mensuração 184 Figura 58: Aplicativo Lista de Avaliações não concluídas, caso ocorram 184 Figura 59: Aplicativo Formulário de Avaliação 185 Figura 60: Aplicativo Consultas 186 Figura 61: Aplicativo Análise - Total 187 Figura 62: Aplicativo Análise Porcentagem de Atendimento 188 Figura 63: Aplicativo Análise Item Porcentagem de Atendimento 188 Figura 64: Aplicativo Análise Consolidação 189 Figura 65: Aplicativo Análise Requisitos de Qualidade 190 Figura 66: Aplicativo Perfil Tempo de Conhecimento 191 Figura 67: Aplicativo Perfil Natureza das Organizações 192 Figura 68: Aplicativo Parceiros - Total 193 Figura 69: Aplicativo Parceiros - Porcentagem 193 Figura 70: Aplicativo Formulário Porcentagem de Atendimento 194 Figura 71: Aplicativo Análise Final 195

14 15 LISTA DE TABELAS Tabela 1: Relação de características, subcaracterísticas e perguntas típicas 35 Tabela 2: Relação entre as questões do Formulário de Avaliação com os Itens da Norma 82 Tabela 3: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário 92 Tabela 4: Grau de atendimento aos requisitos de qualidade por item da norma 95 Tabela 5: Grau de atendimento aos requisitos de qualidade por seção da norma 98 Tabela 6: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação, considerando somente os técnicos que trabalham nas empresas parceiras dos pacotes 104 Tabela 7: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação para o pacote Lotus Notes 111 Tabela 8: Grau de atendimento aos requisitos de qualidade por item da norma para o pacote Lotus Notes 113 Tabela 9: Grau de atendimento aos requisitos de qualidade por seção da norma para o pacote Lotus Notes 116 Tabela 10: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação, considerando somente os técnicos que trabalham nas empresas parceiras do Lotus Notes 121 Tabela 11: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação para o pacote MS-Exchange 129 Tabela 12: Grau de atendimento aos requisitos de qualidade por seção da norma para o pacote MS-Exchange 132 Tabela 13: Grau de atendimento aos requisitos de qualidade por item da norma para o pacote MS-Exchange 134 Tabela 14: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação, considerando somente os técnicos que trabalham nas empresas parceiras do MS-Exchange 140 Tabela 15: Tabela resumo da avaliação dos pacotes 144

15 16 Tabela 16: Lista de Questões em falha no atendimento aos requisitos de qualidade 146

16 17 1. INTRODUÇÃO Este capítulo apresenta a motivação, os objetivos e a metodologia utilizada e a estruturação de capítulos desta dissertação, considerando o contexto em que esta se encontra e o estado da arte sobre o tema abordado Motivação Muito se tem discutido sobre Qualidade de Software, ou ainda, Métricas de Qualidade de Software. Entretanto, na prática, a maioria das empresas que utilizam software para gestão de seus negócios não possui estrutura sistêmica definida de forma clara, precisa e de fácil aplicação, que permita estabelecer parâmetros de exigência em termos de requisitos de qualidade. Para se ter uma idéia da necessidade da adoção dos conceitos de Qualidade de Software nas empresas brasileiras que desenvolvem software, comparam-se os indicadores das duas últimas pesquisas de Qualidade e Produtividade no Setor de Software Brasileiro [PESQUI99] [PESQUI01]. Ocorreu uma grande redução, de 63,8% para 34,2%, de empresas que conhecem a norma sobre Qualidade de Produtos de Software - ISO/IEC Em contrapartida, o indicador conhecimento e utilização subiu de 3,4% para 3,9%. Aprofundando a comparação, destaca-se o indicador que visualiza a porcentagem de empresas que realizam avaliações de produtos baseadas nas normas ISO/IEC 9126 e NBR ISO/IEC O indicador Não adota passou de 36,4% para 57,8%. Ou seja, mesmo aumentando o número de empresas que conhecem as normas, ocorreu uma redução significativa de sua utilização nos processos de avaliações.

17 18 Numa análise superficial, estes indicadores apresentam-se negativamente em relação aos conceitos mais gerais de Qualidade de Software. Mas, na realidade, eles demonstram a necessidade latente de garantir a Qualidade de Software conforme normas e avaliações. Várias empresas não adotam avaliações constantes e periódicas, pois não possuem um ferramental que atenda a essas necessidades [OLSINA99a]. A Qualidade de Software é literalmente esquecida por várias empresas que perguntam, freqüentemente: porque gastamos tanto ao desenvolver e/ou manter um software? onde está a documentação do software, agora que precisamos realizar um processo de manutenção? será que estamos atendendo realmente às expectativas dos nossos clientes? Estas perguntas podem ser respondidas com a aplicação das técnicas e processos de Qualidade de Software. Um dos principais objetivos da Qualidade de Software, entre outros, é construir e manter um software até o final de sua vida útil, gastando o mínimo possível e utilizando-se de todos os recursos disponíveis com eficácia e eficiência [REZEND99]. Existem vários trabalhos que apresentam como avaliar a qualidade por intermédio de características de qualidade e de métricas. A ISO publicou, em 2001, a primeira parte da última versão da norma de qualidade de produtos [9126-1], sendo que a versão completa com um conjunto de métricas está sendo concluída [9126-2] [9126-3] [9126-4]. Além da ISO, diferentes trabalhos na literatura têm buscado características específicas para o contexto de pacotes de software [ROCHAA01] [GAQPSO04].

18 19 Avaliá-los proporcionará aos desenvolvedores, gestores e aos seus usuários finais a garantia que estes pacotes de software atendam as suas necessidades e estejam conformes com o que há de mais moderno na área da Gestão de Tecnologia da Informação. Portanto, avaliar estes pacotes de software de forma sistêmica e coesa, mensurando sua qualidade a partir de seus objetivos específicos, passou a ser uma necessidade no estado da arte da Gestão da Tecnologia da Informação. Segundo a pesquisa Qualidade e Produtividade no Setor de Software Brasileiro [PESQUI01], cerca de 61% das empresas consultadas na pesquisa realizada em 2000, desenvolveram pacote de software, e 21% da distribuição da comercialização bruta anual proveniente de software referenciaram-se a pacotes de software. Abordaremos os pacotes Lotus Notes - versão 5.08 e o MS-Exchange - versão utilizados para desenvolvimento de software e verificaremos, por um processo de avaliação que inclui um formulário de avaliação e sua análise, se estes pacotes estão de acordo com os requisitos de qualidade definidos e utilizados pela norma NBR ISO/IEC Sabemos que muitos pacotes são fáceis de ser utilizados, com boa interface, realizando aquilo a que se propõem, mas sem documentação apropriada e padronizada. A escolha do pacote Lotus Notes se deve ao fato deste ser um excelente pacote voltado para desenvolvimento de aplicativos, conforme depoimentos de alguns de seus usuários. Entretanto, não encontramos na literatura consultada nenhum documento comprovando se o Lotus Notes está ou não em conformidade com a norma NBR ISO/IEC

19 20 A escolha do MS-Exchange se deve ao fato deste ser um pacote voltado para o desenvolvimento de formulários integrados ao servidor de correios. A exemplo do Lotus Notes, não foi encontrado nenhum documento na literatura consultada versando se o MS-Exchange está em conformidade com a norma NBR ISO/IEC Este trabalho visa fornecer diversas informações que poderão contribuir para a melhora da qualidade dos pacotes de software nas organizações que utilizam estes pacotes e, prover informações aos fabricantes dos mesmos, permitindo-lhes uma análise crítica de seu produto Objetivo e Metodologia O objetivo deste trabalho é buscar uma forma prática de aplicação e validação dos conceitos de Qualidade de Software em relação a pacotes de software, tanto para desenvolvedores de software como para seus clientes, por intermédio da aplicação da norma NBR ISO/IEC A utilização da abordagem GQM Goal Questions Metrics (item 2.7 página 50) e das orientações apresentadas pela norma ISO/IEC 9126 proporcionou um conjunto de questões (Metrics) mensuráveis e de fácil aplicação, específicas para a construção, utilização e validação do Formulário de Avaliação aplicado. Após a confecção das questões, ocorreu a definição dos requisitos de qualidade segundo a norma NBR ISO/IEC Avaliamos os pacotes MS-Exchange e o Lotus Notes, utilizados no desenvolvimento de aplicativos, para verificar a aplicabilidade desta forma de

20 21 avaliação e, conseqüente se os mesmos estão de acordo com os requisitos de qualidade definidos e utilizados pela norma NBR ISO/IEC Houve a preocupação de solicitar o preenchimento do Formulário de Avaliação pelo maior número de técnicos possível para aquele dado pacote de software, visando a obter uma amostra significativa. Houve também a preocupação de avaliar o perfil destes técnicos (tempo de conhecimento, natureza das organizações em que trabalham 1 ) com o objetivo de verificar se a avaliação foi tendenciosa ou não Organização da Dissertação Esta dissertação contém quatro capítulos, além desta Introdução. No capítulo 2, são apresentados os conceitos gerais de Qualidade de Software e seu estado da arte. É apresentada, ainda, a abordagem GQM. No capítulo 3, é apresentado a metodologia de avaliação da qualidade de um pacote de software por intermédio da aplicação da norma NBR ISO/IEC No capítulo 4, é apresentado o estudo de caso relativo aos pacotes Lotus Notes e MS-Exchange. No capítulo 5, são apresentadas as conclusões e contribuições desta dissertação e as perspectivas para futuras pesquisas. No Anexo I é apresentado o Formulário de Avaliação destacando os requisitos de qualidade definidos para o Formulário de Avaliação. 1 Entendemos como natureza das organizações: organizações públicas, organizações privadas e organizações parceiras. As organizações parceiras são aquelas que têm algum vínculo (comercialização, distribuição, fabricante e etc.) com o pacote avaliado.

21 22 Finalmente, no Anexo II é apresentado o Aplicativo construído para automatizar o processo de avaliação da qualidade de pacotes de software.

22 23 2. QUALIDADE DE SOFTWARE Num mercado de uma dezena de bilhões de reais por ano, sendo 21% de comercialização de pacotes de software [PESQUI01], o software brasileiro busca seu espaço nos mercados interno e externo. Para apoiar esta competitividade as empresas brasileiras e mundiais de software estão adotando a Qualidade de Software como base de sustentação do processo de desenvolvimento de software. Várias empresas buscam entrar neste mercado ou se adaptar a ele, adquirindo Tecnologia da Informação. Entretanto, o retorno não é significativo. Cerca de 80% das empresas que fizerem investimentos em Tecnologia da Informação estão obtendo, tipicamente, apenas 20% dos benefícios que estão disponíveis [GATESB99]. A adoção da Tecnologia da Informação não é suficiente para produzir ou usar software de qualidade. É necessária a adoção de normas e características para o bom aproveitamento desta tecnologia. Neste contexto, destacamos a importância de se garantir a Qualidade de Software Conceito de Qualidade Segundo [SCHULM97], o conceito de Qualidade é amplo e de muitas faces. A Qualidade é percebida em vários domínios, incluindo filosofia, economia, marketing, e planejamento. [SCHULM97] conclui que Qualidade pode ser descrita em cinco diferentes perspectivas: Transcendental: qualidade como algo que pode ser reconhecido mas não definido; Usual: qualidade como competência para elaboração de propostas; Fabricação: qualidade como conformidade com a especificação;

23 24 Produto: qualidade como um vínculo inerente às características do produto; Valor Base: qualidade como fator dependente para o custo e pagamento de algo. Qualidade é um quesito exigido no dia a dia, tanto na forma como vivemos, quanto no que comemos ou vestimos [JUNIOR96]. As organizações têm tentado utilizar a referência de qualidade como o ponto de vista de fabricação. A ISO 8492, de 1986, define Qualidade como a totalidade de fatores e características de produtos ou serviços que sustentam habilidades para satisfazer as necessidades explícitas e implícitas [SCHULM97]. Qualidade pode ser definida como "estar em conformidade com os requisitos do cliente". Esta é a definição bem simples aplicada pela Engenharia de Software, que busca constantemente obter o melhor nível de satisfação do cliente, não só em relação ao atendimento de seus requisitos, mas também com relação à credibilidade e confiança no software [SCHULM97] Conceito de Software Segundo [SCHULM97], a definição inicial de software vem da Enciclopédia da Ciência da Computação: a descrição dos componentes que não são hardware do computador, em particular seus programas que são responsáveis pela performance do computador, visando à execução de tarefas. E, utilizando-se do IEEE, a definição é: programas de computador, procedimentos, possível documentação associada e dados pertinentes para operar um sistema de um computador.

24 25 Uma descrição de software num livro didático, segundo [PRESSM00], poderia assumir a seguinte forma: "Software é: (1) instruções (programas de computador) que, quando executadas, produzem a função e o desempenho desejados; (2) estruturas de dados que possibilitam que os programas manipulem adequadamente a informação; e (3) documentos que descrevem a operação e o uso dos programas". Para o objetivo de nosso trabalho, enfocaremos o item 3 da definição acima, que diz respeito às documentações que compõem o software. Entretanto, vamos acrescentar a esta definição o conceito de que a documentação necessária para instalar, usar e manter os programas de computador é parte integrante e necessária de um software de qualidade Conceito de Qualidade de Software Pressman cita Philip Crosby para ponderar sobre o que seria Qualidade de Software: [PRESSM00] "O problema da administração da qualidade não é aquilo que as pessoas não sabem sobre ela. O problema é aquilo que elas sabem... Nesse sentido, a qualidade tem muito em comum com sexo. Todos se interessam por ele (sob certas condições, é claro). Todos acham que o entendem. (Ainda que não queiram explicá-lo.) Todos acham que a execução é apenas uma questão de seguir as inclinações naturais. (Afinal de contas, já nos saímos bastante bem!) E, é claro, a maioria das pessoas acha que os problemas nessas áreas são causados por outras pessoas. (Bastava que elas tivessem tempo para fazer as coisas corretamente.)"

25 26 A última frase da definição acima é significativa. Todos acham que Qualidade de Software é algo a ser atingido ou realizado apenas quando o tempo permitir. É justamente por esta "falta de qualidade" que estas pessoas continuam buscando o referido tempo para aplicar e seguir as orientações da Qualidade de Software. Muitas definições de Qualidade de Software têm sido propostas na literatura. Para os nossos propósitos, Qualidade de Software é definida como: "Conformidade a requisitos funcionais e de desempenho explicitamente declarados, a padrões de desenvolvimento claramente documentados e a características implícitas que são esperadas de todo software profissionalmente desenvolvido [PRESSM00]. A definição apresentada acima serve para enfatizar três pontos importantes: [PRESSM00] 1. Os requisitos de software são a base a partir da qual a qualidade é medida. A falta de conformidade aos requisitos significa falta de qualidade; 2. Padrões especificados definem um conjunto de critérios de desenvolvimento que orientam a maneira segundo a qual o software passa pelo trabalho de engenharia. Se os critérios não forem seguidos, o resultado quase que seguramente será a falta de qualidade; 3. Há um conjunto de requisitos implícitos que freqüentemente não são mencionados (por exemplo, o desejo de uma boa manutenibilidade). Se o software se adequar aos seus requisitos explícitos, mas deixar de cumprir seus requisitos implícitos, a Qualidade de Software será suspeita.

26 27 Segundo [REZEND99], pode-se estender este conceito para o atendimento aos padrões ISO e ainda, [SHEPPE92], um conjunto de propriedades a serem satisfeitas em um determinado grau, de modo que o software satisfaça às necessidades de seus usuários. Entretanto, várias empresas adotam como Qualidade de Software apenas a Garantia do produto, que implica em [ROCHAA01]: Garantir que todos os planos exigidos pelo contrato estejam de acordo com o mesmo, sejam documentados, estejam mutuamente consistentes e sejam executados quando exigidos; Garantir que os produtos de software e sua documentação estejam de acordo com o contrato e os planos; Garantir que os produtos de software satisfaçam totalmente aos requisitos contratuais e sejam aceitáveis pelo adquirente Métricas de Qualidade de Software De acordo com [PRESSM00], os fatores que afetam a Qualidade de Software podem ser categorizados em dois grupos amplos: fatores que podem ser medidos diretamente (por exemplo: erros, unidade de tempo, etc.) e fatores que podem ser medidos apenas indiretamente (por exemplo: usabilidade, manutenibilidade, etc.). Em cada caso, deverá ocorrer medição. Precisamos comparar o software (documentação, programas e dados) com algum dado e chegar a uma indicação de qualidade.

27 28 Conforme ainda [PRESSM00], os fatores de Qualidade se Software que focalizam suas características operacionais, sua manutenibilidade de mudanças e sua adaptabilidade a novos ambientes são apresentados na Figura 1. Figura 1: Fatores de Qualidade de Software Diferentes autores definem vários outros fatores de Qualidade de Software. Luis Olsina [OLSINA00], por exemplo, definiu vários Fatores de Qualidade para o ambiente Web. É importante destacar que estes fatores precisam ser medidos, verificados e validados. Com este objetivo, foram criadas as Métricas de Qualidade de Software. A habilidade de medir tem virtualmente nutrido muitos dos avanços tecnológicos passados. Cada medida nova tem-nos dado formas de estender nossa capacidade natural para melhores medidas de altura, largura, profundidade, peso, textura, cheiro, temperatura e uma miríade de outras coisas na esfera dos nossos

28 29 sentidos. Está é a maior vantagem das medidas ela melhora nossa capacidade de sentir coisas não acessíveis às nossas habilidades ou inteligência nativas. Sem outro auxílio, nosso cérebro toma todos os dados dos sentidos visão, som, olfato, paladar e tato transformando estes impulsos simples em medidas, que são então utilizadas para estimar distâncias, dimensões, claridade, sabores etc. [ARTHUR94]. Segundo [REZEND99], o software é medido por várias razões: indicar a qualidade do produto; avaliar a produtividade das pessoas que produzem o produto; avaliar os benefícios (em termos de produtividade e qualidade) derivados de novos métodos e ferramentas de software; formar uma linha base para estimativas e; ajudar a justificar os pedidos de novas ferramentas ou treinamento adicional. Medir é fundamental em qualquer disciplina. Pressman cita Lorde Kelvin, que disse, certa vez: [PRESSM00] Quando se pode medir aquilo sobre o qual se está falando e expressá-lo em números, sabe-se alguma coisa sobre o mesmo; mas quando não se pode medi-lo, quando não se pode expressá-lo em números, o conhecimento que se tem é de um tipo inadequado e insatisfatório; este pode ser o começo do conhecimento, mas dificilmente alguém terá avançado em suas idéias para o estágio de ciência. As medidas, em conseqüência, suas métricas ajudam-nos a entender o processo técnico usado para desenvolver o produto. O processo é medido, num esforço para melhorá-lo e o produto é medido para aumentar sua qualidade, quantificar e administrar mais efetivamente [PRESSM00].

29 30 As Métricas de Software referem-se a uma ampla variedade de medidas de software. No contexto de gerenciamento de projetos, temos métricas de produtividade e de qualidade. Essas Métricas são medidas de resultado de desenvolvimento de software como uma função do esforço aplicado e medidas da "adequação ao uso" do resultado que é produzido [PRESSM00]. A qualidade pode ser medida ao longo do processo de engenharia de software e depois que o software for entregue ao cliente e aos usuários [PRESSM00]. Assim, como na ISO/IEC 9126, todas as características para Web são avaliadas por intermédio de métricas. Podemos entender métricas (nível qualitativo) como um método e uma escala quantitativa que podem ser usados para determinar o valor que uma particularidade (feature) recebe em um produto de software específico [9126-1]. As métricas podem ser classificadas de diferentes formas, dentre as quais destacamos: objetivas (expressões numéricas ou representações gráficas de expressões numéricas que podem ser computadas de documentos de software) e subjetivas (medidas relativas, baseadas em estimativas pessoais ou de grupo, por exemplo: bom, ruim, etc.) [MÖLLER93]; diretas (existência e a quantificação de um fator de qualidade sem depender de outro atributo) ou indiretas (são aquelas que envolvem as medidas de um ou mais atributos) [OLSINA99]; automáticas e não automáticas. As métricas automáticas são aquelas das quais podemos automatizar o processo de coleta e as métricas não

30 31 automáticas são aquelas que dependem de algum fator não automatizado [OLSINA99]. Embora o uso de Métricas seja ainda recente, elas podem ser utilizadas para diferentes fins, como por exemplo, para estimativa de recursos de projeto, como mecanismo para avaliar o desempenho do projeto e da equipe de desenvolvimento, para avaliação de métodos de desenvolvimento e para ajudar a equipe de desenvolvimento a conseguir boas estimativas da qualidade do seu trabalho [REZEND99]. As principais preocupações da indústria e dos pesquisadores de métricas para software referem-se à falta de validações empíricas de métricas, principalmente métricas para projeto e especificações, à falta de bons experimentos para essas validações e à falta de ferramentas de suporte [FENTON91]. As métricas podem ser utilizadas com diferentes propósitos na Engenharia de Software, além da qualidade do produto. Nesse contexto, Basili [BASILI94] propôs utilizar métricas segundo objetivos específicos, conforme o paradigma Goal/Question/Metrics (GQM). O GQM representa uma aproximação prática para resolver o problema de medidas. A abordagem GQM será abordada no item 2.7 página Qualidade dos Produtos de Software As normas técnicas publicadas pela ISO têm por objetivo estabelecer regras e padrões nos processos de avaliação da Qualidade [ROCHAA01]. O Subcomitê de Software (SC7) do Comitê Técnico Conjunto (JTC1) da ISO/IEC vem trabalhando na elaboração de normas que permitem especificar e

31 32 avaliar a qualidade dos produtos de software. Especificamente, destacamos as normas de Qualidade de Produto de Software, a saber [WEBERK01]: ISO/IEC : Modelo de Qualidade; ISO/IEC : Métricas Externas; ISO/IEC : Métricas Internas; ISO/IEC : Métricas de Qualidade em Uso. O modelo da qualidade definido na ISO/IEC [9126-1], utilizado como referência para o processo de avaliação da qualidade de produto de software, está subdividido em duas partes: modelo para características externas [9126-2] e internas [9126-3]; e modelo para qualidade em uso [9126-4] Modelo para Características Externas e Internas O modelo de qualidade para características externas e internas classifica os atributos de qualidade dos produtos de software em seis características (funcionalidade, confiabilidade, usabilidade, eficiência, manutenibilidade e portabilidade). Estas características podem ser desdobradas em subcaracterísticas. As subcaracterísticas podem ser desdobradas em mais níveis, que caracterizam os atributos da qualidade. As métricas internas e externas aplicam-se, em geral, ao nível dos atributos da qualidade. Portanto, o modelo de qualidade está dividido em características, subcaracterísticas e métricas [WEBERK01]. A ISO/IEC 9126 define que as características de qualidade de um produto são [WEBERK01] [9126-2] [9126-3]: Funcionalidade: conjunto de atributos que evidenciam a existência de um conjunto de funções e suas propriedades específicas. As funções

32 33 são as que satisfazem as necessidades explícitas ou implícitas. Tem como subcaracterísticas: adequação, acurácia, interoperabilidade, segurança de acesso e conformidade; Confiabilidade: conjunto de atributos que evidenciam a capacidade do software de manter seu nível de desempenho sob condições estabelecidas durante um período de tempo estabelecido. Tem como subcaracterísticas: maturidade, tolerância a falhas, recuperabilidade e conformidade; Usabilidade: conjunto de atributos que evidenciam o esforço necessário para se poder utilizar o software, bem como o julgamento individual desse uso, por um conjunto explícito ou implícito de usuários. Tem como subcaracterísticas: inteligibilidade, apreensibilidade, operacionalidade, atratividade e conformidade; Eficiência: conjunto de atributos que evidenciam o relacionamento entre o nível de desempenho do software e a quantidade de recursos usados, sob condições estabelecidas. Tem como subcaracterísticas: comportamento em relação ao tempo, comportamento em relação aos recursos e conformidade; Manutenibilidade: conjunto de atributos que evidenciam o esforço necessário para fazer modificações especificadas no software. Tem como subcaracterísticas: analisabilidade, modificabilidade, estabilidade, testabilidade e conformidade; Portabilidade: conjunto de atributos que evidenciam a capacidade do software ser transferido de um ambiente para outro. Tem como

33 34 subcaracterísticas: adaptabilidade, capacidade para ser instalado, coexistência, capacidade para substituir e conformidade. A Tabela 1 mostra as subcaracterísticas e as perguntas típicas para cada característica [LIMARS01]: Funcionalidade Adequação Acurácia Interoperabilidade Segurança Conformidade Confiabilidade Maturidade Tolerância à falha Recuperabilidade Usabilidade Inteligibilidade Apreensibilidade Operacionalidade Atratividade Eficiência Comportamento em relação ao tempo Comportamento em relação aos recursos Manutenibilidade Analisabilidade Modificabilidade Estabilidade Satisfaz as necessidades? Propõe-se a fazer o que é apropriado? Faz o que foi proposto de forma correta? É capaz de interagir com os sistemas especificados? Controla acessos não autorizados a programas e dados? Esta de acordo com as normas, leis etc.? É imune a falhas? Com que freqüência apresenta falhas por defeitos no software? Ocorrendo falhas, como ele reage? É capaz de recuperar dados em caso de falhas? É fácil de usar? É fácil entender seu conceito lógico e sua aplicabilidade? É fácil aprender a usá-lo? É fácil operá-lo e controlá-lo? É capaz de ser atrativo? É rápido e "enxuto"? Qual é o tempo de resposta, processamento e velocidade na execução de suas funções? Quanto de recurso usa? Durante quanto tempo? É fácil modifica-lo? É fácil de encontrar uma falha, quando ocorrer? É fácil de se modificar e de se adaptar? Existe risco de se obter efeitos inesperados quando se faz

34 35 Funcionalidade Satisfaz as necessidades? uma alteração? Testabilidade É fácil validar o software modificado? Portabilidade É fácil usá-lo em outro ambiente? Adaptabilidade É fácil adaptar-se a ambientes diferentes? Capacidade para ser É fácil instalá-lo? instalado Coexistência Está de acordo com os padrões de portabilidade? Capacidade para É fácil usá-lo em substituição a outro? substituir Tabela 1: Relação de características, subcaracterísticas e perguntas típicas A ISO/IEC conduz a um entendimento dos conceitos que definem as diversas características e subcaracterísticas da qualidade de produto de software; porém, na prática, ainda não facilita o suficiente a definição dos requisitos de qualidade a partir dela. As definições de características de qualidade permitem perceber um possível universo de requisitos que se enquadram no conceito apresentado, mas dificilmente permitiriam elaborar uma declaração de requisitos mais criteriosa, quanto às mesmas. Não faz sentido, por exemplo, uma declaração do tipo o produto de software deve ter uma usabilidade de 0,5, pois esse número não teria qualquer significado (pelo menos no estado da arte em que se encontra o tema de medição da qualidade de produto de software) [WEBERK01]. O primeiro desdobramento em subcaracterísticas serve para delimitar melhor o amplo universo contemplado pela característica. Introduz conceitos mais detalhados que facilitam a especificação de requisitos, ajudando a pensar na característica da qualidade a partir de seus componentes. Mas este desdobramento ainda não é suficiente para especificar os requisitos da qualidade. Uma declaração

35 36 do tipo a operacionalidade deve ser igual a 0,8, por exemplo, continua sem fazer sentido [WEBERK01]. Assim, o usuário da norma que necessite elaborar sua declaração de requisitos deve fazer o próximo nível de desdobramento, os atributos, (que não estão presentes na ISO/IEC ), identificando aspectos relevantes ao produto de software e que se enquadram nas características e subcaracterísticas citadas. Desta forma, uma declaração do tipo o tempo de uso do produto de software, até que se tenha domínio operacional do mesmo, deverá ser inferior a 20 horas, por exemplo, é adequada como requisito da subcaracterística operacionalidade, que faz parte da característica usabilidade. Observe que foi necessário descer ao nível do atributo tempo para se ter domínio operacional para que o requisito pudesse ser declarado de forma objetiva e não ambígua [WEBERK01]. O documento ISO/IEC define métricas externas que se associam a atributos de qualidade e que podem ser uma referência inicial, facilitando a tarefa de definir atributos. O modelo de qualidade da ISO/IEC privilegia a visão do usuário do produto de software que, em geral, atua a partir da operação do sistema do qual o produto de software faz parte. Esta é a visão de qualidade externa [WEBERK01]. Porém, o efeito externo percebido no uso do produto de software é decorrente de seus atributos internos, típicos de sua arquitetura, tais como o nível de modularização dos programas, a documentação gerada, o tipo de diálogo utilizado na interação com o usuário, entre outros. Esses atributos internos mantêm correlações com as características e subcaracterísticas externas do produto de software. Cada atributo interno pode influenciar uma ou mais características e subcaracterísticas,

36 37 sendo que a identificação das correlações existentes não é um trabalho simples, depende de cada organização que desenvolve o software. Apesar disso, se a organização fizer este investimento, terá mais condições de garantir a qualidade de seus produtos pois será capaz de especificá-los e avaliá-los (através das características, subcaracterísticas e atributos externos) cada vez com mais precisão [WEBERK01]. Apesar da norma enumerar as características e subcaracterísticas de um software, algumas destas características são medidas de forma subjetiva. A norma ISO/IEC 9126 não define como quantificá-las Modelo para Qualidade em Uso O modelo de qualidade em uso apresenta um conjunto de características aplicáveis a qualquer produto de software. A Qualidade em Uso é a capacidade de o produto de software permitir a determinados usuários atingir metas especificadas com efetividade, produtividade, segurança e satisfação em um contexto de uso especificado [9126-4]. Os atributos da qualidade em uso são classificados em quatro características [ROCHAA01]: Efetividade: refere-se à capacidade de o produto de software possibilitar aos usuários atingir metas especificadas com acurácia e completeza em um contexto de uso especificado; Produtividade: refere-se à capacidade do produto de software de possibilitar aos usuários utilizar uma quantidade adequada de recursos em relação à efetividade alcançada em um contexto de uso especificado;

37 38 Segurança: refere-se à capacidade de o produto de software oferecer níveis aceitáveis de risco de danos a pessoas, negócios, software, propriedade ou ao ambiente em um contexto de uso especificado; Satisfação: refere-se à capacidade do produto de software em satisfazer usuários em um contexto de uso especificado. A visão do modelo de qualidade levando em conta os resultados obtidos a partir do uso do software no ambiente especificado é uma inovação em relação ao modelo original da ISO/IEC Esta visão pode ser usada como referência para a definição de requisitos da qualidade esperados para o ambiente de uso, assim como para a avaliação dos resultados obtidos. Quando o modelo de qualidade em uso for utilizado para a definição de requisitos, é necessário o estabelecimento das regras de derivação de atributos de características externas para o produto de software, a partir das características da qualidade em uso [WEBERK01] Norma NBR ISO/IEC Esta norma versa sobre Qualidade de Pacotes de Software, estabelecendo os requisitos de qualidade para pacotes e apresentando instruções de como avaliar um pacote de software. A norma estabelece os requisitos para pacotes de software (requisitos de qualidade) e; instruções de como testar um pacote de software com relação aos requisitos estabelecidos (instruções para testes, em particular para teste por terceira parte). O item 4 da norma versa sobre as instruções para teste. Os testes devem incluir tanto o das propriedades necessárias a todos os produtos de mesmo tipo,

38 39 quanto o das propriedades especificadas na descrição do produto. Devem incluir, também, o teste de inspeção dos documentos e o teste caixa-preta. Esta norma não trata de processos de produção de software (tampouco atividades e produtos intermediários, por exemplo especificações); trata somente de pacotes de software na forma como são oferecidos e liberados para uso. O sistema de qualidade do produto (tratado, por exemplo, na NBR ISO 9001) está fora do escopo desta norma. A norma NBR ISO/IEC Pacotes de Software - foi escrita com o objetivo de auxiliar fornecedores, compradores, entidades que desejam Certificações e laboratórios de testes, na aquisição, venda ou teste de pacotes de software. Entretanto, a aplicação dos quesitos de qualidade definidos por esta norma serve de indicadores para verificarmos se os pacotes de software estão de acordo com as Métricas de Qualidade de Software. A norma define: Descrição do Produto como documento expondo as propriedades de um pacote de software ; Documentação do Usuário como conjunto completo de documentos, disponível na forma impressa ou não, que é fornecido para a utilização de um produto, sendo também uma parte integrante do produto ; Programas como unidade sintática que está em conformidade com as regras de uma linguagem de programação particular, composta por declarações, comandos ou instruções necessárias para executar uma certa função ou tarefa, ou solucionar um problema ;

39 40 Dados como representação reinterpretável da informação de maneira formalizada, adequada para comunicação, interpretação ou processamento. A norma define ainda como requisitos de qualidade para Pacotes de Software: necessidade de que cada pacote se software tenha uma descrição de produto e documentação de usuário; requisitos para a descrição do produto. Em particular, há um requisito estabelecendo que esta descrição deve conter informações específicas e que todas as suas declarações devem ser passíveis de testes e corretas; requisitos para a documentação de usuário; requisitos para os programas e dados, caso existam, incluídos no pacote. A Descrição do Produto, segundo a norma, define o produto e é uma parte do conjunto de documentação do produto. Ela fornece informações sobre a documentação de usuário, programas e, se existirem, sobre os dados. Os principais objetivos da descrição do produto são: ajudar o usuário ou o comprador em potencial na avaliação da adequação do produto às suas necessidades. Por extensão, ela também fornece informações para venda; servir como base para testes. A norma também define que os requisitos gerais sobre o conteúdo da descrição convêm que sejam suficientemente inteligíveis, completos e possuam boa

40 41 organização e apresentação, a fim de auxiliar os compradores em potencial na avaliação da adequação do produto às suas necessidade, antes de comprá-lo. A Descrição do Produto deverá incluir: Identificação e Indicações; Declarações sobre Funcionalidade; Declarações sobre Confiabilidade; Declarações sobre Usabilidade; Declarações sobre Eficiência; Declarações sobre Manutenibilidade; Declarações sobre Portabilidade. A Documentação do Usuário deverá ter as seguintes características: Completitude: informações necessárias para o uso do produto; Correção: informações devem estar corretas; Consistência: informações não devem apresentar contradições; Inteligibilidade: informações devem ser inteligíveis aos usuários; Apresentação e organização: informações devem ser bem apresentadas e organizadas. Os Programas e Dados deverão possuir as seguintes características: Funcionalidade; Confiabilidade; Usabilidade; Eficiência; Manutenibilidade; Portabilidade.

41 42 Cabe ressaltar que as normas NBR ISO/IEC e a ISO/IEC 9126 apresentam as mesmas características: Funcionalidade, Confiabilidade, Usabilidade, Eficiência, Manutenibilidade, Portabilidade. Enquanto a norma ISO/IEC 9126 enfoca o desenvolvimento do produto, a norma NBR ISO/IEC enfoca a documentação dos pacotes de software Pacotes de Software Avaliados Avaliamos os pacotes: Lotus Notes e o MS-Exchange. A seguir são apresentas algumas das características destes pacotes Lotus Notes Podemos destacas as seguintes características deste pacote [LOTUSN04]: Sistema de correio eletrônico, agenda em grupo, tarefas a executar e integração das mesmas com Intranet e Internet; Plataforma de desenvolvimento de aplicações para uso interno e externo em Intra/Inter e Extranets; Digitação on-line de pedidos (colocados via WEB diretamente em BD relacionais, como Oracle, Sybase, Informix, SQL/Server, DB2, etc.) através de DECS, disponível sem custo adicional com o Lotus Notes; Atendimento a clientes/consumidores: "Fale Conosco": sugestões, reclamações, solicitações, etc. Integrados diretamente a sistema de workflow. Conforme a área de destino, o sistema dispara aviso por , propicia resposta automática aos solicitantes, controla respostas pendentes, etc;

42 43 Coleta "on-line" de informações de vendas: representantes ou vendedores podem entrar informações sobre preços de concorrência, giros de estoque, etc. As informações, entradas de todo o Brasil ou mundo, ficam centralizadas e formatadas para apresentação centralizada em forma de estatísticas de tempo real; Disponibilização de informações estatísticas de vendas por representante, região, vendedor, etc; Integração com clientes do exterior, disponibilizando-se dados sobre pedidos, entregas, embarques, etc; Help-desk: controle de problemas, ocorrências, pendências, com estatísticas de tempo demandado por solicitante, departamento, centro de custo, alocação de mão-de-obra, histórico de manutenção de equipamentos etc. Possibilidade de utilização via WEB para filiais ou usuários finais em Intranet/Internet; Solicitações de manutenção de sistemas: identicamente, controle sobre necessidades de alterações em sistemas com estatísticas completas sobre distribuição de carga de trabalho, prazos, alocações por departamentos e centros de custos, etc; Informações variadas de marketing podem ser publicadas automaticamente na WEB, com os dados sendo alimentados pelos próprios usuários não-técnicos da área. Basta digitar-se/atualizar-se documentos para as informações estarem disponíveis na WEB; Disponibilização de "clipping" de informações: coleta de artigos de jornais, revistas, publicações; ocorre o processo de passagem direta do

43 44 Scanner para a Intranet, com controle de distribuição pública ou restrita e de usuários que devem ler as informações (exigindo o visto dos mesmos); Possibilidade de se publicar manuais técnicos, normas, manuais de montagem de produtos etc; substituindo as cópias físicas de manuais, que podem ser atualizados automaticamente via WEB; Sistema de compras on-line, um dos componentes de comércio eletrônico na categoria "Business-to-Business"; o departamento de compras pode publicar automaticamente as cotações sendo efetuadas e fornecedores cadastrados, através de senha, consultam e divulgam seus preços. O sistema apóia todo o processo com avisos por e mantém estatísticas, históricos e informações gerenciais centralizadas e controladas hierarquicamente; Solicitações de adiantamentos e relatórios de viagens; Publicação de informações de Recursos Humanos, como aniversários, calendário de eventos, promoções de pessoal, dados sobre políticas de Recursos Humanos etc MS-Exchange Podemos destacar as seguintes características deste pacote [MICROS04]: Integração com o Microsoft Active Directory : o Exchange 2000 aproveita por completo as vantagens do Active Directory do Windows 2000, permitindo que os administradores de sistema criem um diretório da empresa, um único ponto de gerenciamento para todos os usuários,

44 45 grupos, permissões, dados de configuração, logon na rede, arquivo, compartilhamentos da Web, etc; Conteúdo de nativo da Internet: o Exchange 2000 aumenta substancialmente o desempenho do da Internet, permitindo que os clientes de armazenem e recuperem o conteúdo MIME 2 diretamente do sistema de armazenamento, com uma conversão de formato "por demanda" conforme necessário; Roteamento SMTP: o Exchange 2000 leva a integração das mensagens com a Internet para um novo nível, proporcionando um roteamento de alto desempenho dos s entre os servidores que usam o SMTP; Monitoramento do sistema usando a instrumentação do Windows: o Exchange 2000 emprega uma novíssima infra-estrutura de monitoramento e interface do usuário para permitir o monitoramento do sistema de uma infra-estrutura do Exchange, fornecendo uma visão simples, filtrável e nivelada de todos os servidores e conectores da empresa; Listas de controle de acesso do Windows 2000: o acesso a todos os recursos compartilhados no Exchange é definido com as listas de controle de acesso, fornecendo a integração da segurança; 2 MIME significa extensões de múltiplos propósitos do correio do Internet, e consulta a um padrão oficial do Internet que especifique como as mensagens devem ser formatadas de modo que possam ser trocadas entre sistemas diferentes do . O MIME é um formato muito flexível, permitindo incluir virtualmente qualquer tipo de arquivo ou documento em uma mensagem do . Especificamente, as mensagens do MIME podem conter texto, imagens, áudio, vídeo ou outros dados específicos [MIMEXT04].

45 46 Grupos de armazenamento: um grupo de armazenamento é um agrupamento de bancos de dados que compartilham um único log de transações e, portanto, um só ponto de administração, backup e restauração para redução dos tempos de backup e restauração; Diretivas: as diretivas proporcionam uma forma poderosa e flexível para alterar, em uma única operação, as opções administrativas de um conjunto de objetos como, por exemplo, caixas de correio de usuários, servidores e pastas públicas; Objetos de colaboração de dados (CDO) do Exchange Management: os CDO do Exchange Management são uma interface de programação abrangente para criar aplicativos de gerenciamento personalizados que podem executar uma ampla variedade de tarefas de gerenciamento; Hospedagem de aplicativos da Web: por meio da firme integração entre o Exchange 2000 e o Internet Information Services, os desenvolvedores podem hospedar tanto os seus aplicativos da Web quanto o conteúdo dos aplicativos, a partir de um único local no Exchange Essa integração permite que os desenvolvedores nivelem a mesma segurança, programação, replicação e backup/restauração dos seus dados e aplicativos; Integração de OLE DB e ADO: o Exchange 2000 usa HTTP para permitir o acesso baseado na Web a todos os dados do Web Storage System e usa a linguagem de marcação extensível (XML) para a representação nativa dos dados;

46 47 Layout gráfico do fluxo de trabalho: o Workflow Designer para Exchange 2000 oferece uma ferramenta de modelagem gráfica para que os designers criem modelos e implementem suas soluções de fluxo de trabalho. Com essa ferramenta, é possível criar novas soluções de fluxo de trabalho ou adicionar fluxo de trabalho a aplicativos existentes; Conferência de dados: o Exchange 2000 oferece conferência de dados com vários pontos, para permitir que grupos de pessoas se comuniquem e colaborem em tempo real através da Internet ou de Intranet corporativa. Entre os serviços, incluem-se o compartilhamento da área de trabalho, dos aplicativos, discussão de texto, recursos de quadros de comunicações e transferência de arquivos; Gerenciamento de agenda: o serviço de gerenciamento de conferências do Exchange 2000 coordena tecnologias de conferência diferentes, assim como a administração de recursos de conferência corporativa limitados, para garantir a máxima eficiência de recursos de conferência e de rede; Administração de estação única: o uso de um único console para gerenciar todos os servidores Microsoft, incluindo o próprio Windows 2000, significa que os administradores treinam uma vez e reutilizam sua experiência nas tarefas de gerenciamento; Conversão de aplicativos: o Exchange Server inclui ferramentas que permitem a interoperação com as informações de agendamento do Lotus Notes;

47 48 Formulários do Outlook: o Outlook 2000 inclui um ambiente completo para desenvolvimento de formulários, que está firmemente integrado ao Exchange Server; Criptografia da chave pública: com o Exchange e o Outlook, o pode ser assinado digitalmente e criptografado. O sistema de criptografia usa o Certificate Server do Windows e é gerenciado pelo servidor de administração de chaves (KMS) da Microsoft; Interoperabilidade de o Exchange Server inclui ferramentas para a interoperação com os seguintes sistemas de Microsoft Mail, Lotus cc:mail, Lotus Notes/Domino e Novell GroupWise; Interoperabilidade do diretório: o Exchange Server inclui ferramentas que permitem a interoperação com os seguintes sistemas para obter informações de diretórios: Microsoft Mail, Novell GroupWise, Lotus cc:mail e Lotus Notes/Domino; Cliente Outlook 2000: o Exchange 2000 inclui o Outlook 2000, o principal cliente de mensagens e colaboração disponível. Além de completar a funcionalidade do , o Outlook 2000 inclui o agendamento de grupos, gerenciamento de tarefas e contatos, e ferramentas de desenvolvimento de aplicativos para aplicativos comerciais personalizados; Banco de dados ilimitado: O Exchange Server não limita a quantidade de dados que podem ser armazenados em um único banco de dados. Este recurso requer o Exchange 2000 Enterprise Server;

48 49 Integração do Internet Information Server (IIS): O Exchange 2000 integra-se firmemente ao IIS, proporcionando uma plataforma de aplicativos da Web completa e acesso de alto desempenho às informações da Web; Cluster: Para aumentar os níveis já altos de confiabilidade no Exchange Server, o Exchange 2000 oferece um cluster ativo/ativo de duas vias. O cluster requer o Exchange 2000 Enterprise Server e o Windows 2000 Advanced Server; Roteamento tolerante a falhas: Os algoritmos aprimorados garantem que as mensagens sejam entregues por um custo acessível, através de topologias complexas, apesar das muitas falhas de rede ou máquina; Suporte aos padrões da Internet: O suporte nativo a SMTP, POP, LDAP, HTTP, IMAP, NNTP, S/MIME e X.509v3 permite que o Exchange seja um gateway da organização para a Internet; Segurança do Windows 2000: O Exchange 2000 é o único sistema de mensagens e colaboração que usa todos os recursos do Windows 2000 para garantir a segurança das mensagens e da colaboração. Os administradores do sistema podem criar e gerenciar todos os grupos e permissões de usuários uma vez para toda a rede e os cenários de mensagens e colaboração; Objetos de colaboração de dados: Uma biblioteca de objetos abrangente usada para desenvolver aplicativos da Web de forma rápida. Os CDO do Exchange 2000 incluem um gerenciamento de calendário e de contatos, e têm uma interface dupla para programação

49 50 em C++, Microsoft Visual Basic, Visual Basic Scripting Edition, Java Script e Java; Integração com o FrontPage 2000: Os designers de aplicativos podem usar O Microsoft FrontPage 2000 para criar e manter aplicativos do Web Storage System; Formulários do Web Storage System: Os formulários do Web Storage System são personalizados e gerados por scripts ASP ou por extensões ISAPI que substituem o formulário padrão e visualizam os processos do Outlook Web Access. Esta tecnologia fornece aos designers de aplicativos uma ferramenta poderosa e integrada para vincular os aplicativos da Web às propriedades de lógica comercial, eventos e metadados do Web Storage System; Endereçamento de URL: Todos os dados armazenados no Web Storage System podem ser acessados por meio de um navegador da Web com um URL amigável para o usuário, permitindo o acesso fácil às informações A Abordagem Goal/Question/Metric (GQM) O sucesso de um projeto de software é determinado pelo grau com que ele atinge os objetivos que motivaram a sua construção [ROCHAA01]. Segundo Travassos [TRAVAS01], a abordagem GQM descreve uma infraestrutura geral para coletar dados de projetos que podem ser utilizados para um propósito específico. É uma abordagem top-down que começa com os objetivos e trabalha continuamente até que os dados (métricas) necessários sejam obtidos.

50 51 A abordagem GQM parte da suposição de que, para uma organização adotar um processo de medida definitivo, é necessário, em primeiro lugar, estabelecer os objetivos da própria organização e de seus produtos. Definidos esses objetivos, é necessário criar um ambiente (framework) de suporte que seja capaz de interpretar os dados comparando-os com os objetivos estabelecidos. Sendo assim, em termos gerais, é necessário identificar qual a necessidade de informações da organização; se essas podem ser quantificadas e qualificadas; como obtê-las, e se podem ser analisadas em função dos objetivos [ESEGRO01]. A abordagem GQM foi definida originalmente para avaliação de defeitos em um conjunto de projetos na NASA. A aplicação envolveu um conjunto de estudos de casos e foi expandida para incluir várias abordagens experimentais. Embora a abordagem tenha sido usada originalmente para definir e avaliar os objetivos de um projeto específico, seu uso foi expandido para contextos maiores [BASILI01]. A abordagem GQM é uma metodologia usada para a definição de um processo de mensuração que possibilita o acompanhamento e a avaliação do processo operacional de produção de software. Essa abordagem representa uma sistemática para ajuste e interação de objetivos operacionais, táticos e estratégicos de uma organização com modelos de processos, produtos e perspectivas de qualidade de software com base em necessidades específicas do projeto e da organização [ROCHAA01]. Os princípios desta abordagem podem ser resumidos em [PERFEC01]: Conjunto definido de objetivos; Aquisição de modelos de qualidade por parte dos envolvidos; Consideração do contexto em que a abordagem está sendo utilizada;

51 52 Derivação das métricas; Análise e interpretação dos dados obtidos. A abordagem GQM considera que devemos definir um conjunto selecionado de objetivos (Goal) do projeto no contexto de uma organização (considerando as características e atributos desejados dos processos, produtos e recursos), construindo e refinando um conjunto de perguntas (Questions) para cada objetivo e, em função de cada pergunta, elegem-se as métricas apropriadas (Metric). [OLSINA00] [SOLING99] As fases da abordagem GQM são [TRAVAS01]: Planejamento; Definição; Coleta de dados; Interpretação. A Figura 2 mostra os componentes do modelo e sua estrutura hierárquica. Figura 2: Hierarquia GQM

52 53 Os níveis do modelo são [ESEGRO01]: Nível Conceitual (Objetivos): diz respeito à definição do objetivo para o objeto a ser medido, levando-se em conta o modelo de qualidade que se pretende atingir e o ponto de vista da observação; Nível Operacional (Questões): diz respeito a um conjunto de questões a partir de um objetivo, em relação a características de qualidade selecionadas para um ponto de vista; Nível Quantitativo (Métricas): diz respeito a um conjunto de métricas para cada questão, de modo a responder a cada uma delas quantitativamente. Estes dados podem ser objetivos (depende apenas do objeto que está sendo medido e não do ponto de vista em que são obtidos) ou subjetivos (depende do objeto que está sendo medido e do ponto de vista em que são obtidos). O resultado da aplicação da abordagem GQM é a especificação de um sistema de medidas objetivando um conjunto particular de casos e de regras na interpretação dos dados medidos [TRAVAS01]. Um aspecto relevante na abordagem GQM é que uma métrica pode ser usada para responder diferentes questões de um mesmo objetivo; e diversos modelos GQM podem, também, ter questões e métricas em comum, desde que seja assegurado que, quando da coleta das métricas, sejam observados os diversos pontos de vista a que se destinam, pois a mesma medida pode assumir valores diversos, dependendo do ponto de vista em que será analisada [PERFEC01].

53 54 3. AVALIANDO A QUALIDADE DE PACOTES DE SOFTWARE A verificação se um dado pacote de software está ou não de acordo com as normas técnicas indica que este pacote possui os requisitos mínimos exigidos pelos conceitos da Qualidade de Software. A avaliação por intermédio da aplicação das exigências da norma NBR ISO/IEC tem por objetivo verificar se estes pacotes estão de acordo com tais exigências de qualidade. Portanto, avaliar a qualidade dos pacotes de software pode ser o primeiro passo na obtenção de uma futura certificação e/ou uma garantia na compra ou venda destes pacotes e/ou o primeiro passo na busca da qualidade de uma instituição. Além disso, o mercado de informática precisa de subsídios para afirmar ou questionar se um pacote é de qualidade ou não. O mais importante é validar se a aplicação da norma pode e deve ser utilizada como parâmetro de aquisição para novos pacotes e de comparação entre eles Metodologia A Norma NBR ISO/IEC apresenta os requisitos de qualidade para avaliar a qualidade dos pacotes de software, mas não orienta como realizar esta avaliação. Com a utilização da abordagem GQM e a utilização dos conceitos de métricas apresentadas pela norma ISO/IEC 6129, serão construídas uma série de Questões (Metrics). De acordo com o entendimento dos requisitos de qualidade apresentados na norma ISO/IEC NBR 12119, serão construídos os grupos de respostas. Após esta construção, por questão, ocorrerá à definição de qual grupo de

54 55 resposta deverá ser utilizado e, quais serão os graus de atendimento aos requisitos de qualidade. A metodologia engloba os seguintes passos: 1. Elaboração das questões (Metrics): baseado nas Normas NBR ISO/IEC e ISO/IEC 9126 em conjunto com as orientações dispostas nestas normas e, utilizando a abordagem GQM, será construído um conjunto de questões que individualmente possibilitará a avaliação de cada tópico apresentado na Norma NBR ISO/IEC e, de forma conjunto, possibilitará a avaliação dos Itens e Seções da NBR ISO/IEC A elaboração das questões é apresentada no item 3.2. Elaboração do Formulário de Avaliação na página Estabelecimento dos requisitos de qualidade: após a construção das questões a serem utilizadas, será necessário o estabelecimento dos requisitos de qualidade para cada questão. O estabelecimento destes requisitos será baseado nos requisitos de qualidade apresentados nas Normas NBR ISO/IEC e ISO/IEC O estabelecimento dos requisitos de qualidade é apresentado no item 3.3. Estabelecimento dos requisitos de qualidade na página Elaboração questões (Metrics) para avaliar o Formulário de Avaliação: baseado novamente nas Normas NBR ISO/IEC e ISO/IEC 9126 em conjunto com as orientações dispostas nestas normas e, utilizando novamente a abordagem GQM, será construído um conjunto de questões que possibilitará a avaliação da aplicação e utilização do conjunto de questões definidas no passo 1. A elaboração das questões

55 56 é apresentada no item 3.4. Elaboração e estabelecimento dos requisitos de qualidade para o Formulário de Avaliação na página Estabelecimento dos requisitos de qualidade para as questões de avaliação do Formulário de Avaliação: após a construção das questões a serem utilizadas na avaliação do Formulário de Avaliação, será necessário o estabelecimento dos requisitos de qualidade para cada questão. O estabelecimento destes requisitos será baseado nos requisitos de qualidade apresentados nas Normas NBR ISO/IEC e ISO/IEC O estabelecimento dos requisitos de qualidade é apresentado no item 3.4. Elaboração e estabelecimento dos requisitos de qualidade para o Formulário de Avaliação na página Elaboração do Formulário de Avaliação: será elaborado um Formulário de Avaliação contendo as questões definidas nos passos 1 e 3. Este Formulário conterá ainda uma série de orientações para os avaliadores e um gabarito para preenchimento da avaliação. Este gabarito visará facilitar o envio da avaliação pelo avaliador ao responsável pela análise dos resultados. A elaboração do Formulário de Avaliação é apresentado no item3.2. Elaboração do Formulário de Avaliação na página Distribuição e captação do Formulário de Avaliação: após a elaboração do Formulário de Avaliação, este será distribuído para um grupo de técnicos que utilizam pacotes de softwares para desenvolverem aplicativos. A distribuição e captação das avaliações registradas pelo Formulação são apresentados no Capítulo 4. ESTUDO DE CASO na página 87.

56 57 7. Realização da Avaliação e Análise dos resultados: Após o recebimento das avaliações serão realizadas as análises necessárias para verificar se os pacotes estão em conformidade com os requisitos de qualidades solicitados pelas normas NBR ISO/IEC e ISO/IEC A realização da avaliação e análise dos resultados estão dispostos no Capítulo 4. ESTUDO DE CASO na página 87. Podemos expressar, em termos gráficos, a metodologia proposta conforme apresentada na Figura 3. Figura 3: Metodologia Proposta 3.2. Elaboração do Formulário de Avaliação Para estabelecermos os requisitos de qualidade, analisaremos a norma NBR ISO/IEC e observaremos sua orientação para as características de qualidade para pacote de software. A norma NBR ISO/IEC define os requisitos de qualidade, mas não estabelece como avaliá-los. Considerando orientações da norma ISO/IEC 9126

57 58 [9126-1] e de outros trabalhos na literatura (como por exemplo, [LIMARS00]), elaboraremos um formulário de avaliação que utilizará escalas ou graus de atendimento aos requisitos de qualidade. O objetivo desta avaliação é verificar se estes pacotes estão de acordo com os requisitos de qualidade apresentados na norma. Então, decidimos avaliar os pacotes de software utilizados no Ministério do Planejamento, Orçamento e Gestão, Correios e Telégrafos, Agência Nacional de Águas e em algumas organizações privadas. Um aspecto importante a ser citado é que partimos da consideração de que todas as Organizações, por intermédio de seus técnicos, que irão responder às questões contidas no Formulário de Avaliação, já utilizam os pacotes a serem avaliados e que esta utilização ocorre de forma legal, proporcionando o Kit completo do pacote de software. Definimos então, que elaboraríamos um Formulário de Avaliação que traduzisse as características de qualidade em métricas reais e calculáveis, conforme orientações dispostas na seção 4. Instruções de teste da norma NBR ISO/IEC Construiremos o Formulário de Avaliação utilizando a abordagem GQM (item 2.7). Para cada item das seções 1. Objetivo e 3. Requisitos de Qualidade da norma NBR ISO/IEC 12119, serão realizadas uma ou mais Questions e destas Questions derivaremos para uma ou mais Metrics e seus graus de atendimento (grupos de respostas) aos requisitos de qualidade. Para cada questão, adotaremos um dos três grupos de respostas: 0-Não, 1-Sim e 2-Não Sei Afirmar;

58 59 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar; 0-abaixo de 10, 1- de 10 até 15, 2- de 15 até 20, 3- de 20 até 25, 4- de 25 até 30 e 5-Acima de 30. A escolha do grupo de resposta para cada questão ocorreu conforme interpretação da norma NBR ISO/IEC Sendo assim, construímos o modelo GQM descrito a seguir. Goal: Verificar os requisitos de qualidade do pacote em avaliação. Question 1: Atender aos requisitos de qualidade apresentados na seção 1 da norma NBR ISO/IEC 12119, ou seja, referentes ao objetivo da norma que é a sua aplicabilidade. Metric 1: Ao ler a documentação deste produto, você percebeu que suas necessidades seriam atendidas? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 1: 1-Sim; Question 2: Atender aos requisitos de qualidade apresentados na seção 3 da norma NBR ISO/IEC 12119, ou seja, referentes a existência da documentação e do treinamento do pacote. Metric 2: No momento, existe alguma documentação deste produto disponível para você? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 2: 1-Sim; Metric 3: Ao adquirir o produto, foi ofertado algum tipo de treinamento?

59 60 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 3: 3-Quase Sempre e 4- Sempre; Metric 4: O material utilizado no treinamento está disponível? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 4: 3-Quase Sempre e 4- Sempre; Question 3: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes aos requisitos gerais sobre o conteúdo da descrição do produto. Metric 5: A descrição do produto está fácil de ser compreendida? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 5: 3-Quase Sempre e 4- Sempre; Metric 6: A descrição do produto está bem organizada? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 6: 3-Quase Sempre e 4- Sempre; Metric 7: A descrição do produto possui boa apresentação?

60 61 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 7: 3-Quase Sempre e 4- Sempre; Question 4: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a identificações e indicações da descrição do produto. Metric 8: Cada termo apresentado na descrição do produto possui um único significado? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 8: 3-Quase Sempre e 4- Sempre; Metric 9: Cada item da descrição do produto é passível de ser verificado? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 9: 3-Quase Sempre e 4- Sempre; Metric 10: O documento que contém a descrição do produto possui uma única identificação, como por exemplo, um nome e/ou um número? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 10: 1-Sim

61 62 Metric 11: O documento que contém a descrição do produto possui versão ou data de produção? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 11: 1-Sim Metric 12: A descrição do produto, em todos os seus volumes e versões, contém o nome e o endereço de algum fornecedor do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 12: 3-Quase Sempre e 4- Sempre; Metric 13: A descrição do produto identifica as tarefas que podem ser executadas utilizando-se o mesmo? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 13: 3-Quase Sempre e 4- Sempre; Metric 14: Caso o produto afirme estar em conformidade com alguma norma ergonômica ou técnica, a descrição do produto faz referência a estas normas ou técnicas? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 14: 3-Quase Sempre e 4- Sempre;

62 63 Metric 15: Caso o produto afirme estar em conformidade com alguma lei ou decreto, a descrição do produto faz referência a esta lei ou decreto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 15: 3-Quase Sempre e 4- Sempre; Metric 16: A descrição do produto especifica o hardware necessário para sua execução? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 16: 1-Sim; Metric 17: A descrição do produto especifica o software necessário para sua execução? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 17: 1-Sim; Metric 18: A descrição do produto faz referência a interface com outros produtos? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 18: 3-Quase Sempre e 4- Sempre; Metric 19: A descrição do produto apresenta como a interface é identificada?

63 64 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 19: 3-Quase Sempre e 4- Sempre; Metric 20: A descrição do produto informa o tipo de interface a ser utilizada? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 20: 3-Quase Sempre e 4- Sempre; Metric 21: A descrição do produto identifica se o usuário pode conduzir o processo de instalação? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 21: 3-Quase Sempre e 4- Sempre; Metric 22: A descrição do produto identifica se o suporte de operação do mesmo é oferecido? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 22: 1-Sim; Metric 23: A descrição do produto identifica se a manutenção do mesmo é oferecida? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 23: 1-Sim;

64 65 Question 5: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a declarações sobre funcionalidade da descrição do produto. Metric 24: A descrição do produto identifica as funções internas que são disponibilizadas? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 24: 3-Quase Sempre e 4- Sempre; Metric 25: A descrição do produto identifica quais são os dados necessários para execução de uma determinada função? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 25: 3-Quase Sempre e 4- Sempre; Metric 26: A descrição do produto identifica a existência de algum suplemento sem garantia? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 26: 0-Nunca e 1-Quase Nunca; Metric 27: A descrição do produto identifica os valores-limite, tais como valores máximos ou mínimos de campos, comprimento de chaves, número máximo de registros por arquivo, etc.?

65 66 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 27: 3-Quase Sempre e 4- Sempre; Metric 28: A descrição do produto informa as maneiras de evitar acessos não autorizados a Dados? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 28: 3-Quase Sempre e 4- Sempre; Metric 29: A descrição do produto informa as maneiras de evitar acessos não autorizados a Programas? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 29: 3-Quase Sempre e 4- Sempre; Question 6: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a declarações sobre confiabilidade da descrição do produto. Metric 30: A descrição do produto informa sobre procedimentos para preservação de dados (validação da entrada de dados, recuperação de erros, etc.)? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar;

66 67 Requisitos de Qualidade para a Metric 30: 3-Quase Sempre e 4- Sempre; Question 7: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a declarações sobre usabilidade da descrição do produto. Metric 31: A descrição do produto informa qual é o conhecimento específico requerido para sua aplicação? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 31: 3-Quase Sempre e 4- Sempre; Metric 32: A descrição do produto informa a possibilidade de personalização ou customização? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 32: 3-Quase Sempre e 4- Sempre; Metric 33: A descrição do produto informa a existência de proteção contra infrações a direitos autorais? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 33: 3-Quase Sempre e 4- Sempre;

67 68 Metric 34: A descrição do produto informa a eficiência de uso e satisfação do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 34: 3-Quase Sempre e 4- Sempre; Question 8: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a declarações sobre eficiência da descrição do produto. Metric 35: A descrição do produto possui dados sobre o comportamento do produto em relação ao tempo, tais como tempo de resposta e taxas de throughput para uma dada função sob condições estabelecidas (por exemplo, a configuração do sistema)? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 35: 1-Sim; Metric 36: A descrição do produto contém declarações sobre a eficiência do produto? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 36: 1-Sim; Question 9: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a declarações sobre manutenabilidade da descrição do produto. Metric 37: A descrição do produto contém declarações sobre a manutenibilidade do produto?

68 69 Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 37: 1-Sim; Question 10: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a declarações sobre portabilidade da descrição do produto. Metric 38: A descrição do produto apresenta informações sobre sua portabilidade? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 35: 1-Sim; Question 11: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à completude da documentação de usuário. Metric 39: A documentação do usuário contém informações sobre as funções do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 34: 3-Quase Sempre e 4- Sempre; Metric 40: A documentação do usuário contém informações sobre os valores-limite, tais como valores máximos ou mínimos de campos, comprimento de chaves, número máximo de registros por arquivo, etc.? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar;

69 70 Requisitos de Qualidade para a Metric 40: 3-Quase Sempre e 4- Sempre; Metric 41: A documentação do usuário contém informações sobre a instalação do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 41: 3-Quase Sempre e 4- Sempre; Metric 42: A documentação do usuário contém informações sobre as possíveis manutenções a serem realizadas? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 42: 3-Quase Sempre e 4- Sempre; Metric 43: A documentação do usuário estabelece o espaço necessário de armazenamento mínimo e máximo para a instalação do produto? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 43: 1-Sim; Metric 44: A documentação do usuário avisa se existe limitação em relação ao número de instalações permitidas? Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 44: 1-Sim;

70 71 Question 12: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à correção da documentação de usuário. Metric 45: Cada termo apresentado na documentação do usuário está correto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 34: 3-Quase Sempre e 4- Sempre; Metric 46: A documentação do usuário apresenta erros gramaticais? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 46: 0-Nunca e 1-Quase Nunca; Metric 47: A documentação do usuário apresenta erros ortográficos? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 47: 0-Nunca e 1-Quase Nunca; Question 13: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à consistência da documentação de usuário. Metric 48: Cada termo apresentado na documentação do usuário possui um único significado?

71 72 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 34: 3-Quase Sempre e 4- Sempre; Question 14: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à inteligibilidade da documentação de usuário. Metric 49: A documentação do usuário está fácil de ser compreendida? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 49: 3-Quase Sempre e 4- Sempre; Metric 50: A documentação do usuário é voltada para orientar a aprendizagem do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 50: 3-Quase Sempre e 4- Sempre; Question 15: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes a apresentação e organização da documentação de usuário. Metric 51: A documentação do usuário está bem organizada?

72 73 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 51: 3-Quase Sempre e 4- Sempre; Metric 52: A documentação do usuário é organizada visando a facilitar o entendimento do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 52: 3-Quase Sempre e 4- Sempre; Metric 53: A documentação do usuário possui boa apresentação? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 53: 3-Quase Sempre e 4- Sempre; Metric 54: A documentação do usuário é apresentada visando a facilitar o entendimento do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 54: 3-Quase Sempre e 4- Sempre; Question 16: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à funcionalidade dos programas e dados.

73 74 Metric 55: A instalação do produto poderá ser realizada pelo usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 55: 3-Quase Sempre e 4- Sempre; Metric 56: O manual de instalação contido na descrição do produto é suficiente para realizar a instalação? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 56: 3-Quase Sempre e 4- Sempre; Metric 57: Todas as funções mencionadas na documentação do usuário podem ser executadas conforme especificadas? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 57: 3-Quase Sempre e 4- Sempre; Metric 58: Os Programas que o produto possui estão especificados na descrição do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 58: 3-Quase Sempre e 4- Sempre;

74 75 Metric 59: Os Programas que o produto possui estão especificados na documentação do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 59: 3-Quase Sempre e 4- Sempre; Metric 60: Os Dados necessários para a execução dos programas do produto estão especificados na descrição do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 60: 3-Quase Sempre e 4- Sempre; Metric 61: Os Dados necessários para a execução dos programas do produto estão especificados na documentação do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 61: 3-Quase Sempre e 4- Sempre; Metric 62: Os Programas executam exatamente aquilo a que se propõem? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 62: 3-Quase Sempre e 4- Sempre;

75 76 Metric 63: Os Programas contêm contradições com a descrição do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 63: 0-Nunca e 1-Quase Nunca; Metric 64: Os Dados contêm contradições com a descrição do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 64: 0-Nunca e 1-Quase Nunca; Metric 65: Os Programas contêm contradições com a documentação do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 65: 0-Nunca e 1-Quase Nunca; Metric 66: Os Dados contêm contradições com a documentação do usuário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 66: 0-Nunca e 1-Quase Nunca;

76 77 Question 17: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à confiabilidade de programas e dados. Metric 67: Os Programas são confiáveis em relação ao tratamento de entrada de dados oferecida pelo produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 67: 3-Quase Sempre e 4- Sempre; Metric 68: Os Dados são confiáveis em relação ao tratamento de entrada de dados oferecida pelo produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 68: 3-Quase Sempre e 4- Sempre; Question 18: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à usabilidade de programas e dados. Metric 69: As mensagens de confirmação do produto são claras? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 69: 3-Quase Sempre e 4- Sempre; Metric 70: As mensagens de solicitação do produto são claras?

77 78 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 70: 3-Quase Sempre e 4- Sempre; Metric 71: As mensagens de advertência do produto são claras? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 71: 3-Quase Sempre e 4- Sempre; Metric 72: As mensagens de erro do produto são claras, especificando a causa do erro ou forma de correção? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 72: 3-Quase Sempre e 4- Sempre; Metric 73: As mensagens de confirmação dizem respeito exclusivamente a confirmações? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 73: 3-Quase Sempre e 4- Sempre; Metric 74: As mensagens de solicitação dizem respeito exclusivamente a solicitações?

78 79 Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 74: 3-Quase Sempre e 4- Sempre; Metric 75: As mensagens de advertência dizem respeito exclusivamente a advertências? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 75: 3-Quase Sempre e 4- Sempre; Metric 76: As mensagens de erro do produto dizem respeito exclusivamente a erros do produto? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 76: 3-Quase Sempre e 4- Sempre; Metric 77: Na execução de funções que têm conseqüências graves, existem advertências de confirmação? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 77: 3-Quase Sempre e 4- Sempre;

79 80 Metric 78: Na execução de funções que têm conseqüências graves, existe possibilidade de retorno ao estado anterior ao da execução da função? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 78: 3-Quase Sempre e 4- Sempre; Metric 79: As perguntas, mensagens e resultados dos Programas são suportados por explicação dada por função de auxílio (Help)? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 79: 3-Quase Sempre e 4- Sempre; Question 19: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à eficiência de programas e dados. Metric 80: Caso a descrição do produto contenha declarações sobre a eficiência do produto (questão 36), responda: o produto está em conformidade com as declarações desta questão? Caso negativo, assinale a opção 2-Não sei afirmar. Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 80: 1-Sim;

80 81 Question 20: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à manutenibilidade de programas e dados. Metric 81: Caso a descrição do produto contenha declarações sobre a manutenibilidade do produto (questão 37), responda: o produto está em conformidade com as declarações desta questão? Caso negativo, assinale a opção 2-Não sei afirmar. Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 81: 1-Sim; Question 21: Atender aos requisitos de qualidade apresentados no item da norma NBR ISO/IEC 12119, ou seja, referentes à portabilidade de programas e dados. Metric 82: Caso a descrição do produto contenha declarações sobre a portabilidade do produto (questão 38), responda: o produto está em conformidade com as declarações desta questão? Caso negativo, assinale a opção 2-Não sei afirmar. Grupo de Respostas: ( )0-Não ( )1-Sim ( )2-Não Sei Afirmar; Requisitos de Qualidade para a Metric 82: 1-Sim. Cada Metric teve por objetivo validar se o pacote de software avaliado atendeu isoladamente os requisitos de qualidade exigidos daquele item da norma. No total, foram construídas 82 Metrics. Visando a melhorar o entendimento para os avaliadores que irão responder o Formulário de Avaliação, passamos a denominar Metrics como Questões. Os Itens da norma NBR ISO/IEC e as respectivas questões estão dispostas na Tabela 2 a seguir.

81 82 Itens da Norma Questões 1 Objetivo 1 3 Requisitos de Qualidade 2 a Descrição do Produto Requisitos gerais sobre o conteúdo da descrição 5 a Identificações e Indicações 10 a Declarações sobre funcionalidade 24 a Declarações sobre confiabilidade Declarações sobre usabilidade 31 a Declarações sobre eficiência 35 e Declarações sobre manutenibilidade Declarações sobre portabilidade Documentação de Usuário Completitude 39 a Correção 45 a Consistência Inteligibilidade 49 e Apresentação e organização 51 a Programas e dados Funcionalidade 55 a Confiabilidade 67 e Usabilidade 69 a Eficiência Manutenibilidade Portabilidade 82 Tabela 2: Relação entre as questões do Formulário de Avaliação com os Itens da Norma Agrupamos estas 82 questões em um Formulário de Avaliação. O Formulário de Avaliação está disposto na integra no Anexo I Formulário de Avaliação. Além das 82 questões que versam sobre a qualidade do pacote de software, o Formulário de Avaliação contém mais cinco questões que versam sobre a Avaliação

82 83 do Formulário de Avaliação (item 3.4 página 85). Para definição destas cinco questões, foram utilizados os mesmos conceitos utilizados na construção das 82 questões anteriores. O Formulário de Avaliação também contém uma capa e uma folha de resposta. Na capa, foi descrita a orientação para o preenchimento do Formulário de Avaliação. Na folha de resposta, foi solicitada o preenchimento das seguintes informações: a identificação do avaliador, a identificação do produto, a organização e sua natureza, a função do avaliador, o tempo de conhecimento do pacote e a data da avaliação. Além disto, na folha de resposta foi fornecida um gabarito modelo para que o avaliador pudesse marcar a resposta para cada questão, se assim o desejasse Estabelecimento dos requisitos de qualidade Considerando nossa interpretação do entendimento da norma ISO/IEC NBR 12119, analisamos cada questão do Formulário de Avaliação (inclusive as questões específicas para a avaliação do próprio Formulário de Avaliação item 3.4 página 85) e de acordo com o grupo de respostas adotado para aquela questão, definimos o grau de atendimento aos requisitos de qualidade da norma para aquela questão. Uma parte do formulário mostrando as questões com a marcação (um X na cor vermelha) dos graus de atendimento aos requisitos de qualidade (grau de exigência de cada questão) está apresentada na Figura 4.

83 84 Figura 4: Formulário de Avaliação com marcação dos requisitos de qualidade Uma questão do Formulário de Avaliação pode conter mais de uma resposta que atenda aos requisitos de qualidade definidos. Por exemplo, para a questão de número 3 as opções 3 e 4 atendem ao requisito de qualidade. O Formulário de Avaliação contendo as marcações dos requisitos de qualidade está disposto na integra no ANEXO I Formulário de Avaliação. Depois de definidos os requisitos de qualidade e seus respectivos graus de atendimento a estes requisitos de qualidade, esta metodologia foi aplicada na avaliação dos pacotes Lotus Notes e MS_Exchange, descrito no Capítulo 4. ESTUDO DE CASO na página 87.

84 Elaboração e estabelecimento dos requisitos de qualidade para o Formulário de Avaliação Utilizando a mesma linha de raciocínio descrita nos itens 3.2 e 3.3, mas focando em analisar a utilização do Formulário de Avaliação, definirmos as questões necessárias para esta análise. Foram elaboradas cinco questões, conforme modelo descrito a seguir. Goal: Validar a praticidade da aplicação do Formulário de Avaliação. Question 22: Verificar o grau de dificuldade de preenchimento do Formulário de Avaliação. Metric 83: As informações necessárias para responder ao Formulário estão disponibilizadas de uma forma que permitam um fácil acesso? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 83: 3-Quase Sempre e 4- Sempre; Metric 84: A linguagem utilizada no Formulário é de fácil compreensão? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 84: 3-Quase Sempre e 4- Sempre; Metric 85: Foi difícil responder ao Formulário? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar;

85 86 Requisitos de Qualidade para a Metric 85: 0-Nunca e 1-Quase Nunca; Metric 86: O conteúdo dos quesitos utilizado no Formulário está pertinente? Grupo de Respostas: ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar; Requisitos de Qualidade para a Metric 86: 3-Quase Sempre e 4- Sempre; Metric 87: Qual foi o tempo gasto para responder ao Formulário (em minutos)? Grupo de Respostas: ( )0-abaixo de 10 ( )1-de 10 até 15 ( )2-de 15 até 20 ( )3-de 20 até 25 ( )4-de 25 até 30 ( )5-Acima de 30; Requisitos de Qualidade para a Metric 87: 0-abaixo de 10, 1-de 10 até 15, 2-de 15 até 20 e 3-de 20 até 25. Depois de definidos os requisitos de qualidade e seus respectivos graus de atendimento a estes requisitos de qualidade, esta metodologia foi aplicada na avaliação dos pacotes Lotus Notes e MS_Exchange, descrito no Capítulo 4. ESTUDO DE CASO na página 87.

86 87 4. ESTUDO DE CASO 4.1. Distribuição e captação do Formulário de Avaliação Escolhemos os pacotes Lotus Notes e o MS Exchange para serem verificados, como descrito no item 1.1. Motivação página 17. Após a conclusão da confecção do Formulário de Avaliação e a respectiva definição dos requisitos de qualidade, com descrito no capítulo 3 página 54, o Formulário de Avaliação foi enviado para um grupo de técnicos (desenvolvedores e usuários dos pacotes escolhidos para serem verificados) de várias Organizações que utilizam os pacotes selecionados como ferramenta de desenvolvimento de software. A escolha de um grupo fechado de técnicos deve-se à preocupação com a veracidade das informações (respostas das avaliações). Esta escolha visa a minimizar possíveis distorções na amostra recolhida, visto que, desta forma, somente os técnicos que realmente utilizam aquele pacote foram selecionados para avaliá-los. Isto garante parte da confiabilidade no processo de avaliação. Este grupo de técnicos foi escolhido de acordo com a disponibilidade destes em preencher o Formulário de Avaliação, independendo da organização na qual trabalha. Foram realizados contatos por , e/ou por telefone e/ou por fax, solicitando o preenchimento do Formulário de Avaliação. Todos os dados oriundos do Formulário de Avaliação foram implementados em um banco de dados em MS ACCESS. O número de técnicos que responderam o Formulário de Avaliação foi 18.

87 Avaliação e Análise de Resultados Dividimos nossa avaliação e análise de resultados em alguns tópicos, para facilitar a compreensão dos resultados. Começamos pela análise dos resultados em relação aos itens da norma NBR ISO/IEC Em seguida, fizemos a análise do perfil do avaliador e verificamos se a avaliação pode estar direcionada. Esta preocupação se deve ao fato de vários técnicos que responderam ao Formulário de Avaliação trabalharem em organizações parceiras dos pacotes avaliados. Concluímos nossa avaliação analisando o mesmo propriamente dito. Começamos estes procedimentos fazendo uma análise geral desconsiderando os pacotes analisados ( Análise Geral). Posteriormente, repetimos esta análise individualmente para cada pacote avaliado ( Análise do Lotus Notes e Análise do MS-Exchange) Análise Geral Esta análise foi dividida em três partes: análise dos itens da norma, análise do perfil do avaliador e análise do Formulário de Avaliação Análise dos Itens da Norma Para cada questão do Formulário de Avaliação, foram realizados cálculos com o objetivo de quantificar os totais de resposta para cada opção, ou seja, o grau de atendimento aos requisitos de qualidade definidos. Por exemplo, analisaremos as Questões 01 e 04. Questão 01: dos 18 que responderam o Formulário de Avaliação, todos optaram pela resposta 01, que, para esta questão, corresponde à resposta Sim. Conforme descrito no item Estabelecimento dos

88 89 requisitos de qualidade e com base nas exigências dos requisitos de qualidade (Anexo I), a resposta 01 é a única que atende aos requisitos de qualidade. Sendo assim, foi calculada a porcentagem de satisfação em relação às exigências dos requisitos de qualidade definidos pela norma, ou seja, 100%; Questão 04: dos 18 que responderam o Formulário de Avaliação, um optou pela resposta 00 (Nunca), um optou pela resposta 01 (Quase Nunca), seis optaram pela resposta 03 (Quase Sempre) e dez optaram pela resposta 04 (Sempre). Conforme descrito no item Estabelecimento dos requisitos de qualidade e com base nas exigências dos requisitos de qualidade (Anexo I), as respostas 03 e 04 são as que atendem aos requisitos de qualidade. Sendo assim, foi calculada a porcentagem de satisfação em relação às exigências dos requisitos de qualidade definidos pela norma, ou seja, 88,89%. A Tabela 3 mostra, por questão, a distribuição das respostas, as respostas que atendem aos requisitos de qualidade e a porcentagem deste atendimento. Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão ,00 Questão e 04 66,67 Questão e 04 88,89 Questão e 04 94,44 Questão e 04 94,44 Questão e 04 88,89 Questão e 04 88,89

89 90 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e 04 77,78 Questão ,89 Questão ,78 Questão e 04 72,22 Questão e 04 88,89 Questão e 04 55,56 Questão e 04 50,00 Questão ,33 Questão ,44 Questão e 04 72,22 Questão e 04 72,22 Questão e 04 88,89 Questão e 04 66,67 Questão ,78 Questão ,11 Questão e 04 83,33 Questão e 04 77,78 Questão e 01 77,78 Questão e 04 72,22 Questão e 04 77,78 Questão e 04 83,33 Questão e 04 83,33 Questão e 04 72,22 Questão e 04 72,22 Questão e 04 83,33 Questão e 04 61,11 Questão ,56 Questão ,56 Questão ,11

90 91 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,89 Questão e 04 88,89 Questão e 04 77,78 Questão e 04 94,44 Questão e 04 66,67 Questão ,33 Questão ,89 Questão e 04 94,44 Questão e 01 77,78 Questão e 01 77,78 Questão e 04 94,44 Questão e 04 94,44 Questão e 04 88,89 Questão e 04 83,33 Questão e 04 77,78 Questão e 04 94,44 Questão e 04 72,22 Questão e 04 88,89 Questão e 04 83,33 Questão e 04 83,33 Questão e 04 88,89 Questão e 04 83,33 Questão e 04 72,22 Questão e 04 72,22 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 01 94,44

91 92 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e 04 88,89 Questão e ,00 Questão e 04 94,44 Questão e 04 88,89 Questão e 04 72,22 Questão e 04 50,00 Questão e 04 55,56 Questão e 04 77,78 Questão e 04 77,78 Questão e 04 88,89 Questão e 04 88,89 Questão e 04 66,67 Questão e 04 72,22 Questão ,56 Questão ,56 Questão ,67 Tabela 3: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário O primeiro passo foi analisar individualmente cada questão e sua porcentagem de atendimento dos requisitos de qualidade. Partimos da premissa de que o mínimo desejado, em termos de qualidade, é que esta porcentagem não deverá ser menor que 50% 3. Temos, então, que todas as respostas das questões individualmente atenderam aos requisitos de qualidade definidos pela norma. 3 O valor de 50% como porcentagem mínima de aceitação do grau de exigência de qualidade dos requisitos de qualidade foi definido analisando os requisitos apresentados na norma NBR ISO/IEC

92 93 A questão 03 verifica se é ofertado algum treinamento quando da aquisição dos pacotes de software. Mesmo atendendo os requisitos de qualidade, destacamos que das 18 respostas, 2 respostas apontam para o não atendimento deste quesito e, 4 respostas apontam para às vezes. Estas quantidades são justificadas, de certo modo, ao fato de alguns técnicos começaram a trabalhar com os pacotes de software por uma necessidade profissional sem o devido treinamento. Por isto, a documentação dos pacotes de software é fundamental. Confirmando a análise anterior, a questão 04 verifica se o material utilizado no treinamento dos pacotes de software está disponível. Este quesito tem a porcentagem de atendimento maior que a questão 03 indicando que, mesmo sem a participação direta dos técnicos no treinamento, eles podem consultar o material utilizado nos treinamentos dos pacotes de software. Apesar de satisfazerem aos requisitos de qualidade definidos pela norma, as questões 14 e 15 apresentam umas das menores porcentagens. Ambas as questões verificam se a descrição do produto dos pacotes de software está em conformidade com normas técnicas, ergonômicas, leis ou decretos. Justificamos esta porcentagem, de uma certa forma, com a despreocupação dos pacotes de software em relação a esta conformidade, pois este não é um dos principais objetivos destes pacotes de software. As questões 23, 37, 42 e 81 também atingiram os requisitos mínimos de qualidade. Entretanto, tiveram uma porcentagem de atendimento perto do limite mínimo. Estas questões verificam se os pacotes de software identificam na documentação do produto se a manutenção dos mesmos é oferecida. Justificamos esta porcentagem, de uma certa forma, com a despreocupação dos pacotes de

93 94 software em relação à manutenção dos mesmos, pois estes estão sempre em processo de evolução e construções de novas versões. O importante para os fabricantes é identificar o erro e corrigi-lo. As questões 34, 35, 36 e 80 a exemplo das questões citadas no parágrafo anterior, atingiram os requisitos mínimos de qualidade, mas com uma porcentagem também perto do limite. Estas questões verificam se a documentação do produto dos pacotes de software contém informações sobre eficiência dos mesmos. Apesar de não caracterizar uma falha, poderíamos solicitar aos fabricantes que melhorassem os itens referentes à eficiência na documentação do produto dos pacotes de software. As questões 38 e 82 versam sobre a portabilidade dos pacotes de software. Nas duas questões, os requisitos mínimos de qualidade foram atingidos. Entretanto cabe ressaltar que os pacotes de software apresentam os requisitos mínimos para sua instalação e, segundo estes requisitos, a documentação dos pacotes de software apresentada informações sobre sua portabilidade. As questões 72 e 73 verificam as mensagens de erro e de confirmação dos pacotes de software. Apesar de satisfazerem aos requisitos de qualidade definidos pela norma, estas questões apresentam umas das menores porcentagens. Apesar de não caracterizar uma falha, poderíamos solicitar aos fabricantes que melhorassem os itens referentes a estas mensagens na documentação do produto dos pacotes de software. Um item da norma pode conter uma ou mais questões do Formulário de Avaliação, conforme apresentado na Tabela 2. Para atender esta situação, adotamos a média aritmética simples para calcular a porcentagem de atendimento aos requisitos de qualidade definidos dos respectivos itens da norma que contém mais de

94 95 uma questão no Formulário de Avaliação, visto que na norma NBR ISO/IEC não se recomenda como estes cálculos devem ser realizados. Estes resultados estão dispostos na Tabela 4. Entendemos que esta porcentagem é o grau de atendimento dos pacotes referente aos requisitos de qualidade exigidos pela norma. Itens da Norma Grau de Atendimento (%) 1 Objetivo 100,00 3 Requisitos de Qualidade 85, Descrição do Produto Requisitos gerais sobre o conteúdo da descrição 88, Identificações e Indicações 75, Declarações sobre funcionalidade 78, Declarações sobre confiabilidade 83, Declarações sobre usabilidade 72, Declarações sobre eficiência 55, Declarações sobre manutenibilidade 61, Declarações sobre portabilidade 88, Documentação de Usuário Completitude 83, Correção 83, Consistência 94, Inteligibilidade 91, Apresentação e organização 81, Programas e dados Funcionalidade 88, Confiabilidade 94, Usabilidade 75, Eficiência 55, Manutenibilidade 55, Portabilidade 66,67 Tabela 4: Grau de atendimento aos requisitos de qualidade por item da norma

95 96 Todos os itens da norma, segundo a consolidação, ficaram acima dos 50% exigidos com requisito mínimo de atendimento aos requisitos de qualidade. Observamos, como já era previsto devido às porcentagens apresentadas individualmente pelas questões, que as menores porcentagens de atendimento aos requisitos de qualidade versão sobre eficiência e manutenibilidade. A Figura 5 mostra isoladamente as porcentagens para o item 3.1 Descrição do Produto da norma NBR ISO/IEC Descrição do Produto 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0, Requisitos gerais sobre o conteúdo da descrição Identificações e Indicações Declarações sobre funcionalidade Declarações sobre confiabilidade Declarações sobre usabilidade Declarações sobre eficiência Declarações sobre manutenibilidade Declarações sobre portabilidade Figura 5: Porcentagem de atendimento aos requisitos de qualidade - Descrição do Produto A Figura 6 mostra isoladamente as porcentagens para o item 3.2 Documentação do Usuário da norma NBR ISO/IEC

96 97 Documentação do Usuário 95,00 90,00 85,00 80, Completitude Correção Consistência Inteligibilidade Apresentação e organização 75,00 Figura 6: Porcentagem de atendimento aos requisitos de qualidade - Documentação do Usuário A Figura 7 mostra isoladamente as porcentagens para o item 3.3 Programa e Dados da norma NBR ISO/IEC Programas e Dados 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0, Funcionalidade Confiabilidade Usabilidade Eficiência M anutenibilidade Portabilidade Figura 7: Porcentagem de atendimento aos requisitos de qualidade - Programas e Dados Consolidamos os dados utilizando novamente média aritmética simples para obter as porcentagens referentes às Seções da Norma. Estes dados estão dispostos na Tabela 5.

97 98 Seções da Norma Grau de Atendimento (%) 1 Objetivo 100,00 3 Requisitos de Qualidade 85, Descrição do Produto 75, Documentação de Usuário 86, Programas e dados 72,82 Tabela 5: Grau de atendimento aos requisitos de qualidade por seção da norma Todos as seções da norma, segundo a consolidação, ficaram acima dos 50% exigidos com requisito mínimo de atendimento aos requisitos de qualidade. Observamos que a seção 3.3. Programas e Dados obteve a menor porcentagem de atendimento aos requisitos de qualidade. Esta porcentagem é justificada observando as porcentagens dos itens Eficiência, Manutenibilidade e Portabilidade que são baixas comparadas à dos outros itens. A seção 3.1 Descrição do Produto obteve uma porcentagem não muito elevada devido aos itens Declarações sobre eficiência e Declarações sobre manutenibilidade. Para uma melhor visualização desta consolidação, montamos o gráfico disposto na Figura 8.

98 99 Requisitos de Qualidade 100,00 80,00 60,00 40,00 20,00 1 Objet iv o 3 Requisitos de Qualidade 3.1 Descrição do Produto 3.2 Documentação de Usuário 3.3 Programas e dados 0,00 Figura 8: Porcentagem de atendimento aos requisitos de qualidade Adotando novamente a média aritmética simples dos itens 1, 3, 3.1, 3.2 e 3.3 da Tabela 5, podemos dizer que 84,08% dos pacotes atendem aos requisitos de qualidade estipulados pela norma. A porcentagem de 84,08% de atendimento aos requisitos de qualidade é significativa. De uma forma geral, podemos afirmar que os pacotes atendem de forma muito satisfatória os requisitos de qualidade. Entretanto, ao analisarmos os pacotes individualmente poderão aparecer algumas falhas isoladamente num dado pacote. Estas análises estão descritas nos itens Análise do Lotus Notes página 107 e Análise do MS-Exchange página 125.

99 Análise do Perfil do Avaliador Todos os técnicos são conhecedores dos pacotes há pelo menos 15 meses, chegando até a 120 meses. O tempo médio deste conhecimento é de 50 meses, conforme apresentado na Figura 9. Tempo de Conhecimento Figura 9: Tempo de conhecimento dos técnicos Portanto, podemos garantir que os técnicos que responderam a avaliação detêm conhecimento dos pacotes que estão avaliando. Dos 18 técnicos que responderam o Formulário de Avaliação, 6 trabalham em empresas parceiras dos pacotes, 9 em organizações públicas e 3 na iniciativa privada. A Figura 10 mostra o percentual desta relação. Natureza das Organizações 33% Parceira do Pacote 50% Privada 17% Pública Figura 10: Natureza das Organizações Outra análise necessária a ser realizada é verificar se as respostas foram influenciadas diretamente pelas respostas dos técnicos que trabalham nas parceiras

100 101 dos pacotes. Temos que 33,33% dos técnicos que responderam o Formulário de Avaliação estão classificados como Parceira do Pacote. É uma porcentagem que poderá alterar de forma significativa os resultados da avaliação. Para ter convicção em nossa análise, isolamos os resultados oriundos dos técnicos que trabalham nas Parceiras dos Pacotes. A Tabela 6 mostra estes resultados. Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão ,00 Questão e 04 83,33 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 83,33 Questão ,00 Questão ,33 Questão e 04 83,33 Questão e ,00 Questão e 04 50,00 Questão e 04 50,00 Questão ,00 Questão ,00 Questão e ,00 Questão e 04 83,33 Questão e ,00 Questão e 04 83,33 Questão ,00

101 102 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão e 04 83,33 Questão e ,00 Questão e 01 83,33 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 66,67 Questão e ,00 Questão ,33 Questão ,33 Questão ,33 Questão ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,33 Questão ,00 Questão e ,00 Questão e 01 66,67 Questão e 01 83,33 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00

102 103 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 83,33 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 83,33 Questão e 04 83,33 Questão e 04 83,33 Questão e 04 66,67 Questão e 04 50,00 Questão e 04 83,33 Questão e 04 83,33 Questão e 04 83,33 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,33

103 104 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão ,33 Questão ,33 Tabela 6: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação, considerando somente os técnicos que trabalham nas empresas parceiras dos pacotes Temos, então, que todas as respostas das questões individualmente atenderam aos requisitos de qualidade definidos pela norma. Observamos que os técnicos que trabalham nas organizações parceiras apontam uma porcentagem maior (88,82%) no atendimento aos requisitos de qualidade. Todavia, a diferença das porcentagens não é significativa. Podemos desconsiderar uma possível influência na porcentagem de atendimento aos requisitos de qualidade Análise do Formulário de Avaliação Como descrito no item Estabelecimento dos requisitos de qualidade para o Formulário de Avaliação, utilizamos a abordagem GQM (Goal Question Metrics) para definirmos as questões necessárias para avaliar o Formulário de Avaliação. Foram criadas cinco questões. A primeira questão elaborada foi: 83. As informações necessárias para responder ao Formulário estão disponibilizadas de uma forma que permitam um fácil acesso?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3- Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 18 respostas, 17 atenderam estes requisitos de qualidade. Obtivemos, então, 94,44% de atendimento aos

104 105 requisitos de qualidade definidos, ou seja, esta porcentagem indica que o Formulário de Avaliação pode ser preenchido sem maiores dificuldades. A segunda questão elaborada foi: 84. A linguagem utilizada no Formulário é de fácil compreensão?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 18 respostas, 18 atenderam aos requisitos de qualidade definidos. Obtivemos, então, 100% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que a linguagem utilizada na confecção das questões do Formulário de Avaliação é de conhecimento dos técnicos que responderam o Formulário de Avaliação. A terceira questão elaborada foi: 85. Foi difícil responder ao Formulário?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 0 e 1. Do total de 18 respostas, 15 atenderam aos requisitos de qualidade definidos. Obtivemos, então, 83,33% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o preenchimento do Formulário de Avaliação nem sempre foi fácil de ser respondido. Esta porcentagem é justificada, de certa forma, por dois motivos: em alguns casos a documentação não estava disponível de imediato e; para responder uma dada questão do Formulário de Avaliação foi necessário consultar a documentação do pacote de software. A quarta questão elaborada foi: 86. O conteúdo dos quesitos utilizado no Formulário está pertinente?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de

105 106 exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 18 respostas, 18 atenderam aos requisitos de qualidade definidos. Obtivemos, então, 100% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o Formulário de Avaliação foi confeccionado abordando o assunto avaliação de pacote de software de forma correta. A quinta questão elaborada foi: 87. Qual foi o tempo gasto para responder ao Formulário (em minutos)?. O grupo de resposta adotado foi 0-abaixo de 10, 1-de 10 até 15, 2-de 15 até 20, 3-de 20 até 25, 4-de 25 até 30 e 5-Acima de 30. O grau de exigência do requisito de qualidade foi definido para as opções 0, 1, 2 e 3. Do total de 18 respostas, 14 atenderam aos requisitos de qualidade definidos. Obtivemos, então, 77,78% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que 14 dos 18 avaliadores não ultrapassaram 25 minutos para responder o Formulário de Avaliação. Relacionando as 87 questões do Formulário de Avaliação a este tempo de preenchimento (25 minutos), temos que uma questão demorou, em média, 18 segundos a ser respondida. Outro fator a ser considerado neste quesito é a implementação da automação da mensuração pelo Formulário de Avaliação disponível pelo aplicativo (ver ANEXO II Aplicativo). Um dos objetivos deste aplicativo é minimizar o tempo de preenchimento do Formulário de Avaliação. Para uma melhor visualização destas porcentagens, montamos o gráfico disposto na Figura 11.

106 107 Requisitos de Qualidade para o Formulário de Avaliação 100,00 80,00 60,00 40,00 20,00 Questão 83 Questão 84 Questão 85 Questão 86 Questão 87 0,00 Figura 11: Porcentagem de atendimento aos requisitos de qualidade para o Formulário de Avaliação Adotamos novamente a média aritmética simples entre as questões 83 a 87 para consolidar a porcentagem total de atendimento aos requisitos de qualidade para o Formulário de Avaliação. Sendo assim, podemos dizer que 91,11% do Formulário de Avaliação atendem aos requisitos de qualidade estipulados pelo GQM (item Estabelecimento dos requisitos de qualidade para o Formulário de Avaliação). Apesar do tempo de preenchimento do Formulário de Avaliação não ser o ideal, o Formulário foi avaliado e, conforme porcentagem final de atendimento aos requisitos de qualidade, é totalmente indicada sua utilização Análise do Lotus Notes Assim como no item Análise Geral página 88, esta análise foi dividida em três partes: análise dos itens da norma, análise do perfil do avaliador e análise do Formulário de Avaliação.

107 Análise dos Itens da Norma Lotus Notes De forma análoga ao item Análise dos Itens da Norma página 88, mas restringindo-nos ao pacote Lotus Notes, apresentamos os resultados isolados por questão na Tabela 7. Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão ,00 Questão e 04 80,00 Questão e 04 90,00 Questão e ,00 Questão e ,00 Questão e 04 90,00 Questão e 04 90,00 Questão e ,00 Questão ,00 Questão ,00 Questão e 04 70,00 Questão e 04 90,00 Questão e 04 50,00 Questão e 04 40,00 Questão ,00 Questão ,00 Questão e 04 70,00 Questão e 04 60,00 Questão e 04 90,00 Questão e 04 70,00 Questão ,00 Questão ,00

108 109 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e 04 80,00 Questão e 04 90,00 Questão e ,00 Questão e 04 90,00 Questão e 04 90,00 Questão e 04 90,00 Questão e 04 90,00 Questão e 04 70,00 Questão e 04 90,00 Questão e 04 70,00 Questão e 04 70,00 Questão ,00 Questão ,00 Questão ,00 Questão ,00 Questão e ,00 Questão e ,00 Questão e 04 90,00 Questão e 04 80,00 Questão ,00 Questão ,00 Questão e ,00 Questão e 01 60,00 Questão e 01 60,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00

109 110 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e 04 90,00 Questão e 04 90,00 Questão e 04 90,00 Questão e 04 90,00 Questão e 04 90,00 Questão e ,00 Questão e 04 90,00 Questão e 04 80,00 Questão e 04 90,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 01 90,00 Questão e ,00 Questão e ,00 Questão e 04 90,00 Questão e 04 80,00 Questão e 04 80,00 Questão e 04 50,00 Questão e 04 40,00 Questão e 04 80,00 Questão e 04 80,00 Questão e 04 80,00 Questão e 04 90,00 Questão e 04 80,00 Questão e 04 90,00 Questão ,00 Questão ,00

110 111 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão ,00 Tabela 7: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação para o pacote Lotus Notes De forma análoga ao item Análise dos Itens da Norma página 88, temos que, 2,44% das respostas das questões individualmente (2 de 82) não atenderam aos requisitos de qualidade definidos pela norma. Esta porcentagem, de uma certa forma, é justificada considerando-se que 3,32% das respostas do Formulário de Avaliação recaíram na opção Não sei informar, seja ela do grupo 0- Não, 1-Sim e 2-Não Sei Afirmar ou do grupo 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. A questão 03 verifica se é ofertado algum treinamento quando da aquisição dos pacotes de software. Mesmo atendendo os requisitos de qualidade, destacamos que as duas respostas na avaliação geral ( Análise dos Itens da Norma página 88) que apontam para o não atendimento deste quesito aparecem justamente na avaliação deste pacote. Estas quantidades são justificadas, de certo modo, ao fato de alguns técnicos começaram a trabalhar com este pacote de software por uma necessidade profissional sem o devido treinamento. O treinamento deste pacote de software é considerado por alguns coordenadores e gerentes como um pouco caro. Por isto, a documentação deste pacote de software é fundamental. As questões 14 e 15 verificam se a descrição do produto do pacote de software está em conformidade com normas técnicas, ergonômicas, leis ou decretos. Apesar da questão 14 satisfazer aos requisitos mínimos de qualidade definidos pela norma, esta questão apresenta a porcentagem no limite desta satisfação. Contudo, a

111 112 questão 15 apresenta a porcentagem de 40% na qual a coloca em falha, devido ao exigido como requisito mínimo de qualidade ser igual ou superior a 50%. Justificamos esta porcentagem, de uma certa forma, com a despreocupação do pacote de software em relação a esta conformidade, pois este não é um dos principais objetivos deste pacote de software. As questões 72 e 73 verificam as mensagens de erro e de confirmação dos pacotes de software. Apesar da questão 72 satisfazer aos requisitos mínimos de qualidade definidos pela norma, esta questão apresenta a porcentagem no limite desta satisfação. Contudo, a questão 73 apresenta a porcentagem de 40% na qual a coloca em falha, devido ao exigido como requisito mínimo de qualidade ser igual ou superior a 50%. A seção 4 (Instruções para teste) da norma NBR ISO/IEC orienta o destaque das falhas detectadas questões 15 e 73, pelo processo de avaliação, aos atendimentos dos requisitos de qualidade. Este destaque tem por objetivo alertar estas falhas aos respectivos fabricantes, para que possam corrigi-las e/ou minimizálas. Mesmo não sendo este o nosso objetivo, construímos a Tabela 16 relacionando as questões em falha. Esta tabela está disponibilizada no Capítulo 5. CONCLUSÕES E PERSPECTIVAS FUTURAS. página 144. De forma análoga ao item Análise dos Itens da Norma página 88, calculamos a porcentagem de atendimento aos requisitos de qualidade definidos dos respectivos itens da norma. Estes resultados estão dispostos na Tabela 8. Entendemos que esta porcentagem é o grau de atendimento do pacote Lotus Notes referente aos requisitos de qualidade exigidos pela norma NBR ISO/IEC

112 113 Itens da Norma Grau de Atendimento (%) 1 Objetivo 100,00 3 Requisitos de Qualidade 90, Descrição do Produto Requisitos gerais sobre o conteúdo da descrição 96, Identificações e Indicações 76, Declarações sobre funcionalidade 90, Declarações sobre confiabilidade 90, Declarações sobre usabilidade 75, Declarações sobre eficiência 60, Declarações sobre manutenibilidade 60, Declarações sobre portabilidade 90, Documentação de Usuário Completitude 88, Correção 73, Consistência 100, Inteligibilidade 100, Apresentação e organização 95, Programas e dados Funcionalidade 93, Confiabilidade 100, Usabilidade 76, Eficiência 60, Manutenibilidade 60, Portabilidade 60,00 Tabela 8: Grau de atendimento aos requisitos de qualidade por item da norma para o pacote Lotus Notes Apesar de conter duas questões em falha, todos os itens da norma, segundo a consolidação, ficaram acima dos 50% de atendimento aos requisitos de qualidade para o pacote Lotus Notes.

113 114 Mesmo sem apresentar porcentagens baixas individualmente nas questões referentes à eficiência, manutenibilidade e portabilidade, este pacote obteve suas menores porcentagens de atendimento aos requisitos de qualidade no que diz respeito a estas características. A Figura 12 mostra isoladamente as porcentagens para o item 3.1 Descrição do Produto da norma NBR ISO/IEC para o pacote Lotus Notes. Descrição do Produto - Lotus Notes 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0, Requisitos gerais sobre o conteúdo da descrição Identificações e Indicações Declarações sobre funcionalidade Declarações sobre confiabilidade Declarações sobre usabilidade Declarações sobre eficiência Declarações sobre manutenibilidade Declarações sobre portabilidade Figura 12: Porcentagem de atendimento aos requisitos de qualidade - Descrição do Produto - para o Lotus Notes A Figura 13 mostra isoladamente as porcentagens para o item 3.2 Documentação do Usuário da norma NBR ISO/IEC para o pacote Lotus Notes.

114 115 Documentação do Usuário - Lotus Notes 100,00 80,00 60,00 40,00 20, Completitude Correção Consistência Inteligibilidade Apresentação e organização 0,00 Figura 13: Porcentagem de atendimento aos requisitos de qualidade - Documentação do Usuário - para o Lotus Notes A Figura 14 mostra isoladamente as porcentagens para o item 3.3 Programa e Dados da norma NBR ISO/IEC para o pacote Lotus Notes. Programas e Dados - Lotus Notes 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0, Funcionalidade Confiabilidade Usabilidade Eficiência M anutenibilidade Portabilidade Figura 14: Porcentagem de atendimento aos requisitos de qualidade - Programas e Dados - para o Lotus Notes Consolidamos os dados utilizando novamente média aritmética simples para obter as porcentagens referentes às Seções da Norma. Estes dados estão dispostos na Tabela 9.

115 116 Seções da Norma Grau de Atendimento (%) 1 Objetivo 100,00 3 Requisitos de Qualidade 90, Descrição do Produto 79, Documentação de Usuário 91, Programas e dados 74,95 Tabela 9: Grau de atendimento aos requisitos de qualidade por seção da norma para o pacote Lotus Notes Todos as seções da norma, segundo a consolidação, ficaram acima dos 50% exigidos com requisito mínimo de atendimento aos requisitos de qualidade. Observamos que a seção 3.3. Programas e Dados obteve a menor porcentagem de atendimento aos requisitos de qualidade. Esta porcentagem é justificada observando as porcentagens dos itens Eficiência, Manutenibilidade e Portabilidade que são baixas comparadas à dos outros itens. Para uma melhor visualização desta consolidação, montamos o gráfico disposto na Figura 15. Requisitos de Qualidade - Lotus Notes 100,00 80,00 60,00 40,00 20,00 1 Objet iv o 3 Requisitos de Qualidade 3.1 Descrição do Produto 3.2 Documentação de Usuário 3.3 Programas e dados 0,00 Figura 15: Porcentagem de atendimento aos requisitos de qualidade para o Lotus Notes

116 117 Adotando novamente a média aritmética simples dos itens 1, 3, 3.1, 3.2 e 3.3 da Tabela 9, podemos dizer que 87,19% do pacote Lotus Notes atendem aos requisitos de qualidade estipulados pela norma. A porcentagem de 87,19% de atendimento aos requisitos de qualidade é significativa. Foi a maior porcentagem de atendimento aos requisitos de qualidade obtida no estudo de caso. De uma forma geral, podemos afirmar que o pacote atende de forma muito satisfatória os requisitos de qualidade Análise do Perfil do Avaliador Lotus Notes Todos os técnicos são conhecedores do pacote Lotus Notes há pelo menos 24 meses, chegando até a 120 meses. O tempo médio deste conhecimento é de 60 meses, conforme apresentado na Figura 16. Tempo de Conhecimento - Lotus Notes Figura 16: Tempo de conhecimento dos técnicos para o pacote Lotus Notes Portanto, podemos garantir que os técnicos que responderam à avaliação detêm conhecimento do pacote Lotus Notes que estão avaliando. Dos 10 técnicos que responderam o Formulário de Avaliação para o pacote Lotus Notes, 4 trabalham em empresas parceiras dos pacotes, 4 em organizações públicas e 2 na iniciativa privada. A Figura 17 mostra o percentual desta relação.

117 118 Natureza das Organizações - Lotus Notes 40% 40% Parceira do Pacote Privada 20% Pública Figura 17: Natureza das Organizações para o pacote Lotus Notes Outra análise necessária a ser realizada é verificar se as respostas foram influenciadas diretamente pelas respostas dos técnicos que trabalham nas parceiras do pacote Lotus Notes. Temos que 40% dos técnicos que responderam o Formulário de Avaliação para o pacote Lotus Notes está classificada como Parceira do Pacote. Esta é uma porcentagem que poderá alterar de forma significativa os resultados da avaliação. Portanto, para ter convicção de que nossa análise não é tendenciosa, isolamos os resultados oriundos dos técnicos que trabalham nas parceiras do pacote Lotus Notes. A Tabela 10 mostra estes resultados isoladamente por questão. Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão ,00 Questão e 04 75,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00

118 119 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão e 04 75,00 Questão e ,00 Questão e 04 25,00 Questão e 04 25,00 Questão ,00 Questão ,00 Questão e ,00 Questão e 04 75,00 Questão e ,00 Questão e 04 75,00 Questão ,00 Questão ,00 Questão e 04 75,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 50,00 Questão e ,00 Questão ,00 Questão ,00 Questão ,00 Questão ,00 Questão e ,00

119 120 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00 Questão e ,00 Questão e 01 50,00 Questão e 01 75,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 75,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00

120 121 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão e 04 75,00 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 50,00 Questão e 04 25,00 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 75,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00 Questão ,00 Tabela 10: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação, considerando somente os técnicos que trabalham nas empresas parceiras do Lotus Notes Temos, então, que 3,66% das respostas das questões individualmente (3 de 82) não atendem os requisitos de qualidade definidos pela norma. Esta porcentagem, de uma certa forma, é justificada considerando-se que 0,95% das respostas do Formulário de Avaliação recaíram na opção Não sei informar, seja ela do grupo 0- Não, 1-Sim e 2-Não Sei Afirmar ou do grupo 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. A seção 4 da norma NBR ISO/IEC orienta o destaque das falhas detectadas questões 14, 15 e 73, pelo processo de avaliação, aos atendimentos dos requisitos de qualidade. Este destaque teria por objetivo alertar estas falhas aos respectivos fabricantes, para que possam corrigi-las e/ou minimizá-las. Mesmo não

121 122 sendo este o nosso objetivo, construímos a Tabela 16 relacionando as questões em falha. Esta tabela está disponibilizada no Capítulo 5. CONCLUSÕES E PERSPECTIVAS FUTURAS página 144. Observamos que os técnicos que trabalham nas organizações parceiras do Lotus Notes apontam uma porcentagem maior (91,70%) no atendimento aos requisitos de qualidade. Todavia, a diferença das porcentagens não é significativa. Podemos desconsiderar uma possível influência na porcentagem de atendimento aos requisitos de qualidade. Entretanto, ao contrário do que poderíamos pensar, observamos que os técnicos que trabalham nas organizações parceiras do pacote Lotus Notes apontam um número maior de falhas no atendimento aos requisitos de qualidade Análise do Formulário Lotus Notes Como descrito no item 3.1, utilizamos a abordagem GQM (Goal Question Metrics) para definirmos as questões necessárias à avaliação do Formulário de Avaliação. Foram criadas cinco questões. A primeira questão elaborada foi: 83. As informações necessárias para responder ao Formulário estão disponibilizadas de uma forma que permitam um fácil acesso?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3- Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 10 respostas, 9 atenderam estes requisitos de qualidade. Obtivemos, então, 90,00% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o Formulário de Avaliação pode ser preenchido sem maiores dificuldades.

122 123 A segunda questão elaborada foi: 84. A linguagem utilizada no Formulário é de fácil compreensão?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 10 respostas, 10 atenderam estes requisitos de qualidade definidos. Obtivemos, então, 100% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que a linguagem utilizada na confecção das questões do Formulário de Avaliação é de conhecimento dos técnicos que responderam o Formulário de Avaliação. A terceira questão elaborada foi: 85. Foi difícil responder ao Formulário?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 0 e 1. Do total de 10 respostas, 9 atenderam estes requisitos de qualidade definidos. Obtivemos, então, 90,00% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o preenchimento do Formulário de Avaliação nem sempre foi fácil de ser respondido. Esta porcentagem é justificada, de certa forma, por dois motivos: em alguns casos a documentação não estava disponível de imediato e; para responder uma dada questão do Formulário de Avaliação foi necessário consultar a documentação do pacote de software. A quarta questão elaborada foi: 86. O conteúdo dos quesitos utilizado no Formulário está pertinente?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 10 respostas, 10 atenderam estes requisitos de qualidade definidos. Obtivemos, então,

123 % de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o Formulário de Avaliação foi confeccionado abordando o assunto avaliação de pacote de software de forma correta. A quinta questão elaborada foi: 87. Qual foi o tempo gasto para responder ao Formulário (em minutos)?. O grupo de resposta adotado foi 0-abaixo de 10, 1-de 10 até 15, 2-de 15 até 20, 3-de 20 até 25, 4-de 25 até 30 e 5-Acima de 30. O grau de exigência do requisito de qualidade foi definido para as opções 0, 1, 2 e 3. Do total de 10 respostas, 8 atenderam estes requisitos de qualidade definidos. Tivemos, então, 80,00% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que 8 dos 10 avaliadores não ultrapassaram 25 minutos para responder o Formulário de Avaliação. Relacionando as 87 questões do Formulário de Avaliação a este tempo de preenchimento (25 minutos), temos que uma questão demorou, em média, 18 segundos a ser respondida. Outro fator a ser considerado neste quesito é a implementação da automação da mensuração pelo Formulário de Avaliação disponível pelo aplicativo (ver ANEXO II Aplicativo). Um dos objetivos deste aplicativo é minimizar o tempo de preenchimento do Formulário de Avaliação. Para uma melhor visualização destas porcentagens, montamos o gráfico disposto na Figura 18.

124 125 Requisitos de Qualidade para o Formulário de Avaliação - Lotus Notes 100,00 80,00 60,00 40,00 20,00 Questão 83 Questão 84 Questão 85 Questão 86 Questão 87 0,00 Figura 18: Porcentagem de atendimento do pacote Lotus Notes aos requisitos de qualidade para o Formulário de Avaliação Adotamos novamente a média aritmética simples entre as questões 83 a 87, para consolidar a porcentagem total de atendimento aos requisitos de qualidade para o Formulário de Avaliação. Sendo assim, podemos dizer que 92,00% do Formulário de Avaliação atendem aos requisitos de qualidade estipulados pela norma. Apesar do tempo de preenchimento do Formulário de Avaliação não ser o ideal, o Formulário foi avaliado e, conforme porcentagem final de atendimento aos requisitos de qualidade, é totalmente indicada sua utilização Análise do MS-Exchange Assim como no item Análise Geral página 88, esta análise foi dividida em três partes: análise dos itens da norma, análise do perfil do avaliador e análise do Formulário de Avaliação.

125 Análise dos Itens da Norma MS-Exchange De forma análoga ao item Análise dos Itens da Norma página 88 e restringindo-nos ao pacote MS-Exchange, apresentamos os resultados isolados por questão na Tabela 11. Questão Requisitos Porcentagem de Qualidade de Atendimento Questão ,00 Questão ,00 Questão e 04 50,00 Questão e 04 87,50 Questão e 04 87,50 Questão e 04 87,50 Questão e 04 87,50 Questão e 04 87,50 Questão e 04 50,00 Questão ,00 Questão ,00 Questão e 04 75,00 Questão e 04 87,50 Questão e 04 62,50 Questão e 04 62,50 Questão ,50 Questão ,00 Questão e 04 75,00 Questão e 04 87,50 Questão e 04 87,50 Questão e 04 62,50 Questão ,50 Questão ,00

126 127 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e 04 87,50 Questão e 04 62,50 Questão e 01 50,00 Questão e 04 50,00 Questão e 04 62,50 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 50,00 Questão e ,00 Questão e 04 50,00 Questão ,00 Questão ,00 Questão ,50 Questão ,50 Questão e 04 75,00 Questão e 04 50,00 Questão e ,00 Questão e 04 50,00 Questão ,00 Questão ,50 Questão e 04 87,50 Questão e ,00 Questão e ,00 Questão e 04 87,50 Questão e 04 87,50 Questão e 04 75,00 Questão e 04 62,50 Questão e 04 50,00

127 128 Questão Requisitos Porcentagem de Qualidade de Atendimento Questão e ,00 Questão e 04 50,00 Questão e 04 87,50 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 62,50 Questão e 04 50,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 75,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 62,50 Questão e 04 50,00 Questão e 04 75,00 Questão e 04 75,00 Questão e 04 75,00 Questão e ,00 Questão e 04 87,50 Questão e 04 50,00 Questão e 04 50,00 Questão ,00 Questão ,00

128 129 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão ,00 Tabela 11: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação para o pacote MS-Exchange Temos, então, que todas as respostas das questões individualmente atenderam aos requisitos de qualidade definidos pela norma. A questão 03 verifica se é ofertado algum treinamento quando da aquisição dos pacotes de software. Mesmo atendendo os requisitos de qualidade, destacamos que das 8 respostas, 4 apontam para o não atendimento deste quesito. Estas quantidades são justificadas, de certo modo, ao fato de alguns técnicos começaram a trabalhar com o pacote de software por uma necessidade profissional sem o devido treinamento. Por isto, a documentação dos pacotes de software é fundamental. Confirmando a análise anterior, a questão 04 verifica se o material utilizado no treinamento dos pacotes de software está disponível. Este quesito tem a porcentagem de atendimento maior que a questão 03 indicando que, mesmo sem a participação direta dos técnicos no treinamento, eles podem consultar o material utilizado nos treinamentos dos pacotes de software. Apesar de satisfazerem aos requisitos de qualidade definidos pela norma, as questões 14 e 15 apresentam umas das menores porcentagens. Ambas as questões verificam se a descrição do produto do pacote de software está em conformidade com normas técnicas, ergonômicas, leis ou decretos. Justificamos esta porcentagem, de uma certa forma, com a despreocupação do pacote de software em relação a esta conformidade, pois este não é um dos principais objetivos deste pacote de software.

129 130 As questões 23, 37, 42 e 81 também atingiram os requisitos mínimos de qualidade. Entretanto, tiveram uma porcentagem de atendimento perto do limite mínimo. Estas questões verificam se o pacote de software identifica na documentação do produto se a manutenção dos mesmos é oferecida. Justificamos esta porcentagem, de uma certa forma, com a despreocupação do pacote de software em relação à sua manutenção, pois está sempre em processo de evolução e construção de novas versões. O importante para os fabricantes é identificar o erro e corrigi-lo. As questões 34, 35, 36 e 80 a exemplo das questões citadas no parágrafo anterior, atingiram os requisitos mínimos de qualidade, mas com uma porcentagem também perto do limite. Estas questões verificam se a documentação do produto do pacote de software contém informações sobre eficiência do mesmo. Apesar de não caracterizar uma falha, poderíamos solicitar aos fabricantes que melhorassem os itens referentes à eficiência na documentação do produto deste pacote de software. As questões 38 e 82 versam sobre a portabilidade dos pacotes de software. Nas duas questões, os requisitos mínimos de qualidade foram atingidos. Entretanto cabe ressaltar que o pacote de software apresenta os requisitos mínimos para sua instalação e, segundo estes requisitos, a documentação do pacote de software apresentada informações sobre sua portabilidade. As questões 72 e 73 verificam as mensagens de erro e de confirmação dos pacotes de software. Apesar de satisfazerem aos requisitos de qualidade definidos pela norma, estas questões apresentam umas das menores porcentagens. Apesar de não caracterizar uma falha, poderíamos solicitar aos fabricantes que melhorassem

130 131 os itens referentes a estas mensagens na documentação do produto deste pacote de software. De forma análoga ao item Análise dos Itens da Norma página 88, calculamos a porcentagem de atendimento aos requisitos de qualidade definidos dos respectivos itens da norma NBR ISO/IEC Estes resultados estão dispostos na Tabela 12. Entendemos que esta porcentagem é o grau de atendimento do pacote MS-Exchange referente aos requisitos de qualidade exigidos pela norma NBR ISO/IEC Itens da Norma Grau de Atendimento (%) 1 Objetivo 100,00 3 Requisitos de Qualidade 79, Descrição do Produto Requisitos gerais sobre o conteúdo da descrição 80, Identificações e Indicações 73, Declarações sobre funcionalidade 64, Declarações sobre confiabilidade 75, Declarações sobre usabilidade 68, Declarações sobre eficiência 50, Declarações sobre manutenibilidade 62, Declarações sobre portabilidade 87, Documentação de Usuário Completitude 77, Correção 95, Consistência 87, Inteligibilidade 81, Apresentação e organização 65, Programas e dados Funcionalidade 83,33

131 132 Itens da Norma Grau de Atendimento (%) Confiabilidade 87, Usabilidade 75, Eficiência 50, Manutenibilidade 50, Portabilidade 75,00 Tabela 12: Grau de atendimento aos requisitos de qualidade por seção da norma para o pacote MS-Exchange Todos os itens da norma, segundo a consolidação, ficaram acima dos 50% de atendimento aos requisitos de qualidade para o pacote MS-Exchange. Mesmo sem apresentar porcentagens baixas individualmente nas questões referentes à eficiência e manutenibilidade, este pacote obteve suas menores porcentagens de atendimento aos requisitos de qualidade no que diz respeito a estas características. A Figura 19 mostra isoladamente as porcentagens para o item 3.1 Descrição do Produto da norma NBR ISO/IEC para o pacote MS-Exchange. Descrição do Produto - MS- Exchange 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0, Requisitos gerais sobre o conteúdo da descrição Identificações e Indicações Declarações sobre funcionalidade Declarações sobre confiabilidade Declarações sobre usabilidade Declarações sobre eficiência Declarações sobre manutenibilidade Declarações sobre portabilidade Figura 19: Porcentagem de atendimento aos requisitos de qualidade - Descrição do Produto - para o MS-Exchange

132 133 A Figura 20 mostra isoladamente as porcentagens para o item 3.2 Documentação do Usuário da norma NBR ISO/IEC para o pacote MS- Exchange. Documentação do Usuário - MS- Exchange 100,00 80,00 60,00 40,00 20, Completitude Correção Consistência Inteligibilidade Apresentação e organização 0,00 Figura 20: Porcentagem de atendimento aos requisitos de qualidade - Documentação do Usuário - para o MS-Exchange A Figura 21 mostra isoladamente as porcentagens para o item 3.3 Programa e Dados da norma NBR ISO/IEC para o pacote MS-Exchange. Programas e Dados - MS-Exchange 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0, Funcionalidade Confiabilidade Usabilidade Eficiência M anutenibilidade Portabilidade Figura 21: Porcentagem de atendimento aos requisitos de qualidade - Programas e Dados - para o MS-Exchange

133 134 Consolidamos os dados utilizando novamente média aritmética simples para obter as porcentagens referentes às Seções da Norma. Estes dados estes dispostos na Tabela 13. Seções da Norma Grau de Atendimento (%) 1 Objetivo 100,00 3 Requisitos de Qualidade 79, Descrição do Produto 70, Documentação de Usuário 81, Programas e dados 70,14 Tabela 13: Grau de atendimento aos requisitos de qualidade por item da norma para o pacote MS-Exchange Todos as seções da norma, segundo a consolidação, ficaram acima dos 50% exigidos com requisito mínimo de atendimento aos requisitos de qualidade. Observamos que a seção 3.3. Programas e Dados obteve a menor porcentagem de atendimento aos requisitos de qualidade. Esta porcentagem é justificada observando as porcentagens dos itens Eficiência, Manutenibilidade e Portabilidade que são baixas comparadas à dos outros itens. Para uma melhor visualização desta consolidação, montamos o gráfico disposto na Figura 22.

134 135 Requisitos de Qualidade - MS- Exchange 100,00 80,00 60,00 40,00 20,00 1 Objet iv o 3 Requisitos de Qualidade 3.1 Descrição do Produto 3.2 Documentação de Usuário 3.3 Programas e dados 0,00 Figura 22: Porcentagem de atendimento aos requisitos de qualidade para o MS-Exchange Adotando novamente a média aritmética simples dos itens 1, 3, 3.1, 3.2 e 3.3 da Tabela 9, podemos dizer que 80,19% do pacote MS-Exchange atende aos requisitos de qualidade estipulados pela norma. Apesar do pacote de software MS-Exchange não apresentar falhas (como apresentou o pacote Lotus Notes) obteve uma porcentagem de atendimento aos requisitos de qualidade inferior a obtida pelo pacote Lotus Notes. A porcentagem de 80,19% de atendimento aos requisitos de qualidade é significativa. De uma forma geral, podemos afirmar que o pacote atende de forma muito satisfatória os requisitos de qualidade Análise do Perfil do Avaliador MS-Exchange Todos os técnicos são conhecedores do pacote MS-Exchange há pelo menos 15 meses, chegando até a 80 meses. O tempo médio deste conhecimento é de 37 meses, conforme apresentado na Figura 23.

135 136 Tempo de Conhecimento - MS Exchange Figura 23: Tempo de conhecimento dos técnicos para o pacote MS-Exchange Portanto, podemos garantir que os técnicos que responderam à avaliação detêm conhecimento do pacote MS-Exchange que estão avaliando. Dos 8 técnicos que responderam ao Formulário de Avaliação para o pacote MS-Exchange, 2 trabalham em empresas parceiras dos pacotes, 5 em organizações públicas e 1 na iniciativa privada. A Figura 24 mostra o percentual desta relação. Natureza das Organizações - MS Exchange 62% 25% 13% Parceira do Pacote Privada Pública Figura 24: Natureza das Organizações para o pacote MS-Exchange Outra análise necessária a ser realizada é verificar se as respostas foram influenciadas diretamente pelas respostas dos técnicos que trabalham nas parceiras do pacote MS-Exchange. Temos que 25% dos técnicos que responderam o Formulário de Avaliação para o pacote MS-Exchange está classificada como Parceira do Pacote. Esta é uma porcentagem que poderá alterar de forma significativa os resultados da avaliação. Portanto, para ter convicção de que nossa

136 137 análise não é tendenciosa, isolamos os resultados oriundos dos técnicos que trabalham nas parceiras do pacote MS-Exchange. A Tabela 14 mostra estes resultados. Questão Requisitos de Qualidade Porcentagem de Atendimento Questão ,00 Questão ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e 04 50,00 Questão ,00 Questão ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00 Questão e ,00 Questão e ,00

137 138 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão e 01 50,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00 Questão ,00 Questão ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00

138 139 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão e ,00 Questão ,00 Questão ,00

139 140 Questão Requisitos de Qualidade Porcentagem de Atendimento Questão ,00 Tabela 14: Porcentagem de atendimento dos requisitos de qualidade por questão do Formulário de Avaliação, considerando somente os técnicos que trabalham nas empresas parceiras do MS-Exchange Temos, então, que todas as respostas das questões individualmente atenderam aos requisitos de qualidade definidos pela norma. Observamos que os técnicos que trabalham nas organizações parceiras do MS-Exchange apontam uma porcentagem maior (95,75%) no atendimento aos requisitos de qualidade. Todavia, a diferença das porcentagens não é significativa. Podemos desconsiderar uma possível influência na porcentagem de atendimento aos requisitos de qualidade Análise do Formulário MS-Exchange Como descrito no item 3.1, utilizamos a abordagem GQM (Goal Question Metrics) para definirmos as questões necessárias à avaliação do Formulário de Avaliação. Foram criadas cinco questões. A primeira questão elaborada foi: 83. As informações necessárias para responder ao Formulário estão disponibilizadas de uma forma que permitam um fácil acesso?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3- Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 8 respostas, 8 atenderam estes requisitos de qualidade. Obtivemos, então, 100% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o Formulário de Avaliação pode ser preenchido sem maiores dificuldades.

140 141 A segunda questão elaborada foi: 84. A linguagem utilizada no Formulário é de fácil compreensão?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 8 respostas, 8 atenderam estes requisitos de qualidade definidos. Obtivemos, então, 100% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que a linguagem utilizada na confecção das questões do Formulário de Avaliação é de conhecimento dos técnicos que responderam o Formulário de Avaliação. A terceira questão elaborada foi: 85. Foi difícil responder ao Formulário?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 0 e 1. Do total de 8 respostas, 6 atenderam estes requisitos de qualidade definidos. Obtivemos, então, 75% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o preenchimento do Formulário de Avaliação nem sempre foi fácil de ser respondido. Esta porcentagem é justificada, de certa forma, por dois motivos: em alguns casos a documentação não estava disponível de imediato e; para responder uma dada questão do Formulário de Avaliação foi necessário consultar a documentação do pacote de software. A quarta questão elaborada foi: 86. O conteúdo dos quesitos utilizado no Formulário está pertinente?. O grupo de resposta adotado foi 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar. O grau de exigência do requisito de qualidade foi definido para as opções 3 e 4. Do total de 8 respostas, 8 atenderam estes requisitos de qualidade definidos. Obtivemos, então,

141 % de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que o Formulário de Avaliação foi confeccionado abordando o assunto avaliação de pacote de software de forma correta. A quinta questão elaborada foi: 87. Qual foi o tempo gasto para responder ao Formulário (em minutos)?. O grupo de resposta adotado foi 0-abaixo de 10, 1-de 10 até 15, 2-de 15 até 20, 3-de 20 até 25, 4-de 25 até 30 e 5-Acima de 30. O grau de exigência do requisito de qualidade foi definido para as opções 0, 1, 2 e 3. Do total de 8 respostas, 6 atenderam estes requisitos de qualidade definidos. Obtivemos, então, 75% de atendimento aos requisitos de qualidade definidos, ou seja, esta porcentagem indica que 6 dos 8 avaliadores não ultrapassaram 25 minutos para responder o Formulário de Avaliação. Relacionando as 87 questões do Formulário de Avaliação a este tempo de preenchimento (25 minutos), temos que uma questão demorou, em média, 18 segundos a ser respondida. Outro fator a ser considerado neste quesito é a implementação da automação da mensuração pelo Formulário de Avaliação disponível pelo aplicativo (ver ANEXO II Aplicativo). Um dos objetivos deste aplicativo é minimizar o tempo de preenchimento do Formulário de Avaliação. Para uma melhor visualização destas porcentagens, montamos o gráfico disposto na Figura 25.

142 ,00 80,00 60,00 40,00 20,00 0,00 Requisitos de Qualidade para o Formulário de Avaliação - MS- Exchange Questão 83 Questão 84 Questão 85 Questão 86 Questão 87 Figura 25: Porcentagem de atendimento do pacote MS-Exchange aos requisitos de qualidade para o Formulário de Avaliação Adotamos novamente a média aritmética simples entre as questões 83 a 87, para consolidar a porcentagem total de atendimento aos requisitos de qualidade para o Formulário de Avaliação. Sendo assim, podemos dizer que 90% do Formulário de Avaliação atendem aos requisitos de qualidade estipulados pela norma. Apesar do tempo de preenchimento do Formulário de Avaliação não ser o ideal, o Formulário foi avaliado e, conforme porcentagem final de atendimento aos requisitos de qualidade, é totalmente indicada sua utilização.

143 CONCLUSÕES E PERSPECTIVAS FUTURAS Adotar os conceitos da Qualidade de Software é sempre muito difícil por vários fatores, dentre eles a falta da cultura, dentro das empresas, em relação à Qualidade de Software e à falta de praticidade destes conceitos. Em relação à falta de cultura dentro da empresa, basta referenciar, segundo [PESQUI01], que 36,3% das empresas consultadas na pesquisa não conhecem a norma NBR ISO/IEC e 56,0% a conhecem, mas não a usam. Este trabalho proporciona uma metodologia simples e de fácil validação e verificação, na aplicação da norma NBR ISO/IEC A norma NBR ISO/IEC pode e deve ser usada como meio de proporcionar métricas de qualidade de software de pacotes. Avaliamos os pacotes Lotus Notes e MS-Exchange. Podemos resumir nossa análise na Tabela 15. Número de % de % de Atendimento Pacote Questões em falha Atendimento Formulário de Avaliação Geral (todos) ,08 91,11 Lotus Notes 2 87,19 92,00 Lotus Notes Parceiros MS-Exchange 0 80,19 90,00 MS-Exchange Parceiros Tabela 15: Tabela resumo da avaliação dos pacotes Mesmo não sendo nosso objetivo comparar os pacotes de software entre si, a Figura 26 permite visualizar o grau de atendimento aos requisitos da norma NBR ISO/IEC

144 145 Porcentagem de atendimento aos requisitos de qualidade por pacote se software 90,00% 85,00% 80,00% 75,00% Geral Lotus Notus MS- Exchange Figura 26: Porcentagem de atendimento aos requisitos de qualidade por pacote de software Apesar do pacote de software MS-Exchange não apresentar falhas (como apresentou o pacote Lotus Notes) obteve uma porcentagem de atendimento aos requisitos de qualidade inferior a obtida pelo pacote Lotus Notes. Através deste trabalho, pudemos verificar que os pacotes avaliados possuem os requisitos de qualidade de pacotes de software exigidos pela norma. Destacamos o alto índice de atendimento aos requisitos de qualidade atingido pelo Formulário de Avaliação. Estes resultados garantem a viabilidade da aplicação do Formulário de Avaliação. Entretanto, o aspecto tempo de preenchimento pode ser melhorado. Construímos, então, o aplicativo apresentado no ANEXO II Aplicativo. Este aplicativo poderá minimizar o tempo de preenchimento do Formulário de Avaliação por ser uma ferramenta automatizada do processo de mensuração da avaliação, entre outras funcionalidades. A Figura 27 permite visualizar as porcentagens de atendimento aos requisitos de qualidade solicitados pela norma NBR ISO/IEC

145 146 Porcentagem de atendimento aos requisitos de qualidade do Formulário de Avaliação 92,00 91,00 90,00 89,00 Geral Lotus Notus MS- Exchange Figura 27: Porcentagem de atendimento aos requisitos de qualidade do Formulário de Avaliação Observamos que todos os pacotes estão conforme os requisitos de qualidade solicitados pela norma NBR ISO/IEC Entretanto, observamos também falhas localizadas no pacote Lotus Notes. Sendo assim, construímos uma lista de Questões em Falha no Atendimento aos Requisitos de Qualidade. Esta lista, disposta na Tabela 16, servirá de base para os fabricantes dos pacotes analisarem e corrigirem as falhas apontadas. Questão Lotus Notes Lotus Notes - Parceiros 14 X 15 X X 73 X X Tabela 16: Lista de Questões em falha no atendimento aos requisitos de qualidade Outras experiências nessa linha têm sido realizadas pelo Instituto Nacional de Tecnologia da Informação [GAQPSO04]. No entanto, verificamos a importância e completude deste trabalho, pois procuramos utilizar a abordagem GQM e adaptar a norma para avaliar pacotes de software voltados para o desenvolvimento de aplicativos.

146 147 Os pacotes de software avaliados estão de acordo com a norma de qualidade de pacotes de software [12119] conforme avaliação apresentada. Novos trabalhos poderão estender este trabalho à aplicação e verificação dos produtos desenvolvidos pelos pacotes avaliados. Este trabalho poderá, por exemplo, validar se os produtos desenvolvidos estão de acordo com as normas e métricas atuais de Qualidade de Software para os ambientes nos quais foram desenvolvidos (por exemplo, para o ambiente WEB). Desta forma, verificaremos todo o processo de construção de software. Também destacamos a possibilidade de realização de trabalhos estatísticos utilizando a base de métricas construída.

147 BIBLIOGRAFIA [12119] NBR ISO/IEC Tecnologia de Informação Pacotes de software Teste e requisitos de qualidade, ABNT, outubro de [9126-1] ISO/IEC :2001, Software Engeneering Product Quality Part 1: Quality model, First edition, 15/06/2001. [9126-2] ISO/IEC TR N2419R, Software Engeneering Product Quality Part 2: External Metrics, 14/03/2002. [9126-3] ISO/IEC TR N2416R, Software Engeneering Product Quality Part 3: Internal Metrics, 14/03/2002. [9126-4] ISO/IEC TR N2419R, Software Engeneering Software Product Quality Part 4: Quality in use Metrics, 08/11/2001. [ARTHUR94] ARTHUR, Lowell Jay. Melhorando a Qualidade do Software: Um guia para o TQM. Rio de Janeiro: Livraria e Editora Infobook [BASILI01] BASILI, R. Victor, consultada em janeiro de [BASILI94] BASILI, Victor R. & CALDIERA, Gianluigi, Goal Question Metric Paradigm, Encyclopedia of Software Engineering 2º volume, [ESEGRO01] Experimental Software Engineering Group, consultada em janeiro de [FENTON91] FENTON, N. E. Software Metrics - A Rigorous Approach, Chapman & Hall, 1991.

148 149 [GAQPSO04] Guia de Avaliação da Qualidade de Produto de Software, INTI, consultada em janeiro de [GATESB99] GATES, Bill. A Empresa na Velocidade do Pensamento. São Paulo: Editora Schwarcz [LIMARS01] LIMA, Raquel de Souza, Características de Qualidade Web, Dissertação de Mestrado, COPPE RJ, Universidade Federal do Rio de Janeiro, outubro de 2001, Rio de Janeiro Brasil. [LOTUSN04] Lotus Notes, b5aa14deb042566c60058f93c/1d070a2f9b9ab4ba c006b40ed!opend ocument, consultada em fevereiro de [JUNIOR96] JÚNIOR, José Barreto, consultada em janeiro de [MICROS04] MS-EXCHANGE, recursos.asp?p=12, consultada em fevereiro de [MIMEXT04] MIME, consultada em abril de [MÖLLER93] MÖLLER, K. H. e PAULISH, D. J. Software Metrics - A Practioner s Guide to Improved Product Development, IEEE Computer Society Press, Chapmam & Hakk, [OLSINA00] OLSINA, Luis A. Santos, GIDIS - Grupo de Investigación y Desarrollo en Ingeniería de Software, olsinal.html, consultada em fevereiro de 2004.

149 150 [OLSINA99] OLSINA, Luis A., Metodología Cuantitativa para la Evaluación y Comparación de la Calidad de Sitios Web, Tese de Doutorado, Uniservidad Nacional de La Plata, novembro de 1999, La Plata Argentina. [OLSINA99a] OLSINA, Luis A. & ROSSI, Gustavo, A Quantitative Method for Quality Evaluation of Web Sites and Aplications, Artigo, [PERFEC01] IESE Einrichtung Experimentelles Software Engineering, The Perfect Handbook, volume 2, GQM.pdf, consultada em fevereiro de [PESQUI01] Qualidade e Produtividade no setor de Software Brasileiro , Número 4, 2002, Ministério da Ciência e Tecnologia. Brasília. DF. [PESQUI99] Pesquisa Qualidade e Produtividade no setor de Software Brasileiro, consultada em janeiro de [PRESSM00] PRESSMAN, Roger S.. Software Engeneering a practitinoner s approach. 5ª edição, Nova York, Editora McGraw-Hill, [REZEND99] REZENDE, Denis Alcides. Engenharia de Software e Sistemas de Informação. Rio de Janeiro: Editora Brasport, [ROCHAA01] ROCHA, Ana Regina Cavalcanti da & MALDONADO, José Carlos & WEBER, Kival Chaves, Qualidade de Software: Teoria e Prática, São Paulo: Editora Prentice Hall, [SCHULM97] SCHULMEYER, G. Gordon & McMANUS, James I., Handbook of Software Quality Assurance, 3rd Edition [SHEPPE92] SHEPPERD, M. "Products, Process and Metrics", Information and Software Tecnology, volume 34, número 10, outubro de 1992.

150 151 [SOLING99] SOLINGEN, Rini Van & BERGHOUT, Egon, The Goal/Question/Metric Method: A Practical Guide for Quality Improvement of Software Development, McGraw-Hill, [TRAVAS01] TRAVASSOS Guilherme, consultada em janeiro de [WEBERK01] WEBER, Kival Chaves & ROCHA, Ana Regina Cavalcanti & NASCIMENTO, Célia Joseli, Qualidade e Produtividade em Software 4ª Edição Renovada, São Paulo: Editora Makron Books, 2001.

151 ANEXO I FORMULÁRIO DE AVALIAÇÃO

152 Formulário de Avaliação Pacotes de Software - Desenvolvimento de Aplicativos Orientação para preenchimento: Para responder este formulário, é necessário ser usuário de algum pacote voltado ao desenvolvimento de sistemas de informações. Este formulário tem por objetivo levantar dados, para verificar se este pacote está de acordo com a norma da ABNT, que trata da Tecnologia da Informação - Pacotes de Software - Teste e Requisitos de Qualidade. Será dividido em três grupos de perguntas que se referem a Descrição do Produto, Documentação do Usuário e Programa e Dados. A norma define: Descrição do Produto como documento expondo as propriedades de um pacote de software ; Documentação de Usuário como conjunto completo de documentos, disponível na forma impressa ou não, que é fornecido para a utilização de um produto, sendo também uma parte integrante do produto ; Programa como unidade sintática que está em conformidade com as regras de uma linguagem de programação particular, composta por declarações, comandos ou instruções necessárias para executar uma certa função ou tarefa, ou solucionar um problema e; Dados como representação reinterpretável da informação de maneira formalizada, adequada para comunicação, interpretação ou processamento. O formulário terá dois grupos de respostas: 0-Não, 1-Sim e 2-Não Sei Afirmar e; 0-Nunca, 1-Quase Nunca, 2-Às Vezes, 3-Quase Sempre, 4-Sempre e 5-Não Sei Afirmar, exceto a questão 0 que se refere ao tempo gasto para o preenchimento deste. As questões 83 a 87 referem-se à avaliação deste formulário. Após preencher o formulário, favor encaminhá-lo ao Sr. André Carazza pelo e- mail andre.carazza@planejamento.gov.br. Se desejar, poderá enviar apenas a Folha de Resposta preenchida para o fax (61) Observação importante: sua identificação é sigilosa e não será divulgada.

153 Folha de Resposta Nome do Avaliador: Produto: Versão: Organização: Natureza da Organização: ( ) Parceira do Fabricante ( ) Pública ( ) Privada Função: Tempo que conhece o pacote: (em meses) Data da Avaliação: Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão Questão

154 Observação: Apresentaremos, destacados na cor vermelha, os requisitos de qualidade. Estes destaques não são visíveis para o Avaliador quando este irá preencher o Formulário de Avaliação. Descrição do Produto 1. Ao ler a documentação deste produto, você percebeu que suas necessidades seriam atendidas? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 2. No momento, existe alguma documentação deste produto disponível para você? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 3. Ao adquirir o produto, foi ofertado algum tipo de treinamento? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 4. O material utilizado no treinamento está disponível? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 5. A descrição do produto está fácil de ser compreendida? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 6. A descrição do produto está bem organizada? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 7. A descrição do produto possui boa apresentação? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 8. Cada termo apresentado na descrição do produto possui um único significado? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 9. Cada item da descrição do produto é passível de ser verificado? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 10. O documento que contém a descrição do produto possui uma única identificação, como por exemplo, um nome e/ou um número? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 11. O documento que contém a descrição do produto possui versão ou data de produção? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 12. A descrição do produto, em todos os seus volumes e versões, contém o nome e o endereço de algum fornecedor do produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 13. A descrição do produto identifica as tarefas que podem ser executadas utilizando-se o mesmo? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar

155 14. Caso o produto afirme estar em conformidade com alguma norma ergonômica ou técnica, a descrição do produto faz referência a estas normas ou técnicas? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 15. Caso o produto afirme estar em conformidade com alguma lei ou decreto, a descrição do produto faz referência a esta lei ou decreto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 16. A descrição do produto especifica o hardware necessário para sua execução? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 17. A descrição do produto especifica o software necessário para sua execução? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 18. A descrição do produto faz referência a interface com outros produtos? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 19. A descrição do produto apresenta como a interface é identificada? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 20. A descrição do produto informa o tipo de interface a ser utilizada? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 21. A descrição do produto identifica se o usuário pode conduzir o processo de instalação? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 22. A descrição do produto identifica se o suporte de operação do mesmo é oferecido? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 23. A descrição do produto identifica se a manutenção do mesmo é oferecida? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 24. A descrição do produto identifica as funções internas que são disponibilizadas? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 25. A descrição do produto identifica quais são os dados necessários para execução de uma determinada função? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 26. A descrição do produto identifica a existência de algum suplemento sem garantia? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 27. A descrição do produto identifica os valores-limite, tais como valores máximos ou mínimos de campos, comprimento de chaves, número máximo de registros por arquivo, etc.?

156 ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 28. A descrição do produto informa as maneiras de evitar acessos não autorizados a Dados? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 29. A descrição do produto informa as maneiras de evitar acessos não autorizados a Programas? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 30. A descrição do produto informa sobre procedimentos para preservação de dados (validação da entrada de dados, recuperação de erros, etc.)? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 31. A descrição do produto informa qual é o conhecimento específico requerido para sua aplicação? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 32. A descrição do produto informa a possibilidade de personalização ou customização? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 33. A descrição do produto informa a existência de proteção contra infrações a direitos autorais? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 34. A descrição do produto informa a eficiência de uso e satisfação do usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 35. A descrição do produto possui dados sobre o comportamento do produto em relação ao tempo, tais como tempo de resposta e taxas de throughput para uma dada função sob condições estabelecidas (por exemplo, a configuração do sistema)? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 36. A descrição do produto contém declarações sobre a eficiência do produto? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 37. A descrição do produto contém declarações sobre a manutenibilidade do produto? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 38. A descrição do produto apresenta informações sobre sua portabilidade? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar

157 Documentação do Usuário 39. A documentação do usuário contém informações sobre as funções do produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 40. A documentação do usuário contém informações sobre os valores-limite, tais como valores máximos ou mínimos de campos, comprimento de chaves, número máximo de registros por arquivo, etc.? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 41. A documentação do usuário contém informações sobre a instalação do produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 42. A documentação do usuário contém informações sobre as possíveis manutenções a serem realizadas? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 43. A documentação do usuário estabelece o espaço necessário de armazenamento mínimo e máximo para a instalação do produto? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 44. A documentação do usuário avisa se existe limitação em relação ao número de instalações permitidas? ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 45. Cada termo apresentado na documentação do usuário está correto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 46. A documentação do usuário apresenta erros gramaticais? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 47. A documentação do usuário apresenta erros ortográficos? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 48. Cada termo apresentado na documentação do usuário possui um único significado? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 49. A documentação do usuário está fácil de ser compreendida? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 50. A documentação do usuário é voltada para orientar a aprendizagem do usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 51. A documentação do usuário está bem organizada? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 52. A documentação do usuário é organizada visando a facilitar o entendimento do usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 53. A documentação do usuário possui boa apresentação? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar

158 54. A documentação do usuário é apresentada visando a facilitar o entendimento do usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar Programas e Dados 55. A instalação do produto poderá ser realizada pelo usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 56. O manual de instalação contido na descrição do produto é suficiente para realizar a instalação? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 57. Todas as funções mencionadas na documentação do usuário podem ser executadas conforme especificadas? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 58. Os Programas que o produto possui estão especificados na descrição do produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 59. Os Programas que o produto possui estão especificados na documentação do usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 60. Os Dados necessários para a execução dos programas do produto estão especificados na descrição do produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 61. Os Dados necessários para a execução dos programas do produto estão especificados na documentação do usuário? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 62. Os Programas executam exatamente aquilo a que se propõem? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 63. Os Programas contêm contradições com a descrição do produto? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 64. Os Dados contêm contradições com a descrição do produto? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 65. Os Programas contêm contradições com a documentação do usuário? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 66. Os Dados contêm contradições com a documentação do usuário? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 67. Os Programas são confiáveis em relação ao tratamento de entrada de dados oferecida pelo produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar

159 68. Os Dados são confiáveis em relação ao tratamento de entrada de dados oferecida pelo produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 69. As mensagens de confirmação do produto são claras? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 70. As mensagens de solicitação do produto são claras? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 71. As mensagens de advertência do produto são claras? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 72. As mensagens de erro do produto são claras, especificando a causa do erro ou forma de correção? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 73. As mensagens de confirmação dizem respeito exclusivamente a confirmações? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 74. As mensagens de solicitação dizem respeito exclusivamente a solicitações? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 75. As mensagens de advertência dizem respeito exclusivamente a advertências? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 76. As mensagens de erro do produto dizem respeito exclusivamente a erros do produto? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 77. Na execução de funções que têm conseqüências graves, existem advertências de confirmação? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 78. Na execução de funções que têm conseqüências graves, existe possibilidade de retorno ao estado anterior ao da execução da função? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 79. As perguntas, mensagens e resultados dos Programas são suportados por explicação dada por função de auxílio (Help)? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 80. Caso a descrição do produto contenha declarações sobre a eficiência do produto (questão 36), responda: o produto está em conformidade com as declarações desta questão? Caso negativo, assinale a opção 2-Não sei afirmar. ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar 81. Caso a descrição do produto contenha declarações sobre a manutenibilidade do produto (questão 37), responda: o produto está em conformidade com as declarações desta questão? Caso negativo, assinale a opção 2-Não sei afirmar. ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar

160 82. Caso a descrição do produto contenha declarações sobre a portabilidade do produto (questão 38), responda: o produto está em conformidade com as declarações desta questão? Caso negativo, assinale a opção 2-Não sei afirmar. ( )0-Não (X)1-Sim ( )2-Não Sei Afirmar Avaliação do Formulário 83. As informações necessárias para responder ao Formulário estão disponibilizadas de uma forma que permitam um fácil acesso? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 84. A linguagem utilizada no Formulário é de fácil compreensão? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 85. Foi difícil responder ao Formulário? (X)0-Nunca (X)1-Quase Nunca ( )2-Às Vezes ( )3-Quase Sempre ( )4-Sempre ( )5-Não Sei Afirmar 86. O conteúdo dos quesitos utilizado no Formulário está pertinente? ( )0-Nunca ( )1-Quase Nunca ( )2-Às Vezes (X)3-Quase Sempre (X)4-Sempre ( )5-Não Sei Afirmar 87. Qual foi o tempo gasto para responder ao Formulário (em minutos)? (X)0-abaixo de 10 (X)1-de 10 até 15 (X)2-de 15 até 20 (X)3-de 20 até 25 ( )4-de 25 até 30 ( )5-Acima de 30

161 ANEXO II APLICATIVO

162 1. APLICATIVO O aplicativo desenvolvido tem por objetivo automatizar o processo de avaliação da qualidade de pacotes de software, permitindo sua utilização pelas organizações e interessados nesta Tecnologia da Informação Características Gerais Analisando o processo de avaliação da qualidade de pacotes de software observamos como requisito principal, a necessidade de construir um aplicativo flexível que permita a atualização, se necessária, de todos os componentes utilizados neste processo (Seção da Norma, Item da Norma, Questões e etc.). Outro requisito necessário é a facilidade na obtenção dos resultados. Estes resultados terão que estão dispostos de maneira clara e de fácil acesso para qualquer interessado neste processo. O último requisito é a possibilidade dos avaliadores, depois de cadastrados previamente no aplicativo, realizar suas avaliações em qualquer lugar e na velocidade desejada. Para atender estes requisitos utilizamos a plataforma.net (Microsoft Visual Basic.NET). Esta plataforma permite a geração de aplicativos para o ambiente Intenet (WEB). Com isto, atendemos parte dos requisitos apresentados. Utilizamos o banco de dados MS-Access por ser de fácil portabilidade (não exige instalações ou componentes) para qualquer provedor que receberá o aplicativo Modelo Entidade x Relacionamento O Modelo Entidade x Relacionamento utilizado é apresentado na Figura 28.

163 Figura 28: Aplicativo Modelo Entidade x Relacionamento 1.2. Tela de Apresentação O aplicativo tem seu início por intermédio da tela apresentada na Figura 29. Figura 29: Aplicativo Tela de Apresentação O aplicativo contém as opções Cadastro, Mensuração e Consultas Cadastro Pela opção Cadastro o aplicativo disponibiliza o cadastro e manutenção dos componentes necessários para avaliação. Estes componentes são: Pacote,

164 Organizações, Grupo de Respostas, Respostas, Seções da Norma, Itens da Norma, Questões e Avaliadores. Para acessar a opção Cadastro do aplicativo são solicitados os preenchimentos dos campos login e senha, conforme apresentado na Figura 30. Figura 30: Aplicativo Acesso ao Cadastro Após validar os campos login e senha, o aplicativo apresenta a tela do cadastro com o menu Pacotes ativo Cadastro Pacote Esta opção exibe a lista dos pacotes de software que poderão ser avaliados, conforme apresentado na Figura 31.

165 Figura 31: Aplicativo Cadastro Pacote Esta opção permite a inclusão de novos pacotes de software ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 32. Para alterar ou excluir um dado pacote, a opção permite a seleção do pacote na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 33.

166 Figura 32: Aplicativo Inclusão de Pacote Figura 33: Aplicativo Alteração e/ou Exclusão de Pacote Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela.

167 Cadastro Organizações Esta opção exibe a lista das organizações cadastradas, conforme apresentado na Figura 34. Figura 34: Aplicativo Cadastro - Organizações Esta opção permite a inclusão de novas organizações ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 35. Para alterar ou excluir uma organização, a opção permite a seleção da organização na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 36.

168 Figura 35: Aplicativo Inclusão de Organização Figura 36: Aplicativo Alteração e/ou Exclusão de Organização Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela.

169 Cadastro Grupo de Resposta Esta opção exibe a lista dos grupos de respostas cadastrados, conforme apresentado na Figura 37. Figura 37: Aplicativo Cadastro Grupo de Respostas Esta opção permite a inclusão de novos grupos de respostas ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 38. Para alterar ou excluir um grupo de resposta, a opção permite a seleção do grupo de respostas na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 39.

170 Figura 38: Aplicativo Inclusão de Grupo de Respostas Figura 39: Aplicativo Alteração e/ou Exclusão de Grupo de Respostas Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela.

171 Cadastro Respostas na Figura 40. Esta opção exibe a lista das respostas cadastrados, conforme apresentado Figura 40: Aplicativo Cadastro Respostas Cabe destacar que uma resposta pertence a um dado Grupo de Respostas. Esta opção permite a inclusão de novas respostas ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 41. Para alterar ou excluir uma resposta, a opção permite a seleção da resposta na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 42.

172 Figura 41: Aplicativo Inclusão de Respostas Figura 42: Aplicativo Alteração e/ou Exclusão de Respostas Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela.

173 Cadastro Seções da Norma Esta opção exibe a lista das seções da norma cadastradas, conforme apresentado na Figura 43. Figura 43: Aplicativo Cadastro Seções da Norma Esta opção permite a inclusão de novas seções ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 44. Para alterar ou excluir uma seção, a opção permite a seleção da resposta na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 45.

174 Figura 44: Aplicativo Inclusão de Seções Figura 45: Aplicativo Alteração e/ou Exclusão de Seções Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela.

175 Cadastro Itens da Norma Esta opção exibe a lista dos itens da norma cadastrados, conforme apresentado na Figura 46. Figura 46: Aplicativo Cadastro Itens da Norma Cabe destacar que um Item da Norma pertence a uma dada Seção da Norma. Esta opção permite a inclusão de novos itens ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 47. Para alterar ou excluir um item, a opção permite a seleção da resposta na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 48.

176 Figura 47: Aplicativo Inclusão de Itens Figura 48: Aplicativo Alteração e/ou Exclusão de Respostas Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela.

177 Cadastro Questões na Figura 49. Esta opção exibe a lista das questões cadastradas, conforme apresentado Figura 49: Aplicativo Cadastro Questões Cabe destacar que uma Questão pertence a um dado Item da Norma e tem um Grupo de Respostas e correspondentes Requisitos de Qualidade. Esta opção permite a inclusão de novas questões ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 50. Após a inclusão da questão é necessária a inclusão dos requisitos de Qualidade. Para isto, o aplicativo disponibiliza o botão. Ao ativá-lo, o aplicativo disponibiliza uma tela para o armazenamento dos requisitos de qualidade quando ativado o botão Salvar, conforme apresentado na Figura 51.

178 Figura 50: Aplicativo Inclusão de Questões Figura 51: Aplicativo Inclusão de Requisitos de Qualidade Para alterar ou excluir uma questão, a opção permite a seleção da questão na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 52.

179 Figura 52: Aplicativo Alteração e/ou Exclusão de Questões Para alterar um requisito de qualidade o aplicativo disponibiliza o botão. Ao ativá-lo, o aplicativo disponibiliza uma tela para o armazenamento dos requisitos de qualidade quando ativado o botão Salvar, conforme apresentado na Figura 51. Para excluir um requisito de qualidade o aplicativo disponibiliza o botão. Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela Cadastro Avaliadores Esta opção exibe a lista dos avaliadores cadastrados, conforme apresentado na Figura 53.

180 Figura 53: Aplicativo Cadastro Avaliadores Cabe destacar que um Avaliador pode avaliar vários pacotes de software. Esta opção permite a inclusão de novos avaliadores ativando o botão Incluir e posterior confirmação de armazenamento ativando o botão Salvar, conforme apresentado na Figura 54. Ao realizar a inclusão de um avaliador, o aplicativo informa na tela o login e senha deste avaliador. Após a inclusão do avaliador é necessária a inclusão da avaliação Para isto, o aplicativo disponibiliza o botão. Ao ativá-lo, o aplicativo disponibiliza uma tela para o armazenamento da avaliação que será realizada quando ativado o botão Salvar, conforme apresentado na Figura 55.

181 Figura 54: Aplicativo Inclusão de Avaliadores Figura 55: Aplicativo Inclusão de Avaliações Para alterar ou excluir um avaliador, a opção permite a seleção da avaliador na lista e posterior confirmação de alteração ativando o botão Salvar ou a confirmação de exclusão ativando o botão Excluir, conforme apresentado na Figura 56.

182 Figura 56: Aplicativo Alteração e/ou Exclusão de Avaliadores Para alterar uma avaliação o aplicativo disponibiliza o botão. Ao ativá-lo, o aplicativo disponibiliza uma tela para o armazenamento dos requisitos de qualidade quando ativado o botão Salvar, conforme apresentado na Figura 55. Para excluir uma avaliação o aplicativo disponibiliza o botão. Entretanto, o aplicativo não permite alterar e/ou excluir avaliações que já foram concluídas. Após a realização de uma das três ações (incluir, alterar ou excluir), o aplicativo informa a ação ocorrida enviando uma mensagem de confirmação na tela Mensuração Pela opção Mensuração o aplicativo disponibiliza o cadastro da avaliação por intermédio da automação do Formulário de Avaliação. Para acessar a opção Mensuração do aplicativo são solicitados os preenchimentos dos campos login e senha do Avaliador, conforme apresentado na Figura 57.

183 Figura 57: Aplicativo Acesso a Mensuração Após validar os campos login e senha do Avaliador, o aplicativo identifica o Avaliador pelo campo login e verifica se existe alguma(s) avaliação(ões) não concluída(s). Caso positivo, disponibiliza uma lista com estas avaliações em aberto para que o Avaliador escolha uma delas. A Figura 58 mostra esta lista. Figura 58: Aplicativo Lista de Avaliações não concluídas, caso ocorram

184 Após a escolha de uma das avaliações (pacotes de software), o aplicativo disponibiliza o Formulário de Avaliação com todas as questões. Caso o Avaliador já tenha preenchido anteriormente parte do Formulário de Avaliação, o aplicativo recupera estas respostas e as disponibiliza para o Avaliador. Caso contrário, o Formulário de Avaliação é disponibilizado sem a marcação das respostas. A Figura 59 mostra o Formulário de Avaliação para aquele Avaliador. Figura 59: Aplicativo Formulário de Avaliação Após o preenchimento (parcial ou integral) do Formulário de Avaliação, o Avaliador pode armazenar sua avaliação ativando o botão Salvar. Para concluir a avaliação, o avaliador pode ativar o botão Concluir Avaliação. O aplicativo verificará se todas as questões foram respondidas. Caso negativo, o aplicativo salva as respostas do Formulário de Avaliação e informa qual é a questão que não foi respondida. Caso positivo, o aplicativo informa a conclusão da avaliação e retorna a tela de acesso á Mensuração.

185 Consultas Pela opção Consultas o aplicativo disponibiliza as análises realizadas na avaliação da qualidade de pacotes de software. Estas análises foram divididas em: Aplicativo Análise, Perfil do Avaliador, Parceiros, Formulário e Análise Final. A Figura 60 mostra estas opções. Figura 60: Aplicativo Consultas Análise Ao ativar a opção Análise, o aplicativo disponibiliza as opções Geral e Por Pacote. Neste documento apresentaremos apenas a opção Geral, pois a opção Por Pacote tem a mesma linha de raciocínio, porém restringindo ao pacote selecionado. Ao ativar a opção Geral, o aplicativo disponibiliza as guias: Total, Porcentagem de Atendimento, Item Porcentagem de Atendimento, Consolidação e Requisitos de Qualidade, carregando automaticamente a guia Total.

186 A guia Total apresenta a porcentagem de atendimento aos requisitos da norma por questão individualmente. A Figura 61 mostra estas porcentagens. Figura 61: Aplicativo Análise - Total A guia Porcentagem de Atendimento apresenta a porcentagem de atendimento aos requisitos da norma por questão individualmente. O aplicativo disponibiliza o gráfico desta opção. A Figura 62 mostra estas porcentagens.

187 Figura 62: Aplicativo Análise Porcentagem de Atendimento A guia Item - Porcentagem de Atendimento apresenta a porcentagem de atendimento aos requisitos da norma por item da norma. A Figura 63 mostra estas porcentagens. Figura 63: Aplicativo Análise Item Porcentagem de Atendimento A guia Consolidação apresenta a porcentagem de atendimento aos requisitos da norma por item da norma individualmente, mas dividida pelas

188 seções da norma. Esta guia divide-se nas sub-guias: Descrição do Produto, Documentação do Usuário e Programas e Dados. Para cada sub-guia, o aplicativo disponibiliza o gráfico desta opção. A Figura 64 mostra estas porcentagens. Figura 64: Aplicativo Análise Consolidação A guia Requisitos de Qualidade apresenta a porcentagem de atendimento aos requisitos da norma por seção da norma individualmente. O aplicativo disponibiliza a porcentagem de atendimento aos requisitos da norma e o gráfico desta opção. A Figura 65 mostra estas porcentagens.

189 Figura 65: Aplicativo Análise Requisitos de Qualidade Perfil do Avaliador Ao ativar a opção Perfil, o aplicativo disponibiliza as opções Geral e Por Pacote. Neste documento apresentaremos apenas a opção Geral, pois a opção Por Pacote tem a mesma linha de raciocínio, porém restringindo ao pacote selecionado. Ao ativar a opção Geral, o aplicativo disponibiliza as guias: Tempo de Conhecimento e Natureza, carregando automaticamente a guia Tempo de Conhecimento. A guia Tempo de Conhecimento apresenta os tempos de conhecimentos dos avaliadores. O aplicativo disponibiliza o gráfico desta opção. A Figura 66 mostra estes tempos.

190 Figura 66: Aplicativo Perfil Tempo de Conhecimento A guia Natureza das Organizações apresenta as naturezas das organizações dos avaliadores. O aplicativo disponibiliza o gráfico desta opção. A Figura 67 mostra estas naturezas.

191 Figura 67: Aplicativo Perfil Natureza das Organizações Parceiros Ao ativar a opção Parceiros, o aplicativo disponibiliza as opções Geral e Por Pacote. Neste documento apresentaremos apenas a opção Geral, pois a opção Por Pacote tem a mesma linha de raciocínio, porém restringindo ao pacote selecionado. Ao ativar a opção Geral, o aplicativo disponibiliza as guias: Total e Porcentagem de Atendimento, carregando automaticamente a guia Total. A guia Total apresenta a porcentagem de atendimento aos requisitos da norma por questão individualmente, exclusivamente para parceiros. A Figura 68 mostra estas porcentagens.

192 Figura 68: Aplicativo Parceiros - Total A guia Porcentagem de Atendimento apresenta a porcentagem de atendimento aos requisitos da norma por questão individualmente, exclusivamente para parceiros. O aplicativo disponibiliza o gráfico desta opção. A Figura 69 mostra estas porcentagens. Figura 69: Aplicativo Parceiros - Porcentagem