UMA ANÁLISE CRÍTICA DO MEDE-PROS

Transcrição

1 CURSO DE ESPECIALIZAÇÃO EM TECNOLOGIA DA INFORMAÇÃO UMA ANÁLISE CRÍTICA DO MEDE-PROS Aluno: Marcelo Renê Carneiro Orientador: Hermano Perrelli de Moura Turma: ETI 13 Recife, junho de 2004.

2 AGRADECIMENTOS Agradeço a Deus, aos meus pais, Marcelo e Zélia, as minhas irmãs, Mayra e Patrícia, a minha namorada, Giseli, que tanto me incentivaram nesta monografia; a minha tia Tânia e ao meu tio Ronaldo que auxiliaram na obtenção de informações sobre a avaliação, com o MEDE-PROS, de produtos de software da Fortes Informática, empresa desenvolvedora de software sediada em Fortaleza. Agradeço ao Sr. José Carlos Fortes, Presidente da Fortes Informática, e ao seu Diretor de Desenvolvimento de Software Sr. Tales Clavius, pela atenção com que responderam minhas indagações. Agradeço, também, a Dra Sônia Thereza Maintinguer - uma das autoras do método analisado, o MEDE-PROS, e atualmente membro do CPqD - Centro de Pesquisa e Desenvolvimento em Telecomunicação, maior centro de pesquisa e desenvolvimento em telecomunicação e tecnologia da informação da América Latina pelas considerações que teceu sobre MEDE-PROS, em reposta ao meu . Agradeço, ainda, a Professora Dr. Juliana Herbert, avaliadora de qualidade de produtos de software, credenciada pelo CenPRA Centro de Pesquisa Renato Archer para uso do MEDE-PROS e Coordenadora do Laboratório de Qualidade de Software da UNISINOS Universidade do Vale do Rio Sinos, que, também foi muito atenciosa, expondo sobre a experiência desse laboratório, que é credenciado pelo CenPRA, no treinamento e aplicação do método MEDE-PROS. Finalmente, agradeço as Sras. Regina Thienne Colombo, Chefe da Divisão de Qualificação em Software - DQS do CenPRA, Ana Cervigni Guerra, técnica da DQS do CenPRA e Denise Carneiro do Insoft Ceará, que é outro laboratório credenciado pelo CenPRA.

3 RESUMO Nos últimos anos, a globalização e o conseqüente aumento da concorrência impuseram uma corrida cada vez mais intensa das empresas para viabilizar o aprimoramento e a inovação de seus produtos. Essa busca por eficiência criou uma crescente dependência tecnológica e a necessidade de utilizar sistemas informatizados, cada vez mais complexos, para reduzir custos e ampliar as suas áreas de atuação. Assim, com o grande aumento do nível de complexidade do processo de desenvolvimento de software e com um usuário final mais exigente, tornou-se mais difícil produzir sistemas informatizados com qualidade. Por outro lado, o risco de mau funcionamento aumentou proporcionalmente à complexidade dos ambientes das empresas. Diante desse cenário, surgiu o conceito de qualidade de software, que tem sido, nos últimos anos, um requisito decisivo para as empresas desenvolvedoras de software. Alguns padrões internacionais de qualidade de software foram criados visando qualificar o mercado de software. No Brasil muitas entidades de pesquisa em tecnologia da informação vêm desenvolvendo esforços para melhorar a qualidade do software do país. Uma delas é o CenPRA Centro de Pesquisa Renato Archer que criou, em 1993, o método de avaliação de produtos de software MEDE-PROS, uma referência nacional na avaliação de produtos de software. Esta monografia tem como escopo uma análise crítica desse método, através da verificação da sua aderência às normas da ISO/IEC - International Organization for Standardization/International Electrotechnical Commission, visando criar subsídios para novos projetos que busquem qualificar os mercado brasileiro de software. Cita, também, pontos positivos e negativos com relação à avaliação de produtos de software, desde sua solicitação até o resultado final da avaliação do produto.

4 SUMÁRIO ÍNDICE DE FIGURAS... 5 ÍNDICE DE TABELAS... 6 CAPÍTULO 1 INTRODUÇÃO... 7 CAPÍTULO 2 NORMAS APLICADAS À AVALIAÇÃO DA QUALIDADE DE PRODUTOS DE SOFTWARE ISO/IEC ISO/IEC ISO/IEC ISO/IEC ISO/IEC ISO/DIS ERGOLIST - LABIUTIL ANSI IEEE CAPÍTULO 3 MEDE-PR PROS DESCRIÇÃO ESTRUTURA ESCOPO DA AVALIAÇÃO BENEFÍCIOS E RESULTADOS DA AVALIAÇÃO APLICAÇÕES DO MEDE-PROS Prêmio ASSESPRO Melhor Software do Ano Adaptação do MEDE-PROS para o PNAFAM CAPÍTULO 4 ANÁLISE CRÍTICA DO MEDE-PRO PROS ANÁLISE DA ADERÊNCIA DA AVALIAÇÃO ÀS NORMAS DE QUALIDADE Avaliação do Pacote (Embalagem) e da Descrição do Produto Avaliação da Documentação Avaliação do Software Avaliação da Interface COMENTÁRIOS SOBRE O MEDE-PROS Pessoas Envolvidas na Elaboração e na Aplicação do Método Experiência da Avaliação de Produtos da Fortes Informática CAPÍTULO 5 CONCLUSÕES E TRABALHOS FUTUROS ROS REFERÊNCIAS BIBLIOGRÁFICAS ÁFICAS

5 ÍNDICE DE FIGURAS Figura 1 - Relacionamento dos processos de avaliação com o suporte à avaliação Figura 2 - Fases do Processo de Avaliação de Produtos de Software Figura 3 - Estrutura da Norma ISO/IEC Figura 4 - Estruturas das Normas de Qualidade de Software Figura 5 - Estrutura de Verificação de Requisitos por Módulos Figura 6 - Características de Qualidade por Módulo

6 ÍNDICE DE TABELAS Tabela 1 Características da Qualidade de Software segundo a ISO/IEC Tabela 2 Subcaracterísticas da Qualidade de Software segundo a ISO/IEC Tabela 3 Requisitos sobre o conteúdo da Descrição de Produto Tabela 4 CheckList dividido por critérios de avaliação da interface Tabela 5 Requisitos da norma ANSI/IEEE Tabela 6 Evolução do método MEDE-PROS Tabela 7 Estatísticas das Avaliações com o MEDE-PROS até Tabela 8 Legenda dos Indicativos de Aderência Tabela 9 Requisitos sobre a Descrição do Produto segundo a norma ISO/IEC Tabela 10 Requisitos sobre a Documentação segundo a norma ISO/IEC Tabela 11 Requisitos sobre a Documentação segundo a norma ANSI/IEEE Tabela 12 Requisitos sobre o Software segundo a norma ISO/IEC Tabela 13 Requisitos sobre a Interface segundo a norma ISO/IEC Tabela 14 Requisitos sobre a Interface segundo a norma ISO/IEC ,11 e Tabela 15 Requisitos sobre a Interface segundo o ERGOLIST

7 CAPÍTULO APÍTULO 1 INTRODUÇÃO NTRODUÇÃO Diante de um mercado cada vez mais competitivo, as empresas aceleram, a cada dia, a corrida para viabilizar o aprimoramento e a inovação de seus produtos e serviços. Ou seja, elas buscam eficiência. Assim, a tecnologia da informação passou a ser um dos aspectos mais estratégicos dessas empresas na busca por esses objetivos, reduzindo os seus custos e ampliando as suas formas de atuação. Esse cenário acaba por aumentar, cada vez mais, a dependência tecnológica dessas empresas. Isso significa que suas operações internas estão sendo conduzidas e direcionadas por um conjunto cada vez maior de sistemas informatizados. Sistemas, esses, que são usados em tomadas de decisões cada vez mais complexas, com intenção de ganhar eficiência e controle. Uma das primeiras conseqüências disso tudo, foi o aumento do nível de complexidade do processo de desenvolvimento de software. E, o risco de mau funcionamento aumenta proporcionalmente à complexidade desses ambientes, tornando-se, assim, mais difícil produzir softwares com qualidade. Surgiram, então, no início da década de 80, os primeiros conceitos de qualidade de software. Muitas organizações foram criadas para desenvolver padrões de qualidade, como, por exemplo, o IEEE - Institute of Electrical and Electronics egenieers, o ANSI - American Nacional Stantards Institute, a ISO - International Standards Organization, juntamente com a IEC - International Electrotechnical Commission, e o Software Engineering Institute, que desenvolveu o modelo CMM - Capability Maturity Model. Segundo a norma ISO/IEC 8402:1994, qualidade de software é definida como a totalidade de características de um produto de software que lhe confere a capacidade de satisfazer necessidades implícitas e explícitas. 7

8 Para avaliar a qualidade de softwares vários modelos de avaliação foram desenvolvidos. Esses modelos são orientados em duas visões superpostas e confluentes, já que ambas objetivam garantir a qualidade de software e interferem no processo de desenvolvimento, realimentando-o com os resultados obtidos. São elas: a visão de processo e a visão de produto. O método MEDE-PROS que será analisado neste trabalho é baseado na visão de produto. Estudos americanos apontam uma realidade preocupante para os projetos de desenvolvimento de software, o que demonstra quão imaturas estão as indústrias de software [1]: Mais de 30% dos projetos são cancelados antes de serem finalizados; Mais de 70% dos projetos falham nas entregas das funcionalidades esperadas; Os custos extrapolam em mais de 180% os valores originalmente previstos; Os prazos excedem em mais de 200% os cronogramas originais. Embora no Brasil haja menos exigência do que nos Estados Unidos, a realidade é ainda pior. Sendo assim, para vencer a forte concorrência, as empresas brasileiras desenvolvedoras de software estão buscando aprimorar a qualidade de seus produtos através de avaliações baseadas em normas certificadoras. Diante desses fatos, muitas instituições de pesquisa em tecnologia da informação vêm desenvolvendo esforços para melhorar a qualidade dos softwares no País. Através do Ministério da Ciência e Tecnologia, o Governo Federal tem implantado programas prioritários em tecnologia da informação. A SOFTEX Sociedade para Promoção da Excelência de Software, que é um delas, desenvolve ações de empreendedorismo, capacitação, financiamento e mercado para promover a competitividade da indústria brasileira de software. A CELEPAR Companhia Elétrica do Estado do Paraná, em parceria com o CITS Centro Internacional de Tecnologia de Software e o CenPRA Centro de Pesquisa Renato Archer (CenPRA, antigos CTI e ITI), criou o Núcleo de Avaliação de 8

9 Produtos de Software - NAPS, com o objetivo de avaliar a qualidade de produtos de software desenvolvidos por ela e por terceiros. A ASSESPRO Associação das Empresas Brasileiras de Tecnologia da Informação, Software e Internet, juntamente com o CenPRA, tem incentivado as empresas de software no sentido de melhorar a qualidade de seus produtos com o Prêmio ASSESPRO de Qualidade de Software Melhor Software do Ano. Todas estas empresas e instituições têm avaliado os produtos de software através de metodologias que se baseiam nas normas ISO/IEC 12119, 9126 e 14598, em grande parte na forma de lista de verificação/questionário [7]. Dentre essas e outras iniciativas na área de qualidade de produtos de software, uma que vem se destacando, nos últimos anos, é a metodologia MEDE-PROS, desenvolvida no CENPRA Centro de Pesquisas Renato Archer, uma instituição do Ministério da Ciência e Tecnologia. O MEDE-PROS já obteve resultados positivos na avaliação de 376 produtos de software até o ano de O principal objetivo do MEDE-PROS é permitir, aos avaliadores, meios para apoiar a avaliação de produtos de software, do ponto de vista do usuário, de acordo com as normas ISO/IEC 9126 e 12119, com relação às características de qualidade de software e de pacotes de software, respectivamente. O processo de avaliação de produtos de software desse método é baseado na norma ISO/IEC que visa prover exigências e recomendações para a implementação prática de avaliação de produtos de software, desenvolvidos ou em desenvolvimento, bem como, um conjunto de atividades definidas entre o avaliador e o cliente. Além das normas citadas no parágrafo anterior o método também se baseia em estudos complementares das partes 10, 11, 12, 14 e 16 da norma ISO/DIS 9241, que define requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual; do ERGOLIST, que é um Checklist criado pelo LabUtil - Laboratório de Utilizabilidade da Universidade Federal de Santa Catarina para avaliar, de forma 9

10 autônoma, as qualidades ergonômicas de interfaces homem-computador e da norma ANSI IEEE 1063, que define um padrão para a documentação do usuário do software. O escopo principal deste trabalho é uma análise crítica do método MEDE- PROS, verificando a aderência do mesmo às normas de qualidade citadas nos dois últimos parágrafos e ao ERGOLIST, bem como, os seus pontos positivos e negativos com relação a avaliação de produtos de software, desde sua solicitação até o resultado final da avaliação. Os principais objetivos desta monografia são, portanto, verificar se o método MEDE-PROS atende ao que se propõe e fornecer subsídios para estudos que pretendam desenvolver novas metodologias. O projeto LAPS - Laboratório de Avaliação de Produtos de Software da Universidade Federal de Pernambuco, por exemplo, tem como principal meta montar um laboratório para avaliação avançada e integrada de produtos de software, a partir de uma nova metodologia. Essa metodologia esta sendo desenvolvida no Centro de Informática CIN da Universidade Federal de Pernambuco - UFRPE, tendo como Coordenador o Professor Hermano Perrelli de Moura, com o objetivo de qualificar o mercado pernambucano de software. Dentro deste escopo, esta monografia se divide em cinco capítulos. Este primeiro refere-se ao cenário atual da tecnologia da informação nas empresas e o que está sendo realizado para qualificar o mercado de desenvolvimento de softwares, além de dar uma visão geral deste trabalho. O Capítulo 2 descreve as normas da ISO/IEC aplicadas à verificação da qualidade de produtos de software, a norma ISO/DIS , 11, 12, 13, 14 e 16 e o ERGOLIST, que, como já foi mencionado, tratam da ergonomia de interfaces com o usuário, e a norma ANSI IEEE 1063, que define um padrão para a documentação do usuário do software. O Capítulo 3 apresenta o método MEDE-PROS, seu histórico, seu embasamento, seu escopo e algumas das suas aplicações. No Capítulo 4 é feita uma análise crítica do MEDE-PROS baseada no Guia de Avaliação de Produto de Software, que é disponibilizado pela ABNT - Associação Brasileira de Normas Técnicas na web e é baseado no método MEDE-PROS. Nele é analisada a aderência da Avaliação proposta 10

11 pelo método às normas de qualidade internacionais, já citadas, bem como, são tecidos comentários de pessoas envolvidas no desenvolvimento e na aplicação do método, inclusive de uma empresa, Fortes Informática, sediada em Fortaleza, cujos produtos foram avaliados pelo método MEDE-PROS. O Capítulo 5 traz a conclusão do estudo, com a intenção de oferecer subsídios a trabalhos futuros relacionados ao tema deste trabalho. 11

12 CAPÍTULO APÍTULO 2 NORMAS ORMAS APLICADAS À AVALIAÇÃO DA QUALIDADE DE PRODUTOS DE SOFTWARE A qualidade de software é cada vez mais exigida no grande e competitivo mercado de software atual. Isso ocorre, principalmente, devido à grande concorrência entre empresas que desenvolvem softwares e a crescente exigência do usuário final. Entretanto, em muitos casos, a qualidade deixou de ser prioridade por falta de parâmetros do usuário final ou até mesmo do produtor do software. Essa afirmativa é corroborada por Cândida Inthurn [2]. Diante deste problema, surgiram, então, no início da década de 80, os primeiros conceitos de qualidade de software. Muitas organizações foram criadas para desenvolver padrões de qualidade. Devem ser citados pela sua importância o IEEE 1 (Institute of Electrical and Electronics egenieers), o ANSI 2 (American Nacional Stantards Institute), a ISO (International Standards Organization) e o Software Engineering Institute, que desenvolveu o modelo CMM (Capability Maturity Model). Qualidade de software segundo a norma ISO/IEC 8402:1994 é definida como a totalidade de características de um produto de software que lhe confere a capacidade de satisfazer necessidades implícitas e explícitas. Necessidades explícitas são aquelas expressas na definição de requisitos propostos pelo produtor de software juntamente com o usuário, ou seja, as condições em que o produto deve ser utilizado, objetivos, funções e o desempenho esperado. 1 Website do IEEE: 2 Website da ANSI: 12

13 Necessidades implícitas são aquelas que embora não definidas pelo produtor, são necessárias para o usuário. Estão neste conjunto tanto os requisitos que não precisam ser declarados porque são óbvios (o funcionamento do produto, é um exemplo), como aqueles requisitos que não foram percebidos, mas são indispensáveis diante da gravidade dos problemas que podem causar, caso não sejam atendidos (como por exemplo, a exigência de que, mesmo em condições não previstas de erro ou de má operação, um sistema de controle de tráfego aéreo não pode causar a morte de passageiros). Para que o usuário final e o próprio desenvolvedor de software pudessem ter parâmetros para avaliar a qualidade de software vários modelos de avaliação foram criados. Eles são orientados em duas visões superpostas e confluentes, já que ambas objetivam garantir a qualidade de software e interferem no processo de desenvolvimento, realimentando-o com os resultados obtidos. São elas: Visão de processo, que trata da avaliação e melhoria dos processos utilizados para o ciclo de vida de software. ex: CMM Capability Maturity Model, CMMI Capability Maturity Model Integrated, SPICE - Software Process Improvement and Capability determination, Normas ISO/IEC e a Série ISO Visão de produto, que trata da avaliação de um produto de software, para verificação de sua qualidade. Ela está fundamentada nas normas técnicas para avaliação da qualidade do produto de software da ISO. Ex: ISO/IEC 9126, 12119, A ISO 3, Organização Internacional de Padrões, foi proposta no ano de 1946 em Londres por 25 países com o objetivo de facilitar a coordenação e a unificação de padrões industriais. Oficialmente ela começou a funcionar em fevereiro de Atualmente, a ISO, que é uma organização não governamental, é o maior desenvolvedor de padrões do mundo, formando uma rede mundial de institutos nacionais de 3 Website da ISO: 13

14 padronização em 148 países do mundo, com um representante por país, tendo a sede central, que coordena o sistema, em Genebra, Suíça. A ABNT 4 Associação Brasileira de Normas Técnicas fundada em 1940, é membro fundador da ISO e único representante da organização no Brasil. Ela é o órgão responsável pela normalização técnica no país, fornecendo a base necessária ao desenvolvimento tecnológico brasileiro. O método MEDE-PROS, que será descrito no próximo capítulo, é baseado na visão de produto e conseqüentemente nas normas de qualidade da ISO, que serão descritas nesse capítulo. São elas: ISO/IEC 9126 Características de qualidade de software (NBR13596); ISO/IEC Guias de Avaliação de Produto de Software e; ISO/IEC Requisitos de Qualidade e Testes de Pacotes de Software (NBR12119). Além de se basear nessas normas de qualidade da ISO, o método MEDE-PROS, também, se baseia nos seguintes estudos complementares: ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Parte 10: Princípios de dialogo; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Parte11: Especificação da Utilizabilidade; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Parte 12: Apresentação da Informação; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Parte 14: Dialogo por menu; 4 Website da ABNT: 14

15 ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Parte 16: Dialogo por manipulação direta; ERGOLIST: Laboratório de Utilizabilidade - UFSC; ANSI IEEE 1063: Padrão para a documentação do usuário do software ISO/IEC 9126 A norma ISO/IEC 9126 (NBR 13596) define um conjunto de características e subcaracterísticas que devem ser verificadas em um software para que ele seja considerado um software de qualidade, bem como, métricas usadas na sua avaliação (medição, pontuação e julgamento dos softwares). Esta norma é dividida em quatro partes: ISO/IEC : Modelo de Qualidade; ISO/IEC : Métricas Externas - Apoio para definição dos atributos de qualidade; ISO/IEC :(2004) - Métricas Internas - Apoio para definição dos atributos de qualidade; ISO/IEC : Métricas de Qualidade em Uso. A primeira parte descreve características de qualidade e define as diretrizes dessas características. As três partes seguintes se referem a métricas de qualidade que são aplicáveis ao se especificar requisitos de qualidade e objetivos do projeto para produtos de software e produtos intermediários; a ISO/IEC provê medições externas para medir atributos das características da ISO/IEC ; a ISO/IEC , de forma similar, provê medições internas; a parte 4, define qualidade no uso das medições, para avaliação das características ou das subcaracterísticas [7]. Portanto, estas três últimas devem ser definidas de acordo com as especificações do projeto e não serão detalhadas neste trabalho. 15

16 ISO/IEC Esta parte da norma ISO/IEC 9126 define seis características que, subdivididas em subcaracterísticas, descrevem qualidade de software com um mínimo de sobreposição, conforme se pode observar nas duas tabelas (Tabela 1 e Tabela 2) [7] apresentadas a seguir: Tabela 1 Características da Qualidade de Software segundo a ISO/IEC Característica Significado Pergunta chave Funcionalidade Evidencia o conjunto de funções que atendem ás necessidades explícitas e implícitas para a finalidade a que se destina o Satisfaz às necessidades? produto. Confiabilidade Evidencia a capacidade do produto de manter seu desempenho É imune a falhas? ao longo do tempo e em condições estabelecidas. Usabilidade Evidencia a facilidade para a utilização do produto É fácil de usar? Eficiência Evidencia o relacionamento entre o nível de desempenho do produto e a quantidade de recursos utilizados, sob condições estabelecidas. Manutenibilidade Evidencia o esforço necessário para realizar modificações no produto. Portabilidade Evidencia a capacidade do produto de ser transferido de um ambiente para outro É rápido e enxuto? É fácil de modificar? É fácil de usar em outro ambiente? Tabela 2 Subcaracterísticas da Qualidade de Software segundo a ISO/IEC Característica Subcaracterística Pergunta chave para a sub-característica Adequação Propõe-se a fazer o que é apropriado? Acurácia Faz o que foi proposto de forma correta? Funcionalidade Interoperabilidade Interage com os sistemas especificados? Conformidade Está de acordo com as normas, leis etc? Segurança de acesso Evita acesso não autorizado aos dados? Maturidade Com que freqüência apresenta falhas? Confiabilidade Tolerância a falhas Ocorrendo falhas, como ele reage? Recuperabilidade É capaz de recuperar dados em caso de falha? Intelegibilidade É fácil entender o conceito e a aplicação? Usabilidade Apreensibilidade É fácil aprender a usar? Operacionalidade É fácil de operar e controlar? Eficiência Tempo Qual é o tempo de resposta, a velocidade de execução? Recursos Quanto recurso usa? Durante quanto tempo? Analisabilidade É fácil de encontrar uma falha, quando ocorre? Manutenibilidade Modificabilidade É fácil modificar e adaptar? Estabilidade Há grande risco quando se faz alterações? Testabilidade É fácil testar quando faz alterações? Adaptabilidade É fácil adaptar a outros ambientes? Portabilidade Capacidade para ser É fácil instalar em outros ambientes? instalado Conformidade Está de acordo com padrões de portabilidade? Capacidade para substituir É fácil usar para substituir outro? 16

17 Estas características e subcaracterísticas definem os requisitos de qualidade de um produto de software. Após a definição dos atributos internos e externos de qualidade, que dependem do escopo do projeto, é possível avaliar a especificação do software, verificando se ele irá satisfazer aos requisitos durante todo o seu ciclo de vida de desenvolvimento. Assim, é possível avaliar o software desenvolvido, antes da entrega e da aceitação do usuário final ISO/IEC Avaliar a qualidade de um produto de software é verificar, através de técnicas e atividades operacionais, quanto os requisitos são atendidos. Tais requisitos, de uma maneira geral, são a expressão das necessidades, explicitados em termos quantitativos ou qualitativos, e têm por objetivo definir as características de um software, a fim de permitir o exame de seu entendimento [4]. A série de normas ISO/IEC define o processo de avaliação de produtos de software e fornece guias e requisitos para avaliação, devendo ser utilizada com a série ISO/IEC Basicamente, a norma ISO/IEC tem seu foco nas métricas e no processo de aplicação destas sobre as características e subcaracterísticas de qualidade definidos na ISO/IEC Assim, uma define, de forma geral, o que deve ser medido e a outra como este processo de medida deve ser realizado. Esta norma é composta por seis partes, sendo que a primeira delas dá uma visão geral da estrutura de funcionamento da série. As partes 2 e 6 servem de suporte à avaliação através de orientações, requisitos, recomendações e estrutura de documentação. As partes 3, 4 e 5 dessa série definem, respectivamente, três situações diferentes para a avaliação da qualidade de produto, focando os processos para: desenvolvedores, compradores e avaliadores. O processo para avaliadores, de que trata a quinta parte da norma, será mais detalhada em função do foco deste trabalho ser voltado para avaliação de produtos de software. A relação entre as partes desta série de normas é mostrada na Figura 1, a seguir. 17

18 Figura 1 - Relacionamento dos processos de avaliação com o suporte à avaliação (Reproduzido de [4]) Descrição das 6 normas da série ISO/IEC 14598: A ISO/IEC trata da visão geral do processo de avaliação da qualidade dos produtos de software e define toda a estrutura de funcionamento da série de normas ISO/IEC Define, também, os termos técnicos utilizados nesse modelo e fornece os conceitos e o funcionamento do processo de avaliação da qualidade de qualquer tipo de software, para utilização por desenvolvedores, por adquirentes e por avaliadores de software independente. A ISO/IEC refere-se ao planejamento e gestão do processo de avaliação apresentando requisitos, recomendações e orientações para uma função de suporte ao processo. O suporte refere-se ao planejamento e gerenciamento de um processo de avaliação de software e a tecnologia necessária dentro deste processo. A ISO/IEC define o processo para desenvolvedores. Destina-se ao uso durante o processo de desenvolvimento e manutenção de software. Enfocando a seleção e registro de indicadores que possam ser medidos e avaliados, a partir dos produtos intermediários, obtidos nas fases de desenvolvimento de sistema, com o objetivo de prever a qualidade do produto final a ser desenvolvido. 18

19 A ISO/IEC define o processo para adquirentes, estabelecendo um processo sistemático para avaliação de: produtos de software tipo pacote (com equivalência a NBR ISO/IEC 12119), produtos de software sob encomenda, ou ainda modificações em produtos já existentes. O objetivo da avaliação pode ser a comparação entre diversos produtos existentes no mercado, ou a tentativa de garantir que um produto desenvolvido ou modificado sobre encomenda atenda aos requisitos inicialmente especificados. A ISO/IEC define o processo para avaliadores, fornecendo orientações para a implementação prática de avaliação de produtos de software (quando diversas partes necessitam entender, aceitar e confiar em resultados da avaliação) e define as atividades necessárias para: a) analisar os requisitos de avaliação de modo a especificar; b) projetar e executar as atividades de avaliação; c) para se obter a conclusão sobre avaliação de qualquer tipo de produto de software. A ISO/IEC trata da documentação de módulos de avaliação, definindo a estrutura e o conteúdo da documentação a ser usada da descrição dos Módulos de Avaliação. Explica como desenvolver módulos de avaliação e avaliá-los ISO/IEC Essa Norma fornece requisitos e recomendações para implementação prática da avaliação de produto de software. O processo de avaliação proposto pode ser usado para avaliar produtos já existentes ou produtos intermediários (em desenvolvimento). Pode ser utilizada por avaliadores de laboratório, que é o caso do MEDE-PROS, fornecedores de software, compradores de software, usuários e entidades certificadoras, cada qual com seu objetivo. 19

20 A ISO/IEC define atividades relacionadas, como pode ser visto na Figura 2, abaixo, para analisar requisitos da avaliação, especificar, projetar e executar e concluir ações de avaliação de qualquer tipo de produto de software. A norma ISO/IEC 9126 pode ser usada em termos de características de qualidade. Figura 2 - Fases do Processo de Avaliação de Produtos de Software (Reproduzido de [8]) As atividades constantes da figura são descritas, de forma sucinta, a seguir: Análise de Requisitos da Avaliação, cujo objetivo é levantar os requisitos da avaliação e se subdivide em: Estabelecer o propósito da avaliação: define-se sobre qual ótica será realizada a avaliação: do ponto de vista do adquirente, do desenvolvedor ou de um avaliador; Estabelecer o tipo de produto a ser avaliado: são produtos intermediários ou são produtos finais; Especificar o modelo de qualidade: o modelo de qualidade (ISO/IEC 9126) serve como referência para a definição dos requisitos de qualidade para o produto de software. Neste estágio da avaliação, os requisitos são 20

21 descritos para as características de qualidade mais relevantes, sendo priorizados de acordo com as necessidades dos usuários. Especificação da Avaliação, onde são definidos: o escopo, as restrições, os métodos a serem utilizados e as responsabilidades de todos os envolvidos na avaliação e se subdivide em: Selecionar métricas - A especificação e a medição quantitativa dos requisitos de qualidade do produto de software só podem ser feitas pelo uso de métricas associadas às características de qualidade esperadas. Métricas podem ser: internas, associadas à arquitetura do produto de software e que permitem prever a qualidade do produto final; externas, mensuráveis quando o produto está em operação; e de qualidade de uso, que avaliam o efeito do uso do produto de software. Estabelecer níveis de pontuação para as métricas - Para cada métrica selecionada deve ser definido os níveis de pontuação e a escala relacionada, onde poderá ser representado o nível requerido para o atributo a ser medido. Estabelecer critérios para julgamento - Para julgar a qualidade do produto, convém que o avaliador prepare um procedimento para este fim, com critérios específicos para as diferentes características de qualidade, seja em termos de cada subcaracterísticas, ou através de uma combinação ponderada de subcaracterísticas. Basicamente é determinar qual subcaracterística tem maior peso no momento de avaliar a qualidade do produto. Projeto e Planejamento da Avaliação, onde são definidos o plano da avaliação, com o detalhamento dos instrumentos a serem utilizados, os prazos, os custos, a equipe de avaliação, os riscos associados e todas as atividades envolvidas na execução da avaliação; Execução da Avaliação, onde são efetuadas as medições, os dados são coletados e efetuados os procedimentos de análise; 21

22 Obter as Medidas - As métricas selecionadas são aplicadas ao produto de software, resultando em valores nas escalas das métricas. Comparar com Critérios - Os valores medidos então são comparados aos critérios estabelecidos na especificação da avaliação. Julgar os Resultados - É realizado uma avaliação, onde um conjunto de valores pontuados é sintetizado e é feita uma declaração sobre quanto o produto de software atende aos requisitos de qualidade. Esta síntese é também comparada com outros aspectos como prazo e custo. Finalmente, através de critérios gerenciais, pode ser tomada uma decisão quanto à aceitação ou rejeição do produto de software, ou quanto à sua liberação para uso. Os resultados da avaliação influenciam os próximos passos do ciclo de desenvolvimento do software, através de decisões, por exemplo: há necessidade de modificar os requisitos? Conclusão da Avaliação, onde são mostrados os resultados da avaliação, em forma de relatórios, como definido no contrato firmado com o solicitante. As características esperadas do Processo de Avaliação são: Repetitividade: os resultados de uma nova avaliação do mesmo produto, com a mesma especificação de avaliação e realizada pelo mesmo avaliador, deve produzir resultados que podem ser ditos como idênticos; Reprodutividade: os resultados de uma nova avaliação do mesmo produto, com a mesma especificação de avaliação e realizada por um avaliador diferente, deve produzir resultados que podem ser ditos como idênticos; Imparcialidade: nenhum resultado particular deve influenciar a avaliação; Objetividade: os resultados da avaliação devem ser factuais, ou seja, os sentimentos ou opiniões do avaliador não podem influenciá-la. A partir desta série de normas, os avaliadores de laboratórios, os fornecedores de software, os compradores de software, os usuários e as entidades certificadoras, cada qual com seu objetivo específico, podem melhor avaliar os seus produtos. Além disso, 22

23 esse modelo serve de referência para criação de novos processos e métodos de verificação de qualidade de produtos de software ISO/IEC A norma ISO/IEC foi publicada em 1994 e baseia-se na norma ISO/IEC 9126:1991. É aplicável à avaliação de pacotes de software, também conhecidos como software de caixinha e, internacionalmente, como COTS Commercial off the Self. Alguns exemplos são: processadores de textos, planilhas eletrônicas, bancos de dados, pacotes gráficos, programas para funções científicas ou técnicas e programas utilitários. Essa norma define requisitos de qualidade e instruções a respeito de como testar um pacote de software em relação aos requisitos, como pode ser observado na Figura 3, abaixo. ISO / IEC Requisitos de Qualidade Instruções para Teste Descrição do Produto Documentação do Usuário Programas e Dados Pré-requisitos de Teste Atividades de Teste Registros de Teste Relatório de Teste Teste de Acompanhamento Figura 3 - Estrutura da Norma ISO/IEC (Reproduzida de [4]) Um pacote de software estará em conformidade com essa norma se dispuser dos seguintes requisitos de qualidade citados na Figura acima e comentados a seguir: Descrição do Produto: apresenta as principais propriedades do pacote e deverá estar à disposição independente do compromisso de compra, por parte do potencial usuário. Segundo a norma a descrição de produto é um documento que expõe as propriedades de um pacote de software, com o objetivo de ajudar os potenciais compradores na avaliação da adequação do produto para sua 23

24 aquisição. A Tabela 3, a seguir, apresenta os requisitos que devem estar presentes na descrição do produto. Tabela 3 Requisitos sobre o conteúdo da Descrição de Produto Características Subcaracterísticas Requisitos Requisitos Gerais sobre o Conteúdo da Descrição do Produto Identificações Indicações Declarações sobre Funcionalidade Declarações sobre Confiabilidade e Declarações sobre Usabilidade Requisitos gerais Identificações e Indicações Visão geral das funções Valores-limite Declarações sobre confiabilidade Interface com usuário Livre de inconsistências internas. Cada declaração deve ser correta e passível de teste. Convém que a descrição seja suficientemente inteligível, completa e tenha boa organização e apresentação. Convém que cada termo utilizado tenha um único significado. Deve apresentar o nome do produto. Se há variações do software, estão identificadas? Deve apresentar a versão do produto. Deve apresentar o nome do produtor. Deve apresentar o nome do fornecedor. Deve apresentar os requisitos de Hardware. Deve apresentar os requisitos de Software. Deve apresentar interfaces disponíveis e possibilidade de portabilidade. Deve apresentar as principais atividades realizadas Deve apresentar os itens a serem entregues. (impressos e mídias) Deve apresentar instruções para instalação. (Se puder ser feita pelo usuário) Relatar se existe serviço de manutenção e suporte técnico. Disponibilizar visão geral das funções (nem todas precisam ser mencionadas), dados necessários e facilidades oferecidas. Para cada função declarada identificar se a mesma é parte do produto, de uma extensão ou de um suplemento sem garantia, por exemplo. Identificar Valores-limite, se existirem. Exemplos: número máximo de registros em um arquivo, número máximo de critérios de busca, tamanho mínimo de amostra etc Incluir informações sobre procedimentos para preservação dos dados e recuperação de erros. Conferir checagem de entrada (de valores, dados) Proteção contra conseqüências causadas por erros do usuário. O tipo da interface com o usuário deve ser especificado, por exemplo: menu, janela, linha de comando etc. 24

25 Declarações sobre Eficiência Declarações sobre Manutenibilidade Declarações sobre Portabilidade Conhecimento requerido Adaptação às necessidades dos usuários Conhecimentos específicos requeridos para a aplicação do produto devem ser descritos, por exemplo: conhecimento de outro idioma diferente daquele em que foi escrita a descrição de produto, conhecimento de uma área técnica, conhecimento de um sistema operacional etc Identificar as ferramentas de adaptação e as condições de uso caso o produto possa ser adaptado pelo usuário, por exemplo: parâmetros de configuração, mudança de algoritmo para computação, atribuição de teclas de função etc. Declarar proteção contra infrações e direitos Proteção contra infrações e direitos autorais autorais, se existir. Declarações sobre Eficiência Pode incluir dados sobre o comportamento do produto em relação ao tempo, tais como tempo de resposta e taxas de throughput para cada função, sobre condições estabelecidas. Declarações sobre Manutenibilidade Declarações sobre Portabilidade Pode conter declarações sobre manutenibilidade Pode conter declarações sobre portabilidade Documentação do Usuário: conjunto de documentos, impresso ou em forma de arquivo, que deve ser fornecido com o produto para orientar o usuário final para o seu uso. Esses documentos deverão ter uma apresentação e uma organização que facilitem o seu manuseio. Os requisitos dessa documentação são: completitude, correção, consistência, inteligibilidade e usabilidade (facilidade de uso); Programas e Dados: conjunto de atributos que evidenciam a existência de um grupo de funções e suas propriedades especificadas. Os programas e dados (produto de software) deverão estar em conformidade com todos os requisitos declarados na documentação, ou seja, devem apresentar as funcionalidades que propõem, levando em conta os requisitos da norma ISO/IEC 9126, com ênfase em: funcionalidade, principalmente; confiabilidade e usabilidade. Além de definir os requisitos de qualidade acima descritos para os pacotes de software, essa norma também estabelece instruções de como testá-los, como demonstra a Figura 3. Essas instruções são as seguintes: 25

26 Pré-requisitos de teste: lista dos itens necessários ao teste, incluindo documentos do pacote, componentes do software e material de treinamento, caso esse material seja mencionado na descrição do produto; Atividade de teste: instruções detalhadas sobre os procedimentos de teste, incluindo a instalação e a execução de cada uma das funções descritas. Todos os requisitos especificados nas documentações e nos programas deverão ser testados; Registros e Relatórios de teste: informações sobre como os testes foram realizados, de tal forma a permitir uma reprodução destes testes. Deve incluir: os parâmetros utilizados, os resultados associados, as falhas ocorridas e até a identidade do pessoal envolvido. Esses resultados precisam ser tabulados e analisados; Teste de acompanhamento: para o caso de teste em programas já testados anteriormente. Nesse caso, as partes que não estavam em conformidade deverão ser testadas, bem como todas as partes que podem sofrer influências dessas alterações. Também estão incluídos nesta norma teste de inspeção dos documentos e o teste funcional. O teste estrutural não é incluído por requerer a disponibilidade do códigofonte. Essa norma é de fundamental importância para que os compradores de pacotes de software possam ter parâmetros de qualidade na hora de escolher o produto e para que os próprios desenvolvedores possam criar softwares de qualidade. Através dela é possível verificar se os requisitos de qualidade de pacotes de software estão sendo atendidos ou não. 26

27 2.4 - ISO/DIS 9241 Os primeiros sistemas informatizados, desenvolvidos e utilizados por engenheiros, eram destinados à solução de problemas nas áreas científicas e estavam concentrados em requisitos funcionais. Atualmente, essa realidade mudou, uma vez que, é notável a crescente preocupação da engenharia de software com os aspectos que facilitam a vida do usuário final. Uma das características que vem sendo priorizada é a interface homem-computador. Assim, os desenvolvedores estão dedicando uma grande proporção de recursos computacionais à obtenção de uma interação mais "amigável" com o usuário. Pode-se definir Interface Homem-Computador como uma parte de um sistema interativo que tem a função de traduzir ações do usuário em funcionalidades, refletindo e mostrando os resultados de forma adequada, e coordenando essa interação. A norma internacional ISO/DIS 9241 é uma das normas que foi criada para permitir a criação de interfaces mais amigáveis, tratando do trabalho de escritórios informatizados. A sua função é propiciar eficiência e conforto para os usuários de computadores. Ela é destinada a profissionais que possuem a função de garantir a segurança e a saúde desses usuários. Essa norma está organizada em um conjunto de 17 partes, sob o título geral de: requisitos ergonômicos para trabalho de escritório com terminais de vídeo (VDTs). O método MEDE-PROS, em pauta nessa monografia, se baseia em estudos complementares das partes 10, 11, 12, 14 e 16. A ISO/DIS define os 7 princípios de projeto que, segundo o comitê técnico que a elaborou, podem levar a uma interface homem-computador ergonômica. São eles: a adequação à tarefa, a auto-descrição, o controle, a compatibilidade com as expectativas do usuário, a tolerância aos erros, a possibilidade de individualização e a adequação para a aprendizagem. 27

28 A ISO/DIS trata da especificação da utilizabilidade dos sistemas, que é definida como as características que permitem que o usuário alcance seus objetivos e satisfaça suas necessidades dentro de um contexto de utilização determinado. Desempenho e satisfação do usuário são especificados e medidos a partir do grau de eficácia, que é a realização dos objetivos perseguidos na interação, do grau de eficiência, que são os recursos alocados para alcançar estes objetivos e pelo grau de aceitação do produto pelo usuário. A ISO/DIS lida com a apresentação visual das informações através de terminais de vídeo. Ela define princípios gerais para a apresentação da informação, referindo-se tanto a organização na tela quanto ao uso de técnicas de codificação individual. Suas recomendações referem-se a janelas, áreas de entradas e saídas, grupos, listas, tabelas, rótulos, campos, cursores, aspectos sintáticos e semânticos de códigos alfanuméricos, abreviaturas, codificação gráfica, códigos de cores e outras técnicas de codificação visual. As partes ISO/DIS e 16 referem-se a estilos de diálogo por menu e por manipulação direta, respectivamente. As normas fornecem uma estrutura de recomendações referentes à pertinência destes estilos de diálogo, definindo como realizá-los em seus diferentes aspectos e como avaliá-los. O processo de avaliação, usando a norma ISO/DIS 9241, tem início por um entendimento da norma como um todo e a identificação e o conhecimento do usuário, da tarefa, do ambiente e do sistema que será analisado. Depois disso, deve-se definir uma lista de tarefas mais freqüentes e mais importantes que serão utilizadas na avaliação. Para se utilizar à norma, existem dois métodos: uma abordagem aconselhada e uma outra sugerida. Na aconselhada o avaliador observa o trabalho realizado pelo usuário. A lista de tarefas é definida pelo próprio examinador que utiliza previamente o sistema. Todos os elementos do sistema serão verificados, levando-se em conta as recomendações descritas na norma. Os resultados devem ser registrados usando-se 28

29 conceitos do tipo: requisitos inaplicáveis, aplicáveis e seguidos, aplicáveis, mas não seguidos. Na abordagem sugerida, o avaliador é o próprio usuário. Ao mesmo tempo em que realiza a interação com o sistema, ele estuda as características dos elementos e verifica sua conformidade com a norma. Nesse caso o documento gerado pela inspeção deve conter as tarefas avaliadas, as recomendações aplicáveis e as recomendações seguidas Ergolist - LabIUtil O LabIUtil Laboratório de Utilizabilidade - é um laboratório, ligado ao Departamento de Informática e Estatística e ao Departamento de Produção de Sistemas da UFSC, que fornece serviços de avaliação de qualidades ergonômicas de dispositivos interativos com interfaces homem-computador. Seu principal objetivo é de auxiliar na criação e na manutenção das qualidades ergonômicas, buscando as seguintes características: facilidade de aprendizagem, facilidade de uso e de adequação à tarefa dos dispositivos interativos informatizados. O ErgoList é um Checklist que foi criado para a avaliar, de forma autônoma, as qualidades ergonômicas de interfaces homem-computador. Ele é disponibilizado via Internet, onde o avaliador pode verificar e analisar a interface de um aplicativo. O Ergolist é composto por uma nova base de conhecimento em ergonomia, que, por sua vez, é formada pela reunião de várias recomendações, que foram escolhidas levando-se em consideração os seguintes critérios: importância e pertinência da recomendação; existência de material explicativo sobre a recomendação e sua aderência a um critério ergonômico e a uma característica de interface. Para avaliar a interface de um aplicativo, o avaliador acessa o endereço do ErgoList, onde, primeiramente, uma página de boas vindas, contendo informações sobre a ferramenta, é mostrada. Depois disso, o usuário escolhe entre um dos três módulos especificados a seguir: 29

30 Módulo 1 Checklist: auxilia o avaliador a realizar uma inspeção sistemática da qualidade ergonômica da interface com o usuário de seu sistema. Ainda dentro desse módulo o usuário pode utilizar-se da opção "Laudo Final", que permite a ele obter a estatística das inspeções realizadas, bem como, recuperar os comentários feitos durante a avaliação. Na Tabela 4 é mostrado o Cheklist dividido em 18 critérios de avaliação. Tabela 4 CheckList dividido por critérios de avaliação da interface Característica Requisito Presteza Verifique se o sistema informa e conduz o usuário durante a interação. Agrupamento por Verifique se a distribuição espacial dos itens traduz as relações entre as informações localização Agrupamento por Verifique os formatos dos itens como meio de transmitir associações e diferenças. formato Feedback Avalie a qualidade do feedback imediato às ações do usuário. Legibilidade Verifique a legibilidade das informações apresentadas nas telas do sistema. Concisão Verifique o tamanho dos códigos e termos apresentados e introduzidos no sistema. Ações Mínimas Verifique a extensão dos diálogos estabelecidos para a realização dos objetivos do usuário. Densidade Avalie a densidade informacional das telas apresentadas pelo sistema. Informacional Ações Explícitas Verifique se é o usuário quem comanda explicitamente as ações do sistema. Controle do Avalie as possibilidades do usuário controlar o encadeamento e a realização das Usuário ações. Flexibilidade Verifique se o sistema permite personalizar as apresentações e os diálogos. Experiência do Avalie se usuários com diferentes níveis de experiência têm iguais possibilidades de Usuário obter sucesso em seus objetivos. Proteção contra Verifique se o sistema oferece as oportunidades para o usuário prevenir eventuais erros erros. Mensagens de Avalie a qualidade das mensagens de erro enviadas aos usuários em dificuldades erro Correção de erros Verifique as facilidades oferecidas para que o usuário possa corrigir os erros cometidos. Consistência Avalie se é mantida uma coerência no projeto de códigos, telas e diálogos com o usuário. Significados Avalie se os códigos e denominações são claros e significativos para os usuários do sistema. Compatibilidade Verifique a compatibilidade do sistema com as expectativas e necessidades do usuário em sua tarefa. Módulo 2 Questões: possibilita o conhecimento, de modo informal, das questões que formam o Checklist. 30

31 Módulo 3 Recomendações: onde ficam as recomendações ergonômicas que podem auxiliar nas decisões de projetos de interfaces com o usuário. O usuário tem também à sua disposição um glossário dos termos, enunciados das questões e informações complementares. Dentro dessas informações complementares, o avaliador tem acesso ao "mais sobre", que contém justificativas, exceções, exemplos positivos e negativos e referências bibliográficas das questões ANSI IEEE 1063 A documentação do usuário, como já foi visto, é um conjunto de documentos, impresso ou em forma de arquivo, que deve ser fornecido com o produto para orientar o usuário final para o seu uso. A norma ANSI IEEE 1063 provê os requisitos mínimos de estrutura, do conteúdo da informação e do formato da documentação do usuário, incluindo documentos impressos e eletrônicos, usados no ambiente de trabalho de usuários de software. Ele não inclui o processo para desenvolvimento e gerenciamento da documentação do usuário. Esse padrão é aplicado para manuais do usuário impressos, helps on-line, e documentações de referência do usuário. O ANSI IEEE 1063 é voltado para: documentação de software para usuários finais e documentações produzidas por operadores de computador ou administradores de sistemas. Embora não seja o principal objetivo desse padrão, ele também pode ser adotado como um padrão de referência para organizações que pretendem produzir documentações baseadas nele. Essa norma é dividida em 5 partes: Escopo, que apresenta o objetivo, a proposta, a organização e os candidatos a uso do padrão; Definições, que conceitua os termos técnicos utilizados no padrão; Estrutura, que descreve como a documentação deve ser organizada em segmentos e em que ordem esses segmentos devem ser apresentados; 31

32 Conteúdo da informação, que especifica o conteúdo da informação que deve estar na documentação, incluindo completeza e exatidão. Além de definir que informações devem estar presentes na documentação do usuário; Formato, que determina a formatação da documentação eletrônica ou impressa e apresenta convenções para estilos, tipografia e elementos gráficos. As três últimas partes, que definem a estrutura, o conteúdo da informação e o formato, respectivamente, definem características que devem estar presentes na documentação que está sendo avaliada. Na Tabela 5, abaixo, são apresentados os requisitos da norma, segundo essas características. Tabela 5 Requisitos da norma ANSI/IEEE 1063 Aspectos Componentes que devem estar presentes na estrutura, no conteúdo da informação e no formato da documentação. Estrutura Conteúdo da informação Formato Requisito Dados de identificação do documento (Título, versão, data de publicação e emissor) Tabela de Conteúdo (para documentos com mais de 8 páginas) Introdução. Define o escopo do documento. Informações sobre uso da documentação Conceito das operações Procedimentos Informações sobre os comandos do software Mensagens de erros e resolução de problemas Glossário Características de navegação Índice (Para documentos com mais de 40 páginas) Capacidade de pesquisa (Para documentos eletrônicos) Deve ser dividido em capítulos com conteúdo único. Os documentos impressos não devem apresentar mais de três níveis de subdivisões nos capítulos. Os eletrônicos não devem apresentar informações cujo conteúdo é acessado por mais de três links. Informações críticas devem ficar em locais destacados na documentação. Todas as funções devem ser completamente descritas. Deve refletir exatamente as funções propostas pelo software. Deve usar a mesma terminologia em toda a documentação. Se não houver documentação on-line deve haver documentação impressa. Deve apresentar requisitos de software e de hardware Deve apresentar instruções de instalação Deve ser legível. Avisos, mensagens e notas devem ter um formato consistente, que identifique cada passo das instruções individualmente. As instruções devem ser numeradas. Elementos da interface devem ser representados graficamente. Devendo, também, explicar a conseqüência da ação de cada um deles. Ilustrações que acompanham o texto devem ser adjacentes a primeira referência delas no texto. Se houver mais de cinco ilustrações elas devem ser numeradas e tituladas. 32

33 CAPÍTULO APÍTULO 3 MEDE EDE-PROS A ASSESPRO Nacional - Associação das Empresas Brasileiras de Tecnologia da Informação, Software e Internet e o CenPRA Centro de Pesquisas Renato Archer (CenPRA, antigo Instituto Nacional de Tecnologia da Informação ITI, que havia sucedido o extinto Fundação Centro Tecnológico de Informática CTI), em 1993, firmaram uma parceria com o objetivo de conscientizar e incentivar a capacitação tecnológica das empresas produtoras de software, associadas a ASSESPRO, criando o Prêmio ASSESPRO de Qualidade de Software Melhor Software do Ano. Visando aumentar a confiabilidade do julgamento técnico do prêmio, o CENPRA desenvolveu, em 1993, o método de avaliação de qualidade de produto de software MEDE-PROS, que será descrito neste capítulo. A princípio, esse método tinha seus critérios baseados, apenas, na norma internacional ISO/IEC 9126 e apresentava 43 (quarenta e três) questões de verificação. No ano 2000, essas questões passaram para 540 e os critérios passaram a ser baseados nas normas ISO/IEC 9126, , 12119, 9241 e IEEE 1063, além da experiência adquirida pelo CenPRA, ao longo dos anos. Essa evolução é mostrada na Tabela 6, logo abaixo. Antes disso, a premiação era realizada com base numa avaliação subjetiva, que era executada a partir da visão de uma comissão julgadora. Tabela 6 Evolução do método MEDE-PROS Versão # Questões Padrões ISO/IEC V V , Experiência do CenPRA * V , , Experiência do CenPRA V , , Experiência do CenPRA V 01/ , , Experiência do CenPRA V 02/ ** 9126, , 12119, Experiência do CenPRA V 02/ ** 9126, , 12119, 9241, IEEE Experiência do CenPRA (*) A experiência do CenPRA inclui: meta de evolução, análises estatísticas e base de dados com histórico. (**) O número de questões cresceu porque cada atributo foi detalhado, nos itens de atributos. Fonte: [14] 33

34 Depois disso, esse método passou a ser referencia nacional na avaliação da qualidade de produtos de software. Ele passou a ser utilizado não só para o Prêmio ASSESPRO, mas também para a Qualificação do PNAFAM Programa Nacional de Apoio à Gestão Administrativa e Fiscal dos Municípios Brasileiros, para a CNS Chamada Nacional SOFTEX de 1997 e na avaliação de produtos de software de empresas com o objetivo de qualificar os seus produtos. Algumas dessas aplicações serão mais detalhadas no subitem 5 deste capítulo, que apresenta Aplicações do MEDE- PROS. Na Tabela 7, abaixo, são descriminadas as avaliações realizadas por ano com o método, até o ano de Tabela 7 Estatísticas das Avaliações com o MEDE-PROS até 2003 Ano Versão do MEDE-PROS Número de Produtos Avaliados 1993 V V V V V 01/ V 01/ V02/ V02/ V V V Total 376 Fonte: CenPRA Como pode ser observado na tabela, acima, 376 produtos de software foram avaliados, até o ano de 2003, com o MEDE-PROS DESCRIÇÃO O CenPRA 5 - Centro de Pesquisas Renato Archer, é uma unidade de pesquisa do Ministério da Ciência e Tecnologia (MCT). Situado em Campinas, São Paulo, o CenPRA, que atua desde 1982, tem a finalidade de desenvolver e implementar pesquisas científicas e tecnológicas no setor de informática. 5 Website do CenPRA: 34

35 Em 1993, como já foi mencionado, o CenPRA desenvolveu o MEDE-PROS - Método de Avaliação de Qualidade de Produto de Software com a finalidade de avaliar a qualidade de produto de software, segundo a visão de um usuário final, verificando o quanto ele está atendendo aos padrões das normas internacionais ISO/IEC 9126 (NBR13596) Características de qualidade de software e ISO/ IEC (NBR12119) Requisitos de Qualidade e Testes de Pacotes de Software, que se baseia na anterior. A primeira define seis características de software que devem estar presentes em todos os produtos: Funcionalidade, Confiabilidade, Portabilidade, Usabilidade, Eficiência e Manutenibilidade e a segunda, os requisitos de qualidade de um pacote de software. O processo de avaliação de produtos de software do MEDE-PROS é baseado na norma ISO/IEC , que define exigências e recomendações para a implementação prática de avaliação de produtos de software, desenvolvidos ou em desenvolvimento, como uma série de atividades definidas, acordadas entre o cliente e o avaliador. As estruturas das normas ISO/IEC 9126, e 12119, que já foram vistas no capítulo 2, é mostrada na Figura 4 abaixo. Figura 4 - Estruturas das Normas de Qualidade de Software (Reproduzida de [9]) 35

36 Além destas normas que foram citadas, o MEDE-PROS se baseia nos seguintes estudos complementares, também citados no Capítulo 2: ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Part 10: Princípios de diálogo; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Part 11: Especificação da Utilizabilidade; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Part 12: Apresentação da Informação; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Part 14: Diálogo por menu; ISO/DIS : Requisitos ergonômicos para escritórios que trabalham com terminais de exposição visual (VDTs), Part 16: Diálogo por manipulação direta; ERGOLIST: Laboratório de Utilizabilidade - UFSC; ANSI IEEE 1063: Padrão para a documentação do usuário do software ESTRUTURA O método MEDE-PROS é formado por 5 módulos que permitem avaliar um produto de forma completa. Os dois módulos de pacote (embalagem) e descrição do produto verificam se as informações disponíveis ao comprador, antes da compra, estão em conformidade aos requisitos da norma NBR ISO/IEC O módulo de Documentação verifica se os requisitos de qualidade definidos pela norma ISO/IEC e 9126 e ANSI IEEE 1063 estão presentes no produto de software avaliado. O módulo de Software verifica se os requisitos de qualidade definidos pela norma ISO/IEC 9126 estão presentes no produto de software avaliado. O módulo de Interface verifica se os requisitos de qualidade definidos pelas normas ISO/IEC 9126, ,11,12,14 e 16 e pelo ERGOLIST, também, estão presentes no produto de software avaliado. 36

37 Adicionalmente, existem os módulos de instalação e desinstalação que avaliam as diferentes partes de um produto que interferem diretamente nas atividades de instalação e desinstalação, respectivamente. Na Figura 4, a seguir, é demonstrada a estrutura de verificação de requisitos por módulos da avaliação do MEDE-PROS. Figura 5 - Estrutura de Verificação de Requisitos por Módulos Cada um destes módulos é dividido em características de qualidade, como é visto na Figura 6 da próxima página, que são avaliadas segundo um ou mais quesitos. Cada quesito é um atributo que deve ser observado por um avaliador em um contexto definido. 37