utilização do potencial humano da estrutura governamental (Ensslin et al., 1997). Sendo sensível às dificuldades mencionadas, e considerando outros

Transcrição

1 UMA ABORDAGEM CONSTRUTIVISTA MCDA PARA AUXILIAR NA COMPREENSÃO DAS VARIÁVEIS A SEREM CONSIDERADAS NO DESENVOLVIMENTO DE UM INSTRUMENTO DE AVALIAÇÃO DE DESEMPENHO: UM ESTUDO DE CASO Leonardo Ensslin, Ph.D. Ademar Dutra, Mestrando. UFSC - DEPARTAMENTO DE ENGENHARIA DE PRODUÇÃO - ensslin@eps.ufsc.br - FONE (048) CEP FLORIANÓPOLIS - SANTA CATARINA Sandra Rolim Ensslin, Doutoranda. UFSC - DEPARTAMENTO DE CIÊNCIAS CONTÁBEIS - CCN FONE (048) CEP FLORIANÓPOLIS - SANTA CATARINA Abstract One of the most fascinating aspects of utilizing MCDA is the understanding of the problematic situation under analysis this methodology can provide. In this article, the gaining of this understanding is demonstrated though a case study of a real-life situation:the difficulty, on the part of those responsible for the coordination of Human Resources at the Secretaria de Administração do Estado de Santa Catarina (SEA), in defining, on a precise basis, the variables that should be made present in the context a concern with a self sustaining system for the Management of Human Resources. Thus, this paper aims to demonstrate how to utilize the Constructivist Multicriteria Decision Aid (MCDA) approach in such a decisional context, with a view to helping those involved understand the problematic situation so as to identify the set of variables relevant to this context. Área: 10 Gestão Econômica 10.4 Sistemas de Apoio à Decisão Key words: Multicriteria Decision Aid approach (MCDA), Structuring Phase, Performance Assessment of Human Resources. 1 - Introdução A estrutura organizacional do Estado de Santa Catarina consiste de diversos órgãos, formados por várias secretarias, autarquias e fundações. A Secretaria da Administração (SEA), dentre as secretarias, é o órgão responsável pela administração dos Recursos Humanos (RH) do governo do Estado. O trabalho da SEA é definir as políticas a serem adotadas para todos os servidores do Estado. Cumpre salientar que o gerenciamento dos recursos humanos das organizações públicas não tem sido uma tarefa fácil, devido a várias razões, incluindo-se aqui as características próprias do servidor público no Brasil e as características da sistemática de funcionamento do serviço público. Entre estas características, algumas sobressaem-se, como por exemplo: (i) a descontinuidade de ações administrativas, que sofrem alterações significativas em função das mudanças governamentais a cada quatro anos; (ii) a inexistência de uma política bem-definida para os recursos humanos; (iii) a falta de motivação e a estagnação típica dos servidores no contexto brasileiro; e, finalmente, (iv) a ausência de perspectiva de crescimento profissional oferecida aos servidores (Ensslin et al., 1997). Um dos problemas mais sérios do gerenciamento advém dos efeitos combinatórios dos itens (ii) e (iii) apresentados acima, que acaba por resultar, entre outras coisas, em sub-

2 utilização do potencial humano da estrutura governamental (Ensslin et al., 1997). Sendo sensível às dificuldades mencionadas, e considerando outros fatores que afetam seu funcionando, a SEA percebeu esta situação como problemática. Segundo Eden et al. (1983), pode-se definir uma situação problemática como sendo aquela onde alguém deseja que algo seja diferente de como é, mas não está bastante seguro de como proceder para torná-lo diferente. Considerando, também, o fato de que um problema é sempre um construto pessoal (ibid) e que um problema sempre pertence a uma pessoa ou a uma entidade, pode-se dizer que a SEA encontrava-se diante de uma situação problemática. Nesta situação, não era possível, para esta entidade, identificar, precisamente, quais as variáveis relevantes que deveriam ser consideradas e que, posteriormente, seriam inseridas em um modelo de avaliação objetivando a identificação do seu perfil de desempenho e, consequentemente, o perfil de seus servidores. A partir daí, haveria a possibilidade de identificação, em nível individual, daqueles aspectos em que o desempenho do servidor se constitui como uma vantagem competitiva e daqueles em que seu desempenho deve merecer maior atenção. Para fazer esta identificação, a SEA procurou a ajuda de consultores capazes de auxiliá-la a entender sua própria estrutura organizacional, com o propósito futuro de tentar amenizar as difíceis questões envolvidas no gerenciamento dos servidores do Estado. Neste contexto, a metodologia Multicritério de Apoio à Decisão (MCDA) foi sentida, pelos consultores, como a mais adequada, uma vez que ela traria contribuições valiosas para a compreensão da situação percebida como problemática. A robustez da metodologia MCDA torna-se evidente em situações complexas, como a da SEA, onde há a participação de atores diferentes, cada um possuíndo diferentes valores, percepções e objetivos, e cada um interagindo com relações assimétricas de poder. Ou seja, são situações que não envolvem um único critério, mas sim, critérios múltiplos e contraditórios (Beinat, 1995; Roy, 1990; Roy & Vanderpooten, 1996). Em tais situações complexas por natureza MCDA emerge como uma evolução da Pesquisa Operacional (Vincke, 1992), sendo informada por um novo espírito: o reconhecimento dos limites da objetividade (Roy & Vanderpooten, 1996). Diante de tal reconhecimento, esta metodologia enfatiza uma diferença básica de atitude: enquanto as abordagens tradicionais tentam dar uma solução ao problema, MCDA enfatiza a idéia da construção do problema, ou seja, enfoca a modelação do contexto decisional, através da consideração das convicções e valores dos atores envolvidos no processo decisório. Esta modelação virá por permitir a construção de um modelo de avaliação, com base no qual acredita-se que as decisões tomadas sejam as mais adequadas para o contexto em questão (Roy, 1990; 1993). Duas convicções básicas informam a modelação de uma situação problemática, sob a perspectiva da metodologia MCDA. Estas são: (i) a interpenetrabilidade e a inseparabilidade dos elementos objetivos e subjetivos; e (ii) o construtivismo calcado na noção de participação conduzindo a um novo paradigma de aprendizagem (Bana e Costa, 1993; Bana e Costa & Pirlot, 1997a). O processo desta atividade de ajuda à decisão consiste de três fases básicas, diferenciadas, mas intrinsicamente correlacionadas: (i) a estruturação do contexto decisório (a fase abordada neste artigo); (ii) a construção de um modelo de avaliação de ações; e, (iii) a formulação de recomendações para os cursos de ações mais satisfatórios. A Seção 2 consiste em apresentar a Fase de Estruturação. Esta fase tem por objetivo fundamental, o estabelecimento de um mecanismo de comunicação entre os vários atores envolvidos no processo decisório, vindo por promover uma compreensão da situação percebida como problemática e por conduzir a uma linguagem comum entre eles. Assim, o propósito deste trabalho terá sido alcançado uma vez que, através da utilização desta metodologia construtivista, os responsáveis pelo gerenciamento dos RH da SEA teriam conseguido compreender o que, para eles, futuros avaliadores dos desempenhos dos

3 servidores, é realmente relevante e deve ser considerado em um modelo de avaliação. Teriam, também, conseguido, através da participação conjunta e do aprendizado gerado, explicitar de forma clara e precisa: (i) o que eles entendem por avaliação de desempenho dos servidores públicos; (ii) a razão pela qual tais variáveis foram consideradas; (iii) o significado de cada uma das variáveis consideradas; bem como (iv) as possibilidades nas quais os servidores poderão impactar, segundo a consideração dos responsáveis pela avaliação. Em subseções, serão apresentadas as três etapas desenvolvidas, neste trabalho, que vieram por gerar o entendimento do problema, a saber: (i) a construção de um Mapa Cognitivo; (ii) a construção de uma família de Pontos de Vista Fundamentais (PVF); e, (iii) a construção de descritores. Estas três etapas, na realidade, promovem a estruturação do problema. A Seção 3 é dedicada às conclusões do trabalho, resumindo os argumentos principais e enfatizando a utilidade das metodologias MCDA em situações complexas. 2 A Fase de Estruturação De acordo com Belton et al. (1997), o trabalho no campo de análise de multicritério tem enfocado os procedimentos de avaliação partindo de um problema bem-definido, com alternativas e critérios especificados. Porém, na realidade, os problemas, raramente, são bem-estruturados; portanto, a fim de que o processo de apoio à decisão seja eficaz, os consultores utilizando as metodologias multicritérios precisam voltar-se para a questão da estruturação dos problemas. A importância da fase de Estruturação é evidenciada na citação acima. Esta importância também foi enfatizada por várias outros pesquisadores, como: Schwenck & Thomas, 1983; von Winterfield & Edwards, 1986; Bana e Costa, 1992; Ensslin, S., 1995; Montibeller, 1996). A abordagem desenvolvida neste trabalho divide a estruturação em três etapas, definidas acima como se segue: (i) a construção de um Mapa Cognitivo; (ii) a construção de uma família de Pontos de Vista Fundamentais (PVF); e, (iii) a construção de descritores. É importante mostrar que estas fases são recursivas, como pode ser visto na Figura 2 (extraída de Bana e Costa et al., 1997b): Mapas Cognitivos Pontos de Vista Fundamental Descritores Figura 2: O Processo de Estruturação de um contexto decisional. 2.1 Mapa Cognitivo Conforme apontado por Bana e Costa et al. (1997c), uma primeira preocupação com que o consultor é confrontado é entender bem o que o problema é, sob a perspectiva dos atores envolvidos em uma determinada situação. Para ajudar neste entendimento, muitas ferramentas foram desenvolvidas por pesquisadores da área, capazes de representar, esquematicamente, a construção de uma situação problemática. Neste trabalho, a ferramenta identificada como a mais apropriada é o Mapa Cognitivo (MC). Existem muitos tipos de Mapas Cognitivos (ver Fiol e Huff, 1992). Este trabalho adota o mapeamento cognitivo sugerido por Eden (1988; 1983) - que descreve as relações causais ou de influência - em função de sua adequação na estruturação de modelos multicritérios. Nesta mesma perspectiva, Cossette & Audet (1992) definem um MC como: uma representação gráfica das representações mentais que o consultor faz das representações discursivas feitas pelo decisor, sobre um determinado objeto, a partir de suas

4 representações mentais. O MC envolve alguns passos, o primeiro consistindo na definição de um rótulo para o problema. No caso específico do presente trabalho, o rótulo foi definido como sendo: o desenvolvimento de um sistema de avaliação, capaz de identificar as potencialidades, e ao mesmo tempo apontar as oportunidades de melhoria para os recursos humanos da SEA. Faz-se necessário mencionar que, sob a perspectiva da SEA, avaliar não significa identificar servidores inoperantes; pelo contrário, significa identificar tanto suas aptidões como suas insuficiências, tendo em vista valorizar e explorar as primeiras e, para as segundas, promover ações que conduzam a melhorias. Segundo Eden et al. (1983), o rótulo do problema é o ponto de partida do mapa. A partir do rótulo, a técnica de brainstorming é utilizada com o propósito de extrair dos atores aqueles aspectos (que serão, a partir daqui, chamados de conceitos) considerados, por eles, como relevantes. O próximo passo consiste em um processo de questionamento (neste trabalho, a proposta de Keeney (1992) foi utilizada), através do qual um conceito passa a gerar um outro conceito e este novo conceito passa a ser o conceito fim, com relação ao anterior. Este processo segue ocorrendo até que se chegue, por um lado, àquele conceito considerado, pelo decisor, como estratégico e, por outro lado, quando se chegua a um conceito passível de mensuração. Nos MC considera-se que as ligações entre conceitos mostram, apenas, uma relação de influência entre eles (Cossette & Audet, 1992). Este procedimento foi usado neste trabalho e resultou em um MC composto por quatro clusters : (i) estrutura e normalização do trabalho; (ii) desenvolvimento de recursos humanos; (iii) políticas de pessoal; e, (iv) sistema de controle e aperfeiçoamento organizacional. Na construção do MC, o software Decision Explorer foi utilizado. Para uma melhor visualização, a Figure 3 apresenta o cluster (ii): Desenvolvimento de recursos humanos. Este cluster será usado para a demonstração da identificação dos candidatos a pontos de vista fundamentais. Figure 3: Análise do cluster (ii): Desenvolvimento de recursos humanos. 2.2 Pontos de Vista Fundamentais A questão levantada nesta etapa é como proceder à transição do MC para a Árvore de pontos de vista fundamentais (Árvore de Valor). Algumas abordagens foram propostas para esta transição, dentre as quais pode-se citar: a abordagem intuitiva (proposta por Goodwin & Wright, 1991); uma abordagem baseada na forma e conteúdo do mapa (proposta por Belton et al., 1997); e, uma abordagem baseada apenas, no conteúdo do

5 mapa, como uma tentativa para identificar um possível candidato a ponto de vista fundamental (PVF) (proposto por Keeney, 1992). No presente estudo, Keeney (ibid) foi a fonte principal, embora algumas modificações tenham sido feitas no sentido de que o enquadramento do contexto decisional proposto por ele foi utilizado na análise de cada cluster na busca de identificação do possível candidato a PVF. As Figura 4, 5 e 6 mostram o enquadramento do cluster (ii) Desenvolvimento de Recursos Humanos, ramo 1 (que se constitui como a abordagem proposta por Bana e Costa et al., 1997d; Ensslin et al., 1998), com o propósito de ilustrar a identificação da emergência do candidato a PVF, ou seja: Capacitação. A figura 4 mostra a primeira etapa correspondente a identificação dos ramos existentes neste cluster. 58 Melhorar o desempenho da Instituição... Manter 55 Ter servidores qualificados e comprometidos... Não ter RAMO RAMO 1 47 Fazer bem e com qualidade... Não fazer 57 Ter maior participação Não ter Não ter 56 Aumentar a auto-estima Manter Manter 6 Motivar e valorizar os servidores... Não motivar 49 Executar atividades não rotineiras... Nào executar 50 Adaptar-se a situações adversas... Não adaptar-se 48 Ter flexibilidade operacional... Não ter RAMO RAMO 2 46 Conhecer o que deve faze... Não conhecer 38 Aumentar a segurança funcional... Não aumentar 36 Melhorar o conhecimento... Não melhorar 33 Qualificar os servidores... Não qualificar 34 Desenvolver a cultura... Não desenvolver 32 Oferecer capacitação... Não oferecer 31 Ter políticas de desenvolvimento de recursos humanos definidas na Instituição... Não ter 28 Conhecer o perfil requerido para o cargo... Não conhecer 30 Identificar as carências de conhecimentos... Não identificar 29 Conhecer o perfil do ocupante... Não conhecer Figura 4: Identificação dos ramos 1 e 2 do cluster (ii). A Figura 5 mostra, justamente, o enquadramento do ramo 1, no Decision frame proposto por Keeney (1992), a partir do que será possível a identificação do candidato a PVF. 58 Melhorar o desempenho da Instituição...Manter Desenvolvimento de Recursos Humanos 55 Ter servidores qualificados e comprometidos...não ter 57 Ter maior participação...não ter 56 Aumentar a auto-estima... Manter 6 Motivar e valorizar os servidores..não motivar 38 Aumentar a segurança funcional...não aumentar 46 Conhecer o que deve fazer. Não conhecer 33 Qualificar os servidores... Não qualificar Capacitação 32 Oferecer capacitação...não oferecer 31 Ter políticas de desenvolvimento de recursos humanos definidas na Instituição. Não ter Figura 5: Enquadramento do ramo 1. A Figura 6 apresenta a emergência do candidato a PVF denominado Capacitação.

6 Desenvolvimento de Recursos Humanos 38 Aumentar a segurança funcional... Não aumentar 46 Conhecer o que deve fazer. Não conhecer Capacitação Candidato a Ponto de Vista Fundamental (PVF) Figura 6: Identificação do candidato a PVF do ramo 1. Avaliação de Desempenho dos Recursos Humanos da SEA Estrutura e Norm alização do trabalho A tividades e D esenvolvim ento de Recursos Hum anos Infra-estrutura Norm alização e disciplina Desenvolvimen to de Recursos Hum anos Políticas de Pessoal Potencialidades fora do cargo Sistema de com - trole e aperfeiçoamento organizacional P VF1 - Local de trabalho, equip amentos e recursos materiais P VF2 - Norm as de trabalho e de conduta PVF 3- T reinam ento PVF 4-F ormação PV F5- Atitudes PVF6 Habilidades pessoais P VF7- Potencialidades no cargo PVF8 -Empenho para ascensão funcional PVF9 - Disfunção PVF10 - Processo de aper-feiçoam ento contínuo PVF11 - Estabelecer metas Figura 7: Árvore de Pontos de Vista Fundamentais (Árvore de Valor) O mesmo procedimento foi seguido no tratamento do ramo 2 (do cluster (ii)), bem como dos outros clusters, resultando na identificação dos possíveis candidatos a PVF, a saber: Infra-estrutura, Normas e Disciplina, Formação, Atitudes, Habilidades Pessoais, Potencialidades no Cargo, Empenho para Ascensão Funcional, Disfunção, Processo de Aperfeiçoamento Contínuo, e Estabelecimento de Metas. A Figura 7 mostra a árvore resultante. Os PVF s identificados na árvore são as variáveis (dimensões, critérios, ou atributos) consideradas como relevantes pelos responsáveis pelo gerenciamento dos RH da SEA, que serão aquelas consideradas na construção do modelo multicritério de avaliação. De acordo com Bana e Costa & Silva (1994), de posse da estrutura arborescente, passa-se à última etapa da Fase de Estruturação: a operacionalização dos PVF s. Entende-se que um PVF é operacional quando o impacto de cada ação potencial pode ser medido, em relação a este PVF. Tal função operacional é chamada de descritor de impacto das ações, de acordo com Bana e Costa (1992). Muitas vezes, para um PVF tornar-se operacional, é necessário decompô-lo em Pontos de Vista Elementares (PVE). Estes nada mais são que a explicação e o detalhando do PVF ao qual eles estão associados. Cumpre salientar que a noção de descritor se aproxima da noção de atributo de Keeney (1992) e se assemelha à definição de critério de Bouyssou (1990): critério pode ser entendido como uma ferramenta que permite a comparação das alternativas de acordo com um PVF específico. 2.3 Descritor de Impacto Um descritor pode ser definido como um conjunto ordenado de níveis plausíveis de impacto associados a um PVF (Bana e Costa & Silva, 1994). Este conjunto de níveis de impacto deve ser: (i) identificado tão objetivamente quanto possível, a fim de eliminar qualquer possibilidade de ambigüidade ou dúvida entre os atores, quando da análise do impacto de cada ação potencial em relação ao PVF em questão (Bana e Costa & Silva, 1994); (ii) ordenado de tal modo que seja definida a direção de preferência, permitindo o estabelecimento da atratividade: intensidade de preferência de um nível em relação a outro, de maneira a construir uma escala de preferência local (função de valor) (ibid). A construção do descritor deve ser feita cuidadosamente uma vez que o perfil de cada ação será identificado a partir de seu impacto sobre cada descriptor.

7 De acordo com Bana e Costa & Silva (1994), um descritor pode ser quantitativo ou qualitativo, discreto ou contínuo, direto, indireto ou construído (...). A lista dos PVF e PVE é apresentada na Tabela 1. PVF1 Infra-Estrutura PVF3 Capacitação PVE7.2 Formação Profissional PVF2 Normas e Disciplina PVF4 Formação PVE7.3 Promoções Conquistadas PVE2.1.1 Pontualidade no Trabalho PVF5 Atitudes PVF8 Empenho para Ascensão Funcional PVE2.1.2 Compromissos Internos /Externos PVF6 Habilidades Pessoais PVE8.1 Requisições e Convocações Diversas PVE2.2 Assiduidade PVE6.1 Habilidades em PVE8.2 Grau de Disponibilidade Conhecimentos Adicionais PVE2.3 Utilização de Equipamentos PVE6.2 Habilidade em Comunicação PVF9 Disfunção e Serviços PVE2.4 Ordem do Local de Trabalho PVE6.3 Habilidade de Liderança PVF10 Processo de Aperfeiçoamento Contínuo PVE2.5 Zêlo da Infraestrutura PVE6.4 Habilidade de Inovação PVE10.1 Evolução/Agilidade na Prestação de Serviços PVE2.6 Atendimento à Requisições Diversas PVF7 Potencialidades no Cargo PVE10.2 Qualidade na Prestação de Serviços PVE2.7 Cumprimento de Prazos PVE7.1 Experiência PVF11 Estabelecimento de Metas Tabela 1: Relação dos PV s. O processo de operacionalização, neste trabalho, se traduziu num questionamento aos atores sobre os aspectos por eles considerados representativos da capacitação dos servidores. Os atores responderam a esta pergunta referindo-se a um nível mínimo desejável (denominado Neutro por Vansnick (1989), significando um impacto considerado nem favorável nem desfavorável, em termos do PVF). O nível proposto pelos atores foi, para o PVF3 - Capacitação: O servidor participou de cursos de capacitação, nos últimos dois anos, totalizando carga horária aproximada de 25 horas.. Referindo-se a este nível neutro, foi possível identificar, também através de questionamento, os níveis positivos ou atrativos, indicando os níveis considerados melhores do que o nível neutro, bem como os níveis considerados repulsivos ou negativos, indicando tais níveis serem pior do que o nível neutro (terminologia usada por Bana e Costa & Silva, 1994). A Tabela 2 mostra o descritor do PVF3 Capacitação. Através deste mesmo procedimento, foram construídos descritores para cada um dos PV. Isto foi feito porque considera-se a definição dos descritores de impactos plausíveis como sendo essencial para esclarecer o significado do PV e possibilitar a avaliação da ações potenciais. Nível Referência Descrição +++ O servidor participou de cursos de capacitação, nos últimos dois anos, totalizando carga horária superior a 150 horas. ++ Bom O servidor participou de cursos de capacitação, nos últimos dois anos, totalizando carga horária aproximada de 100 horas. + O servidor participou de cursos de capacitação, nos últimos dois anos, totalizando carga horária aproximada de 50 horas. 0 Neutro O servidor participou de cursos de capacitação, nos últimos dois anos, totalizando carga horária aproximada de 25 horas. - O servidor não participou de cursos de capacitação, nos últimos dois anos. Tabela 2: Descritor do PVF3 - Capacitação. 3 Conclusões e Recomendações O estudo descrito neste artigo objetivou demonstrar as potencialidades da metodologia conhecida como MCDA, em contextos decisionais complexos. Considerando-se que a MCDA é uma metodologia essencialmente construtivista e que, na teoria de aprendizagem construtivista, os indivíduos são vistos como participantes ativos na aquisição de conhecimento, tal metodologia foi aqui utilizada em uma situação real, para, em linhas gerais: (i) promover o diálogo entre os responsáveis pelo gerenciamento dos RH da SEA e os consultores envolvidos; (ii) gerar um entendimento do contexto decisional em relação à avaliação dos servidores; (iii) modelar os sistemas de preferências

8 destes responsáveis. Para alcançar tal compreenensão da situação em análise, alguns procedimentos foram adotados, incluindo-se aqui: (i) a construção do Mapa Cognitivo (com utilização de um sistema de suporte específico - o DECISION EXPLORER); (ii) a construção de uma família de Pontos de Vista Fundamentais (PVF); e, (iii) a construção de descritores. Em termos práticos, a experiência deste trabalho realizado junto ao SEA revelou que a abordagem utilizada provou ser útil para promover a estruturação do problema - gerenciamento dos recursos humanos - objetivo primeiro deste artigo. A estruturação do problema conseguida através da metodologia aqui descrita serve como insumo central para a construção de um modelo de avaliação, que virá, justamente, ao encontro do rótulo do problema, identificado como desenvolvimento de um sistema de avaliação capaz de identifica as potencialidades, e ao mesmo tempo apontar as oportunidades de melhoria para os RH da SEA. Esta fase de avaliação e a posterior fase de recomendação, juntamente com a fase de estruturação aqui descrita, constituem a atividade de apoio à decisão, informada pela metodologia MCDA. Obviamente, estas duas últimas fase estão fora do escopo deste trabalho. Assim, recomenda-se, como pesquisa posterior a esta, exatamente a construção de um modelo de avaliação que, em última instância, virá por identificar: (i) o perfil de desempenho global da SEA e, (ii) o perfil individual de cada servidor, identificar ações para melhorar o desempenho nos dois níveis. Tal trabalho virá por auxiliar no gerenciamento dos recursos humanos das organizações públicas. 4 Referências Bibliográficas BANA e COSTA, C.A., PIRLOT, M. Thoughts on the future of the multicriteria field: basic convictions and outline of a general methodology, in J. Clímaco (ed.), Multicriteria Analysis, Springer-Verlag, Berlin, 1997a (forthcoming). BANA e COSTA, C.A., ENSSLIN, L., VANSNICK, J.C., CORRÊA, E.C., Decision Support Systems in Action: Integrated Application in a Multicritéria Aid Process, Final Program of XV EURO and XXIV INFORMS Joint International Meeting, Barcelona, Espanha, 1997b (forthcoming). BANA e COSTA, C.A., ENSSLIN, L., ZANELLA, I.,J., A Real-World MCDA Application in Cellular Telephony Systems, Proceedings of 13 th International Conference on MCDM, Cape Town, South Africa, 1997c (forthcoming). BANA e COSTA, C.A., ENSSLIN, L., MONTIBELLER, G.N., From Cognitive Maps to Multicriteria Models, Proceedings of The International Conference on Methods and Applications of Multicriteria Decision Making, Mons, Bélgica, 1997d (forthcoming). BANA E COSTA, C. A., SILVA, F. N. Concepção de uma Boa Alternativa de Ligação Ferroviária ao Porto de Lisboa: uma aplicação da metodologia multicritério de apoio à decisão e à negociação. Investigação Operacional, vol. 14, pp , BANA e COSTA, C.A. Três Convicções Fundamentais na Prática do Apoio à Decisão. Pesquisa Operacional, v.13, n.1, pp , Junho/1993. BANA e COSTA, C.A., Structuration, construction et exploitation d un modèle multicritère d aide à la décision, PhD Tese de Doutorado, Universidade Técnica de Lisboa,1992. BANXIA Software Ltd. (1998) Graphics DECISION EXPLORER COPE User Guide. BEINAT, E., Multiattribute Value Functions for Environmental Management. Amesterdan,1995. BELTON, V.; ACKERMANN, F., SHEPHERD, I. COPE-ing with VISA. Integrated Support from Problem Structuring through to Alternative Evaluation Using COPE and V.I.S.A Journal of Multi-criteria Decision Analysis, v.6, pp ,1997. BOUYSSOU, D. (1990), Construction of Criteria: a Prerequisite for MCDA, in C.A. Bana e Costa (ed.), Readings in Multiple Criteria Decision Aid. Springer-Verlag, Berlin, pp.58-80,1990. COSSETTE, P., AUDET, M. Mapping of an idiosyncratic schema. Journal of Management Studies, v.29, n.3, pp , EDEN, C. Cognitive mapping. European Journal of Operational Research, n. 36, pp. 1-13, EDEN, C., JONES, S., SIMS, D. Messing about in problems. Oxford: Pergamon, ENSSLIN, L., MONTIBELLER, G. N., ZANELLA, I. J., NORONHA, S. M. D., Metodologias Multicritérios em Apoio à Decisão. (to be published in 1998). ENSSLIN, L., ENSSLIN, S. R., DUTRA, A, O Uso de Mapas Cognitivos como Instrumento de Apoio ao Processo Decisório: Um Estudo de Caso. Anais do XVII ENEGEP, Gramado, Brasil, pp.199, ENSSLIN, S. R., A Estruturação no Processo Decisório de Problemas Multicritérios Complexos. Dissertação de Mestraddo, Universidade Federal de Santa Catarina, FIOL, C.M., HUFF, A.S. Maps for managers: where are we? Where do we go from here?. Journal of Management Studies, v.29, n.3, pp , GOODWIN, P., WRIGHT, G., Decision Analysis for Management Judgement, John Wiley & Sons, Chicester, KEENEY, R.L. Value-Focused Thinking: A Path to Creative Decisionmaking. Cabridge: Harvard Univ. Press, MONTIBELLER NETO, G. Mapas Cognitivos: Uma Ferramenta de Apoio à Estruturação de Problemas. Dissertação de Mestrado, Universidade Federal de Santa Catarina, ROY, B., VANDERPOOTEN, D., The European School of MCDA: Emergence, Basic Features and Current Works. Journal of Multi- Criteria Decision Analysis, v.5, pp ,1996. ROY, B. Decision science or decision-aid science? European Journal of Operacional Research, v.8, n.1, pp ,1993. ROY, B. Decision-aid and decision making. in: BANA e COSTA (ed.) Readings in Multiple Criteria Decision Aid, Berlin: Springer, pp , SCHWENCK, C., THOMAS, H., Formulating the mess: the role of decision aids in problem formulation, OMEGA, v.11, n.3, pp ,1983. VINCKE, P., Multicriteria Decision-aid. JohnWiley & Sons,1992. von WINTERFELDT, D., EDWARDS, W., Decision Analysis and Behavioral Research, Cambridge University Press, Cambridge, MA, 1986.