Metodologia multicritério em apoio à decisão (MCDA) construtivista: uma visão do processo de validação

Transcrição

1 Metodologia multicritério em apoio à decisão (MCDA) construtivista: uma visão do processo de validação Walter Luís Mikos (CEFET-PR) João Carlos Espíndola Ferreira (UFSC) Resumo Neste artigo é apresentada uma visão objetiva e detalhada de um processo de validação adequado à metodologia multicritério em apoio à decisão - MCDA construtivista, que busca expandir o conceito do processo de modelagem e validação proposto por Oral e Kettani (1993) ao incorporar o conceito de validação para o caminho do construtivismo estabelecido por Roy (1993). Neste sentido, a visão objetiva de Oral e Kettani (op. cit.) permite estabelecer uma fronteira nítida para a ciência em apoio à decisão e um melhor entendimento a respeito da complexidade e multiplicidade das atividades atuais da Pesquisa Operacional e a visão de Roy (op. cit.) vem complementá-la, em termos de um alto grau de profundidade e detalhamento no que se refere à validação das chaves do construtivismo, por meio da identificação das hipóteses de trabalho bem como a validação dos conhecimentos produzidos pela ciência em apoio à decisão. Palavra-chave: Modelagem; Validação; MCDA construtivista. 1. Introdução As questões relacionadas ao processo de validação nas atividades de Pesquisa Operacional têm sido objeto de crescente interesse, na última década, por parte da comunidade acadêmica envolvida. Em particular, percebe-se na recente literatura a série de artigos publicados no European Journal of Operational Research, onde autores de grande relevância como Miser (1993); Déry, Landry e Banville (1993), Landry e Oral (1993), Oral e Kettani (1993), Roy (1993) discutem profundamente este tema. Neste contexto, Miser (1993) ressalta que o processo de validação ainda é um importante desafio aos profissionais da pesquisa operacional e, que a maturidade desta ciência não será plenamente atingida até que este desafio seja superado. Neste sentido, o objetivo deste artigo é apresentar a proposta de uma visão objetiva e detalhada do processo de validação adequado à metodologia multicritério em apoio à decisão - MCDA construtivista, que busca expandir o conceito do processo de modelagem e validação proposto por Oral e Kettani (1993) ao incorporar o conceito de validação para o caminho do construtivismo proposto por Roy (1993). Desta perspectiva, busca-se, inicialmente, apresentar uma sucinta revisão da literatura recente sobre as questões de validação nas atividades de Pesquisa Operacional e, em particular, para a ciência em apoio à decisão. Em seguida, apresenta-se o quarteto proposto por Oral e Kettani (1993) em sua forma tridimensional composto pelo: contexto decisório; modelo conceitual; modelo formal e decisão. É importante ressaltar que a visão do processo de validação proposta neste trabalho não pretende ser exaustiva e, nem mesmo, ter um caráter genérico, em vez disto, é uma das ENEGEP 2004 ABEPRO 3006

2 possíveis visões, neste caso, consistente à abordagem construtivista da metodologia MCDA. Portanto, este artigo deve ser considerado à luz destas limitações. 2. O processo de validação na pesquisa operacional Como ponto de partida para esta revisão, apresenta-se a definição proposta por Miser (1993) para o campo da Pesquisa Operacional Clássica, onde a validação é o processo pelo qual os cientistas asseguram a si mesmos e aos outros que uma teoria ou modelo é uma descrição de um fenômeno determinado, sendo adequado ao uso para o qual será aplicada. Em relação ao processo de validação, inicialmente, Miser (1993) recorre ao conceito de ciência adotado pelo Círculo de Viena apresentado em Déry (1993) e indica que o primeiro e, mais fundamental, modo de abordar a validação é a comparação das conseqüências deduzidas a partir do modelo em contrate ao fenômeno no mundo real. Entretanto, esta via implica na visão de Miser (1993), em notar duas importantes facetas deste processo: por um lado o próprio processo de comparação é de natureza necessariamente teórica, pois as observações que são a base da comparação fundamentam-se nas teorias dos próprios analistas do fenômeno e em como mensurá-las. E, por outro lado, a própria comparação não é feita em relação a um padrão absoluto. Desta ótica, Miser (op. cit.) observa, que a comparação dos resultados do modelo com a realidade não é a única maneira pela qual os analistas podem apoiar os seus julgamentos sobre o grau de confiança que pode ser atribuído a um modelo. E sugere que os analistas observem, também, o fenômeno que foi a base para a indução inicial e os materiais usados para a construção do modelo,considerando outras fontes tais como outras teorias e outros fatos observados. Neste contexto, Miser (1993) argumenta que não há um critério universal para a validação; todavia, a base para julgar a confiança em um modelo depende do fenômeno modelado e do uso para o modelo proposto. Deste modo, o modelo pode ser usado com adequada confiança em uma situação mas não em outra. Nesta abordagem Landry et al. (1983) propõem atrelar o processo de construção do modelo à validação deste em um único processo, denominado processo de modelagem e validação, composto de quatro elementos básicos inter-relacionados e iterativos denominados de contexto decisório, modelo conceitual, modelo formal e decisão, e identificando os tipos de validação designados por conceitual, lógica, experimental e de dados. Nesta mesma linha, Oral e Kettani (1993) avançam ao explorar o conceito do processo de modelagem e validação para a Pesquisa Operacional como proposto por Landry et al. (1983), todavia considerando o quarteto : contexto decisório, modelo conceitual, modelo formal e decisão como vértices de uma estrutura em um espaço tridimensional denominado de tetraedro do processo de modelagem e validação descrito na figura 1. No primeiro estágio do processo de modelagem e validação, o contexto decisório pode ser entendido como uma abstração de um determinado conjunto de eventos do mundo real (Beer apud Oral e Kettani, 1993) ou ainda como uma entidade conceitual que é percebida pelo grupo de atores relevantes envolvidos (Smith apud Oral e Kettani, 1993); portanto o modo como os eventos do mundo real são percebidos pelos atores envolvidos conduz a uma percepção particular deste contexto decisório. Neste sentido, Ensslin (2001) observa que cada decisor percebe e interpreta de forma diferente este contexto decisório em função do seu próprio quadro de referência mental, isto é; seus valores, objetivos, crenças, relações sociais e de poder. ENEGEP 2004 ABEPRO 3007

3 Contexto decisório Processo de implementação da decisão. Processo de Conceituação Decisão Modelo conceitual Processo de obtenção da solução Processo de formalização do Modelo formal. Modelo formal Figura 1 - O quarteto do processo de modelagem e validação No segundo estágio do processo, o modelo conceitual é definido por Landry et al. (1983) como uma imagem mental coerente do contexto decisório que é constituída pelas percepções predominantes, juízos de valores, preferências, experiências e conhecimentos do decisor e do modelador. No terceiro estágio do processo, o modelo formal é definido por Landry et al. (1983) como uma tradução do modelo conceitual em termos de símbolos matemáticos, códigos de linguagem computacional ou ambos, cujo objetivo primário é permitir o estudo sistemático do contexto decisório de modo a melhor entende-lo ou obter soluções, sendo que estas podem ser satisfatórias ou ótimas. No quarto estágio do processo, a decisão segundo Oral e Kettani (1993) pode ser entendida como conclusão do processo com respeito a qual alternativa de curso de ação será tomada, qual solução ou recomendação será implementada ou, ainda, em qual área será concentrada a maior atenção gerencial. Entretanto, a grande contribuição de Oral e Kettani (1993) concentra-se em associar a cada uma das facetas do tetraedro do processo de modelagem e validação, como mostra a figura 1, a determinados conjuntos de problemas ou questões pertinentes à Pesquisa Operacional. A primeira faceta, denominada faceta protótipo aplica-se aos casos onde o contexto decisório corresponde a um tipo de problema, particular, bem conhecido e com os conceitos já estabelecidos que implicam em uma, relativamente, fácil construção do modelo formal. Esta faceta é caracterizada pela visão realista com grande concentração em algoritmos e técnicas de solução de problemas (ORAL E KETTANI, 1993). Na segunda faceta, denominada faceta descritiva a ênfase é entender o sistema ou a organização na qual o contexto decisório surge e, neste caso, os estudos da Pesquisa Operacional são realizados com as seguintes finalidades: criar conhecimentos para fazer previsões, criar uma consciência mediante estudos das conseqüências dos diferentes cenários, avaliar o desempenho usando critérios tradicionais e não-tradicionais estudando o comportamento do sistema de interesse. A terceira faceta, denominada faceta pragmática aplica-se aos casos onde o contexto decisório é pertinente a uma questão de emergência para a qual tem-se que encontrar e usar um meio pragmático, assim, não há tempo hábil nem oportunidade para construir um modelo formal. Esta faceta é caracterizada pela formulação da decisão baseando-se, exclusivamente, em modelos mentais ou informais obtidos a partir dos modelos conceituais (Oral e Kettani, 1993). ENEGEP 2004 ABEPRO 3008

4 Na quarta faceta, denominada faceta teórica a tarefa mais importante concentra-se na construção do modelo formal a partir do modelo conceitual, o qual deve ser assumido como a representação do contexto decisório. Esta faceta se aplica, principalmente, na formação de conceitos abstratos e generalizações (ORAL E KETTANI, 1993). 3. A visão do processo de validação para a Metodologia MCDA - construtivista A objetiva visão de Oral e Kettani (op. cit.) permite um melhor entendimento a respeito da complexidade e multiplicidade das atividades da Pesquisa Operacional e, estabelece uma clara fronteira para a ciência em apoio à decisão, em particular, a faceta descritiva e os quatro principais tipos de validação associados. E a visão de Roy (op. cit.), vem complementá-la em termos de um alto grau de profundidade e detalhamento no que se refere à validação das chaves do construtivismo, isto é, os conceitos, modelos, procedimentos e resultados por meio da identificação das hipóteses de trabalho, bem como a validação dos conhecimentos produzidos pela ciência em apoio à decisão. Em primeiro lugar, é importante observar que o objeto da ciência em apoio à decisão base da metodologia MCDA, que na visão de Roy (1996), não é descobrir ou aproximar-se da melhor solução possível, mas desenvolver um corpus de condições e meios nos quais pode-se basear as decisões à luz daquilo que se acredita ser o mais viável é consistente à faceta descritiva, proposta por Oral e Kettani (1993), cuja ênfase é entender o sistema e a decisão não se constitui em uma preocupação imediata. Assim, a seguir apresentam-se os quatro principais tipos de validação que na visão de Oral e Kettani (1993) estão associados à faceta descritiva, a saber: validação conceitual, validação lógica, validação de adequação e a validação de dados. O primeiro tipo diz respeito à validação conceitual que se refere ao desenvolvimento do modelo conceitual, que na visão Landry et al. (1983), tem por escopo, em termos gerais, responder questões como Estamos olhando para o contexto decisório a partir de uma perspectiva apropriada? Esta perspectiva pode conduzir a soluções apropriadas? Em que medida os construtos (a maneira pela qual as variáveis são interconectadas) são representativos do contexto decisório como percebido pelos atores?. Assim, a validação conceitual deve concentrar-se no processo de obtenção e uso destas bases de dados mentais o que inclui, segundo Oral e Kettani (1993), algumas questões tais como: (i) a identificação dos Stakeholders; (ii) o processo de tornar-se consciente do contexto decisório ; (iii) a formulação das metas nas quais concentrar o processo de modelagem e validação; (iv) a escolha do ponto de vista para a abordagem deste contexto; (v) a extração de construtos para dar sentido a um dado repertório de elementos do contexto decisório; (vii) a interiorização da propriedade do modelo conceitual entre os atores envolvidos; (viii) a identificação das chaves que conduzem a formulação do modelo formal. Portanto, especial atenção deve ser dada aos métodos e procedimentos usados para a modelagem conceitual, os quais devem ser capazes de potencializar as capacidades cognitivas dos atores relevantes bem como o nível de conhecimento disponível relacionado ao contexto decisório. Há várias sugestões na literatura, entre elas o procedimento do mapa cognitivo, que segundo Ensslin (2001) é uma forma de representar o problema do decisor, bem como lidar com grupos de decisores, cada qual com o seu próprio problema. O segundo tipo refere-se à validação lógica isto é, a capacidade do modelo formal de descrever de forma correta e acurada o contexto decisório estabelecido a partir do modelo conceitual (LANDRY et al., 1983). E, ainda, Oral e Kettani (1993) indicam que a validação lógica é um atributo que indica a extensão na qual o processo de modelagem formal é realizado correta e fielmente. ENEGEP 2004 ABEPRO 3009

5 A modelagem formal pode adotar a linguagem matemática, a linguagem computacional com seus códigos próprios, a linguagem semântica baseada em um tipo especial de lógica simbólica ou, ainda, uma combinação destas, o que na visão de Oral e Kettani (op. cit), há sempre a possibilidade destas linguagens não serem, suficientemente, capazes de descrever de modo integral a essência de um modelo conceitual, em particular, elementos tais como: insights, valores, julgamentos, preferências e etc, o que em geral, implica na introdução necessária de hipóteses simplificadoras de modo a habilitar o uso da linguagem pretendida, e por conseqüência o modelo formal pode excluir algumas variáveis ou relacionamentos importantes. Deste modo, Oral e Kettani (op. cit.) sugerem verificar o impacto em admitir-se tais hipóteses simplificadoras e conscientizar os usuários destes modelos com respeito a estas limitações além, naturalmente, de observar a coerência interna do modelo formal em termos dos axiomas, formas analíticas e teoremas. O terceiro tipo, validação de adequação, trata dos atributos de representatividade, usabilidade, sinergismo e custos de uso do modelo formal considerando os pontos de vista dos potenciais usuários destes modelos. Assim, o objetivo primário da validação de adequação é prover as informações necessárias para auxiliar os potenciais usuários a aceitar ou rejeitar o modelo formal (op cit.). O quarto tipo, a validação dos dados que diz respeito à suficiência, acuracidade, apropriação, disponibilidade, mantenabilidade, confiabilidade e custo dos dados, representa um papel central em todos os estágios do processo de modelagem e validação, pois os dados são instrumentos para o reconhecimento do contexto decisório, na construção do modelo conceitual, para o desenvolvimento do modelo formal bem como para a formulação da decisão na visão de Oral e Kettani (1993). Neste cenário, a visão objetiva do processo de modelagem e validação proposto por Oral e Kettani (1993), como discutido acima, pode ser agora expandida usando o conceito de validação para o caminho construtivista proposto por Roy (1993). Inicialmente, é importante ressaltar que a adoção do caminho do construtivismo significa, segundo Roy (1993): considerar os conceitos, modelos, procedimentos e resultados como sendo chaves capazes (ou não) de abrir determinadas fechaduras (ou não) sendo apropriadas para organizar a situação ou causar o seu desenvolvimento. Estes conceitos, modelos, procedimentos e resultados são aqui percebidos como ferramentas adequadas para desenvolver convicções e permiti-las evoluir, bem como comunicar, tomando como referência as bases destas convicções. E, ainda, considerar que a meta não é descobrir uma verdade existente externa aos atores envolvidos no processo, mas construir este conjunto de chaves, os quais irão abrir as portas para os atores permitindo a eles atuar, progredindo de acordo com seus objetivos e sistemas de valor. (op cit.). Portanto, ao contrário das ciências físicas e naturais onde, em tese, podese pretender descrever realidades, as quais deveriam ser independentes do observador e deveriam existir, independentemente, de outros atores humanos (op cit.). Assim, deve-se assumir na ciência em apoio à decisão na visão de Roy (1996) que: - Nós não descobrimos um problema como nós faríamos com um objeto pré-existente, os problemas são construídos, são fruto das percepções das pessoas, logo são únicos; - A estruturação e formulação de um problema não podem ser totalmente objetivas, mas espera-se que evolua durante o complexo processo de apoio à decisão; ENEGEP 2004 ABEPRO 3010

6 - Os atores envolvidos em um processo decisório não têm um conhecimento perfeito do problema e, portanto precisam produzir este conhecimento por meio de várias iterações naturais no caminho do construtivismo e ainda que os atores não conhecem seus valores e preferências para o dado contexto decisório. Dentro desta perspectiva, Roy (1993) sugere uma discussão mais crítica sobre este conjunto de chaves propriamente dito, bem como o modo pelo qual eles são usados. Pois, do mesmo modo que para abrir uma série de fechaduras pode-se recorrer a numerosos conjuntos de chaves e manuseá-los de muitas formas, no caminho do construtivismo, não há somente um conjunto de conceitos, modelos, procedimentos e resultados para desenvolver determinadas convicções capazes de prover a base para o que Roy (1993) chama de recomendações. Com esta finalidade, Roy (1993) propõe considerar duas importantes questões: Em que condições é justificável reconhecer o valor dos conceitos, modelos, procedimentos e resultados? E, quais são as bases a que devemos nos referir ao julgar a validade, viabilidade e confiabilidade dos conhecimentos produzidos pela ciência em apoio à decisão?. Em relação à primeira questão, Roy (1993) argumenta que a seleção e o desenvolvimento deste conjunto de chaves, isto é, conceitos, modelos, procedimentos e resultados, cuja finalidade é apoiar cientificamente os decisores, devem estar claramente conectadas a uma ou várias hipóteses de trabalho. No contexto da metodologia multicritério em apoio à decisão MCDA construtivista, estas hipóteses de trabalho são: os pontos de vista fundamentais, descritores, âncoras (que servem de suporte para a definição das unidades), a função de valor e taxas de compensação escolhidas (ENSSLIN et al., 2001). Em primeiro lugar, os pontos de vista fundamentais, segundo Ensslin et al. (2001) citando Bana e Costa (1992), podem ser entendidos como: aqueles aspectos considerados, por pelo menos um dos decisores, como fundamentais para avaliar as ações potenciais. Eles explicam os valores que os decisores consideram importantes naquele contexto e, ao mesmo tempo definem as características (propriedades) das ações que são de interesse dos decisores. Estes pontos de vista fundamentais na visão de Ensslin et al. (2001), podem ser entendidos como meios para se obter os objetivos estratégicos dos decisores. Deste modo, uma família de pontos de vista deve ser estabelecida e validada a partir da sua identificação por métodos cientificamente válidos (entre os quais a relevante literatura recomenda o uso de mapas cognitivos), bem como pela verificação se estes obedecem a um conjunto de propriedades, também relacionadas na literatura (ver ENSSLIN et al., 2001) a saber: ser essencial, controlável, completo, mensurável, operacional, isolável, não-redundante, conciso e compreensível. Em segundo lugar, os descritores como definido por Bana e Costa (1992) (ver ENSSLIN et al., 2001) são um conjunto de níveis de impacto que servem como base para descrever as performances plausíveis das ações em termos de cada um dos pontos de vista fundamentais, chamados por Roy (1993) como índices ou critérios, os quais devem ser construídos e aceitos pelos decisores como uma forma apropriada de avaliar as ações potenciais. Estes descritores segundo Roy (1993) citado por Ensslin et al. (2001), são construídos com a finalidade de: auxiliar na compreensão do que os decisores estão considerando ; tornar o ponto de vista mais inteligível ; permitir a geração de ações de aperfeiçoamento ; possibilitar a construção de escalas de preferências locais ; permitir a mensuração do desempenho de ações em um critério ; auxiliar na construção de um modelo global de avaliação. ENEGEP 2004 ABEPRO 3011

7 Em terceiro lugar, após a construção e validação dos descritores é útil especificar e validar as âncoras, as quais servem de suporte para as definições de unidades. Assim, alguns cuidados devem ser observados com a definição do incremento marginal dos descritores para que estes possam ser percebidos pelo decisor, percepção esta que na visão de Roy (1993) é denominada de threshold ou limiar no qual o decisor, ainda, tem a capacidade de poder perceber diferenças nestes descritores. Ensslin et al. (2001) observam que na literatura pertinente estas unidades, também, podem ser chamadas de níveis de impacto bom e neutro e, citando Bana e Costa (2000), revelam que estes níveis bom e neutro permitem uma maior inteligibilidade do descritor e conseqüentemente do ponto de vista observado. Em quarto lugar, deve-se construir e validar uma função de valor descrita na literatura como uma ferramenta aceita pelos decisores para auxiliar a articulação de suas preferências, ordenando a intensidade destas preferências (diferenças de atratividade) entre os pares de níveis de impacto (ver ENSSLIN et al., 2001). Em síntese, com a determinação da função de valor associada a um descritor e sua ancoragem, ressalta Ensslin et al. (2001) tem-se um critério de avaliação para um dado ponto de vista fundamental e, este critério será usado para mensurar e comparar a performance das ações em relação aos objetivos do decisor. E, por último, deve-se construir e validar um conjunto de parâmetros denominados de taxas de substituição que permitam avaliar o desempenho não para apenas um ponto de vista, em particular, mas para múltiplos pontos de vista, objetivo natural da metodologia multicritério e, portanto são parâmetros que os decisores julgaram adequados para agregar, de forma compensatória, desempenhos locais (nos critérios) em uma performance global (op cit.). Portanto, as condições, nas quais é justificável reconhecer o valor dos conceitos, modelos, procedimentos e resultados para a faceta MCDA construtivista em análise, como indagado na primeira questão por Roy (1993) são atingidas ao admitir-se como válidas as hipóteses de trabalho discutidas acima. Em relação à segunda questão proposta por Roy (op.cit.), que diz respeito às bases nas quais deve-se fundamentar os julgamentos sobre a validade, viabilidade e confiabilidade dos conhecimentos produzidos pela ciência em apoio à decisão, o próprio Roy (1993) adverte que o fato de uma recomendação desenvolvida usando determinados conceitos, modelos, procedimentos e/ou resultados estar sendo aceito e satisfaz, de nenhuma forma constitui a validação destes conceitos, modelos, procedimentos e/ou resultados. Da mesma forma, a rejeição da recomendação não pode ser considerada como a falsificação (no sentido de termo de Popper, 1974) destes conceitos, modelos, procedimentos e/ou resultados. Neste sentido, Roy (1993) revela a noção de legitimação que considera o entendimento e o uso de um modelo por parte dos atores envolvidos é independente do conceito de validação científica, noção esta que mais tarde foi desenvolvida por Landry et al. (1996). Assim, na visão de Roy (1993) para se reconhecer o valor científico, duas condições mínimas devem ser atingidas: a existência de uma comunidade científica, suficientemente, ampla e interessada que perceba estes conceitos, modelos, procedimentos e resultados como instrumentos apropriados aos projetos de Pesquisa Operacional para apoio à decisão ; e apresentar uma coerente aplicabilidade. ENEGEP 2004 ABEPRO 3012

8 4. Conclusões e recomendações É importante ressaltar que no caminho do construtivismo não existe um único conjunto de conceitos, modelos, procedimentos e/ ou resultados pelo simples fato de que cada conjunto de conceitos, modelos, procedimentos e/ou resultados é construído, especialmente, para um decisor, ou um grupo de decisores, de maneira a orientar de forma personalizada a decisão e facilitar a comunicação, considerando os objetivos e sistemas de valores destes decisores e, deste modo, sendo válido, somente, para este decisor ou grupo de decisores. E, ainda, que o processo de validação é fortemente dependente de uma comunidade científica que deve dispor de um conjunto de regras para esta finalidade e, portanto, dotado de natureza social. Evidentemente, muito ainda há para ser discutido com relação ao processo de validação na ciência em apoio à decisão, mas entende-se que tal como se apresenta este trabalho, o mesmo pode servir como um ponto de partida para estudos mais profundos bem como à novas reflexões sobre o tema. Neste sentido, sugere-se que este trabalho seja expandido mediante a conexão dos quatro tipos de validação: validação conceitual, validação lógica, validação de adequação e a validação de dados associados à faceta descritiva como propostos por Oral e Kettani (1993) aplicados para a validação de cada uma das hipóteses de trabalho do caminho do construtivismo como proposto por Roy (1993). É importante ressaltar, que a visão do processo de validação apresentada neste trabalho é uma das possíveis visões e está restrita à da metodologia multicritério em apoio à decisão - MCDA construtivista. Portanto, as conclusões e recomendações aqui apresentadas devem ser consideradas à luz destas limitações. Referências DÉRY, R., LANDRY, M., BANVILLE,C. (1993), Revisiting the issue of model validation in OR: an epistemological view, European Journal of Operational Research 66, pp ENSSLIN, L., MONTIBELLER NETO, G., NORONHA, S. M. (2001), Apoio à Decisão Metodologia para Estruturação de Problemas e Avaliação Multicritérios de Alternativas, Florianópolis : Insular. LANDRY, M., BANVILLE,C., ORAL, M. (1996), Model legitimisation in operational research, European Journal of Operational Research 92, pp LANDRY, M., MALOUIN, J., ORAL, M. (1983), Model validation in operations research, European Journal of Operational Research 14, pp LANDRY, M., ORAL, M. (1993), In search of a valid view of model validation for operations research, European Journal of Operational Research 66, pp MISER, H. J. (1993), Foundational concept of science appropriate for validation in operational research, European Journal of Operational Research 66, pp ORAL, M., KETTANI, O. (1993), The facets of the modelling and validation process in operational research, European Journal of Operational Research 66, pp ROY, B. (1993), Decision science or decision-aid science?, European Journal of Operational Research 66, pp ROY, B. (1996), Multicriteria Methodology for Decision Aiding, Kluwer Academic Publisher, Dordrecht. ENEGEP 2004 ABEPRO 3013