Os artigos de investigação do Centro de Estudos de Gestão do Instituto Superior Técnico (CEG-IST) destinam-se a divulgar os resultados da investigação realizada pelos seus membros. The woring papers of the Centre of Management Studies of IST (CEG-IST) are aimed at maing nown the results of research undertaen by its members. Pedidos de informação sobre estes artigos, ou relativos a investigação feita pelo Centro devem ser enviados para: Enquiries about this series, or concerning research undertaen within the Centre should be sent to: Coordenador do CEG-IST Instituto Superior Técnico Av. Rovisco Pais, 049-00 Lisboa Portugal e-mail: cegist@ist.utl.pt Artigo de Investigação / Woring Paper Nº 3/2002 Modelo aditivo hierárquico: exemplos de métodos de ponderação e problemas associados João C. Lourenço
Modelo aditivo hierárquico: exemplos de métodos de ponderação e problemas associados Artigo de Investigação / Research Paper João Carlos Lourenço Instituto Superior Técnico
RESUMO Neste artigo apresenta-se uma análise dos problemas relacionados com a determinação de coeficientes de ponderação no modelo aditivo simples e no modelo aditivo hierárquico. Descrevem-se ainda três métodos de ponderação: Swing Weights, Trade Off Procedure e MACBETH. PALAVRAS-CHAVE: COEFICIENTES DE PONDERAÇÃO, MACBETH, MODELO ADITIVO, MODELO ADITIVO HIERÁRQUICO, SWING WEIGHTS, TRADE OFF PROCEDURE,. ABSTRACT This wor performs an analysis on the problems of assessing weights in the framewor of the additive model and additive hierarchic model. Three weighting procedures are mentioned: Swing Weights, Trade Off Procedure and MACBETH. Keywords: ADDITIVE HIERARCHIC MODEL, ADDITIVE MODEL, MACBETH, SWING WEIGHTS, TRADE OFF PROCEDURE, WEIGHTS.
ÍNDICE. Introdução... 2. O modelo aditivo hierárquico...3 2.. Interpretação dos coeficientes de ponderação dos pontos de vista...6 2.2. Procedimentos de ponderação...8 2.2.. Procedimento de ponderação swing weights...9 2.2.2. Trade off procedure...8 2.2.3. Procedimento de ponderação MACBETH...23 3. Problemas associados à ponderação dos pontos de vista...29 3.. Inconsistências internas...29 3.2. Divergências entre métodos de ponderação...30 3.3. Efeito da decomposição de pontos de vista em pontos de vista mais elementares 30 3.4. O efeito da hierarquia...3 3.5. O efeito da amplitude do intervalo entre pontos de referência dos critérios...3 3.6. Algumas considerações adicionais...32 Referências bibliográficas
. INTRODUÇÃO Existem diversos tipos de modelos multicritério de apoio à decisão, que podem ser divididos em dois grandes grupos: o dos modelos compensatórios e o dos modelos nãocompensatórios. Nos primeiros, aceita-se que uma má prestação de uma alternativa num determinado critério possa sempre ser compensada, em termos de apreciação global, por uma boa prestação dessa alternativa noutro ou noutros critérios distintos. No segundo grupo, pelo contrário, entende-se que uma má prestação de uma alternativa num determinado critério pode pôr em causa a sua avaliação global, podendo esta não ser compensada por bons desempenhos noutros critérios. De todos estes modelos, por ser seguramente o mais utilizado de todos os modelos multicritério, destaca-se um modelo compensatório o modelo aditivo de agregação simples (adiante designado simplesmente por modelo aditivo ). O seu sucesso deve-se, sobretudo, à grande aceitação por parte dos agentes de decisão, aos quais não é indiferente a utilização de um modelo que permite uma abordagem simples e transparente para a resolução de problemas de decisão inerentemente complexos pois envolvem múltiplos critérios de avaliação. Neste artigo estuda-se o modelo aditivo hierárquico, como obter alguns dos seus parâmetros os coeficientes de ponderação dos critérios e alguns problemas associados à sua determinação. Contudo, antes de se entrar mais profundamente no tema abordado neste artigo, é de todo o interesse referir alguns aspectos ligados à terminologia e notação utilizadas. Tal como é referido por Bana e Costa (993): Um ponto de vista representa todo o aspecto da decisão real apercebido como importante para a construção de um modelo de avaliação de acções existentes ou a criar. Um tal aspecto, que decorre do sistema de valores e ou da estratégia de intervenção de um actor no processo de decisão, agrupa elementos primários que interferem de forma indissociável na formação das preferências desse actor.
Quando se está perante um problema multicritério discreto, isto é, de um conunto não demasiado grande conunto de alternativas explicitamente definidas pelos seus desempenhos nos diversos pontos de vista, o resultado da fase de análise concretiza-se num quadro multicritério de avaliação dessas alternativas (ver Bana e Costa, 989, p.5). Considere-se: i) { a,...,a,..., } A = o conunto de alternativas a serem avaliadas durante o i a n processo de decisão; ii) { pv,..., pv,..., } F = o conunto de pontos de vista a serem utilizados como pvm critérios de avaliação; iii) v ( a i ) o valor que expressa a atractividade da alternativa a i segundo o ponto de vista ; Considere-se também que quanto maior for o valor de uma alternativa segundo um determinado ponto de vista, mais atraente é a alternativa segundo esse ponto de vista, isto é, se ( a ) v ( a ) v > então a é melhor do que ah segundo o ponto de vista (sendo a e ah quaisquer duas alternativas de A). h 2
2. O MODELO ADITIVO HIERÁRQUICO O modelo aditivo é um modelo compensatório simples de agregação aditiva das n pontuações parciais v ( a) (, L, n) = de uma alternativa a qualquer, segundo os n pontos de vista do problema em análise, o que é enunciado através da seguinte expressão: V n ( a) = v ( a) = n, com = e 0 < = < (,..., n) =, onde os são factores, constantes de escala ou coeficientes de ponderação dos n pontos de vista que permitem harmonizar as pontuações da alternativa a, em cada critério, tornando-as adicionáveis. Estes coeficientes também são designados, em linguagem comum, por pesos (os aspectos a ter em conta para a determinação dos coeficientes de ponderação, assim como a sua correcta interpretação, serão obecto de análise mais adiante neste artigo). O modelo aditivo hierárquico (Lourenço, J.C., 2002) é uma composição de modelos aditivos simples adaptada a uma estrutura hierárquica de critérios. No modelo aditivo hierárquico o cálculo do valor global de uma alternativa é feito de baixo para cima, isto é, inicia-se agregando as pontuações ponderadas dessa alternativa nos critérios mais elementares, esses valores servem por sua vez para calcular as pontuações agregadas da alternativa nos critérios hierarquicamente superiores aos primeiros e assim sucessivamente até se obter o valor global. 3
Assim, para determinar a pontuação global V ( a) de uma alternativa a, tomando como exemplo a árvore de critérios representada na Figura 2., utiliza-se a seguinte expressão: V 3 ( a) v ( a) = = onde: v ( a) representa as pontuações da alternativa a em termos de cada um dos critérios PV, PV 2 e PV 3 ; representa os coeficientes de ponderação desses mesmos critérios, com 3 = = e 0 <. < Global V 3 ( a) v ( a) = = v 2 ( a) v ( a) =.. = PV PV 2 PV 3 v 2 ( a) v 2 ( a) v ( a) = 3 3. 3. = PV. PV.2 PV 3. PV 3.2 3 v. 2( a) =. 2. v. 2. ( a) a a v. ( a) = 3. ( ) v 3. 2 ( ) v PV.2. PV.2.2 PV.2.3 v. 2. ( a) v. 2. 2 ( a) v. 2. 3 ( a) Figura 2. Modelo aditivo hierárquico aplicado a uma árvore de critérios A determinação da pontuação parcial da alternativa a segundo PV e PV 3 resulta respectivamente da aplicação de: um modelo aditivo hierárquico à sub-árvore que tem a sua origem em PV ; e da aplicação de um modelo aditivo simples de agregação dos valores parciais de a nos subcritérios de PV 3. Então, a pontuação parcial de a naqueles dois critérios é dada por: v 2 ( a) v ( a), para PV e v ( a) v ( a) =.. = 2 = 3 3. 3. =, para PV 3. 4
onde: ( a) v. representa as pontuações que expressam numericamente a atractividade parcial de a em termos de cada um dos subcritérios PV. e PV.2 ; ( a) v 3. representa as pontuações que expressam numericamente a atractividade parcial de a em termos de cada um dos subcritérios PV 3. e PV 3.2 ;. representa os coeficientes de ponderação de cada um dos subcritérios 2 PV. e PV.2, com. = e 0 <. <. =. representa o coeficiente de ponderação de cada um dos subcritérios 3 2 PV 3. e PV 3.2, com 3. = e 0 < 3. <. = A determinação da pontuação parcial de a segundo o subcritério PV.2 resulta por sua vez da aplicação de um modelo aditivo simples de agregação dos valores parciais de a nos subcritérios de PV.2. A pontuação parcial de a neste subcritério é dada por: onde: v ( a) 2. v 3 ( a) v ( a) =. 2. 2.. 2. =. representa as pontuações que expressam numericamente a atractividade parcial de a em termos de cada um dos subcritérios PV.2., PV.2.2 e PV.2.3 ; 2.. representa os coeficientes de ponderação de cada um dos subcritérios PV.2., PV.2.2 e PV.2.3, com.2. = e 0 < 2. < 3 =.. Após efectuar os cálculos com o modelo aditivo hierárquico é fácil obter uma ordenação das alternativas utilizando o seu valor global, sendo possível, a partir daí, seleccionar a melhor ou melhores alternativas (ou reeitar as piores). 5
No entanto, para que o modelo aditivo possa ser utilizado têm que ser satisfeitas certas condições. Segundo Goodwin e Wright (99, pp. 26-27) essas condições podem ser entendidas como os axiomas do método e são: ) Capacidade de decisão: para cada critério, assume-se que o decisor é capaz de decidir qual de duas alternativas é que prefere, ou se é indiferente perante a escolha de qualquer uma delas. 2) Transitividade: se num determinado ponto de vista a alternativa A é preferida à alternativa B e a alternativa B é preferida à alternativa C, então segundo este axioma terá de se preferir a alternativa A à alternativa C. 3) Aditividade: se o decisor preferir a alternativa A à alternativa B e a alternativa B à alternativa C, então a intensidade de preferência da alternativa A sobre a alternativa C terá de ser superior à intensidade de preferência da alternativa A sobre a alternativa B (ou da alternativa B sobre a alternativa C). 4) Monotonia: as funções que operacionalizam os pontos de vista ou são crescentes ou decrescentes. 5) Limites superior e inferior com valores finitos: quando se determinam valores para as alternativas segundo os vários pontos de vista, assume-se que a melhor alternativa não é tão boa e que a pior alternativa não é tão má que lhes possam ser atribuídos respectivamente valores de + ou de -. Para se poder aplicar o modelo aditivo é condição essencial que exista independência entre os critérios considerados. 2.. Interpretação dos coeficientes de ponderação dos pontos de vista O coeficiente de ponderação mede o contributo para a pontuação global de cada unidade de pontuação segundo o ponto de vista ( =,..., n) e a razão / h (sendo e h dois pontos de vista quaisquer F), mede quantas vezes passar do nível de referência inferior para o nível de referência superior segundo o ponto de vista é globalmente mais atraente do que passar do nível de referência inferior para o nível de referência superior segundo o ponto de vista h. Por exemplo, = 0,30 significaria que cada unidade de valor parcial (). = v valeria (.) = 0,30 V unidades de valor global. Segundo 6
Keeney e Raiffa (976, pp. 27-273) deverão ser usados os melhores e os piores níveis respectivamente como pontos de referência superiores e inferiores. A mesma opinião é expressa por von Winterfeldt e Edwards (986) pois um peso é simplesmente uma transformação de escala e essa escala só tem significado se os seus extremos estiverem claramente definidos. No entanto, embora esta afirmação sea verdadeira, ela não implica que os coeficientes de ponderação devam necessariamente ser calculados com base nos extremos das escalas, como se irá ver de seguida. Existem situações em que antes de serem conhecidos os impactes das alternativas é necessário determinar os coeficientes de ponderação, por exemplo, a legislação portuguesa obriga a publicá-los nos programas de concursos públicos. Nestes casos não será possível conhecer os melhores e piores impactes segundo os vários critérios, uma vez que os impactes das alternativas ainda não são conhecidos nesse instante. Para resolver este tipo de situações Bana e Costa, Antunes Ferreira e Vansnic (995) propõem a utilização de níveis de impacte de valor intrínseco e, por isso, não afectáveis pelos impactes das alternativas (ao contrário do que acontece com as noções relativas de melhor e pior), aconselhando a definição de um nível de impacte bom e de um nível de impacte neutro (entenda-se neutro como nem atraente nem repulsivo) segundo cada critério. Repare-se que qualquer sistema não indeterminado de n - equações correspondentes a n - uízos entre alternativas permite calcular os n coeficientes de ponderação, seam ou não as alternativas de referência construídas com base nos extremos das escalas de impactes. Ainda assim, não é fácil interpretar os coeficientes de ponderação dos pontos de vista na medida em que estes, tal como refere Bana e Costa (990, pp. 356-357), não podem ser entendidos como indicadores directos de importância, visto estarem intrinsecamente relacionados com o poder discriminatório das escalas dos pontos de vista. Tome-se como exemplo o problema de decisão associado à aquisição de uma nova habitação. De entre os critérios de avaliação que se podem utilizar para avaliar as alternativas de habitação, como por exemplo, o custo, a área, o n.º de assoalhadas, a qualidade dos acabamentos, a duração das viagens entre a habitação e o emprego, a qualidade do ambiente envolvente, a proximidade de equipamentos de lazer, etc., um critério que é vulgarmente considerado como o mais importante é o custo de aquisição. 7
No entanto, se todas as alternativas tiverem um custo muito aproximado, o critério custo perde importância e a selecção da habitação deverá ser efectuada fundamentalmente com base nos restantes critérios, devendo ser reservado para o critério custo um coeficiente de ponderação próximo de zero. Pode então afirmar-se que os intervalos de variação das escalas de impactes dos pontos de vista são elementos determinantes para a obtenção dos valores dos coeficientes de ponderação, devendo estes crescer quando os intervalos de variação aumentam e diminuir no caso contrário. 2.2. Procedimentos de ponderação O facto de os coeficientes de ponderação do modelo aditivo serem taxas de substituição que operacionalizam a noção de compensação, pressupõe que a sua determinação sea feita com referência às escalas de impactes dos critérios. No entanto, a inobservância deste pressuposto em procedimentos de ponderação é considerado por Keeney (992, pp. 47-48) como o erro crítico mais comum, o que resulta em factores de escala completamente arbitrários que não reflectem os uízos de valor dos decisores. Bana e Costa, Antunes Ferreira e Vansnic (995) referem que é exactamente para obviar a este tipo de situação que os procedimentos de ponderação teoricamente correctos utilizam respostas dos decisores a questões que requerem da parte destes a comparação de alternativas de referência fundamentadas em dois níveis de referência, seam eles os melhores e piores níveis de impacte segundo os vários critérios (forma tradicional) ou os níveis bom e neutro (especialmente adequados quando não se conhecem a priori as alternativas), ou quaisquer outros dois desde que suficientemente distintos. Dos procedimentos de ponderação existentes foram seleccionados três para análise: swing weighting procedure de von Winterfeldt e Edwards (986), por ser o mais pragmático (ver também Goodwin e Wright, 99); trade off procedure de Keeney e Raiffa (976), por ser a abordagem clássica; e por último o MACBETH de Bana e Costa e Vansnic (997 e 999), por não exigir uízos de valor cardinais. 8
2.2.. Procedimento de ponderação swing weights Este procedimento pode ser dividido em três etapas: na primeira estabelece-se uma ordenação dos coeficientes de ponderação dos pontos de vista; na segunda, procede-se à sua quantificação; na última, normalizam-se os valores obtidos para que a sua soma sea igual à unidade. No exemplo de demonstração do procedimento swing weights, que se apresenta de seguida, adoptaram-se como referência os níveis pior e melhor segundo cada critério aos quais se fizeram corresponder respectivamente os valores 0 e 00. No entanto e tal como á foi referido neste artigo, poderiam ter sido adoptados quaisquer outros dois níveis de referência suficientemente distintos (como por exemplo, os níveis neutro e bom ). 2.2... Primeira etapa: ordenação dos coeficientes de ponderação Nesta primeira etapa, o facilitador pede ao decisor que considere um cenário onde todos os critérios que foram considerados como de interesse para análise do problema de decisão (representados por PV, PV 2, PV 3 e PV 4 ) se apresentam nos piores níveis (ver Figura 2.2). melhor melhor 2 melhor 3 melhor 4 pior pior 2 pior 3 pior 4 PV3 PV4 PV PV 2 Figura 2.2 Cenário inicial (todos os critérios nos piores níveis) 9
Posteriormente é colocada a seguinte questão ao decisor: Se fosse possível passar do pior nível para o melhor num único ponto de vista, qual era o ponto de vista que seleccionaria para essa mudança? O agente de decisão poderia responder: Privilegiaria passar do pior nível para o melhor no ponto de vista PV 2. melhor melhor 2 melhor 3 melhor 4 pior pior 2 pior 3 pior 4 PV3 PV4 PV PV 2 Figura 2.3 PV 2 é o primeiro critério a ser seleccionado para passar do pior nível para o melhor nível Interpelar-se-ia então o decisor: Excluindo o PV 2 que á foi por si seleccionado, qual seria o ponto de vista que escolheria de seguida para passar do pior nível para o melhor nível? Ao que o decisor poderia responder: Escolheria o ponto de vista PV. Continuar-se-ia a questionar sucessivamente o agente de decisão sobre qual o ponto de vista que seleccionaria para passar do pior nível para o melhor nível, excluindo os pontos de vista escolhidos anteriormente, até que restasse somente um ponto de vista por seleccionar. Na Figura 2.4 apresenta-se a sequência pela qual teriam sido escolhidos todos os pontos de vista relativos a este exemplo. 0
melhor melhor 2 melhor 3 melhor 4 pior pior 2 pior 3 pior 4 PV3 PV4 PV PV 2 Figura 2.4 Indicação da ordem pela qual foram seleccionados os critérios para passarem do pior nível para o melhor nível Em suma, o agente de decisão indicou que passar do nível pior para o nível melhor em PV 2 era preferível a passar do nível pior para o nível melhor em PV, que por sua vez era preferível a passar do nível pior para o nível melhor em PV 4, que por sua vez era preferível a passar do nível pior para o nível melhor em PV 3. Esta relação de preferência pode ser simbolicamente representada por: ( melhor, pior ) f ( melhor, pior ) f ( melhor, pior ) f ( melhor, pior ) f ( pior ) 2 2 4 4 3 3, onde, X f Y indica que X é preferível a Y. Se forem atribuídos 00 pontos aos níveis melhores e zero pontos aos níveis piores, representando o coeficiente de ponderação do ponto de vista, virá: ( - 0) > ( 00-0) > ( 00-0) > ( 00-0) 0 00 4 3 2 > o que equivale a: > > > 0. 2 4 3 >
2.2..2. Segunda etapa: quantificação dos valores a atribuir aos coeficientes de ponderação dos pontos de vista A segunda etapa deste procedimento destina-se a quantificar os factores de escala dos critérios. Para isso comparam-se os incrementos (swings) do pior nível para o melhor nível em cada um dos pontos de vista com o swing do pior nível para o melhor num ponto de vista de referência ao qual é atribuído 00 pontos. Sublinhe-se que qualquer ponto de vista poderá servir de critério de referência, no entanto, é usual utilizar-se o ponto de vista que na primeira etapa foi escolhido em primeiro lugar, o que também será feito neste exemplo (ver Figura 2.5). 00 melhor 2 melhor melhor 4 melhor 3 0 pior 2 pior pior 4 pior 3 PV4 PV3 PV 2 PV Figura 2.5 Representação gráfica do valor atribuído à passagem (swing) do pior nível para o melhor em PV 2 Assim, a questão a colocar ao decisor seria: Em quanto é que quantificaria uma passagem do pior nível para o melhor nível no ponto de vista PV sabendo que ao swing do pior nível para o melhor nível em PV 2 foram atribuídos 00 pontos? Ao que o decisor poderia responder: Para mim passar do pior nível para o melhor em PV é equivalente a 80% do swing em PV 2. O que equivale a dizer que o agente de decisão atribuiu o valor 80 ao factor de escala de PV. 2
00 melhor 2 melhor melhor 4 melhor 3 80 0 pior 2 pior pior 4 pior 3 PV4 PV3 PV 2 PV Figura 2.6 Representação gráfica dos valores atribuídos às passagens (swings) dos piores níveis para os melhores em PV 2 e PV Prossegue-se com este processo, pedindo ao decisor para comparar a passagem do pior nível para o melhor nível do ponto de vista PV 4 com o incremento do pior nível para o melhor nível de PV 2 e de seguida repete-se a questão utilizando na comparação PV 3. Supondo que o decisor responderia respectivamente 60 e 20 (ver Figura 2.7), corresponderia a dizer que atribuiu estes valores às constantes de escala dos pontos de vista 4 e 3, ficando assim concluída a segunda etapa deste procedimento. 00 melhor 2 melhor melhor 4 melhor 3 80 60 20 0 pior 2 pior pior 4 pior 3 PV4 PV3 PV 2 PV Figura 2.7 Representação gráfica dos valores atribuídos às passagens (swings) dos piores níveis para os melhores em todos os critérios 3
2.2..3. Terceira etapa: normalização dos coeficientes de ponderação Na etapa final procede-se à normalização dos coeficientes de ponderação obtidos na etapa precedente, para que a sua soma sea igual a, utilizando a expressão seguinte: onde: ' = n, com ( =,, n) = ' ' - é o coeficiente de ponderação não normalizado do ponto de vista (obtido na segunda etapa); - é o coeficiente de ponderação normalizado do ponto de vista. Assim, para o exemplo que tem vido a ser desenvolvido resultariam os seguintes coeficientes de ponderação: 80 = = 0,3 80 + 00 + 20 + 60 00 2 = = 0,38 80 + 00 + 20 + 60 20 3 = = 0,08 80 + 00 + 20 + 60 60 4 = = 0,23 80 + 00 + 20 + 60 No entanto, há que sublinhar que o exemplo aqui apresentado reflecte a situação mais simples que pode ocorrer. A aplicação deste procedimento de ponderação a uma estrutura arborescente de critérios com mais do que um nível hierárquico é significativamente mais complexa. Por um lado, terá de repetir-se o procedimento de ponderação tantas vezes quantas o número de sub-árvores existentes na árvore de critérios. Por outro lado, as questões a colocar ao agente de decisão terão de ser adaptadas à hierarquia de critérios existente. 4
Para se determinar os coeficientes de ponderação dos vários critérios e subcritérios deverse-á utilizar uma abordagem de baixo para cima, ou sea, em primeiro lugar ponderar os subcritérios mais elementares e só depois passar à determinação dos coeficientes dos critérios hierarquicamente superiores a estes e assim sucessivamente até se chegar ao topo da hierarquia. Tome-se como exemplo, a árvore de critérios representada na Figura 2.8, onde se apresentam as quantificações obtidas pela aplicação do método de ponderação aos subcritérios de PV., PV.2 e de PV 3 (note-se que nestas 3 situações só existe um nível de critérios, pelo que bastou repetir o procedimento do exemplo anterior para cada uma delas). De seguida passa-se à determinação dos coeficientes de ponderação de PV. e de PV.2. Para o fazer, existem duas opções possíveis (ou combinações destas duas opções): ) ou se compara o swing dos níveis de referência inferiores para os níveis de referência superiores de todos os subcritérios de PV. (em simultâneo) com o swing equivalente de todos os subcritérios de PV.2 (em simultâneo); 2) ou então, compara-se o swing do nível de referência inferior para o nível de referência superior de um subcritério de PV. com o swing equivalente de um subcritério de PV.2. Global PV PV 2 PV 3 PV. PV.2 PV 3. PV 3.2 00 25 PV.. PV..2 PV..3 PV.2. PV.2.2 PV.2.3 PV.2.4 00 60 40 00 75 50 25 Figura 2.8 Árvore de critérios para exemplificação da aplicação do método de ponderação swing weights no modelo aditivo hierárquico 5
Prosseguindo com a primeira opção, a questão inicial a colocar ao agente de decisão seria: Se todos os subcritérios de PV. e de PV.2 estivessem nos níveis de referência inferiores, qual desses dois conuntos de subcritérios seleccionaria para passar em primeiro lugar para os níveis de referência superiores?. Supondo que a resposta era: O conunto dos subcritérios de PV. ; a questão seguinte seria: Em quanto é que quantificaria o swing dos níveis de referência inferiores para os níveis de referência superiores nos subcritérios de PV.2 sabendo que ao swing equivalente nos subcritérios de PV. foram atribuídos 00 pontos?. Questão que poderia ter a resposta: Esse swing equivale a 60% do swing nos subcritérios de PV.. Então os coeficientes de ponderação de PV. e de PV.2 seriam respectivamente iguais a 0,625 e 0,375 (obtidos respectivamente de 00/60 e 60/60). As questões relativas à segunda opção são bem mais simples. Primeiro, são seleccionados dois subcritérios, um de PV. e outro de PV.2, para servirem de base de comparação. Supondo que se escolhiam para esse efeito os subcritérios de maior coeficiente de ponderação em cada sub-árvore, ou sea, PV.. e PV.2.. Num primeiro passo, teria de se estabelecer uma ordenação de preferência entre esses dois critérios. Perguntar-se-ia então ao agente de decisão: Estando os dois subcritérios nos níveis de referência inferiores qual deles é que seleccionaria em primeiro lugar para passar para o nível de referência superior?. Ao que o decisor poderia sinteticamente responder PV... A questão seguinte a colocar ao agente de decisão seria: Em quanto é que quantificaria passar do nível de referência inferior para o nível de referência superior em PV..2 sabendo que ao swing equivalente em PV.. foram atribuídos 00 pontos?. A que o decisor poderia responder: Quantifico esse swing em 48% do swing em PV... Os coeficientes de ponderação de PV. e de PV.2 seriam então calculados através das seguintes expressões: 3 '' '.... =. = 3 4 '' ' ''.... +. 2. = = 4 '' '. 2..2. =.2 = 3 4 '' ' ''.... +. 2. = = '.2. '.2. 00 200 = 00 200 + 48 250 48 250 = 00 200 + 48 250 = 0, 625 = 0, 375 6
onde:. e.2 representam respectivamente os coeficientes de ponderação dos subcritérios PV. e PV.2 ; '.. representa as pontuações atribuídas respectivamente aos swings dos níveis inferiores para os níveis superiores de PV.., PV..2 e PV..3 no procedimento de ponderação destes subcritérios (estas pontuações estão inscritas na árvore da Figura 2.8), quando ( =, 2 e 3); '.2. representa as pontuações atribuídas respectivamente a PV.2., PV.2.2, e ''.. ''. 2. PV.2.3 e PV.2.4 no procedimento de ponderação destes subcritérios (estas pontuações estão inscritas na árvore da Figura 2.8), quando ( =, 2, 3 e 4); representam respectivamente as pontuações atribuídas aos swings do nível inferior para o nível superior em PV.. e PV.2. no procedimento de ponderação agora descrito. Note-se que nada impediria que os subcritérios utilizados como base de comparação não fossem os de maior coeficiente de ponderação nos seus ramos, os cálculos tornar-se-iam apenas um pouco mais complexos. Finalmente, para se determinarem os coeficientes de ponderação dos critérios PV, PV 2 e PV 3, poderia utilizar-se qualquer uma das abordagens antes descritas. No entanto, com o primeiro tipo de abordagem teria de comparar-se os swings dos níveis de referência inferiores para os níveis de referência superiores dos subcritérios de PV (os quais por sua vez correspondem aos mesmos swings em todos os subcritérios de PV. e de PV.2 ) com os swings em PV 2 e em PV 3 (correspondendo este aos swings nos seus subcritérios). Para o segundo tipo de abordagem, poder-se-ia comparar swings de critérios e subcritérios em quaisquer níveis hierárquicos, oferecendo-se essa escolha ao agente de decisão, ficando o ónus da complexidade dos cálculos por conta do facilitador. 7
2.2.2. Trade off procedure A ideia chave deste procedimento de ponderação consiste em comparar pares de alternativas fictícias considerando somente dois critérios de cada vez (assumindo que ambas as alternativas têm impactes idênticos nos restantes critérios). Uma alternativa tem o melhor impacte no primeiro critério e o pior impacte no segundo, a outra tem o pior impacte no primeiro critério e o melhor impacte no segundo. A escolha da alternativa preferida pelo agente de decisão indica que critério, de entre os dois considerados, tem a maior importância relativa. O ponto crítico deste procedimento consiste em austar o nível de impacte num critério de uma das alternativas para conseguir obter-se uma relação de indiferença entre as duas alternativas consideradas. Para isso, ou se piora o melhor impacte da alternativa escolhida em primeiro lugar, ou se melhora o pior impacte da segunda alternativa. Estes austamentos terão de repetir-se para n pares de alternativas fictícias significativas. Por último, se as funções de valor associadas aos critérios forem conhecidas, os coeficientes de ponderação dos critérios podem ser determinados pela resolução de um sistema de equações que incorpore a restrição de normalização n = = (com 0 < < ) e as n relações de indiferença obtidas anteriormente. Para melhor se descrever este procedimento de ponderação, optou-se por apresentar um exemplo que envolve três critérios num só nível hierárquico, onde se retrata um problema de escolha de um escritório. Sublinhe-se que este procedimento poderia ser aplicado à determinação de coeficientes de ponderação numa estrutura hierárquica de critérios, bastando para isso utilizar uma abordagem análoga à apresentada em 2.2.. Supondo então que existe um problema que envolve a decisão de aquisição de um novo escritório e que, para o fazer, na fase de estruturação se chegou à conclusão de que para essa escolha deveriam ser utilizados os três pontos de vista indicados no Quadro 2. (onde se apresentam os melhores e piores valores possíveis para todos os critérios) e as 8
funções de valor representadas na Figura 2.9 (que se assumem como previamente definidas). A primeira etapa deste procedimento de ponderação passa por estabelecer uma ordenação de preferência entres os vários critérios considerados. No entanto, como esta etapa é idêntica à primeira etapa do método de ponderação swing weights (que á foi obecto de análise em 2.2..), passar-se-á de imediato para a segunda etapa deste procedimento, assumindo que o agente de decisão seleccionou por ordem decrescente de importância respectivamente os swings dos critérios PV, PV 2 e PV 3. Quadro 2. Quadro de pontos de vista e níveis de impacte de referência Níveis de referência Descrição Melhor impacte Pior impacte PV - Custo de aquisição (em milhares de contos) 00 200 PV 2 - Distância ao centro (em m) 0 50 PV 3 - N.º de lugares de parqueamento 5 5 V(custo de aquisição) 00 80 60 40 20 0 00 20 40 60 80 200 Custo de aquisição (0 3 contos) V(distância ao centro) 00 80 60 40 20 0 0 0 20 30 40 50 Distância ao centro (Km) 00 V(n.º lugares de parqueamento) 80 60 40 20 0 5 7 9 3 5 N.º lugares de parqueamento Figura 2.9 Funções de valor associadas aos pontos de vista do problema de aquisição de um escritório 9
De seguida selecciona-se o critério que irá servir de referência nas comparações entre alternativas fictícias. Para esse fim, é usual utilizar-se como critério de referência o de maior coeficiente de ponderação (ver, por exemplo, Keeney, 980, pp. 67-7 e Keeney et al.,977, pp. 30-32), que neste exemplo é o critério Custo de aquisição, embora qualquer um dos restantes critérios pudesse ser utilizado. Questiona-se então o agente de decisão: Considere um escritório A situado no centro da cidade com um custo de aquisição igual a 200.000 contos. Quanto é que deveria ser o custo de aquisição de um escritório B, situado a 50 m do centro da cidade, para que A e B fossem indiferentes, sabendo que ambos os escritórios têm o mesmo n.º de lugares de parqueamento? Esta questão pode ser representada pela seguinte expressão (em que o símbolo ~ significa indiferença): (200.000 contos, 0 m, x lugares) ~ (? contos, 50 m, x lugares) A que o decisor responde: Para mim, as duas alternativas seriam indiferentes se o custo de aquisição do escritório B fosse igual a 55.000 contos. Resposta simbolicamente representada pela seguinte expressão: (200.000 contos, 0 m, x lugares) ~ (55.000 contos, 50 m, x lugares) Este trade off, representado graficamente na Figura 2.0, significa que o decisor admitia aumentar o custo de aquisição em 45.000 contos para passar de um escritório localizado a 50 m do centro da cidade para outro escritório situado no centro. 20
0 PV 2 Distância ao centro (m) Indiferente 50 200 55 PV Custo de aquisição (0 3 contos) 00 Figura 2.0 Trade off entre o custo de aquisição e a distância ao centro da cidade No modelo aditivo, esta relação de indiferença pode ser equacionada como: v(200.000 contos) + 2v2 (0m) + 3v3 (x lugares) = = v(55.000 contos) + 2v2 (50 m) + 3v3 (x lugares) e, como as funções de valor são conhecidas (ver Figura 2.9), resulta em: 00 2 = 53,75 Para se obter uma segunda relação de indiferença questiona-se novamente o decisor: Considere um escritório A com 5 lugares de parqueamento e com um custo de aquisição igual a 200.000 contos. Quanto é que deveria ser o custo de aquisição de um escritório B, com 5 lugares de parqueamento, para que A e B fossem indiferentes, sabendo que ambos os escritórios se encontram à mesma distância do centro da cidade? Questão simbolicamente representada por: (200.000 contos, y m, 5 lugares) ~ (? contos, y m, 5 lugares) A que o decisor responde: Para mim as duas alternativas seriam indiferentes se o custo de aquisição do escritório B fosse igual a 70.000 contos. 2
Resposta simbolicamente representada pela seguinte expressão: (200.000 contos, y m, 5 lugares) ~ (70.000 contos, y m, 5 lugares) Este trade off, representado graficamente na Figura 2., significa que o decisor admitia aumentar o custo de aquisição em 30.000 contos para obter um escritório com mais 0 lugares de parqueamento. 5 PV 3 N.º de lugares de parqueamento Indiferente 5 200 70 PV Custo de aquisição (0 3 contos) 00 Figura 2. Trade off entre o custo de aquisição e o n.º de lugares de parqueamento A partir desta relação de indiferença e utilizando novamente o modelo aditivo tem-se: v(200.000 contos) + 2v2 (y m) + 3v3 (5 lugares) = = v(70.000 contos) + 2v2 (y m) + 3v3 (5 lugares) que, utilizando as funções de valor representadas na Figura 2.9, resulta em: 00 = 27,5 3 Como a soma dos três coeficientes de ponderação tem de ser igual à unidade, os factores de escala determinam-se resolvendo o sistema de equações que se apresenta de seguida: 00 2 = 53,75 00 3 = 27,5 + 2 + 3 = 2 3 = 0,55 = 0,30 = 0,5 22
2.2.3. Procedimento de ponderação MACBETH O procedimento de ponderação MACBETH de Bana e Costa e Vansnic (997 e 999), utiliza uma abordagem diferente da que é comum à maior parte dos métodos, pois ao invés de pedir ao decisor para expressar uízos quantitativos, pede tão somente para este se expressar em termos qualitativos, o que é substancialmente mais fácil para o agente de decisão sem que se percam o rigor e consistência científicos. A avaliação qualitativa do decisor é traduzida pelas suas respostas a questões onde lhe são pedidos uízos absolutos sobre diferenças de atractividade entre pares de alternativas fictícias e, caso as respostas do decisor seam consideradas consistentes através de formas de validação integrantes do método, obtêm-se valores para os coeficientes de ponderação dos pontos de vista resolvendo um problema de optimização linear. Tal como foi feito em relação aos dois procedimentos anteriores, recorre-se de seguida a um exemplo demonstrativo. Considere-se então um problema de decisão onde, após a fase inicial de estruturação se chegou à conclusão, que todas as alternativas deveriam ser avaliadas tendo em conta quatro pontos de vista fundamentais. Numa primeira fase, cria-se um número de alternativas fictícias igual ao número de pontos de vista mais um, apresentando quatro dessas alternativas a melhor classificação segundo um determinado ponto de vista e a pior classificação em todos os restantes pontos de vista (sem repetições) e uma quinta alternativa classificada nos piores níveis em todos os pontos de vista (ver Figura 2.2). 23
Alternativa A Alternativa A 2 melhor melhor 2 melhor 3 melhor 4 melhor melhor 2 melhor 3 melhor 4 pior pior 2 pior 3 pior 4 pior pior 2 pior 3 pior 4 PV PV2 PV3 PV4 PV PV2 PV3 PV4 Alternativa A 3 Alternativa A 4 melhor melhor 2 melhor 3 melhor 4 melhor melhor 2 melhor 3 melhor 4 pior pior 2 pior 3 pior 4 pior pior 2 pior 3 pior 4 PV PV2 PV3 PV4 PV PV2 PV3 PV4 {Pior} melhor melhor 2 melhor 3 melhor 4 pior pior 2 pior 3 pior 4 PV PV2 PV3 PV4 Figura 2.2 Perfis das alternativas fictícias A, A 2, A 3, A 4 e {Pior} De seguida ordenam-se as alternativas por ordem decrescente de atractividade global, tal como foi descrito para os métodos de ponderação antes apresentados. Numa segunda fase, para todo o par de alternativas (x, y) com x mais atraente do que y, é pedido ao decisor para exprimir uízos qualitativos sobre a diferença de atractividade que entende existir entre x e y. 24
De forma mais precisa, é pedido a esse decisor para escolher, do conunto de seis afirmações semânticas que se apresentam de seguida, aquela que ele considera como mais austada ao seu pensamento: a diferença de atractividade entre x e y é muito fraca; 2 a diferença de atractividade entre x e y é fraca; 3 a diferença de atractividade entre x e y é moderada; 4 a diferença de atractividade entre x e y é forte; 5 a diferença de atractividade entre x e y é muito forte; 6 a diferença de atractividade entre x e y é extrema. Para anotar as respostas do decisor, preenche-se uma matriz triangular superior onde as linhas e colunas correspondem às alternativas fictícias (colocadas por ordem de atractividade decrescente). Então, supondo que da primeira fase resultou a seguinte ordenação: A 2 f A 3 f A f A 4 f {Pior}, onde X fy indica que X é mais atraente do que Y. A matriz de uízos de diferenças de atractividade poderia ser igual à que se apresenta no Quadro 2.2. Quadro 2.2 Matriz de uízos de diferenças de atractividade A 2 A 3 A A 4 {Pior} A 2 muito fraca moderada forte extrema A 3 fraca forte muito forte A moderada forte A 4 {Pior} forte 25
Pode então dizer-se: dado que a diferença de atractividade entre x e y é muito fraca, diz-se que o par (x, y) pertence à categoria C ; 2 dado que a diferença de atractividade entre x e y é fraca, diz-se que o par (x, y) pertence à categoria C 2 ; 3 dado que a diferença de atractividade entre x e y é moderada, diz-se que o par (x, y) pertence à categoria C 3 ; 4 dado que a diferença de atractividade entre x e y é forte; diz-se que o par (x, y) pertence à categoria C 4, 5 dado que a diferença de atractividade entre x e y é muito forte, diz-se que o par (x, y) pertence à categoria C 5 ; 6 dado que a diferença de atractividade entre x e y é extrema. diz-se que o par (x, y) pertence à categoria C 6. Também pode acontecer que duas alternativas x e y seam ulgadas igualmente atraentes, dizendo-se nesse caso que o par (x, y) pertence à categoria C 0. É devido à introdução destas categorias semânticas que a abordagem MACBETH deve o seu nome: Measuring Attractiveness by a Categorical Based Evaluation Technique. Com base de todos estes uízos, a abordagem MACBETH verifica se é possível associar a cada alternativa x um valor v(x) de tal forma que v(x) > v(y), se e só se x é mais atraente que y (condição ). Mas também, se a diferença de atractividade entre x e y é maior que a diferença de atractividade entre w e z, então v(x) - v(y) > v(w) - v(z) (condição 2). No caso dos uízos apresentados no Quadro 2.2, tem de se ter v(a3 ) - v(a4 ) > v(a2 ) - v(a ) porque a diferença de atractividade entre A 3 e A 4 foi ulgada superior à diferença de atractividade entre A 2 e A (diferença forte num caso e moderada noutro). Note-se que estas duas condições não são sempre satisfeitas. Para que o seam, é necessário que as respostas do decisor apresentem uma certa consistência. Assim, por exemplo, é necessário que, na matriz de uízos, as diferenças de atractividade não decresçam em linha (da esquerda para a direita) e em coluna (de baixo para cima). 26
Vê-se facilmente que esta propriedade, designada por consistência semântica, é verificada na matriz de uízos representada no Quadro 2.2. De qualquer forma, embora a propriedade de consistência semântica sea satisfeita, não é condição suficiente para garantir a existência de uma escala que satisfaça as condições e 2 (como se irá ver mais adiante). Passando a informação do Quadro 2.2 para a aplicação informática MACBETH (de Bana e Costa et al., 997) e depois de instruir o software para gerar resultados, obtiveram-se os valores indicados na coluna Current scale que se pode visualizar à direita na Figura 2.3. Figura 2.3 O interface da aplicação MACBETH Os valores obtidos para as alternativas fictícias A 2, A 3, A e A 4, indicam respectivamente os valores dos coeficientes de ponderação dos pontos de vista PV 2, PV 3, PV e PV 4 que representam os uízos de diferença de atractividade expressos pelo agente de decisão. Note-se que, tal como á tinha sido referido, embora a propriedade de consistência semântica sea satisfeita, ela não é condição suficiente para garantir a existência de uma escala que satisfaça as condições e 2. Considere-se por exemplo a matriz representada no Quadro 2.3. 27
Quadro 2.3 Matriz de uízos para exemplificar a violação da condição 2 a b c d e a muito fraca forte forte extrema b fraca moderada muito forte c fraca forte d moderada e Verifica-se facilmente que esta matriz satisfaz a propriedade de consistência semântica. No entanto, verificando os uízos que nela figuram constatamos que: i) a diferença de atractividade entre a e b foi ulgada muito fraca; ii) a diferença de atractividade entre a e c foi ulgada forte; iii) a diferença de atractividade entre b e d foi ulgada moderada; iv) a diferença de atractividade entre c e d foi ulgada fraca. Nestas condições, não existe uma escala v que satisfaça a condição 2, porque ela implica que se deva ter simultaneamente v(c) - v(d) > v(a) - v(b) e v(a) - v(c) > v(b) - v(d). Somando estas desigualdades obtém-se v(a) - v(d) > v(a)- v(d), que é evidentemente impossível. Registe-se que o programa MACBETH testa passo a passo a consistência dos uízos inseridos na matriz e, em caso de inconsistência, oferece ao utilizador sugestões para a ultrapassar. 28
3. PROBLEMAS ASSOCIADOS À PONDERAÇÃO DOS PONTOS DE VISTA São conhecidos diversos problemas decorrentes da forma como são obtidos os coeficientes de ponderação dos pontos de vista. Entre eles destacam-se as inconsistências internas aos métodos de ponderação, divergências entre resultados obtidos pelos vários métodos, o efeito da decomposição de pontos de vista, o efeito da hierarquia e, por último, o efeito da amplitude dos intervalos entre pontos de referência das escalas dos critérios (ver Borcherding et al.,99 e Weber et al., 988 e 993). 3.. Inconsistências internas Para se detectarem inconsistências internas aos métodos e dado que à excepção do método MACBETH nenhum dos procedimentos de ponderação descritos neste artigo possui mecanismos automáticos para detecção deste tipo de inconsistências, sugere-se que após a obtenção de valores para os coeficientes de ponderação se conduza um novo processo de ponderação utilizando um critério de referência diferente do usado inicialmente. Se os resultados alcançados da segunda vez não forem consistentes com os que foram obtidos inicialmente, terão de procurar-se as razões geradoras dessas inconsistências para que possam ser eliminadas. Note-se que num estudo efectuado por Borderching, Eppel e von Winterfeldt (99), os decisores foram inconsistentes 50% das vezes, quando utilizaram o método de ponderação swing weights, tendo esse número subido até aos 67% quando o método empregue foi o trade off procedure. Segundo esse estudo, os resultados são em parte consequência do número de comparações com que os decisores foram confrontados (método swing weights ), sendo a complexidade do próprio método (no caso do trade off procedure ) a grande causadora da taxa de insucesso. Os resultados indicaram claramente que as inconsistências internas (com o método swing weights ) aumentavam quando o número de critérios em causa também aumentava, o que não constituiu qualquer surpresa, pois foram dadas aos decisores mais oportunidades de serem 29
inconsistentes. Os resultados do trade off procedure foram considerados desapontantes por exibirem um largo número de inconsistências, tendo os decisores manifestado muita dificuldade em responder ao tipo de questões utilizado sem auda de um especialista. Por outro lado, os resultados foram muito interessantes porque os decisores mostraram um elevado grau de consistência quando o estabelecimento de indiferenças requeria reduzir consequências adversas no critério austável e porque grande parte das suas inconsistências surgiu ustamente quando estes foram obrigados a aumentar consequências adversas. 3.2. Divergências entre métodos de ponderação Nos estudos á citados, foram encontradas elevadas correlações entre os valores obtidos por diferentes métodos de ponderação. No entanto, verificou-se que essas correlações diminuíam consideravelmente quando na estrutura de critérios estava presente o critério custo e que, quando esse critério era retirado, os resultados dos diferentes métodos passavam a convergir. Assim, deve ser prestada uma elevada atenção quando na árvore de pontos de vista estiver presente um critério que expresse explicitamente valores monetários, pois este pode causar distorções na ponderação. Uma forma prática de as detectar passa por apurar os coeficientes de ponderação com e sem esse critério presente, sendo assim facilmente verificável se as relações entre os coeficientes de ponderação dos restantes critérios se mantêm, ou não, inalteradas. De qualquer forma, pode sempre deixar-se a incorporação desse critério para o final do processo (ver Goodwin e Wright, 99, pp. 7-25). 3.3. Efeito da decomposição de pontos de vista em pontos de vista mais elementares Suponha-se que um determinado ponto de vista era subdividido em dois pontos de vista mais elementares. De acordo com a teoria subacente ao modelo aditivo, o coeficiente de ponderação desse critério deveria ser igual à soma dos coeficientes de ponderação dos seus dois subcritérios. Contudo, Weber et al. (988) mostrou que para alguns métodos de ponderação a soma dos coeficientes de ponderação dos subcritérios era 30
significativamente maior que o valor do coeficiente de ponderação do critério de onde esses subcritérios descendiam. Chegaram também à conclusão de que esse efeito era independente dos critérios que eram divididos e só em parte dependente do método de ponderação utilizado. As implicações das conclusões deste estudo são óbvias. Tem de ser dada uma grande atenção à estruturação dos problemas, de onde usualmente resulta uma estrutura arborescente de critérios (a árvore de pontos de vista). Os ramos da árvore mais detalhados (isto é, com maior número de critérios e subcritérios) tendem a receber maiores ponderações do que receberiam se estivessem menos detalhados, pelo que deverão ser estudadas estruturas alternativas quando subsistirem dúvidas quanto ao nível de pormenor adequado. 3.4. O efeito da hierarquia A questão que neste ponto se levanta é se o posicionamento de um determinado critério, num determinado nível de uma árvore de pontos de vista, influencia ou não o valor do coeficiente de ponderação associado a esse critério. Borcherding e von Winterfeldt (988) analisaram resultados de ponderações realizados em árvores onde critérios foram sistematicamente mudados de nível hierárquico e concluíram que sim. No seu estudo adicionaram um critério à árvore de pontos de vista em diferentes níveis da hierarquia e descobriram que, quanto mais alto na hierarquia esse critério estava colocado, maior coeficiente de ponderação acabava por ter. 3.5. O efeito da amplitude do intervalo entre pontos de referência dos critérios Se se pensar no critério área bruta num problema de escolha de uma nova habitação, qual deveria ser o valor a atribuir ao seu factor de escala? Tal como á foi explicado em 2. e em 2.2, esse valor está dependente da amplitude do intervalo entre os níveis de 3
referência desse critério. Isto é, quanto maior for a amplitude maior deverá ser o seu coeficiente de ponderação (assumindo que a função é monótona crescente) e vice-versa. Assim se a área bruta variar entre 00 m 2 e 50 m 2, então deve ter menor coeficiente de ponderação do que teria se variasse entre 85 m 2 e 250 m 2 (obviamente mantendo os intervalos inalterados nos restantes critérios). Então, de acordo com a teoria, os decisores deveriam austar os coeficientes de ponderação dos critérios quando existissem alterações nas amplitudes dos intervalos entre pontos de referência. Será que é assim que acontece na realidade? Segundo estudos mencionados por Weber et al. (993), os decisores até certo ponto austavam os factores de escala, todavia não completamente. No entanto, quando não lhes é explicitamente pedido para tomarem em atenção as mudanças de amplitude desses intervalos e, principalmente, quando erroneamente baseiam os seus uízos na noção de importância intrínseca dos critérios, os decisores não austam de todo os coeficientes de ponderação de forma consistente. 3.6. Algumas considerações adicionais Não existem métodos de ponderação perfeitos, por isso, independentemente do método utilizado, há que ter sempre presente a possibilidade de ocorrência de algum, ou alguns, dos problemas antes enunciados. No caso de alguma anomalia ser detectada o decisor deverá ser disso informado. Deverá ainda saber os motivos que estão na génese dessa ocorrência. De seguida, á estará em condições de poder fazer uma revisão de uízos. Quando o processo de obtenção de valores globais para as alternativas em estudo estiver terminado, isto é, quando se agregarem os valores dos critérios e subcritérios ponderados pelos respectivos factores de escala utilizando o modelo aditivo hierárquico, terão que se estudar os efeitos de variações nesses factores para que possa ser validada a robustez dos resultados obtidos. 32