Modelo de avaliação de risco para contratos de serviços de terceirização baseado numa abordagem de conjuntos aproximativos

Transcrição

1 Modelo de avaliação de risco para contratos de serviços de terceirização baseado numa abordagem de conjuntos aproximativos Thárcylla Rebecca Negreiros Clemente Universidade Federal de Pernambuco - Brasil thnegreiros@ymail.com Adiel Teixeira de Almeida Filho Universidade Federal de Pernambuco - Brasil atalmeidafilho@yahoo.com.br Resumo O contexto de prestação de serviços de terceirização apresenta diversos objetivos a serem avaliados sobre o grau de risco que a organização contratada está disposta a enfrentar no processo de formulação e aceitação de um contrato de serviço. Dessa forma, a avaliação sobre os contratos firmados deve considerar a necessidade do cliente e os princípios estratégicos da organização prestadora. Assumindo a natureza multicritério desse problema de decisão, é proposta uma metodologia baseada na abordagem de dominância para conjuntos aproximativos (Dominance-based Rough Set Approach, DRSA) para classificar o risco associado aos contratos de terceirização, sob a ótica da organização contratada. Os contratos analisados são classificados em três categorias de risco: baixo, médio e alto. Os resultados obtidos são satisfatórios para o contexto analisado e estabelecem subsídios para a metodologia proposta. Palavras-chave: Decisão multicritério; Avaliação de risco; Abordagem de dominância para conjuntos aproximativos; Classificação de contratos de terceirização. 1 Introdução As decisões no contexto organizacional são recursos fundamentais para o desempenho operacional e, em geral, são exercidas por um ou mais decisores que, em geral, seguem as etapas de percepção, análise e definição do problema [19] para solucioná-lo de maneira estruturada, a partir do conhecimento sobre o contexto e as expectativas esperadas. Em geral, muitos problemas dentro do contexto organizacional são reconhecidos como problemas de decisão multicritério, caracterizados pela situação em que o decisor deve optar dentre um conjunto de alternativas a que melhor responda às expectativas do contexto, avaliando-as por múltiplos objetivos que, em geral, são conflitantes. Os objetivos a serem atendidos estão associados às consequências da escolha do decisor e são reconhecidos por serem os critérios de avaliação para cada alternativa [1]. A análise de problemas multicritério tem sido aplicada em diferentes contextos organizacionais como uma ferramenta capaz de descrever um problema de decisão assumindo os diferentes atributos que influenciam no contexto [4,7]. Para isso, diferentes métodos de apoio à decisão multicritério são apresentados e utilizados em diferentes problemáticas organizacionais [1,18,22]. Em organizações prestadoras do serviço de terceirização, um dos principais problemas de decisão envolve o gerenciamento de contratos da prestação do serviço oferecido. Este processo consiste em cumprir com

2 idoneidade as atividades empresariais, objetivando o alcance e manutenção do posicionamento estratégico da organização contratada [5,6]. Neste sentido, um dos fatores de maior impacto nesta avaliação é o risco associado ao processo de aceitação dos contratos de serviço, ou seja, o percentual de risco que a organização está disposta a enfrentar quando assume um contrato de serviço [5,10]. O risco é entendido como o conceito em termos de utilidade, o qual o decisor está disposto a enfrentar em relação às consequências de ganho ou perda em um contexto de decisão. No entanto, este tipo de problemática pode se tornar complexo [11]. Assumindo esse problema de decisão, é proposta uma metodologia de avaliação de múltiplos critérios para categorizar o risco associado aos contratos de terceirização com aplicação da DRSA, que assume um conjunto de exemplos de referência para a alocação de contratos de terceirização em categorias de risco. 2 Descrição do problema de decisão No processo de contratação, as empresas contratantes consideram critérios como o preço [10], a qualidade e desempenho das entregas [13], saúde financeira das empresas prestadoras do serviço [14] e diversas análises de critérios que envolvem o posicionamento da organização no mercado competitivo [3]. Por outro lado, o processo de aceitar um contrato de prestação de serviços terceirizados exige outros critérios de avaliação que fornecem recursos para que a organização contratada possa classificar seus clientes em termos de gerenciamento do risco empresarial, um problema discutido em [17]. Uma empresa de prestação de serviços atuante no mercado de terceirização de mão de obra para serviços de Merchandising mantém selecionados vinte contratos de serviços de maior faturamento para a organização. A manutenção desses contratos contribui para a sustentabilidade da empresa, o que evidencia a importância de gerenciar o nível de risco oferecido por cada um deles. Dentre as particularidades de cada contrato, as considerações gerais dos contratos consistem na oferta de material, fardamentos, de mão de obra temporária para serviços de merchandising de empresas e gerenciamento de recursos financeiros e equipamentos para clientes em diversos segmentos do mercado. Para cada contrato é proposta uma avaliação sobre os critérios evidenciados pelo contexto. Para definir os critérios de avaliação, foi estruturada uma descrição sobre as características das empresas contratantes do serviço de terceirização da empresa prestadora do serviço de terceirização de merchandising. As características percebidas apresentam um perfil satisfatório para a descrição dos clientes, o que permite construir um conjunto de critérios apresentado na Tabela 1. Tabela 1 Critérios de Avaliação Código do Critério Cr 1 Cr 2 Cr 3 Cr 4 Cr 5 Critério Inadimplência financeira Acidente de trabalho Causa trabalhista Falha de operação na manipulação de materiais Problemas associados à imagem Efeito/Consequência Perda de fluxo de caixa Possíveis atrasos nos pagamentos de fornecedores Pagamento de juros bancários Estabilidade dos funcionários de 1 ano Substituição de mão de obra Pagamento de custas judiciais Pagamento de indenizações Pagamento de viagens e despesas do advogado Insatisfação do cliente Término do contrato Ressarcimento dos prejuízos causados Enfraquecimento diante a concorrência Dificuldade de captação e retenção de mão de obra

3 O gerenciamento do risco em contratos de prestação de serviços terceirizados é um problema de decisão que pode se tornar complexo à medida que às práticas administrativas são limitadas à capacidade de atendimento e interesse estratégico das organizações prestadoras do serviço. Dessa forma, as atividades organizacionais devem obedecer a critérios e regulamentações que estabeleçam o melhor desenvolvimento operacional no setor e considerem o perfil de sustentabilidade para a organização. O conceito de risco para esse problema de decisão é entendido como uma medida de utilidade [11,14], que mensura o nível de preferência que o decisor está disposto a enfrentar em relação às consequências de sua decisão. Dessa forma, a avaliação do risco estabelece um conceito para o tratamento da incerteza inerente ao processo de decisão. Em contextos organizacionais é oportuno o tratamento do risco pela perspectiva multidimensional, que manipula e define o risco global de um evento, ou situação, pela relação entre a probabilidade de ocorrência deste evento e a severidade dessa ocorrência [12]. A representação dessa relação em uma matriz fornece uma interpretação simplificada e categórica do risco no contexto organizacional. Essa matriz é representada pela Tabela 2. Classes de severidade Tabela 2 - Matriz de Classificação de Risco Classes de probabilidade Alta Média Baixa Improvável Catastrófica classe 1 classe 1 classe 2 classe 3 Critica classe 1 classe 2 classe 3 classe 4 Marginal classe 2 classe 3 classe 4 classe 5 Desprezível classe 3 classe 4 classe 5 classe 5 Adaptada de HSE A matriz de classificação de risco apresentada pela Tabela 2 oferece uma abordagem de avaliação do risco mensurado em eventos, ou situações, do contexto organizacional. Quanto à probabilidade de ocorrência de um evento existem quatro níveis de classificação: (i) alta; (ii) média; (iii) baixa; e (iv) improvável. Enquanto que, para a identificação da severidade de ocorrência de determinado evento existem outros quatro níveis de classificação: (i) catastrófico; (ii) crítico; (iii) marginal; e (iv) desprezível. Sobre a severidade de ocorrência de um evento em contratos de terceirização é oportuno apresentar características que definam cada nível apresentado. Como severidade catastrófica é possível considerar a ocorrência de situações em que um contrato de grande porte seja quebrado ou o contrato firmado cause perda de sustentabilidade da empresa contratada. Uma situação crítica pode ser caracterizada quando a empresa contratante utiliza capital de terceiros ou quando ocorrem extravios de materiais e equipamentos no processo de execução das atividades. Uma severidade marginal é identificada quando podem ser identificados acidentes de trabalho ou reivindicações de causas trabalhistas. E, por fim, a severidade desprezível pode ser considerada quando são identificados danos irrelevantes para a organização contratada em relação ao resultado das atividades desempenhadas. Em geral, essas características são identificadas pelo registro histórico dos contratos firmados entre a empresa contratada e seus clientes. O processo de avaliação do risco em organizações, em geral, é tratado como um problema multicritério de decisão, pois envolve diversos objetivos de análise e considera uma sequência lógica que permite estabelecer uma melhor alternativa para o problema em questão. A avaliação multidimensional da Matriz de Classificação de Riscos oferece suporte para a percepção do risco de um evento e, a partir dela, é possível interpretar o contexto e avaliar o risco no contexto pela percepção multicritério. Assim, o problema de decisão consiste em classificar os contratos de serviços de terceirização e construir argumentos que definam as características para cada classe de risco apontada. Para isso, a metodologia

4 proposta para a classificação do risco é baseada na abordagem de dominância para conjuntos aproximativos (DRSA), uma extensão da teoria dos conjuntos aproximativos [16], que permite tratar a inconsistência relacionada aos critérios de avaliação através da relação de dominância entre as alternativas, um recursos que apresenta resultados melhores que a proposta original da teoria. 3 Metodologia para classificação de risco global em contratos de serviços de terceirização Para a classificação de objetos em um contexto de decisão existem vários métodos que auxiliam no tratamento dos dados e determinação das diretrizes para a alocação dos objetos em classes definidas pelo contexto de decisão. A metodologia proposta é baseada na abordagem de dominância para conjuntos aproximativos, uma abordagem desenvolvida a partir da teoria dos Rough Sets [2,8,9,20]. A teoria dos conjuntos aproximativos (Rough Sets) foi introduzida por Pawlak [15] como um recurso de apoio a decisão que propõe a construção de regras de decisão para o processo de alocação de objetos em categorias que identificam a semelhança entre os objetos. A metodologia da teoria dos conjuntos aproximativos é estruturada por fundamentos matemáticos que são implementados para tratar dados e conhecimentos imprecisos, incertos e incompletos no processo de alocação dos objetos em suas classes [2,21]. Dessa forma, a utilização dessa teoria propõe uma análise que reduz a vagueza da qualidade da informação e é aplicada em problemas que envolvem vários critérios de avaliação sobre o conjunto de alternativas de decisão. O principal conceito da teoria dos conjuntos aproximativos é alocar os objetos em classes pela abordagem da aproximação de conjuntos utilizando as características dos objetos e o espaço de aproximação. Um espaço de aproximação é um par A = (U, R), onde U é o conjunto universo de todos os objetos do contexto que serão alocados e R é uma relação de não discernimento, que pode ser considerada uma relação de equivalência entre os objetos de U. Dessa forma, se existem dois elementos x, y Є U e (x, y) Є R, diz-se que x e y são indistinguíveis em A. A representação dos dados nessa teoria é configurada em um sistema de informação, em que os objetos, critérios e valores são representados por uma tabela. Dessa forma, um sistema de informação é representado por um par S = {U, A}, onde U representa o conjunto universo dos objetos, expostos pelas linhas da tabela, e A é o conjunto de atributos ou critérios ou características do contexto que irão avaliar os objetos, representados pelas colunas da tabela. Para cada atributo pertencente ao conjunto A considerase uma função valor Va, que associa os atributos aos objetos. No entanto, a relação de não discernimento apresenta oportunidades para que a abordagem DRSA conduza o melhor tratamento da inconsistência dos critérios através do princípio da dominância dos elementos no processo de alocação em categorias. 3.1 Abordagem de dominância para conjuntos aproximativos O conceito original da teoria dos conjuntos aproximativos, baseado na aplicação da relação de não discernimento, não leva em consideração a ordem de preferência dos conjuntos de valores dos atributos e a relação de cada critério com o grau de preferência da decisão assumida em problemas de decisão multicritério [2]. A principal contribuição da DRSA [2,8,9] é o tratamento das inconsistências relacionadas aos critérios de avaliação. Dessa forma, a abordagem aplica a relação de dominância entre as alternativas como forma de definir o processo de alocação considerando o grau de preferência do decisor utilizando a relação em que x domina y, se x for pelo menos tão boa quanto y, em todos os critérios de avaliação. A metodologia da DRSA utiliza exemplos de referência para descrever o problema de decisão. Dessa forma, utiliza uma tabela de informação S= U,Q,V,f, onde U é o conjunto universo com todos os objetos de decisão, Q={q 1,...,q n } é o conjunto dos atributos que configura a relação q:u V q q Q, com V q

5 sendo o domínio do atributo q e V= q Q V q. Ainda, f:u Q V é a função informação, tal que f(x, q) V q para cada q Q e x U. Nessa configuração, o conjunto Q pode ser dividido em C={c 1,...,c n }, conjunto de atributos de condição e D={d 1,...,d n }, conjunto de atributos de decisão, em que C D = Q e C D = Ø. Em problemas de classificação multicritério o conjunto de atributos de condição representa os critérios de avaliação para o problema e o conjunto de atributos de decisão divide o conjunto U em um número finito de categorias Cl = {Cl t, t T}, T = {0,...,n}, tal que para cada x U, x pertence a apenas uma das categorias Cl t Cl. As categorias definidas para o problema são ordenadas pela preferência do decisor. Assim, r, s T : r > s Cl r > Cl s, ou seja, para sendo a categoria r preferível a categoria s, os elementos da categoria Cl r serão preferíveis aos elementos da categoria Cl s. Devida a influência da preferência dos decisor sobre a ordenação das categorias, a união das categorias superiores e inferiores também apresentam a relação de preferência. Considerando a mesma relação,, classe de maior preferência, e, classe de menor preferência, com t=1,...n. Dessa forma, assumindo t=2,...,n,, ou seja, todos os objetos não pertencentes a classe Cl t ou superior, pertencem a classe Cl t-1 ou inferior. A partir desse conceito, é possível descrever a relação de dominância apresentada pela abordagem. Assim, dada uma relação de preferência R, discutida em [18], sobre o conjunto universo de objetos com respeito ao critério q Q, a representação xr q y, com x, y U significa que x é pelo menos tão bom quando y com respeito ao critério q. Para definir se x domina y com respeito a P C, ou xd P y é preciso que x seja pelo menos tão bom quanto y em todos os critérios pertencentes a P. Considerando a função valor para os domínios dos critérios, analisa-se que xd P y equivale a f(x,q) f(y,q) q P e a relação de dominância assume propriedades reflexivas. A definição da relação de aproximação utilizada pela abordagem DRSA é aplicada para eliminar a ambiguidade no processo de alocação de objetos nas classes definidas. Dessa forma, para P C são criadas as aproximações P-inferior e P-superior para as classes e. Para t=1,...n, tem-se: e ; e. Em que e são conjuntos P-dominado e P-dominante com relação ao objeto x, respectivamente. Assim, quando x, x pode está contido na classe Cl t, enquanto que, se x, x está contido na classe Cl t. Se o processo de classificação conduzir os objetos em classes duvidosas, é criado o conjunto P-fronteira para cada conjunto P-inferior e P-superior. Assim, são apresentados: e, para t=1,...,n. Com base nesses conceitos, é possível calcular a qualidade da aproximação realizada no problema de classificação multicritério através da razão entre o número de objetos classificados corretamente por um subconjunto P e o número total de objetos do conjunto U. Isso implica que, os objetos alocados nos conjuntos de fronteiras não são considerados para o indicador de qualidade, que pode ser escrito por: O indicador de qualidade é capaz de medir o conhecimento aplicado no contexto de decisão e pode ser extraído da análise dos dados, onde P representa o conjunto de critérios e Cl representa a classificação considerada no problema de decisão. Quando, obtém-se o conjunto de redutos de critérios RED Cl,para a classe Cl. A interseção de todos os redutos forma um núcleo de critérios que mantém a qualidade da informação para a construção das regras de decisão para a classificação dos objetos. As regras de decisão na DRSA são formuladas pela instrução se... então..., em que a condição especifica valores obtidos pela relação de dominância e são capazes de descrever as informações contidas sobre a alocação dos objetos através da aproximação. Com isso, três tipos de regras de decisão podem ser seguidos no problema de classificação: (i) regras definidas pela aproximação inferior da união das classes,.

6 (ii) possíveis regras geradas pela aproximação superior da união das classes, e (iii) regras de aproximação oriundas das regiões de fronteira. A condição de aplicação da regra de decisão sobre x U analisa se a descrição do objeto corresponde ao mínimo da condição empregada. Quanto maior for o número de objetos descritos pela regra de decisão, mais poder sobre o contexto esta regra apresenta. 4 DRSA para classificação de risco em contratos de terceirização A aplicação da DRSA no processo de gerenciamento de riscos em contratos de terceirização consiste na definição dos critérios de avaliação e na consideração sobre as contribuições da abordagem na classificação dos contratos. Os critérios de avaliação são representados na Tabela 1 e foram definidos pelo decisor de acordo com os requisitos do contexto de decisão. Dessa forma, os critérios estão associados às diferentes consequências implicadas pelo processo de aceitação do contrato de prestação de serviços de terceirização. A metodologia proposta exige que seja construído um conjunto de exemplos de referência para cada categoria criada no problema de decisão. Os exemplos de referência são úteis para o processo de classificação e são indicados pelo argumento de decisão se... então..., proposto pela DRSA. As categorias são capazes de avaliar o risco associado a cada contrato de terceirização e podem ser definidos como alto, médio ou baixo risco. Para a construção do conjunto de exemplos de referência foram utilizadas as informações extraídas da Matriz de Classificação do Risco como os valores da relação entre os critérios e os exemplos de objetos, representada pela Tabela 2. Dessa forma, cada exemplo é analisado considerando-se a probabilidade de ocorrência e a severidade da ocorrência dos critérios de avaliação. A Tabela 3 representa o conjunto de exemplos de referência e a decisão para cada argumento. Tabela 3 Exemplos de referência Cr 1 Cr 2 Cr 3 Cr 4 Cr 5 Classe de Risco Exemplo 1 classe 2 classe 2 classe 2 classe 1 classe 1 Alto Exemplo 2 classe 1 classe 3 classe 2 classe 3 classe 1 Alto Exemplo 3 classe 5 classe 3 classe 2 classe 4 classe 2 Médio Exemplo 4 classe 3 classe 3 classe 3 classe 3 classe 3 Médio Exemplo 5 classe 3 classe 4 classe 2 classe 4 classe 1 Baixo Exemplo 6 classe 3 classe 4 classe 4 classe 3 classe 4 Baixo Os exemplos de referência fornecidos pelo decisor apresentam consistência quando a definição das regras para alocação dos contratos de terceirização. A partir da Tabela 3 é possível observar os cinco critérios de condição e um critério de decisão, relacionado às classes de risco. É possível considerar o conjunto de classes Cl = {Cl Alto, Cl Médio, Cl Baixo } que representam as categorias de alocação através do atributo de decisão e argumento de decisão exposta pela metodologia. Com base na definição das aproximações inferior e superior para o conjunto de classes, a qualidade da informação é confirmada pela consistência do conjunto de critérios. Das regras de decisão encontradas, é destacado um conjunto mínimo que descreve o contexto e é capaz de representar o problema de classificação dos contratados de serviços pelo risco global que apresentam. Essas regras são definidas a seguir e relacionam a quantidade de objetos, entre parêntesis, que são inseridos em determinada regra. Dessa forma, é possível avaliar a influência das regras listadas.

7 1. se f(x,cr1) 2 e f(x,cr5) 2, então x (3) 2. se f(x,cr3) < 3 e f(x,cr4) 3 e f(x,cr5) < 2, então x (5) 3. se f(x,cr1) > 3 e f(x,cr3) > 2, então x (5) 4. se f(x,cr4) 2 e f(x,cr5) 3, então x (13) 5. se f(x,cr1) 3 e f(x,cr4) 3, então x (13) O conjunto de regras de decisão compreende um recurso aplicado para definir a alocação dos contratos de terceirização aceitos pela organização prestadora do serviço em categorias de acordo com o perfil de risco global que apresentam no contexto de decisão. Os resultados obtidos na aplicação da metodologia proposta oferecem recursos para uma análise consistente das classes de risco através das características dos contratos selecionados em cada categoria. Com isso, pode-se identificar que a classe de Cl Alto correspondendo à classe de alto risco global apresenta contratos de serviços que envolvem um número elevado de mão de obra e exigem um complexo desenho de operação e gestão de materiais, o que demanda maiores atenções da empresa contratada. Na classe Cl Médio são encontrados os contratos de clientes que mantém um relacionamento significativo com a empresa contratada. Os contratos desta classe exigem um volume intermediário de mão de obra para realizar as atividades e gerenciar o material de merchandising, no entanto, esses contratos são firmados com influência de ruídos de comunicação, o que pode afetar a imagem da empresa contratada, uma vez que os ruídos de comunicação podem comprometer o desempenho operacional da prestação do serviço de terceirização. Dessa forma, os contratos alocados nesta categoria apresentam um nível de risco global considerado intermediário para o contexto de aceitação dos contratos de serviço. Por fim, a classe Cl Baixo é caracterizada pelo conjunto de contratos firmados com clientes que apresentam um histórico satisfatório de inadimplência financeira, baixos índices de afastamento de mão de obra por acidentes de trabalho e baixos, ou inexistentes, casos de reclamações trabalhistas. Esta categoria concentra os contratos que apresentam um baixo risco global para a empresa contratada. A aplicação da metodologia proposta permite que o gestor da organização prestadora do serviço de terceirização gerencie as atividades demandadas, considerando o perfil de risco de seus clientes através de uma metodologia capaz de tratar a incerteza inerente ao contexto de decisão. Uma das principais contribuições da metodologia é a flexibilidade de aplicação em diversos e diferentes contextos organizacionais, objetivando atingir às expectativas gerenciais. 5 Conclusão A classificação do risco global em contratos de serviços terceirizados através da abordagem DRSA oferece uma perspectiva gerencial com flexibilidade e conhecimento sobre o contexto estudado. Por essa contribuição, a metodologia proposta é oportuna e garante benefícios significativos para a construção da estratégia organizacional, tornando-se uma ferramenta capaz de auxiliar na compreensão da complexidade do contexto analisado. Os critérios utilizados no estudo foram considerados como satisfatórios para a descrição dos contratos, além da contribuição da Matriz de Classificação de Riscos. Esse requisito permitiu que o contexto fosse explorado de forma construtiva para o entendimento e simplificação dos exemplos de referência no processo de classificação dos contratos de terceirização de acordo com o risco associado. Os resultados obtidos pela aplicação da metodologia permitiu considerar um núcleo de critérios que possibilitou a classificação dos vinte contratos de maior faturamento para a empresa contratada em três categorias de risco, as quais respondem satisfatoriamente sobre o contexto e definem diretrizes para o processo de decisão gerencial. Desta forma, a utilização da abordagem DRSA para a classificação do risco global em contratos de serviços de terceirização.

8 Agradecimentos Este trabalho foi desenvolvido com o apoio parcial do CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico). Referências 1. A. T. Almeida. Processo de Decisão nas Organizações: Construindo modelos de decisão multicritério. 1 ed. Atlas, São Paulo, S. Chakhar and I. Saad. Dominance-based rough set approach for groups in multicriteria classification problems. Decision Support Systems, 54: , C. T. Chen, C. T. Lin, S. F. Huang. A fuzzy approach for supplier evaluation and selection in supply chain management. International Journal of Production. 102(2): , A. L. P. Freitas, H. G. Costa. Development and testing of a multi-criteria approach to the assessment of service quality: An empirical study in Brazil. International Journal of Management, 29: , K. L. Choy and W. B. A. Lee. Generic Supplier Management Tool for Outsourcing Manufacturing. Supply Chain Management: An International Journal, 8:40-154, L. A. Giosa. Terceirização: Uma abordagem estratégica. 5 ed. Pioneira, São Paulo, C. F. S. Gomes, N. Trevisan. Metodologia Integrada para tomada de decisão com uso do apoio multicritério e análise de envoltória de dados (DEA). Revista de la Escuela de Perfeccionamiento en Investigación Operativa, 31:57-76, S. Greco, B. Matarazzo and R. Słowiński. Rough sets theory for multi-criteria decision analysis. European Journal of Operational Research, 129(1):1-47, S. Greco, B. Matarazzo and R. Słowiński. Multicriteria classification by dominance-based rough set approach. In: W. Kloesgen and J. Zytkow (editors.), Handbook of Data Mining and Knowledge Discovery, Oxford University Press, New York, M. M. Helms, C. Dibrell and P. Wright. Competitive Strategies and Business Performance: Evidence from the Adhesives and Sealants Industry. Management Decision, 35: , G. A. Holton. Defining Risk. Financial Analysis Journal, 60:19-25, HSE. Risk ranking. Centre for environmental and Risk management (CERM), M. Milgate. Supply Chain Complexity and Delivery Performance: An International Exploratory Study. Supply Chain Management. An International Journal, 6: , H. Min. Supplier Selection: A Multi-attribute Utility Approach. International Journal of Physical Distribution & Logistics Management, 24:24-33, Z. Pawlak. Rough Sets. International Journal of Computer and Information Sciences, 11(5): , Z. Pawlak and R. Slowinski. Rough set approach to multi-attribute decision analysis. European Journal of Operational Research, 72(3): , M. E. A. Queiroz, T. R. N. Clemente, A. T. Almeida-Filho. Modelo multicritério para avaliação de risco de contratos comerciais de terceirização sob a ótica do contratado. In: Anais do XVI CLAIO/XLIV SBPO. Rio de Janeiro, B. Roy. Methodologie multicritre d'aide a la decision. Economica H. A. Simon. The new science of management decision. New York: Harper & Row Publishers, R. Słowiński, S. Greco and B. Matarazzo. Rough sets methodology for sorting problems in presence of multiple attributes and criteria. European Journal of Operational Research, 138(2): , R. Słowiński, S. Greco and B. Matarazzo. Rough set based decision support. Chapter 16 [in]: E. K. Burke and G. Kendall (editors.), Search Methodologies: Introductory Tutorials in Optimization and Decision Support Techniques, pp , Springer-Verlag, New York, P. Vincke. Multicriteria decision-aid. John Wiley & Sons, 1992.