MÉTODO APRIMORADO PARA A QUANTIFICAÇÃO DO CONHECIMENTO EM ANÁLISES DE CONFIABILIDADE POR REDES BAYESIANAS

Transcrição

1 MÉTODO APRIMORADO PARA A QUANTIFICAÇÃO DO CONHECIMENTO EM ANÁLISES DE CONFIABILIDADE POR REDES BAYESIANAS Paulo Renato Alves Firmino UFPE, Av. Acadêmico Helio Ramos, s/n, Cidade Universitária, Recife-PE, Cep: , praf62@yahoo.com Regilda da Costa Silva Menêzes UFPE, Av. Acadêmico Helio Ramos, s/n, Cidade Universitária, Recife-PE, Cep: , regildamenezes@yahoo.com.br Enrique López Droguett UFPE, Av. Acadêmico Helio Ramos, s/n, Cidade Universitária, Recife-PE, Cep: , ealopez@ufpe.br Resumo Um dos maiores entraves da análise probabilística de riscos e de confiabilidade é como contornar a escassez de dados. Esta questão tem emergido também devido ao ingresso de técnicas sofisticadas à área, tais como o formalismo de redes Bayesianas (RBs) que permite a utilização de fontes de informação multidisciplinares. Tal flexibilidade possibilita modelos mais elaborados que podem requerer dados existentes apenas qualitativamente. A alternativa então é trazer à luz tais informações através de protocolos de edução direcionados a especialistas no problema. Dentre os métodos citados pela literatura, o de Nadler & Campello (200) destaca-se por () promover um auto-conhecimento do especialista sobre suas crenças de maneira gradativamente refinada e (2) possuir indicadores que avaliam matematicamente tanto a qualidade do questionário de edução quanto das opiniões dadas. Entretanto, o número não reduzido de perguntas pode tornar tal protocolo inviável diante de RBs que requerem a mensuração de muitos parâmetros. Em contrapartida, os indicadores de qualidade propostos pelos autores não asseguram bons questionários quando a quantidade de questões é reduzida. Assim, neste trabalho propõe-se mais uma métrica de qualidade ao protocolo de Nadler & Campello (200) que, conuntamente com as demais, permite quantificar adequadamente conhecimentos qualitativos com um número reduzido de perguntas. Palavras chave: Análise de Confiabilidade; Redes Bayesianas; Quantificação do Conhecimento. Abstract One of the main problems for probabilistic risks and reliability analyses is how to treat the data scarcity. This question has emerged also from the introduction of sophisticated techniques into the area, such as the formalism of Bayesian network (BNs) that permits the utilization of multidisciplinary information sources. Such Keywords: Bayesian Networks; Parametric Bootstrap; Frequentist Inference.. Introdução Este artigo trata de um dos problemas tradicionalmente incômodos para a análise probabilística de riscos e de confiabilidade: como contornar a escassez de dados. Esta questão tem sido reforçada devido ao ingresso de novas técnicas à área, tais como o formalismo de RBs que permite a utilização de conhecimentos antes quantificados precariamente para a realização de inferências mais realistas

2 sobre indivíduos ou sobre populações (Firmino & Droguett, 2005). Limitações de técnicas clássicas da análise de confiabilidade, como a dificuldade de categorização de variáveis, suposições irreais de independência e relações determinísticas, são alguns dos temas contornados pela introdução de RBs a problemas tradicionalmente abordados pelas análises de árvores de falhas, de eventos e de confiabilidade humana, por exemplo. Sobre este tema recomenda-se Firmino & Droguett (2004) para um estudo conceitual, Menêzes et al. (2005) para um estudo mais específico sobre RBs no problema da análise de confiabilidade humana e Santos & Droguett (2005) que direciona os conceitos a um problema real. Porém, uma das grandes vantagens de RBs pode se tornar o seu grande entrave caso alguns cuidados não seam levados em consideração. Como elas permitem a representação qualitativa e quantitativa do conhecimento disponível sobre o problema tratado, é comum que para níveis de detalhamento razoavelmente elevados, ao menos parte desse conhecimento não possa ser encontrado em registros ou bancos de dados, residindo apenas na mente de especialistas. Dessa forma, é requerida a aplicação de um outro conunto de técnicas direcionadas à edução das informações contidas nas experiências vividas pelos especialistas. Extrair dos especialistas esse conhecimento tem sido um grande desafio para os pesquisadores da área de psicologia cognitiva e da engenharia do conhecimento ao longo dos anos, pois sabe-se que as pessoas utilizam princípios heurísticos para lidar com a complexidade da vida (Campello, 2002). Estes mecanismos apesar de muito úteis, podem conduzir pessoas a erros graves e sistemáticos (Hammond et al. 999). Daí a importância da elaboração de um protocolo de edução que tente minimizar os efeitos que esses vieses e imprecisões podem causar. Hokstad et al. (999) criticam vários métodos por não serem sistemáticos ou por não desenvolverem diretrizes para assegurar a consistência e confiabilidade dos seus resultados, não tratando assim as incertezas de forma adequada. No entanto, o método de edução proposto por Nadler & Campello (200) busca preencher estas lacunas. Tal método caracteriza-se por ser sistemático ao tentar conduzir naturalmente o especialista até suas reais crenças de maneira gradativamente refinada e busca consistência e confiabilidade ao introduzir índices de avaliação tanto da qualidade do questionário quanto das s eduzidas. Contudo, pode-se encontrar dificuldades ao aplicar o protocolo de edução de Nadler & Campello (200) para quantificar parâmetros de uma RB em problemas característicos da análise de confiabilidade. Nestes casos, o número de parâmetros a eduzir pode ser elevado e requerer tempo e esforço indisponíveis tanto de especialistas quanto de consultores, uma vez que não se encontra na literatura alternativas para a elaboração de questionários de edução reduzidos o suficiente para tornar tais processos de quantificação adequadamente possíveis. Diante disto, expõe-se neste trabalho a necessidade de mais um índice de qualidade que garanta um bom questionário ao menor custo possível. Além disso, demonstra-se aqui que a redução do número de questões pode levar a um questionário incapaz de capturar adequadamente o conhecimento do especialista, mesmo que seus indicadores de qualidade tradicionais apresentem bons resultados. Na próxima seção, faz-se uma introdução ao problema da quantificação de RBs, enfatizando-se a dificuldade em obter registros capazes de quantificar conhecimentos qualitativos. Na seção 3, apresenta-se o protocolo para a edução do conhecimento no qual baseia-se o artigo e destaca-se os indicadores de qualidade que promovem um dos seus diferenciais. Na seção 4, demonstra-se que a partir da necessidade de redução do número de perguntas do questionário pode-se chegar a estimações distorcidas e propõe-se um indicador de precisão para contornar o problema. Na seção 5, expõe-se algumas estatísticas de desempenho baseadas em aplicações práticas e o artigo conclui-se na seção Quantificação de RBs Uma RB é um grafo acíclico direcionado (DAG), onde os nós representam variáveis aleatórias e os arcos direcionados ilustram as relações de causa e efeito entre tais variáveis (Pearl, 988). Os mais importantes parâmetros para a análise quantitativa de RBs são o conunto de distribuições de probabilidades (ou funções de densidade) condicionais de cada variável dados os valores específicos de seus causadores imediatos ou pais (aquelas variáveis que possuem um arco direcionado para a 922

3 referida variável). Assim, uma vez definido o cenário em que os pais de uma variável se encontram, as probabilidades condicionais de tal variável expressam as crenças relacionadas aos seus possíveis resultados sob estas condições. Considerando como exemplo a RB exibida na Figura (a), onde as variáveis envolvidas são policotômicas, há três cenários para X e nove para Y X [ver Figura (b) e (c)]. Pode-se considerar X e Y como variáveis genéricas, tais como desempenho de um equipamento e seus índices de qualidade, respectivamente. Contudo, caso se desee detalhar tais variáveis de forma a tentar encontrar as relações de causa e efeito entre fatores de risco (Z) e o desempenho do equipamento, parte-se para um modelo mais complexo [Figura (d)] e conseqüentemente é requerido um maior número de informações sobre o sistema [Figura (e) e (f)]. Assim, muitas vezes bancos de dados não suprem o nível de conhecimento expresso qualitativamente pela RB, demandando processos de edução adequados. X Y P(X) 0 2 0,3 0,4 0,3 Y X P(Y X) , 0,4 0,5 0,3 0,4 0,3 2 0,5 0,2 0,3 (a) (b) (c) Z X Y (d) P(Z) 0?? (e) P(X Z) X 0 2 Z 0?????? (f) Figura Exemplo de um sistema gradativamente detalhado via RBs 3. Protocolo para a edução do conhecimento O protocolo de edução elaborado por Nadler & Campello (200) utiliza as informações eduzidas como restrições em um problema de programação linear (Wu & Coppins, 98). O questionário de edução é elaborado considerando um valor mínimo e outro máximo para o parâmetro em estudo θ, construindo assim o intervalo de seus possíveis resultados [θ min,θ max ]. Como em se tratando de RBs o parâmetro de interesse é uma probabilidade condicional, adota-se aqui θ min =0 e θ max =. Dentro desse intervalo, θ é distribuído de acordo com uma distribuição desconhecida π(θ). Considerase 2n partições de subintervalos com iguais medidas de Lebesgue, θ, θ ), =,2,...,2n e [ θ, θ ]. A probabilidade de θ pertencer ao intervalo θ θ ) é [ 2n 2n k π i = 0 + i, onde π é a probabilidade de θ pertencer ao -ésimo subintervalo. As questões aplicadas são do tipo: -Qual das duas é maior, P [, + k { θ θ, θ ) U [ θ, θ ) U.. U[ θ, θ )} ou P{ θ [ θ, θ ) U[ θ, θ ) U.. U[ θ, θ )}? [ i i i i+ i+ k i+ k+ s s s s+ s+ m s+ m+ A do especialista a estas questões identifica em qual conunto de subintervalos encontra-se maior massa probabilística, se em [θ i-,θ i+k+ ) ou em [θ s-,θ s+m+ ). Dentro desse contexto, o especialista pode optar pela ª, pela 2ª ou por nenhuma das alternativas (caso não considere possível opinar). Recomenda-se evitar a superposição de intervalos nas questões para não introduzir maiores dificuldades de. Portanto, as questões devem ser tais que i + k + s e i < s. 923

4 Após respondidas, as questões são usadas como restrições para um problema de programação linear cua intenção é determinar os valores dos parâmetros π s do modelo estudado de forma a maximizar ou minimizar o resultado final de sua função obetivo (a função de distribuição acumulada de θ). Assim, ao final tem-se o seguinte problema de programação linear: Max( Min) = (2n + ) π, m u sueito às seguintes restrições: π π 0, π = e π 0, onde =,2,..., 2n, m e k = k = s são respectivamente os índices superior e inferior do º intervalo do questionário, ocorrendo o mesmo para u e s sobre o 2º intervalo, para todas as questões respondidas pelo especialista. Vale ressaltar que alternativamente ao problema de programação linear adotado, podem ser montados outros. Uma vez que os parâmetros que maximizam e minimizam a função obetivo do problema são encontrados, tem-se uma função de distribuição de máximo e outra de mínimo, respectivamente. A Figura 2 esboça a modelagem a partir da solução do problema de programação linear. Com as funções de distribuição de máximo e de mínimo, tem-se a família de distribuições de probabilidade admissíveis relacionadas às s eduzidas. A fim de selecionar uma distribuição de probabilidades que represente a família de distribuições compreendidas entre a de máximo e a de mínimo, opta-se aqui pela do ponto médio entre elas. F(θ) 2n = f(θ) π 2n θ θ Figura 2 Densidade de probabilidades sobre o parâmetro eduzido através do protocolo de edução de Nadler & Campello (200) Além do que foi exposto acima, Campello (2002) sugere entre outras coisas que os intervalos seam progressivamente refinados para que haa uma elevação gradativa do grau de dificuldade entre as questões; que os subintervalos seam apresentados eqüitativamente, para evitar a introdução de viéses através do questionário, e que o número de questões não sea muito grande, para que não haa fadiga do especialista. Como comentado na introdução do trabalho, o protocolo de edução proposto por Nadler & Campello (200) apresenta índices relacionados tanto à qualidade do questionário quanto à qualidade das s dadas. A qualidade do questionário leva em conta dois índices. O primeiro mede o grau de refinamento das questões (D Pi ) e o segundo permite avaliar a uniformidade dos subintervalos ao longo das questões (Dε ). Assim, considerando i como o índice da questão, quanto maior o coeficiente de correlação linear entre os pares (i, D Pi ) melhor apresenta-se o índice de refinamento entre as questões e quanto maior a uniformidade de Dε = {Dε, Dε 2,..., Dε 2n } melhor a simetria do questionário. Estes indicadores estão definidos nas equações abaixo: 2 n ( m k + )( u s + ) DP i =, onde m e k são respectivamente os índices superior e inferior do º 2 n intervalo do questionário, ocorrendo o mesmo para u e s sobre o 2º intervalo Equação 924

5 q D ε = ( di D i= P, i i ou d i, =0, caso contrário ), onde q é o número de questões e d i, = se o subintervalo ε fizer parte da questão Equação 2 Segundo Nadler & Campello (200), pode-se montar um bom questionário considerando-se D Pi e Dε. Os autores exibem um questionário baseado em 42 questões e 20 subintervalos limitados entre 0 e 00. Tal questionário aponta um coeficiente de correlação de 0,98 entre os pares (i, D Pi ) e uma uniformidade próxima da ideal para Dε. Seguindo as orientações propostas, mostra-se a seguir um questionário de edução cuo número de perguntas é reduzido. Nele, o parâmetro de interesse também limita-se entre 0 e 00. Agora, porém, considera-se 0 subintervalos e elabora-se apenas 20 questões (ver Tabela ). Nesse caso, o coeficiente de correlação entre os pares (i, D Pi ) é igual a 0,95 e Dε é estatisticamente uniforme (a estatística calculada equivale a 0,7, enquanto que a Qui-Quadrado tabelada com 0,0 de significância e 9 graus de liberdade é igual a 2). Assim, o questionário elaborado pode ser classificado como adequado ao processo de edução correspodente. Questão Interv. Interv. 2 0 a 50 ou 50 a a 60 ou 60 a a 40 ou 40 a a 70 ou 70 a a 30 ou 30 a a 40 ou 50 a a 50 ou 60 a a 40 ou 70 a a 30 ou 60 a a 70 ou 70 a 00 Questão Interv. Interv. 2 0 a 30 ou 30 a a 70 ou 70 a a 30 ou 30 a a 20 ou 60 a a 50 ou 60 a a 40 ou 50 a a 40 ou 70 a a 50 ou 80 a a 60 ou 80 a a 20 ou 40 a 60 Tabela - Questionário de edução para probabilidades com vinte questões 4. Novo índice de qualidade para o questionário de edução Nesta seção, demonstra-se que embora os índices de qualidade tradicionais apresentados na seção anterior considerem um questionário como bom, ao final pode-se ter conclusões distorcidas em relação às reais crenças do especialista. Para demonstrar esta proposição, considera-se o seguinte procedimento: a) Suponha que o especialista a ser eduzido tem um conhecimento inicialmente qualitativo sobre suas reais crenças acerca do valor do parâmetro de interesse e torna-se capaz (durante o refinamento das questões) de realizar inferências quantitativas tão precisas quanto o comprimento de Lebesgue dos 2n subintervalos predefinidos. b) Ao final, é verificado se o subintervalo com maior massa probabilística da distribuição de probabilidades resultante da análise do questionário coincide com o subintervalo definido na etapa anterior. Na etapa (a), supõe-se um especialista consciente de suas crenças de forma qualitativa com dificuldades de avaliar subintervalos distantes do que ele acredita ser verdade. Logo, ele evitaria responder questões tais como Qual das duas é mais provável: P{θ [0, 20)} ou P{θ [20, 30)}? se acreditasse que o parâmetro possui um valor elevado e que ambos os subintervalos contrastados englobam valores baixos. Esta suposição parece razoável, uma vez que pode ser requerido do especialista um domínio numérico elevado quanto às suas crenças para se inferir sobre massas 925

6 probabilísticas distantes do seu valor de referência subacente. Na Tabela 2, exibe-se as s para o questionário da Tabela relacionadas a um especialista cuas crenças apontam para o intervalo π =[80, 90) no decorrer das questões. 9 Questão Resposta Questão Resposta Questão Resposta Intervalo 2 8 Intervalo 2 5 Sem 2 Intervalo 2 9 Intervalo 2 6 Sem 3 Intervalo 2 0 Intervalo 2 7 Intervalo 2 4 Intervalo 2 Sem 8 Intervalo 2 5 Intervalo 2 2 Intervalo 2 9 Intervalo 2 6 Intervalo 2 3 Sem 20 Sem 7 Intervalo 2 4 Intervalo 2 Tabela 2 Respostas de um especialista sobre as questões exibidas na Tabela quando este acredita que o valor do parâmetro em estudo encontra-se mais provavelmente no intervalo [80, 90) Aplicando o procedimento descrito acima ao questionário exibido na Tabela, são identificadas as seguintes distorções entre as crenças do especialista e os resultados do processo de edução: Reais crenças do especialista Crenças obtidas pelo questionário [0, 20) [0, 0) [20, 30) [0, 0) [70, 80) [90, 00) [80, 90) [90, 00) Tabela 3 Distorção entre as reais crenças do especialista e os resultados da análise do questionário de edução exibido na Tabela Definindo-se um indicador de precisão para comparar as reais crenças de um especialista, caracterizado como na etapa (a) do procedimento descrito nesta seção, com as crenças estimadas segundo um questionário reduzido, pode-se concluir (Tabela 3) que o questionário exibido na Tabela não é bom. Embora tal questionário possua bons indicadores tanto de uniformidade entre os subintervalos quanto de refinamento entre as questões, seu indicador de precisão detecta que há distorções quando as reais crenças do especialista apontam para 4 dos 0 subintervalos predefinidos. Contudo, pode-se perceber que o º subintervalo não alcançado (Tabela 3) é simétrico ao 4º, assim como o 2º em relação ao 3º. Este comportamento é decorrente da simetria do questionário refletida pelo bom indicador de uniformidade dos subintervalos no corpo do questionário. Assim, recomenda-se introduzir pares simétricos de questões de forma a melhorar o indicador de precisão e ainda satisfazer a uniformidade de Dε, sem esquecer de manter um bom coeficiente de correlação entre os pares (i, D Pi ). O indicador de precisão mostra-se adequado após adicionadas seis questões (onde cada uma é simétrica a uma outra) ao questionário incompleto exibido na Tabela (ver Tabela 4). Desta forma, as chances de se inferir indevidamente através da análise do questionário são anuladas. Contudo, percebe-se uma queda de qualidade segundo os demais fatores. Agora, o coeficiente de correlação entre os pares (i, D Pi ) é reduzido a 0,92 e a estatística de teste de aderência de Dε aumenta para,4. Logo, uma ponderação entre os indicadores propostos pela literatura e o de precisão aqui sugerido leva a um questionário 38% menor que o exibido por Nadler & Campello (200). Na próxima seção, comenta-se mais detalhadamente sobre os impactos gerados por esta redução. 926

7 Questã o Interv. Interv. 2 5 o 5 0 a a 00 6 o a a o 2 2 a a 40 8 o a a 00 2 o a a 30 8 o a a 90 9 o a a 00 o 26 0 a a 20 Tabela 4 Continuação do questionário exibido na Tabela de forma a remover as distorções apresentadas pelos seus resultados Faz-se importante ressaltar que em nenhum momento a literatura comenta acerca da necessidade de elaboração de um questionário com um número reduzido de questões. Esta necessidade pode sugerir um outro enfoque para a análise das s dos especialistas aos questionários de edução. Com um número reduzido de perguntas, pode-se ter uma distribuição de probabilidades sobre os subintervalos π s onde a grande maioria deles possui massa probabilística nula e consequentemente grandes massas probablísticas encontram-se nos poucos restantes (ver Figura 3). Diante deste comportamento, propõe-se aqui que quando diante de poucas perguntas a responder, busque-se trabalhar mais explicitamente medidas estatísticas de posição menos sensíveis à variância do modelo, tais como a moda. Estas medidas poderão representar mais fielmente tanto a opinião do especialista quanto os obetivos de um questionário reduzido. 0,600 0,500 Probabilidade 0,400 0,300 0,200 0,00 0, Subintervalo Figura 3 Distribuição de probabilidades do estado de crenças de um especialista que acredita que o valor do parâmetro em estudo encontra-se mais provavelmente no intervalo [80, 90), segundo o questionário exibido na Tabela Uma outra observação bastante pertinente é que com o questionário proposto por Nadler & Campello (200) tem-se 20 subintervalos (ver seção anterior), o que sugere maior poder de alcance do mesmo em relação ao proposto aqui. Isso pode ser contornado através de um refinamento do intervalo com maior massa probabilística encontrado em uma primeira etapa de eduções. Isto permitiria, por 927

8 exemplo, realizar mais algumas poucas perguntas dentro do subintervalo com maior massa probabilística e elevar a precisão do procedimento de edução sem maiores danos. 5. Estatísticas de redução de custos Considerando o questionário de edução resultante da análise proposta aqui (Tabela 4), tem-se uma redução de cerca de 38% em relação ao número de questões propostas pelo questionário exibido por Nadler & Campello (200). Em problemas característicos da análise probabilística de riscos e de confiabilidade tais como em Santos & Droguett (2005), tem-se cerca de 320 aplicações do questionário. Neste caso, baseando-se em um tempo médio de 0,9 minuto entre a compreensão e a a cada questão (Menêzes & Droguett, 2005), pode-se reduzir o tempo total de edução de 75,56 horas para 08,85 horas. Considerando que cada visita para a realização de uma etapa do processo de edução leva 2,5 horas (Menêzes & Droguett, 2005), ao invés de requisitar tanto especialistas quanto analistas 72 dias, faz-se necessário apenas 44 dias; 28 dias a menos. 6. Conclusões Este trabalho abordou a necessidade de uma nova métrica de qualidade para questionários de edução do conhecimento de especialistas relacionada a seus custos de execução provenientes da sua quantidade de questões. Notou-se que em compensação a essa necessidade é requerido um outro enfoque sobre o modelo provindo das opiniões dos especialistas, á que com um número de perguntas menor elevam-se as incertezas acerca da distribuição de probabilidades das crenças eduzidas, sendo necessário concentrar-se em medidas menos sensíveis a variância tais como a mediana ou a moda. Observou-se, também, que mesmo com os índices de qualidade tradicionais apresentando bons resultados não se assegura um questionário capaz de capturar fielmente o conhecimento do especialista. Para contornar tal problema, propôs-se um indicador de precisão baseado na suposição de que são evitadas opiniões sobre questões cuos subintervalos contrastados distanciam-se do que se acredita ser verdade, mesmo que em termos qualitativos. Desafios futuros são identificar algoritmos para a construção de questionários reduzidos que busquem aperfeiçoar os resultados tanto dos indicadores de qualidade tradicionais quanto do de precisão aqui proposto, através de técnicas de otimização combinatória, por exemplo. Referências CAMPELLO, F. M. (2002)- Decisões racionais em situações de incerteza. Editora Universitária da UFPE. Recife. FIRMINO, P. R. & DROGUETT, E. L. (2004)- Redes Bayesianas para a parametrização da confiabilidade em sistemas complexos. Engenharia de Produção, Universidade Federal de Pernambuco, Centro de Tecnologia e Geociências. FIRMINO, P. R. & DROGUETT, E. L. (2005)- Análise de confiabilidade populacional pelo hibridismo entre redes Bayesianas e bootstrap paramétrico. Artigo submetido para este Simpósio. HAMMOND, J. S.; KEENEY, R. L. & RAIFFA, H. (999)- Somos movidos a decisões, decisões inteligentes: como avaliar alternativas e tomar a melhor decisão. 5ª Edição. Campus. Rio de Janeiro. HOKSTAD, P.; KNUT, O. & REINERTSEN, R. (998)- Recommendations on the use of expert udgment in safety and reliability engineering studies. Reliability Engineering and System Safety Vol. 6, p MENÊZES, R. C. & DROGUETT, E. L. (2005)- Uma metodologia para a avaliação da confiabilidade humana em atividades de substituição de cadeias de isoladores em linhas de transmissão. Engenharia de Produção, Universidade Federal de Pernambuco, Centro de Tecnologia e Geociências. MENÊZES, R. C.; FIRMINO, P. R. & DROGUETT, E. L. (2005)- Análise de confiabilidade humana via redes Bayesianas. Artigo submetido para este Encontro. NADLER, G.C. & CAMPELLO, F. M. (200)- In: 2 o International Symposium on Imprecise Probabilities and Their Applications. New York. A protocol for the elicitation of prior distributions. 928

9 PEARL, J. (988)- Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann. 2ª Edição. California. SANTOS, W. & DROGUETT, E. L. (2005)- Análise probabilística de riscos via redes Bayesianas: Uma aplicação na construção de poços multilaterais. Engenharia de Produção, Universidade Federal de Pernambuco, Centro de Tecnologia e Geociências. WU, N. & COPPINS, R. (98)- Linear programming and extensions. McGraw-Hill. New York. 929