Revista Gestão em Engenharia, São José dos Campos, v.2, n.1, p.13-26, jan./jun. 2015

Transcrição

1 13 CGE REVISTA GESTÃO EM ENGENHARIA ISSN homepage: Escolha de um município para implantação de um centro de formação profissional utilizando um método de apoio multicritério à decisão Valdir Pereira de Souza Junior *1, Mischel Carmen Neyra Belderrain 2, Carlos Eduardo de Medeiros Braguini 1, Newmark Heiner da Cunha Carvalho 3 e Paulo Félix de Araújo 3 1 SENAI - Serviço Nacional de Aprendizagem Industrial - Cuiabá/MT, Brasil 2 Instituto Tecnológico de Aeronáutica - Praça Marechal Eduardo Gomes, 50 - São José dos Campos/SP, Brasil 3 SENAI - Serviço Nacional de Aprendizagem Industrial - João Pessoa/PB, Brasil RESUMO: Na região nordeste do Brasil, diversas empresas nacionais e estrangeiras se estabelecem interessadas nas vantagens oferecidas pelos governos estaduais e nas grandes oportunidades de negócios. Este trabalho teve por objetivo a identificação e seleção de um município para implantação de uma escola profissionalizante em um estado da região nordeste do país, utilizando Value-Focused Brainstorming para a estruturação do problema e o método Analytic Hierarchy Process para a definição dos municípios. A aplicação do método buscou proporcionar uma indicação clara, segundo os critérios definidos, de qual a melhor alternativa dentre os municípios considerados. Observou-se que este trabalho poderá auxiliar os decisores em futuros casos similares, ou ser um importante ponto de partida caso seja necessário incluir outros fatores além daqueles aqui trabalhados. Palavras-chave: Analytic Hierarchy Process (AHP). Escola profissionalizante. Value-focused Brainstorming (VFB). *Autor correspondente: valdirjrsouza@gmail.com

2 14 Municipality selection to implement a professional training school using a multicriteria decision making method ABSTRACT: In north eastern Brazil, several domestic and foreign companies establish themselves interested in the advantages offered by state governments and in the great business opportunities. This paper aims at the identification and selection of a municipality to implement a professional training school in the state of the northeastern region of the country using Value-Focused Brainstorming for structuring the problem and the Analytic Hierarchy Process method for defining the cities. The application of the method provides a clear indication, according to the criteria, of the best alternative among the cities considered. This study will assist decision makers in future similar cases, or be an important starting point if necessary to include other factors in addition to those worked here. Keywords: Analytic Hierarchy Process (AHP). Professional training school. Value-focused Brainstorming (VFB). 1 INTRODUÇÃO O mundo globalizado de hoje exige, cada vez mais, assertividade e agilidade do processo de tomada de decisão, especialmente na área econômica. Os tomadores de decisão (decisores) são continuamente expostos às situações de incerteza, risco e julgamento de alternativas. O desafio está em sustentar o crescimento econômico inclusive em cenários adversos, possibilitando, no mínimo, a manutenção da estabilidade financeira para pessoas e empresas. Para tanto, decisões políticas e econômicas têm como foco a inovação e o adensamento produtivo do parque industrial brasileiro. Na região nordeste do país, ambiente de desenvolvimento significativo no cenário nacional, diversas empresas nacionais e estrangeiras se estabelecem para intensificar seus resultados, interessadas nas oportunidades de negócios e nas vantagens oferecidas pelos governos estaduais. Diante deste cenário, a criação de novos centros de formação profissional nas principais cidades da região nordeste do Brasil, promoveria a educação profissional e tecnológica apoiando o desenvolvimento do parque industrial. No entanto, trata-se de um problema complexo que exige uma abordagem por método multicritério de apoio a decisão (AMD). Este método não substitui o papel do decisor, mas constitui-se de ferramentas que fornecem um embasamento capaz de direcionar para a melhor decisão, a partir da situação apurada pelo decisor e das prioridades estabelecidas, bem como das alternativas conhecidas e dos resultados esperados. Assim, o objetivo deste trabalho foi selecionar uma cidade, da região em estudo, para sediar um centro de formação profissional. Para a estruturação do problema usou-se a abordagem Value Focused Brainstorming (VFB) e o

3 15 método Analytic Hierarchy Process (AHP) para direcionar os tomadores de decisão na busca pela melhor solução e escolha. 2 REFERENCIAL TEÓRICO 2.1 Método Value-Focused Brainstorming (VFB) Conforme Keeney (2012) o brainstorming é uma técnica utilizada na busca por alternativas para decisões complexas. Contudo, é comum encontrar processos de brainstorming pouco eficazes que, dada sua prolixidade, resultam em perda de tempo. No sentido de melhorar a qualidade e inovação dos elementos de decisão, o VFB incorpora características do brainstorming tradicional, agregando novos elementos que permitem a combinação de criatividade e assertividade na geração de ideias. A criação individual de alternativas, num modelo AMD, é essencialmente uma tarefa de pensar e construir uma lista de possíveis alternativas. Entretanto, o processo de geração de alternativas é complexo, e nesse contexto, tanto a quantidade quanto a qualidade das alternativas geradas ficam comprometidas quando não se tem uma orientação clara dos objetivos e valores da organização. Sem a devida orientação, as alternativas tendem a refletir decisões passadas, baseando-se na experiência pessoal do indivíduo. Há duas propriedades do brainstorming tradicional e tais procedimentos podem ter um efeito limitador sobre a quantidade de alternativas geradas e sua qualidade. Uma propriedade é que, no início de uma sessão de brainstorming, apenas uma declaração sobre o tema é dada aos participantes, sem orientação para se concentrar pensando na criação de tipos de alternativas que podem ser melhores do que as outras. Se essas orientações foram fornecidas, membros do grupo podem ser estimulados a criar novas alternativas. A segunda propriedade é que um grupo de indivíduos gera coletivamente todas as alternativas. Quando o grupo está trabalhando em conjunto, é geralmente esperado que uma pessoa fale a qualquer momento e os outros escutem. Quando os participantes escutam, naturalmente são inclinados a vincular seu pensamento às ideias que estão sendo apresentadas. Na Figura 1 são mostrados os quatro passos fundamentais do VFB, sugeridos por Keeney (2012), para que o processo de geração de alternativas através de brainstorming seja conduzido de forma a se obter resultados satisfatórios. Para a definição dos critérios de um modelo AMD, usando o VFB, deve-se alterar os passos 3 e 4 para geração de critérios individuais e geração de critérios em grupo, respectivamente.

4 16 Fonte: Adaptado - KEENEY (2012). Figura 1 Quatro passos fundamentais do VFB. A declaração do problema é possivelmente, o passo inicial do VFB mais importante de todo o processo da técnica de brainstorming, pois a sua correta aplicação inclinará o grupo a ter alternativas assertivas e coerentes com a solução que se espera. Ainda que o esforço seja grande, nesta fase do VFB é imprescindível compreender com clareza o problema a ser resolvido. Diante do problema declarado, o próximo passo do VFB visa identificar a situação alvo, o que de fato objetiva-se onde se pretende chegar com as alternativas geradas. O objetivo desta fase é resolver o problema declarado no passo anterior, seguindo a mesma lógica de clareza e assertividade inerentes ao VFB. É preciso expor os objetivos de modo a ter todos os indivíduos devidamente alinhados com o que se espera. Mais do que essencial, o brainstorming individual é um passo que permite a multiplicação das alternativas, ou seja, é um processo que incita aos indivíduos a criarem suas próprias soluções. Segundo Keeney (2012) muitas pessoas que participam de sessões de brainstorming em grupo, possuem uma negativa tendência de não pensar ou pensar menos nas alternativas, isto é, há uma inclinação de um indivíduo seguir alternativas geradas por outros, limitando, assim, a capacidade geral de busca de alternativas. Análogo ao brainstorming tradicional, o VFB possibilita a geração de alternativas em grupos através da discussão sobre o problema, objetivos e alternativas geradas na fase individual. A discussão suscita à criação de novas alternativas baseadas na combinação das alternativas geradas individualmente. Acredita-se que seguindo os passos apontados por Keeney (2012), há grande tendência de se ter um brainstorming produtivo e com alternativas de alto valor agregado. 2.2 Método Analytic Hierarchy Process (AHP) Criado na década de 70 pelo matemático Thomas L. Saaty, o Analytic Hierarchy Process (AHP) é um método para tomada de decisão com múltiplos critérios, podendo estes ser qualitativos ou quantitativos.

5 17 A aplicabilidade do método a um determinado cenário de decisão tem como ponto inicial a construção de uma estrutura hierárquica, como mostra a Figura 2, que apresenta graficamente o objetivo, os critérios e subcritérios e as alternativas. OBJETIVO CRITÉRIOS SUBCRITÉRIOS ALTERNATIVAS Figura 2 Exemplo de estrutura hierárquica do AHP. O método AHP possui características que valorizam as experiências de cada decisor envolvido no processo de análise. O método AHP está estruturado em três princípios fundamentais: a) Hierarquia - o método AHP tem no topo da estruturação hierárquica a razão da decisão que se busca, a parte intermediária da árvore é composta pelos critérios e subcritérios e na parte inferior ficam as alternativas existentes; b) Consistência - o método permite a avaliação de possíveis inconsistências no processo de julgamento dos critérios pressupondo correção quando possível; c) Prioridade - a priorização é feita com base nos elementos definidos na estrutura hierárquica que são comparados par a par utilizando a Escala Fundamental de Saaty. A escala fundamental de Saaty é utilizada para realizar as comparações par a par entre elementos. É uma escala de números que indica quantas vezes mais importante ou dominante um elemento é sobre outro elemento em relação ao critério ou propriedade em que são comparados (SAATY, 2008). As comparações são realizadas respeitando uma propriedade em comum. Começando pela base da hierarquia estabelecida, comparam-se as alternativas à luz dos subcritérios, e estes à luz dos critérios, que, por fim, são comparados à luz do objetivo global (NASCIMENTO, 2010). Todas as comparações seguem uma escala de valores pré-definida sob valores absolutos, denominada Escala Fundamental de Saaty (Tabela 1) e se propõem a expressar numericamente os julgamentos qualitativos. Segundo GOMES (2007) todo processo de tomada de decisão deve ser estruturado em fases, não necessariamente sequenciais, mas interativas, conforme apresenta a Tabela 2.

6 18 Intensidade de Importância 1 3 Tabela 1 - Escala Fundamental de Saaty. Definição Mesma importância Importância moderada 5 Forte importância 7 Importância muito forte ou demonstrada 9 Extrema importância Explicação As duas atividades contribuem igualmente para o objetivo A experiência ou julgamento favorecem levemente uma atividade sobre a outra A experiência ou julgamento favorecem fortemente uma atividade sobre a outra Uma atividade é fortemente favorecida em relação à outra; sua dominância é demonstrada na prática As evidências favorecem uma atividade em relação à outra com alto grau de certeza Os níveis de intensidade 2, 4, 6 e 8 representam níveis intermediários entre os acima descritos Fonte: Adaptado - NASCIMENTO (2010). Tabela 2 - Fases da aplicação do AHP. FASE 1 FASE 2 FASE 3 FASE 4 FASE 5 FASE 6 FASE 7 Identificação dos agentes e do tomador de decisão Lista das alternativas Definição dos critérios efetivamente relevantes Avaliação das alternativas em relação aos critérios Determinação da importância dos critérios Determinação das soluções satisfatórias Análise de sensibilidade Fonte: Adaptado - GOMES, Definição de quem são os responsáveis pela decisão. Geração das alternativas candidatas à solução. Estabelecimento dos critérios com base em fatores pré-definidos a fim de garantir sua aderência ao processo Avaliação das alternativas e critérios utilizando a Escala Fundamental de Saaty (SAATY, 2008) Ponderação dos critérios, estabelecendo a importância de cada um. Obtenção do resultado de avaliações Avaliação da robustez do resultado simulando cenários segundo a alteração de parâmetros. De acordo com Nascimento (2010) é aconselhável o uso de um método de estruturação de problema que apoiará o tomador de decisão, a definir o objetivo global, os critérios, os subcritérios e as alternativas para a solução do problema de decisão.

7 19 Neste trabalho a estruturação do problema (fases 1, 2 e 3) foi realizada utilizando a abordagem VFB, e o desenvolvimento da solução (fases 4 a 7) com o método AHP. Torna-se importante destacar que na definição das alternativas (fase 2), quando utilizado o método AHP, deve-se observar o número limite de alternativas, que não deve ultrapassar o número entre 7 e 9. Contudo, para um número maior de alternativas sugere-se o uso do AHP com abordagem Ratings (SILVA et al., 2010) que não é objeto deste estudo. Na fase 3 são definidos os critérios de decisão que devem cumprir as propriedades apresentadas por Keeney e Raiffa (apud GOMES, 2007): a)completitude - se a árvore está completa, isto é, todos os critérios que interessam ao tomador de decisão estarão incluídos nela; b) operacionalidade - todos os critérios do nível mais baixo da árvore deverão ser suficientemente específicos para que o analista de decisão possa utilizálos no processo de resolução do problema; c) decomponibilidade - deve-se poder avaliar o desempenho de uma alternativa em relação a um critério, independentemente de seu desempenho em relação a outros critérios; d) ausência de redundância - se dois critérios refletem, parcial ou totalmente, a mesma realidade, então um deles é claramente redundante (perigo da redundância pode acarretar dupla contabilização, fazendo que a recomendação geralmente tenda a ser espúria) e e) tamanho mínimo - se a árvore for relativamente grande, qualquer análise de decisão será impossível, do ponto de vista prático. Para assegurar-se de que isso não ocorrerá, não se deve decompor os critérios além do nível em que podem ser avaliados, devendo prevalecer sempre o bom senso. Por vezes ainda, pode-se reduzir o tamanho da árvore por meio da eliminação dos critérios que não permitem estabelecer distinções entre as alternativas. As comparações par a par das alternativas em relação aos critérios, assim como a comparação dos critérios à luz do objetivo foram realizadas utilizando a Escala Fundamental de Saaty (fases 4 e 5). Na fase 6 foi realizada a resolução matemática do AHP (SAATY, 2013). Uma vez obtida a solução, é possível realizar modificações nas variáveis e parâmetros observados, como forma de testar a validade dos resultados obtidos (fase 7). 3 MATERIAL E MÉTODOS A instituição de formação profissional na região estudada encontra-se em um cenário favorável para implantação de um novo centro educacional. Sabe-se que, as decisões tomadas pelos gestores dessa instituição foram realizadas com base em seus conhecimentos empíricos e por mais acertadas que tenham sido não foram realizadas com base em métodos científicos para modelagem e estruturação do processo de decisão. Neste estudo foi proposto um processo de solução utilizando o Value- Focused Brainstorming (VFB) e Analytic Hierarchy Process (AHP). O VFB foi utilizado na estruturação do problema, para definir o objetivo da decisão, definição dos critérios e das alternativas. O AHP buscou encontrar a solução da identificação e proposição de um determinado município para sediar um

8 20 centro de formação profissional. O software Superdecisions foi utilizado na solução do AHP. A Figura 3 mostra a combinação dos métodos VFB+AHP. Figura 3 Visão macro de combinação dos métodos VFB+AHP. Conforme observado na Figura 3, após a definição do problema e objetivos, foram definidos os critérios e alternativas. A definição dos critérios foi realizada utilizando o VFB. Keeney (2012) comenta sobre a acomodação do ser humano no processo de brainstorming quando há indivíduos âncoras liderando o processo. Assim, a geração de critérios de forma individualizada permitiu identificar 15 critérios possíveis para construção da estrutura hierárquica. No passo seguinte, geração de critérios em grupo, foi possível combinar ideias e principalmente identificar os critérios comuns do grupo, resultando cinco critérios para a continuidade do presente estudo. Na Tabela 3 são descritas as reflexões, o objetivo, geração individual e em grupo dos critérios, seguindo os passos do VFB. Os critérios definidos foram: PIB Geral do município, Empregabilidade do setor industrial no município, IDH do município, PIB do Setor Industrial no município e População total do município. Tabela 3 Quadro resumo da aplicação do VFB Critérios de Seleção. Declaração do Problema Temos que implantar uma nova unidade de formação no estado Qual o melhor município para recebê-la? Quais critérios utilizar para escolher este município Identificação do Objetivo Escolher adequadamente os critérios que possibilitarão a decisão de escolha do município de forma alinhada à estratégia organizacional. Geração de Critérios Individuais 1. PIB do Setor Industrial no município 2. Quantidade de Indústrias do município 3. Contribuição Compulsória municipal 4. IDH do município 5. PIB Geral do município 6. População total do município 7. Escolas já instaladas 8. Perfil Populacional 9. Índice de Empregabilidade Geral 10. Empregabilidade do Setor Industrial no município 11. Mercado 12. Infraestrutura 13. Proximidade a Região Metropolitana 14. Incentivos da Prefeitura 15. Parcerias Geração de Critérios em Grupo 1. PIB Geral do município 2. Empregabilidad e do Setor Industrial no município 3. IDH do município 4. PIB do Setor Industrial no município 5. População total do munícipio

9 21 Os critérios definidos através do VFB atenderam as cinco propriedades a) Completude: os critérios definidos são aqueles que efetivamente interessam aos decisores; b) Operacionalidade: os critérios são específicos e atendem o processo de resolução do problema; c) Decomponibilidade: as comparações permitem avaliar o desempenho das alternativas em relação aos critérios, de maneira independente quanto aos demais critérios; d) Ausência de redundância: os critérios definidos refletem grandezas importantes e únicas para os decisores e e) Tamanho mínimo: os critérios apresentam praticidade para efeito da análise de decisão, sendo objetivamente clara a importância de cada um deles para o processo de decisão. Para a definição das alternativas, municípios a serem julgados em cada um destes critérios levantados, foram considerados aqueles de maior população dentre os que não possuíam Centros de Formação Profissional (CFP). A Tabela 4 mostra a relação de municípios candidatos às alternativas. Tabela 4 Ordem dos municípios por população. Ordem Município Possui CFP 1 A Sim 2 B Sim 3 C Não 4 D Não 5 E Sim 6 F Sim 7 G Não 8 H Não 9 I Não 10 J Não Fonte: Adaptado - IBGE (2013). Considerando os municípios de maior população foram selecionados os municípios C, D e G para continuidade do estudo. 4 RESULTADOS E DISCUSSÃO 4.1 Aplicação do AHP com Superdecisions Uma vez finalizada a estruturação do problema, o método AHP foi aplicado utilizando o Software Superdecisions. A Figura 4 apresenta a estrutura hierárquica do problema no Superdecisions, em que: a) Objetivoproposição de um município para implantação de um Centro de Formação Profissional; b) Critérios- PIB Geral do município, Empregabilidade do setor industrial no município, IDH do município, PIB do setor industrial no município e População total do município; c) Alternativas- Municípios C, D e G.

10 22 No Julgamento dos Critérios e Alternativas, considerando que a natureza dos critérios obtidos na fase do VFB foram essencialmente critérios regidos por indicadores socioeconômicos, que são periodicamente medidos por órgãos governamentais, entendeu-se como requisito para realização dos julgamentos a busca prévia dos dados para que o decisor fizesse as opções corretas de cada critério. A coleta de dados socioeconômicos está apresentada na Tabela 5. Figura 4 Estrutura hierárquica do estudo de caso no software Superdecisions. Tabela 5 Dados socioeconômicos para apoio nos julgamentos. DADOS PIB MUNICIPAL (R$) PIB DO SETOR INDUSTRIAL (R$) (IBGE 2011) EMPREGABILIDA DE NO SETOR INDUSTRIAL (MTE/CAGED 2013) IDH MUNICIPAL (IBGE 2010) POPULAÇÃO MUNICIPAL (IBGE 2010) C , D , G , Observação: A seta para cima indica que quanto maior o valor obtido na célula, maior a prioridade, enquanto que, a seta para baixo indica que quanto menor o valor obtido, maior será a prioridade. Fonte: IBGE/MTE (2013). De acordo com a Escala Fundamental de Saaty foram apresentados julgamentos que estão descritos na Figura 5.

11 23 A partir dos resultados apresentados na Figura 5 verifica-se que o critério PIB Geral do município foi considerado menos importante que a Empregabilidade do Setor Industrial no município e que a População total do município, com a mesma importância que o IDH do município e mais importante que o PIB do Setor Industrial no município. Já a Empregabilidade do Setor Industrial no município foi considerada mais importante que o IDH do município e que o PIB do Setor Industrial no município e menos importante que a População total do município. No que diz respeito ao IDH no município, este foi considerado mais importante que o PIB do Setor Industrial no município e menos importante que a População total do município. Por último, verifica-se que o PIB do Setor Industrial no município foi considerando menos importante que a População total do município. Figura 5 Output do Superdecisions Julgamento de Critérios à luz dos objetivos. A Figura 6 mostra o julgamento das alternativas à luz do Critério PIB geral do município. Figura 6 Questionário de julgamento pelo critério PIB Geral do Município. O julgamento das alternativas à luz do critério empregabilidade do setor industrial é observado na Figura 7.

12 24 Figura 7 Questionário de julgamento pelo critério Empregabilidade do Setor Industrial. A Figura 8 apresenta o julgamento das alternativas à luz do critério IDH do município. Figura 8 Questionário de julgamento pelo critério IDH do Município. O julgamento das alternativas à luz do critério PIB do Setor Industrial do Município é apresentado na Figura 9. Figura 9 Questionário de julgamento pelo critério PIB do Setor Industrial do Município. A Figura 10 apresenta o julgamento das alternativas à luz do critério População Total do Município. Figura 10 Questionário de julgamento pelo critério População Total do Município. A partir dos resultados apresentados nas Figuras 6, 7, 8, 9 e 10 verificase que o município G se sobressai em relação ao município D nos critérios PIB Geral do município e Empregabilidade do Setor Industrial no município. Contudo, o município D se sobressai em relação ao município G nos demais critérios (IDH no município, PIB do Setor Industrial no município e População total do município). Quanto a comparação entre os municípios D

13 25 e C, verifica-se que o município C se sobressai em relação ao município D em todos os 5 critérios. Diante dos resultados apresentados e considerando a recomendação de Saaty (2008) para aceitação de índices de inconsistências, o índice geral de inconsistência obtido foi de 0,10 em 5 critérios, sendo que este é o limite superior aceitável por Saaty (2008) para processos que envolvam AHP com mais de 4 critérios. De acordo com o resultado obtido, após a realização dos julgamentos, observou-se que a melhor opção foi representada pelo município C, conforme mostra a Figura 11. Figura 11 Resultado Final Superdecisions. O município C apontado como melhor opção efetivamente pode ser contemplado com uma unidade de formação profissional da instituição. O resultado obtido apresenta uma possibilidade de adoção imediata por parte do decisor, que poderá utilizar o estudo de maneira completa caso fatores externos ao processo técnico decisório não interfiram na análise. 5 CONCLUSÕES Observou-se que, mesmo utilizando um método estruturado, permitindo a tomada de decisão com credibilidade nos cálculos realizados, a decisão final pertence ao decisor. Muitas vezes, o decisor utiliza outros critérios, pautados nos valores da organização, que extrapolam aqueles elencados. No presente trabalho, os analistas definiram os critérios a partir da metodologia Value Focused Brainstorming, procedimento este que permite mais criatividade e discussão em grupo. Na análise crítica do resultado obtido, verificou-se o equilíbrio obtido entre os critérios e alternativas candidatas à solução. Além disso, percebeuse que o estudo desenvolvido neste trabalho pode ser aplicável para outros estados, uma vez que os critérios e suas propriedades estão perfeitamente definidos, obtidos a partir de interações junto às fontes de informação. REFERÊNCIAS BIBLIOGRÁFICAS GOMES, L. F. A. M. Teoria da Decisão. São Paulo:Thomson Learning, IBGE - INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. IBGE Cidades. IBGE Disponivel em: < Acessado em: 17 abr

14 26 KEENEY, R. L. Value-Focused Brainstorming. Decision Analysis, Baltimore, v. 9, n. 4, p , dez MTE. MINISTÉRIO DO TRABALHO E EMPREGO. ISPER - Informações para o Sistema Público de Emprego e Renda Disponivel em: < Acessado em: 17 abr NASCIMENTO, L. P. A. D. S. Avaliação de desempenho pela AHP através do superdecisions: o Projeto F-X Dissertação (Mestrado em Engenharia Aeronáutica e Mecânica) Programa de Pós-graduação em Engenharia Aeronáutica e Mecânica, Instituto Tecnológico de Aeronáutica- ITA, São José dos Campos. SAATY, T. L. Decision making with the analytic hierarchy process. International Journal of Services Sciences, v.1, p , SAATY, T. L. The Modern Science of Multicriteria Decision Making and Its Practical Applications: The AHP/ANP Approach. Operations Research, Baltimore, 61, p , set./out SILVA, A. C. S.; BELDERRAIN, M. C. N. e PANTOJA, F. Priorização de Projetos de P&D no Setor Aeroespacial: método AHP com Ratings. In: SIMPÓSIO DE APLICAÇÕES OPERACIONAIS EM ÁREAS DE DEFESA, 12, 2010, São José dos Campos. Anais... São José dos Campos: Instituto Tecnológico de Aeronáutica - ITA, 2010.