087/ UMA AVALIAÇÃO DA QUALIDADE DOS PROGRAMAS DE PÓS-GRADUAÇÃO EM ENGENHARIA COM UM MODELO DA ANÁLISE ENVOLÓTORIA DE DADOS

Transcrição

1 ISSN Ro de Janero- Brasl, 05 e 06 de agosto de SPOLM / UMA AVALIAÇÃO DA QUALIDADE DOS PROGRAMAS DE PÓS-GRADUAÇÃO EM ENGENHARIA COM UM MODELO DA ANÁLISE ENVOLÓTORIA DE DADOS Lelane Louzada Lma Unversdade Federal Flumnense Av. dos Trabalhadores 420, Vla Santa Cecíla, Volta Redonda, Ro de Janero, RJ lelanelouzada@yahoo.com.br Dane Pres Coutnho Unversdade Federal Flumnense Av. dos Trabalhadores 420, Vla Santa Cecíla, Volta Redonda, Ro de Janero, RJ dane.coutnho@gmal.com Lda Angulo Meza Unversdade Federal Flumnense Av. dos Trabalhadores 420, Vla Santa Cecíla, Volta Redonda, Ro de Janero, RJ lda@metal.eemvr.uff.br Resumo Perodcamente são avalados pela CAPES Coordenação de Aperfeçoamento de Pessoal de Ensno Superor os programas de pós-graduação das Insttuções de Ensno Superor. Este artgo tem como objetvo avalar a qualdade dos programas de pós-graduação em Engenhara III. As efcêncas dos programas de pós-graduação serão avaladas do ponto de vsta da produção centífca. Para sso são utlzados modelos de Análse Envoltóra de Dados (Data Envelopment Analyss DEA) que determnam os índces de efcênca das undades em avalação. Neste trabalho serão avalados 27 programas de pós-graduação correspondentes ao grupo de Engenhara III e determnada, também, uma ordenação dos mesmos. Resultados são apresentados e dscutdos, assm como possíves dreções para este trabalho. Palavras-Chaves: Análse Envoltóra de Dados, Avalação de efcênca; Programas de pósgraduação.

2 Abstract Perodcally, CAPES (Coordenação de Aperfeçoamento de Pessoal de Ensno Superor) evaluates the Post-Graduate programs of the Unverstes. Ths work ams to evaluate the qualty of the Post-Graduate programs n Engneerng III Group. The effcences of the Post-Graduate programs wll be evaluated n terms of ther scentfc producton. For ths purpose Data Envelopment Analyss (DEA) models are used to determne effcency ndexes of the unts under evaluaton. Ths work wll evaluate 27 Post-Graduate Programs for the Engneerng group III and we wll determne a rankng for these Programs. Results are presented and dscussed, as well as possble future drectons for ths work. Keywords: Data envelopment analyss, Evaluaton of effcency; Post-graduate programs.. INTRODUÇÃO A Coordenação de Aperfeçoamento de Pessoal de Nível Superor (CAPES) avala trenalmente os cursos de mestrado e doutorado das Insttuções de Ensno Superor do Brasl (IES) no ntuto de estabelecer o padrão de qualdade exgdo dos cursos de pós-graduação e dentfcar os cursos que atendem tal padrão, fundamentar autorzação, reconhecmento e renovação de reconhecmento dos cursos de mestrado e doutorado do Brasl, contrbur para o aperfeçoamento de cada programa de pós-graduação, dotar o país de um efcente banco de dados sobre a stuação e evolução da pós-graduação; etc. Esse artgo tem como objetvo avalar a qualdade dos programas de pós-graduação dos cursos de Engenhara III utlzando os dados dsponblzados pela CAPES. A modelagem de Análse Envoltóra de Dados (DEA) será utlzada para a avalação de tal qualdade, que neste caso é entendda como a capacdade das teses e dssertações se tornarem publcações centífcas. Na prmera abordagem os dados são tratados sem restrções de pesos, o que permte uma análse abrangente da efcênca de cada Undade de Tomada de Decsão (DMU), pos uma DMU pode ser consdera 00% efcente mesmo desconsderando a maora de suas varáves mportantes. Quando as restrções são mpostas ao modelo, segunda abordagem, a qualdade dos programas de pós-graduação é calculada mas de acordo com a realdade, uma vez que produções centífcas nternaconas são mas sgnfcatvas que as naconas, por exemplo. Desta forma, o estudo fo dvddo de forma apresentar uma breve explcação de Análse Envoltóra de Dados (Data Envelopment Analyss DEA) [], voltada a metodologa específca para este trabalho, e, em seguda o modelo DEA CCR sem restrções aos pesos e o modelo com restrções aos pesos é aplcado aos dados de cada IES. Por fm, fo realzada uma análse comparatva entre os resultados obtdos em DEA e os encontrados pela CAPES. 2. ANÁLISE ENVOLTÓRIA DE DADOS (DEA) A Análse Envoltóra de Dados [] é uma metodologa que permte a avalação da efcênca de Undades de Tomada de Decsão, chamada de DMU (Decson Makng Unts), a partr da análse de comparação dessas undades que utlzam múltplos recursos (nputs) e produzem múltplos produtos (outputs). A efcênca relatva de uma DMU é defnda como a razão entre a soma ponderada de outputs e a soma ponderada dos nputs necessáros para gerá-los. Os pesos usados nas ponderações são obtdos a partr de modelos de programação fraconára que atrbu a cada DMU os pesos que maxmzam a sua efcênca. O uso de DEA é nteressante quando se deseja determnar a efcênca das DMU s onde não seja relevante ou não se deseja consderar somente o 2

3 aspecto fnancero [2]. Dos modelos são consderados clásscos em DEA, CCR [] e BCC [3]. O modelo CCR constró uma superfíce lnear por partes não paramétrca, envolvendo os dados e trabalha com retornos constantes de escala, sto é, qualquer varação nos nputs produz varação proporconal nos outputs. Esse modelo é também conhecdo como modelo CRS (Constant Returns to Scale). O modelo BCC consdera retornos varáves de escala, sto é, substtu o axoma da proporconaldade entre nputs e outputs pelo axoma da convexdade. Por sso, esse modelo é gualmente conhecdo como VRS (Varable Returns to Scale). Os modelos de DEA são orentados segundo o fm a que se destnam: quando se deseja manter as saídas constantes, enquanto varam-se os dados de entrada, tem-se o modelo com orentação nput; no caso contráro, quando se deseja manter as entradas constantes ao se varar as saídas, tem-se o modelo com orentação output. São mostrados a segur os modelos lnearzados dos multplcadores () e do envelope (2), do modelo CCR com orentação output. Mn Eff sujeto a s j= s j jo o o = = u y v x 0, k j jk k j= = v,u u y j = r r 0,, j v x Max h n 0 sujeto a x x λ 0, o k k k = h y + y λ 0, j o jo jk k k = λ 0, k k () (2) O modelo envelope tem como característca a determnação de alvos para as DMU s, ou seja, determnam-se metas para todas as varáves que devem ser atngdas para as DMU s classfcadas como nefcentes se tornarem efcentes. Os modelos DEA clásscos permtem total lberdade em relação à seleção dos pesos que darão o máxmo valor de efcênca a uma dada DMU. Essa lberdade é mportante na dentfcação das undades nefcentes, ou seja, aquelas DMU s que apresentam um baxo desempenho, nclusve com seu própro conjunto de multplcadores. A flexbldade (com base no PPL, problema de programação lnear) na escolha dos pesos é uma das vantagens apontadas à modelagem por DEA. Entretanto, os pesos calculados podem ser nconsstentes com os conhecmentos que temos em relação aos valores relatvos de nputs e outputs. Assm, a ncorporação de julgamentos de valor no cálculo das efcêncas surge como uma evolução natural das aplcações de DEA a problemas reas, ou seja, há a necessdade da ntrodução de condções além das de não negatvdade. A ncorporação de julgamentos de valor através de restrções aos pesos pode ser dvdda em três grupos de métodos [4]: restrções dretas sobre os multplcadores; ajuste dos níves de nput-output observados para a captura de julgamentos de valor (regões de segurança I e II) e; restrção a nputs e outputs vrtuas. No prmero caso, restrções dretas aos pesos mpõem lmtes numércos aos multplcadores com o objetvo de não superestmar ou gnorar nputs e outputs na análse, mas esse n 3

4 tpo de restrção pode levar a nvabldade do PPL, já que estabelecer um lmte superor ao peso de um nput mplca em um lmte nferor no nput vrtual do restante das varáves [5]. A outra abordagem, ajuste dos níves de nput-output observados, pede apenas que o decsor ndque uma ordenação de mportânca entre os nputs e outputs consderados, chamados de regões de segurança [4]. Mesmo que essa abordagem anda permta a exstênca de pesos nulos, os julgamentos de valor emtdos são, normalmente, consensuas. Na últma abordagem, é precso ndcar percentuas de mportânca da contrbução de cada varável a varável vrtual. Anda que evte completamente o problema da exstênca de pesos nulos, pode levar a nvabldade dos PPL s. Pelo anterormente exposto, neste trabalho será adotado o método regões de segurança, pos permte comparação entre os pesos das varáves em vez de julgamentos absolutos. Esta abordagem permte um menor problema de nvabldade e, em alguns casos, a correta nterpretação das restrções exge préva normalzação das varáves [6]. Um exemplo de um modelo CCR, orentação nput, com restrções deste tpo pode ser observado no modelo (3). Max Eff Sujeto a r = s I O v x u v v u, v j y u u o j j 0 = = Is s j= j jk j= = r Os 0, j, u j y j v x k 0 0, k (3) 3. ESTRUTURAÇÃO DO PROBLEMA Neste artgo são avaladas 27 (vnte e sete) IES que oferecem programas de pós-graduação no grupo de Engenharas III, no trêno de (nclusve), de acordo com as nformações coletadas pela CAPES [7], com o objetvo de dentfcar as nsttuções efcentes. Também, pretende-se obter uma ordenação das mesmas. As varáves utlzadas serão as mesmas adotadas por Soares de Mello [5] e Soares de Mello [8] na avalação da qualdade das IES. Para tal avalação fo utlzado o modelo CCR [] com orentação output. A escolha do modelo é justfcada no fato de todos os programas de pós-graduação apresentar escalas semelhantes de operação, ou seja, o efeto de escala para cada programa é rrelevante. Já a orentação output deve-se ao fato de não haver possbldade de mnmzar o número de dssertações e teses defenddas. Para obter uma melhor ordenação das nsttuções, foram utlzados modelos com restrções aos pesos, que também permtem ntroduzr dentro dos modelos nformações sobre a mportânca das varáves usadas na análse. 4

5 O software SIAD [9] fo utlzado de forma a auxlar os cálculos necessáros para a aplcação do modelo DEA. As undades seleconadas são representadas por 27 Insttuções de Ensno Superor, sendo estas apresentadas na Tabela. Para a avalação da qualdade centífca, as varáves seleconadas representam as teses e dssertações publcadas e as publcações provenentes dessas teses e dssertações. Como nputs foram escolhdos as Teses de Doutorado (TD) e as Dssertações de Mestrado (DM); como outputs, as publcações em Revstas Internaconas (RI), em Revstas Naconas (RN), em Congressos Internaconas (CI) e Naconas (CN) e Lvros publcados (L). Este modelo mede a capacdade de cada programa de gerar publcações centífcas baseadas nas teses e dssertações defenddas [8]. Os dados utlzados referem-se ao somatóro das varáves para o período compreenddo entre 2004 e 2006 (nclusve). Então, o modelo DEA CCR fo construído a partr de 27 DMU s, 2 nputs e 5 outputs. A Tabela 2 apresenta os valores das varáves. TABELA - Undades de tomada de decsão (DMU s) Sgla Curso Nome completo UNICAMP Engenhara Mecânca Unversdade Estadual de Campnas UFRJ Engenhara Mecânca Unversdade Federal do Ro de Janero ITA Engenhara Aeronáutca e Mecânca Insttuto Tecnológco de Aeronáutca UFSC Engenhara Mecânca Unversdade de Santa Catarna PUC-RIO Engenhara Mecânca Pontfíca Unversdade Católca - Ro de Janero UFRJ Engenhara de Produção Unversdade Federal do Ro de Janero INPE Engenhara e Tecnologa Insttuto Naconal de Pesqusas Espacas Espacas USP/SC Engenhara Mecânca Unversdade de São Paulo - São Carlos UFU Engenhara Mecânca Unversdade Federal de Uberlânda USP/SC Engenhara de Produção Unversdade de São Paulo - São Carlos UFPE Engenhara de Produção Unversdade Federal de Pernambuco UFRGS Engenhara de Produção Unversdade Federal do Ro Grande do Sul USP Engenhara Mecânca Unversdade de São Paulo USP Engenhara (Engenhara de Produção) Unversdade de São Paulo UFSCAR Engenhara de Produção Unversdade Federal de São Carlos UNESP/GUAR Engenhara Mecânca Unversdade Estadual Paulsta Guaratnguetá UFPB/J.P. Engenhara Mecânca Unversdade Federal da Paraíba - João Pessoa UFMG Engenhara Mecânca Unversdade Federal de Mnas Geras UFRGS Engenhara Mecânca Unversdade Federal do Ro Grande do Sul 5

6 UFRJ Engenhara Oceânca Unversdade Federal do Ro de Janero UNIMEP Engenhara de Produção Unversdade Metodsta de Praccaba PUC-RIO Engenhara de Produção Pontfíca Unversdade Católca - Ro de Janero UNIFEI Engenhara Mecânca Unversdade Federal de Itajubá UFSC Engenhara de Produção Unversdade de Santa Catarna USP Engenhara Naval e Oceânca Unversdade de São Paulo UENF Engenhara de Reservatóro e de Unversdade Federal do Norte Exploração Flumnense UNICAMP Cêncas e Engenhara de Petróleo Unversdade Estadual de Campnas TABELA 2 Valores para as varáves. DMU CURSO Inputs Outputs TD DM RI RN CI CN L UNICAMP Engenhara Mecânca UFRJ Engenhara Mecânca ITA Engenhara Aeronáutca e Mecânca UFSC Engenhara Mecânca PUC-RIO Engenhara Mecânca UFRJ Engenhara de Produção INPE Engenhara e Tecnologa Espacas USP/SC Engenhara Mecânca UFU Engenhara Mecânca USP/SC Engenhara de Produção UFPE Engenhara de Produção UFRGS Engenhara de Produção USP Engenhara Mecânca USP Engenhara (Engenhara de Produção) UFSCAR Engenhara de Produção UNESP/GUAR Engenhara Mecânca UFPB/J.P. Engenhara Mecânca UFMG Engenhara Mecânca UFRGS Engenhara Mecânca UFRJ Engenhara Oceânca UNIMEP Engenhara de Produção PUC-RIO Engenhara de Produção UNIFEI Engenhara Mecânca UFSC Engenhara de Produção USP Engenhara Naval e Oceânca UENF Engenhara de Reservatóro e de Exploração

7 UNICAMP Cêncas e Engenhara de Petróleo PRIMEIRA MODELAGEM MODELO DEA CCR SEM RESTRIÇÕES AOS PESOS Como já ctado, essa modelagem avala a qualdade dos programas de pós-graduação de forma benevolente, pos o modelo rá maxmzar o número de DMU s efcentes consderando apenas o conjunto de varáves que contrbuem para tal feto. Os resultados de efcênca e os pesos atrbuídos pelo modelo para as varáves estão representados na Tabela 3. Essa tabela está organzada da segunte manera: de a 3 encontram-se as IES que apresentam pós-graduação em engenhara mecânca, de 4 a 22 as IES que apresentam pós-graduação em engenhara de produção e de 23 a 27 as IES que apresentam pós-graduação em outras engenharas, todas dentro do grupo III. Na Tabela 3, pôde ser observado que exstem de um a cnco pesos nulos para cada DMU. Mesmo sabendo-se que os conjuntos de pesos obtdos pelos modelos DEA não são úncos, pode-se dzer que as varáves estão sendo desconsderadas como crtéros de avalação. Então, torna-se necessáro um refnamento do modelo usado, pos um grande número de crtéros julgados mportantes na avalação podem não estar sendo levados em consderação. TABELA 3 Resultados do modelo DEA CCR, sem restrções aos pesos. DMU Efcênca Pesos (%) TD DM RI RN CI CN L UNICAMP 69,9 0,0034 0,0085 0,005 0,0023 0,0027 0,0002 0, UFRJ 76,7 0,02 0,009 0,0035 0,0000 0,0029 0,0023 0, ITA 00,0 0,023 0,0039 0,0027 0,0000 0,007 0,008 0, UFSC 77,6 0,0060 0,0085 0,0000 0,0000 0,0026 0,003 0, PUC-RIO 00,0 0,023 0,000 0,0038 0,0000 0,0032 0,0025 0, USP/SC 53,4 0,022 0,06 0,0048 0,0000 0,0000 0,0036 0, UFU 00,0 0,0000 0,0222 0,0000 0,0000 0,0000 0,0046 0, USP 70,3 0,0072 0,0088 0,008 0,0032 0,0030 0,0004 0, UNESP/GUAR 82,0 0,0307 0,00 0,0054 0,0056 0,0000 0,0039 0, UFPB/J.P. 8,7 0,0000 0,0408 0,0088 0,0000 0,0000 0,006 0,0808 UFMG 00,0 0,0248 0,0055 0,0000 0,09 0,0025 0,002 0, UFRGS 00,0 0,0309 0,007 0,0022 0,039 0,0029 0,007 0, UNIFEI 98,8 0,075 0,052 0,0090 0,0000 0,0064 0,0074 0, UFRJ 94,0 0,0000 0,0089 0,00 0,0000 0,0000 0,0000 0, USP/SC 00,0 0,0326 0,006 0,0000 0,0000 0,0000 0,0064 0, UFPE 96,9 0,05 0,0046 0,0072 0,0027 0,0000 0,0000 0,652 7 UFRGS 84,5 0,0280 0,04 0,0000 0,043 0,0000 0,004 0,05 8 USP 00,0 0,0000 0,0227 0,0000 0,0065 0,0000 0,0039 0, UFSCAR 00,0 0,082 0,003 0,0000 0,002 0,0000 0,0000 0, UNIMEP 67,5 0,050 0,0086 0,0000 0,0282 0,0000 0,0000 0,73 2 PUC-RIO 63,3 0,04 0,045 0,0066 0,0000 0,0000 0,0000 0, UFSC 00,0 0,038 0,023 0,0000 0,0000 0,0000 0,0067 0, INPE 00,0 0,0000 0,0244 0,0058 0,0000 0,0000 0,0000 0, UFRJ 58,5 0,0589 0,09 0,0070 0,0000 0,005 0,0058 0,0000 7

8 25 USP 76,3 0,252 0,0254 0,049 0,0000 0,007 0,023 0, UENF 00,0 0,067 0,0369 0,0000 0,0506 0,046 0,0000 0, UNICAMP 00,0 0,857 0,002 0,0207 0,0000 0,0073 0,0000 0, SEGUNDA MODELAGEM MODELO DEA CCR COM RESTRIÇÕES AOS PESOS Para este estudo de caso, é recomendada a nclusão de restrções aos pesos no modelo, uma vez que há a necessdade de obter uma melhor ordenação e a ndesejável exstênca de múltplos pesos nulos. Além dsso, exste conhecmento prévo da mportânca das varáves na análse. Assm, fo adotada uma segunda abordagem, usando regões de segurança, com os seguntes julgamentos de valor: para a produtvdade centífca, as publcações em revsta são mas relevantes que as publcações em congresso; as publcações nternaconas são preferíves às publcações naconas; e a publcação em revsta nternaconal é mas mportante que lvros. Com relação aos nputs, consdera-se que as teses de doutorado, pela necessdade de nedtsmo teórco, são consderadas mas relevantes que as dssertações de mestrado [8]. Para a aplcação correta dos pesos, os dados correspondentes às varáves foram normalzados. Com a aplcação do modelo DEA CCR com restrções aos pesos, foram obtdos os resultados da Tabela 4, na qual apresentam-se a efcênca e os pesos de cada DMU. A Tabela 4 apresenta-se organzada semelhante à Tabela 3. TABELA 4 Resultados do modelo DEA CCR, com restrções aos pesos. DMU Efcênca Pesos (%) TD DM RI RN CI CN L UNICAMP 64,8 0,8288 0,8288 0,3079 0,3079 0,3079 0,68 0,049 2 UFRJ 70,7 2,7905,0944 0,6656 0,447 0,6656 0,447 0, ITA 00,0,9606 0,5754 0,4339 0,2863 0,3652 0,2863 0,058 4 UFSC 70,3,6262 0,6378 0,3879 0,247 0,3879 0,247 0,209 5 PUC-RIO 9,2 3,045,275 0,7405 0,463 0,7405 0,463 0, USP/SC 46,5,9579,9579 0,7403 0,460 0,7403 0,460 0, UFU 00,0 2,6282 0,802 0,439 0,439 0,439 0,439 0, USP 66,7,9480 0,6866 0,445 0,422 0,445 0,2225 0, UNESP/GUAR 73,7 3,9206,2366 0,92 0,667 0,667 0,667 0, UFPB/J.P. 6,5 3,4394 3,4394,3838 0,8496 0,8496 0,8496 0,806 UFMG 95, 2,5829 0,7936 0,5499 0,5499 0,5207 0,2953 0, UFRGS 00,0,7980,7980 0,7706 0,348 0,348 0,348 0, UNIFEI 93,5 7,8547 2,205,5733,482,5058,482 0, UFRJ 36,5,4406,4406 0,689 0,5964 0,0000 0,0000 0,689 5 USP/SC 00,0 50,5000 0,0000 0,7534 0,7534 0,7534 0,7534 0, UFPE 78,3 5,7537 0,9699,3776,375 0,0000 0,0000, UFRGS 67, 4,3707,4846 0,7526 0,7526 0,7526 0,7526 0, USP 00,0,3047,3047 0,5393 0,5393 0,292 0,292 0,934 9 UFSCAR 79, 2,4708 0,4388 0,559 0,559 0,0000 0,0000 0, UNIMEP 58,2 4,7695,5434 0,7589 0,7589 0,7589 0,7589 0, PUC-RIO 4,9 9,2478,5589 2,242,8282 0,0000 0,0000 2, UFSC 83, 5,4800,303,2927 0,5436 0,5436 0,5436,2927 8

9 23 INPE 00,0,9373,9373,0000 0,0000 0,0000 0,0000 0, UFRJ 52,6 6,4520,8083,2923 0,9432,2369 0,9432 0, USP 64,8 5,4277 3,848 3,2992,9758 2,7274,9758 0, UENF 00,0 4,9037,9373 3,3504 3,3405 0,0000 0,0000 0, UNICAMP 00,0 8,7547 0,2799 3,5869 0,0000,6463 0,0000 0,0000 Ao se comparar as Tabelas 3 e 4, pode-se observar uma redução no número de DMU s efcentes de doze para oto, como resultado da nclusão das restrções aos pesos e também houve uma redução no número de pesos nulos, observando a exstênca de um a quatro pesos nulos. Fo possível assm, uma melhor ordenação das DMU s e uma avalação mas completa por desconsderar um menor número de varáves. 6. ANÁLISE DOS RESULTADOS As DMU s que se mostraram nefcentes no modelo CCR sem restrções aos pesos, no modelo com restrções aos pesos também não são efcentes, uma vez que ao fazer a melhor combnação de pesos entre suas varáves não é possível obter efcênca máxma. Ao se comparar os dos modelos revela-se que as DMU s PUC-RIO (5), UFMG () e UNIFEI (3), no curso de engenhara mecânca e UFSCAR (9) e UFSC (22), engenhara de produção, apenas foram efcentes no modelo DEA sem restrções aos pesos. Isto ndca que no modelo ncal, estas DMU s eram efcentes devdo a uma combnação muto partcular de pesos. Observa-se que as DMU s ITA (3), UFU (7) e UFRGS (2), engenhara mecânca, USP/SC (5) e USP (8), engenhara de produção, INPE (23), UENF (26), e UNICAMP (27), outras engenharas, são efcentes em ambos os modelos. Esta stuação ndca uma robustez na efcênca. É nteressante observar que dentre estas oto DMU s, nenhuma recebeu conceto máxmo na avalação realzada pela CAPES. As DMUs UNICAMP () e UFRJ (2), no curso de engenhara mecânca foram as que receberam conceto máxmo pela CAPES. Porém, na avalação da efcênca dessas DMU s através de DEA, nos modelos sem e com restrções aos pesos, a UNICAMP () apresentou efcênca nferor a 70% e a UFRJ (2), nferor a 77%, observa-se tal ocorrênca devdo as duas nsttuções apresentarem maor número de dssertações de mestrado defenddas que teses de doutorado e maor partcpação em congressos que revstas. No modelo sem restrções a USP/SC (6), engenhara mecânca, apresentou a menor efcênca (53,4%) e no modelo com restrções aos pesos a UFRJ (4), engenhara de produção, obteve a menor efcênca, 36,5%. Isso ocorreu devdo a USP/SC apresentar uma maor quantdade de artgos completos publcados em revstas que a PUC-RIO. Já pela avalação da CAPES a USP/SC e a UFRJ receberam os concetos 5 e 6, respectvamente. Dentre as nsttuções seleconadas no trabalho, treze apresentam programas de doutorado e mestrado na área de engenhara mecânca, porém apenas cnco apresentam efcênca máxma no modelo sem restrções aos pesos e três no modelo com restrções. Tas DMU s que apresentaram máxma efcênca não são as mesmas que receberam o maor conceto na avalação realzada pela CAPES, que foram UNICAMP () e UFRJ (2). Apesar de ambas nsttuções apresentarem boa partcpação em publcações nternaconas elas têm pouca representação em revstas quando comparadas a congressos. Isso mostra que o modelo de avalação de efcênca em DEA é dferente ao tpo de avalação da CAPES. A DMU USP/SC (6) apresenta a menor efcênca nos dos modelos, anda que não tenha pesos nulos no modelo com restrções, ou seja, desconsderou nenhum crtéro de avalação. Isso prova que esta DMU é nefcente, ndependente no método de 9

10 análse utlzado. Em relação aos nove programas de pós-graduação voltados a engenhara de produção, quatro IES apresentam 00% de efcente no modelo sem restrções aos pesos, USP/SC (5), USP (8), UFSCAR (9) e UFSC (22), e duas (modelo com restrções), USP/SC (5) e USP (8). A DMU PUC-RIO (2) apresentou a menor efcênca no modelo sem restrções e a segunda menor efcênca no modelo com restrções aos pesos. No modelo com restrções aos pesos a partcpação em congressos fo desconsderada e sso sugere que a sua nefcênca pode estar relaconada ao fato de essa DMU apresentar poucas publcações em revstas, mesmo tendo boa partcpação em congressos, uma vez que as publcações em revstas são mas relevantes. A UFRJ (4) apresentou a maor dscrepânca entre suas efcêncas nos dos modelos. No modelo sem restrções a efcênca apresentada é de 94% e no modelo com restrções é de 36,5%, a menor efcênca. Estes valores comprovam que o valor alto de sua efcênca está condconado a uma combnação de pesos muto partcular. A UFRJ apresenta uma quantdade bastante sgnfcatva de nsumos e gera poucos recursos, o que caracterza uma DMU nefcente, e no modelo com restrções aos pesos essa característca fca mas evdente. Cnco nsttuções de ensno superor apresentam programas de pós-graduação na área de engenhara, classfcadas como outras neste trabalho, porém três apresentam efcênca máxma nos dos modelos abordados. Isso mostra a robustez desses programas de mestrado e doutorado. Tas resultados em DEA ocorreram devdo a: o INPE (23) apresenta uma expressva quantdade de artgos completos publcados em revstas nternaconas; a UENF (26) apesar das poucas teses de doutorado defenddas apresenta sgnfcatvas publcações em revstas técnco-centífcas; e a UNICAMP (27) tem consderável partcpação em revstas e congressos nternaconas. As DMUs que não foram efcentes no modelo sem restrções contnuam sendo nefcentes no modelo com restrções aos pesos. 7. CONCLUSÃO Neste trabalho, a ferramenta DEA (Análse Envoltóra de Dados) apresentou grande mportânca para a avalação da qualdade centífca dos programas de pós-graduação em Engenhara do grupo III conforme classfcação da CAPES. As nformações utlzadas para a realzação do modelo DEA com restrções aos pesos são consensuas na comundade centífca, uma vez que os resultados obtdos não estão relaconados com opnões subjetvas e sempre polêmcas dos avaladores. Para um refnamento do modelo DEA clássco, a nclusão de restrções aos pesos permte a consstênca nos resultados, ressalta-se que tal utlzação tornou-se mportante para que o resultado fnal apresentasse os outputs mas relevantes. Ao se observar os resultados obtdos em DEA no modelo sem restrções aos pesos percebese que 2 DMU s foram efcentes, porém quando se restrnge aos pesos esse número dmnu para 8 DMU s, explca-se tal fato devdo à combnação de pesos no modelo clássco permtr total lberdade em relação à seleção dos pesos que darão o máxmo valor de efcênca a uma dada DMU. Cabe destacar que a análse deste trabalho é meramente comparatva a avalação realzada pela CAPES. Propõem-se anda trabalhos futuros com uma análse mas completa, neste caso, nclundo uma análse da produtvdade destes programas de pós-graduação. Esta análse poderá ser realzada de forma semelhante à utlzada por [8], pos relacona a produção de cada programa de pósgraduação com os recursos dsponíves. 0

11 8. REFERÊNCIAS BIBLIOGRÁFICAS [] CHARNES, A., COOPER, W. W. & RHODES, E. Measurng the effcency of decson-makng unts. European Journal of Operatonal Research. Vol. 2, n., p , 978. [2] GOMES, E. G., SOARES DE MELLO, J. C. C. B., SERAPIÃO, B. P., LINS, M. P. E. & BIONDI NETO, L. Avalação de Efcênca de Companhas Aéreas Brasleras: Uma Abordagem por Análse de Envoltóra de Dados.. Panorama Naconal da Pesqusa em Transportes 200. Vol. 2, n., p , 200. [3] BANKER, R. D., CHARNES, A. & COOPER, W. W. Some models for estmatng techncal scale neffcences n data envelopment analyss. Management Scence Vol. 30, n. 9, p , 984. [4] ALLEN, R., ATHANASSOPOULOS, A., DYSON, R. G. & THANASSOULIS, E. Weghts restrctons and value judgements n data envelopment analyss: evoluton, development and future drectons. Annals of Operatons Research. Vol. 73, n., p. 3-34, 997. [5] SOARES DE MELLO, J. C. C. B., GOMES, E. G., ANGULO-MEZA, L. & SOARES DE MELLO, M. H. C. Uma Análse da qualdade e da produtvdade de Programas de Pós-Graduação em Engenhara. Ensao: Avalação e Polítcas Públcas em Educação. Vol. 39, n., p , [6]THOMPSON, R. G., SINGLETON JUNIOR, F. D., THRALL, R. M. & SMITH, B. A. Comparatve evaluaton for locatng a hgh-energy physcs lab n Texas. Interfaces. Vol. 6, n., p , 986. [7] CAPES. CAPES Coordenação de Aperfeçoamento de Pessoal de Nível Superor Acesso em: mao. [8] SOARES DE MELLO, J. C. C. B., GOMES, E. G., ANGULO-MEZA, L., SOARES DE MELLO, M. H. C. & SOARES DE MELLO, A. J. R. Engneerng Post-Graduate Programmes: A Qualty and Productvty Analyss. Studes n Educatonal Evaluaton. Vol. 32, n. 2, p , [9] ANGULO-MEZA, L., BIONDI NETO, L., SOARES DE MELLO, J. C. C. B. & GOMES, E. G. ISYDS - ntegrated System for Decson Support (SIAD Sstema Integrado de Apoo a Decsão): A Software Package for Data Envelopment Analyss Model. Pesqusa Operaconal. Vol. 25, n. 3, p , 2005.