Avalação de desempenho de programas de pós-graduação com análse de envoltóra de dados Adel Texera de Almeda Flho (UFPE) ataf@ufpe.br Francsco Sousa Ramos (UFPE) fsr@ufpe.br Resumo Este trabalho tem como obetvo avalar o desempenho dos Programas de Pós-Graduação em Engenhara de Produção das Insttuções Federas de Ensno Superor utlzando uma abordagem quanttatva para a avalação de desempenho. Para sto, será utlzada a técnca de Análse de Envoltóra de Dados (DEA), ncorporando na avalação os crtéros e ndcadores crados pela Capes. Palavras chave: DEA, Avalação de desempenho, Avalação da pós-graduação.. Introdução Ao longo dos anos as Insttuções Federas de Ensno Superor (IFES) têm competdo por recursos cada vez mas escassos, cua dstrbução tem sdo feta de acordo com o desempenho, premando as IFES com melhor performance. Esta forma de dstrbução de recursos tem por obetvo estmular estas undades a utlzarem seus recursos de forma mas efcente, obrgando as de menor desempenho a buscar melhoras na utlzação de seus recursos. As avalações de desempenho no setor educaconal mostram-se bastante complexas, devdo à forte ntensdade de subetvdade ncorporada na mensuração dos seus fatores de produção, bem como nos seus produtos e servços. Pode-se afrmar que grande parte da complexdade encontrada neste assunto está relaconada à defnção de quas seram os obetvos ou a fnaldade da nsttução educadora em questão. Ou sea, quas os obetvos ou metas que os gestores destas nsttuções pretendem alcançar, sea qualdade e excelênca no ensno ou apenas gerar números com o mínmo de recursos de modo preudcal à qualdade do ensno em uma dada nsttução. No Brasl a avalação dos programas de pós-graduação é feta pela CAPES Coordenação de Aperfeçoamento de Pessoal de Nível Superor. Os comtês nterdscplnares dentro de cada área de conhecmento defnem crtéros e ndcadores para avalar os programas de pósgraduação. No caso em pauta, de Engenhara de Produção, o comtê responsável é o da grande a área de Engenharas III, untamente com Engenhara Mecânca, Oceânca, e outras. Um dos fortes componentes da avalação da CAPES é a produção bblográfca dos docentes e dscentes dos programas. A fm de apoar a mensuração desta varável, a CAPES dsponblza o Quals, que consste na avalação de revstas, peródcos e outros meos de publcação com o obetvo de classfcar as publcações obtdas por cada programa dentro de sua área de conhecmento. As avalações da CAPES são fetas trenalmente, tendo como consequênca a atrbução de um sêlo a cada programa, que vara de a 5 (no caso em que há apenas mestrado) ou 7 (caso em que há doutorado). Nos programas em stuação desconfortável são fetas recomendações e vstas para que estes possam melhorar o seu desempenho ao longo do trêno. É mportante consderar a forma como é determnado este Conceto. O processo de avalação ENEGEP 2005 ABEPRO 554
é descrto no Documento de Área, dsponível na nternet através do ste da CAPES. Nele, pode-se encontrar os crtéros utlzados para compor os ndcadores utlzados para concetuar cada programa. Alguns tens consderados são avalados qualtatvamente e os demas, são transformados de ndcadores quanttatvos em qualtatvos através de uma escala com cnco classes: Muto Bom, Bom, Regular, Fraco e Defcente, perdendo-se nformações nessa transformação. Neste contexto, este trabalho apresenta uma avalação de desempenho dos Programas de Pós- Graduação em Engenhara de Produção das Insttuções Federas de Ensno Superor utlzando a metodologa DEA com retornos constantes de escala, proposta por Charnes, Cooper & Rhodes (978). Nesta avalação se ateve aos termos da prátca corrente realzada pelos comtês da CAPES e nos documentos dsponblzados. Desta forma consderou-se apenas as varáves que compõem os crtéros de avalação correntes, utlzando uma abordagem quanttatva através do método DEA (Data Envelopment Analyss Análse de Envoltóra de Dados) uma abordagem para calcular efcênca através de problemas de programação lnear (PPLs) cuos resultados avalam o desempenho de undades tomadoras de decsão (Decson Makng Unts DMU s) que, neste caso, são os programas de pós-graduação em engenhara de produção. 2. Análse de Envoltóra de Dados Segundo Fred et al. (993), a efcênca tem duas componentes: uma puramente técnca, correspondendo a capacdade de evtar perdas, produzndo a maor quantdade possível dados os nsumos, ou utlzando a menor quantdade de nsumos para obter um determnado nível de produto, o que leva aos enfoques denomnados de orentação produto ou orentação nsumo; a outra componente é a efcênca alocatva (ou efcênca-preço) que se refere à capacdade de combnar nsumos e produtos, em proporções ótmas, levando se em consderação os preços dos nsumos, ou sea, a efcênca alocatva acrescenta à busca pela efcênca técnca a mnmzação de custos dos produtos e bens ofertados, através da consderação dos preços dos nsumos. Os métodos DEA calculam a efcênca técnca através de programação matemátca para estmar modelos de fronteras de produção e obter escores de efcênca. Esta metodologa é dreconada especfcamente para o caso de fronteras e, no lugar de tentar austar um plano de regressão através do centro dos dados, procura flutuar uma superfíce com fases lneares sobre o topo (ou a base, no caso de função custo) das observações, ou sea, procura construr uma superfíce que envelope os dados (GASPARINI, 2000). O obetvo de DEA consste em comparar um certo número de DMU s que realzam tarefas smlares e se dferencam nas quantdades de nputs que consomem e de outputs que produzem. Há dos modelos DEA clásscos: o modelo CRS (Constant Return of Scale), também conhecdo por CCR (Charnes, Cooper & Rhodes, 978), que consdera retornos de escala constantes, e o modelo VRS (Varable Return of Scale), ou BCC (Banker, Charnes & Cooper, 984), que consdera retornos varáves de escala, não assumndo proporconaldade entre nputs e outputs. O modelo DEA-C (CRS), utlza três hpóteses báscas: Lvre dsponbldade (Free Dsposal), em que se admte que pode haver nefcêncas; Convexdade, onde todas as possbldades de produção podem ser escrtas como combnação lnear dos demas; Rao lmtado, permtndo proporconaldade, ou sea, rendmentos constantes de escala. Dferencando-se do DEA-C, o DEA-V (VRS) admte retornos varáves de escala, para que ENEGEP 2005 ABEPRO 5542
seam consderados ganhos e perdas de escala. Orgnalmente estabelecdo por Charnes, Cooper & Rhodes em 978, o modelo DEA-C traduz esta stuação como um problema de programação lnear. Sua formulação é apresentada no Modelo (I) para cálculo de efcênca de uma DMU, denotada por DMUo : max s = r = u h y v x u, v 0 o sueto a = k k s = r = u y v x o o, k =,..., n, () Em sua formulação matemátca, consdera-se que cada DMU k, k =,..., n, é uma undade de produção que utlza r nputs x k, =,, r, para produzr s outputs y k, =,, s. O modelo DEA-C, apresentado em (), maxmza o quocente entre a combnação lnear dos outputs e a combnação lnear dos nputs, com a restrção de que, para qualquer DMU, esse quocente não pode ser maor que. Assm, para uma DMU 0, ho é a efcênca; x o e y o são os respectvos nputs e outputs da DMU 0 ; v e u são os pesos calculados pelo modelo para nputs e outputs, respectvamente. Medante a transformação proposta por Charnes & Cooper (962), esse modelo pode ser lnearzado, transformando-se em um PPL apresentado no modelo (2). max r = s v x u h y u, v 0 o sueto a o = u k = = s = = r y v x, o k 0, k =,..., n Para que se utlze DEA, é necessáro que se leve em consderação as dferenças entre as DMUs, vsando evtar que estas dferenças as torne ncomparáves. As DMU s analsadas neste trabalho preenchem este requsto, pos tratam-se de programas de pós-graduação em Engenhara de Produção, ou sea, da mesma área. 3. Modelagem do problema Para esta aplcação foram seleconados apenas os programas de Engenhara de Produção das IFES, pos têm uma estrutura nsttuconal semelhante e estão sob as mesmas orentações do seu comtê de avalação. (2) ENEGEP 2005 ABEPRO 5543
A CAPES dsponblza anualmente os dados referentes a estes programas em seu ste na seção AVALIAÇÃO, no lnk Cadernos de Avalação. Trenalmente, a CAPES avala todos os cursos de pós-graduação, assocando um conceto a cada um deles, refletndo o desempenho no trêno passado. Para possbltar uma comparação com o conceto defndo pela CAPES, foram utlzados dados do trêno de 998 a 2000. Isto possblta fazer uma avalação mas equlbrada, pos consderando este ntervalo temporal pode-se compensar o tempo entre a data da defesa e a data da publcação dos artgos, assm como o tempo pelo qual os alunos permanecem lgados ao programa. Como consequênca destas consderações os programas foram avalados através da soma dos resultados obtdos para estes programas durante os 3 anos. Dentre as dversas varáves que poderam ser utlzadas nesta análse foram escolhdas aquelas que melhor representam as entradas e saídas destas DMU s com a perspectva de melhor representar os seus obetvos estratégcos. Contudo, buscou-se também nclur na análse varáves que ncorporassem os crtéros utlzados pela Capes. Nesta fase de defnção de nputs e outputs, é comum o surgmento de dversas dscussões, dadas as nuances em termos de obetvos dos programas. Pode ser vsto como uma prestação de servços, onde as aulas seram os nsumos para a geração de profssonas qualfcados que, após a conclusão com sucesso das dscplnas, fnalzaram com as teses e dssertações. Por outro ângulo, as aulas podem ser consderadas como os produtos geradas pelo trabalho dos professores. Dscussões semelhantes podem surgr trazendo subetvdade nesta fase da avalação, causando desconforto e a não acetação dos resultados. Assm sendo, neste trabalho as DMUs serão analsadas segundo os crtéros utlzados pela CAPES. Portanto, três nsumos mas representatvos foram seleconados: Corpo docente; Número de alunos ngressos; Tempo médo para ttulação; Como produtos, seleconou-se os dos seguntes: Dssertações de mestrado; Publcações. Sem dúvda, o corpo docente é um nput essencal para estas DMU s, assm será usado o mesmo crtéro da Capes para compor esta varável: serão consderados os professores NRD6, com dedcação substancal ao programa, que consta na tabela (P CD 05). Da mesma forma todos os outros dados foram obtdos dos relatóros anuas dos programas. Os dados sobre o número de alunos ngressos no programa é apresentado no relatóro da Capes contendo apenas o número de alunos ngressos no ano base, o número de alunos no níco do ano, e o número de alunos ao fnal do ano base, assm, dferentemente de Lns et al. (2004), concluu-se que sera melhor consderar as dssertações como o número de alunos ttulados, um output dos programas, vsto que estes representam também parte dos resultados das bolsas de mestrado. Estes dados encontram-se na lnha da tabela (P TD 02). O tempo médo para ttulação representa o quanto os alunos usufruram da estrutura do programa, assm como por quanto tempo eles utlzaram estes recursos. Consderou-se esta varável como um nput, e que deve ser mnmzado. Estes dados encontram-se na lnha da tabela (P TD 04 A,C). O número de abandonos é uma varável que quantfca recursos que fcaram ocosos sem gerar resultado algum para o programa, representando uma defcênca no processo seletvo; ENEGEP 2005 ABEPRO 5544
estas perdas devem ser mnmzadas, e foram confguradas como nput para o DEA. Estes números são encontrados na tabela (P FA 0). As publcações são fruto do trabalho de pesqusa feto nestes programas, confgurando também como parte do resultado das teses e dssertações publcadas, consderadas como outputs dos programas. Entretanto, faz-se necessáro consderar a qualdade destas publcações, ou sea, qual o peso de um artgo publcado em um peródco nternaconal ou naconal de boa reputação, comparado a outro de méda reputação. Para compor esta varável serão utlzados os crtéros da Capes para pontuar as publcações no acompanhamento dos programas, utlzando o sstema de qualfcação crado pela Capes, o Quals. O crtéro adotado pela Capes na avalação do trêno 998 2000, encontra-se no Documento de Área para Engenharas III, que calcula um índce de publcações em relação à dmensão do NRD6, assm este output é pontuado da segunte forma: Publcações =.0*Peródcos(Int l. A,B,C e Nac. A,B) + 0.5*Anas(Int l.a,b,c e Nac. A,B) + 3* Lvro +.0*Capt. Lvro + 0.5*Coletânea + 0.5*Trad.Lvro Os tens Lvro, Capítulo de Lvro, Coletânea e Tradução de Lvros foram coletados na tabela (P PB 0a) e os tens Peródcos e Anas na tabela (P PB 05a) do relatóro de programa da Capes. Para o Corpo Docente fo realzada uma méda entre o NRD6 obtdo nos dados referentes aos 3 anos da avalação, sendo feto o mesmo para o Tempo Médo para Ttulação; os demas - Abandonos, Dssertações e Publcações - foram agrupados pela soma dos dados referentes a estas varáves durante os três anos. Para avalação de desempenho não foram ncluídos 3 Programas: UFRN, por não apresentar dados sufcentes para ser avalado nestes três anos; UFRJ e UFSC, pos estes dos programas são muto maores que os outros, são programas mas antgos que á possuem doutorado. Uma pequena análse mostrou que estes dos programas fcaram caracterzados como outlers, podendo, portanto, comprometer os resultados, ao deslocar a frontera de forma artfcal. Assm, a avalação fo feta com os 8 programas restantes, que representam as DMU s do modelo DEA: - UNIFEI, UFF, UFMG, UFPB-JP, UFPE, UFRGS, UFSCAR e UFSM. A Tabela apresenta os dados utlzados no modelo com 8 DMU s, 3 nputs e 2 outputs: DMUS Corpo Docente Tempo. Médo p/ Abandonos Dssertações Publcações Ttulação EFEI 7,333 34,667 2 24 2 UFF 4 48,467 27 57 28 UFMG 8 36,033 39 22 UFPB-JP 9,667 46,667 8 35 4 UFPE 0 2,75 4 27 36 UFRGS 7,667 33,9 2 42 59 UFSCAR 9 38,367 0 62 49,5 UFSM 2,667 26,567 7 70 40 Fonte: Elaboração prórpa a partr do ste CAPES. Tabela Dados utlzados para o modelo DEA-C ENEGEP 2005 ABEPRO 5545
4. Resultados A Tabela 2 apresenta os resultados obtdos para os programas consderados efcentes pelo método e os programas utlzados como referênca para os que foram consderados nefcentes. Estes programas utlzados como referênca podem ser consderados como benchmarks para os programas que não utlzam uma combnação efcente de recursos. Para o cálculo da efcênca relatva entre os programas fo utlzado o modelo DEA com retornos constantes, e o software utlzado fo o DEAP.. O programa da UFSCAR obteve o melhor desempenho, devdo ao nput ABANDONOS, que representa o número de abandonos durante os três anos sob os quas o programa fo avalado, a grande quantdade de professores dsponível neste programa fo ustfcada pelo alto índce de publcações e também pelo elevado número de dssertações defenddas durante este período. Os demas programas consderados efcentes (UFSM, UFRGS, UFMG), possuem este escore devdo à forma como combnaram seus recursos para atgr seus obetvos, sendo o programa da UFRGS o mas apontado como benchmark. O programa da UFPE fo consderado nefcente comparado com o programa da UFRGS, pos este programa utlza melhor o recurso Corpo Docente, ou sea, o Corpo Docente da UFRGS mesmo sendo menor que o da UFPE consegue obter um número relatvamente superor em publcações e dssertações. Contudo, a UFPE apresenta melhor desempenho quando observado o tempo médo para ttulação no programa e sto lhe garante uma posção de destaque na avalação. Devdo ao elevado tempo médo para ttulação que o programa UFF apresenta comparado com os outros programas, este programa é fo consderado nefcente, ocupando uma posção nferor à do programa da UFPE. Contudo, o programa da UFF apresenta um desempenho superor aos demas pos compensa as perdas no tempo médo para ttulação na produção de dssertações e publcações. DMUs Efcênca % Benchmarks EFEI 59,80% UFRGS UFF 84,80% UFRGS, UFSM UFMG 00,00% ---- UFPB-JP 66,0% UFRGS UFPE 95,60% UFRGS, UFSM UFRGS 00,00% ---- UFSCAR 00,00% ---- UFSM 00,00% Fonte: Elaboração própra. Tabela 2 Resultados do modelo DEA-C É nteressante a comparação entre as DMU s apontadas pelo modelo DEA como efcentes e os respectvos concetos defndos pela CAPES. Na análse DEA surgem quatro DMU s como efcentes: UFSCAR, UFRGS, UFSM, UFMG. Pode-se lustrar na tabela 3 uma comparação entre o conceto atrbuído pela CAPES e o nível de efcênca obtdo pelo modelo DEA. ENEGEP 2005 ABEPRO 5546
Programa de Pós- Graduação Conceto Efcênca % UFRGS 5 00,00% UFSCAR 5 00,00% UFMG 4 00,00% UFPE 4 95,60% UFF 3 84,80% UFPB-JP 3 66,0% EFEI 3 59,80% UFSM 3 00,00% Fonte: elaboração própra. Tabela 3 Concetos atrbuídos pela Capes aos programas Os resultados obtdos no método DEA mostram uma forte correlação com os concetos atrbuídos pela Capes: para apenas um programa se obteve um resultado dferente. Pode-se atrbur esta dferença à fatores que levaram a ntervenções por parte dos avaladores da Capes durante a avalação trenal, que não puderam ser captados pelo modelo DEA através dos dados. Com relação aos demas programas, os que obtveram os maores índces de efcênca como UFSCAR e UFRGS, obtveram o maor conceto na avalação da Capes, o mesmo acontecendo com os menores índces, com exceção do programa da UFSM, que fo consderado efcente pelo DEA, entretanto não obteve conceto superor aos demas, nefcentes. A Análse Envoltóra de Dados mostra-se, portanto, uma ferramenta mportante para avalação de desempenho de Programas de Pós-Graduação, pos pode-se relaconar múltplas varáves através de uma análse quanttatva utlzando os crtéros defndos pela Capes. Ressalte-se que este trabalho tem uma sére de lmtações, tas como o número reduzdo de DMU s, os fatores consderados como nsumos e produtos, entre outras. Entretanto, sto não nvablza a utlzação desta técnca: snalza na dreção de que deve-se melhorar o sstema de nformação, buscando captar as nuances e obetvos de cada curso, a fm de que estes elementos seam ncorporados na avalação. Agradecmentos Este estudo fo apoado pelo CNPQ. Referêncas BANKER, R. D., CHARNES, A. & COOPER, W. W., (984) Some Models for Estmatng Techncal and Scale Ineffcences n Data Envelopment Analyss. Management Scence, vol. 30, n. 9, p.078-092. CAPES - Coordenação de Aperfeçoamento de Pessoal de Nível Superor - Engenharas III, Cadernos de Avalação (Relatóro do Programa), 998-2000. Dsponível em: <http://www.capes.gov.br/scrpts/servcos/indcadores/dados/seleconaano.dc>. Acesso em: 04/04/2005. CAPES - Coordenação de Aperfeçoamento de Pessoal de Nível Superor - Engenharas III, Crtéros de Avalação, 998-2000. Dsponível em: <http://www.capes.gov.br/capes/portal/conteudo/2000_03_crtero.pdf>. Acessado em: 04/04/2005. CAPES - Coordenação de Aperfeçoamento de Pessoal de Nível Superor - Engenharas III, Documento de Área, 998-2000. Dsponível em: <http://www.capes.gov.br/capes/portal/conteudo/2000_03_doc_area.pdf>. Acessado em: 04/04/2005. CHARNES, A., COOPER, W. W., (962) Programmng wth Lnear Fractonal Functonals. Naval Research Logstcs Quarterly, vol. 5, p. 57-522. CHARNES, A., COOPER, W.W. & RHODES, E., (978) Measurng the effcency of decson-makng unts. ENEGEP 2005 ABEPRO 5547
European Journal of Operatonal Research, vol. 2, p.429-444. COELI, T., (2002). Wn4DEAP..0, Dsponível em: <http://www.umoncton.ca/deslem/dea/wndeap0.exe>. Acesso em: 9/04/2005. FRIED, H. O., LOVELL, C. A. K. & SCHMIDT, S. S. (993) - The measurement of effcency of producton. Oxford Unversty Press. Oxford. GASPARINI, C. E. (2000) - Uma análse da efcênca na provsão de servços públcos muncpas no estado de Pernambuco. Recfe. 03p. (Mestrado PIMES - Unversdade Federal de Pernambuco). LINS, M.P.E., ALMEIDA, B.F. & BARTHOLO JUNIOR, R. (2004) Avalação de desempenho na pósgraduação utlzando a Análse Envoltóra de Dados: o caso da Engenhara de Produção. Revsta Braslera de Pós-Graduação, vol., n., 4-56. ENEGEP 2005 ABEPRO 5548