Avaliação de desempenho de instituições federais de ensino superior através da análise por envoltória de dados (DEA)

Transcrição

1 Avaliação de desempenho de instituições federais de ensino superior através da análise por envoltória de dados (DEA) Carlos Eduardo Martins de Oliveira (UNIFEI) João Batista Turrioni, Dr. (UNIFEI) Resumo A avaliação de desempenho de órgãos do setor público tem sido debatida e pesquisada nos últimos anos. Destes órgãos podemos citar as Instituições Federais de Ensino Superior (IFES) que atualmente utilizam os indicadores do Tribunal de Contas da União (TCU) como forma de avaliação de desempenho, porém para uma melhor avaliação comparativa entre estas instituições estes indicadores não podem ser utilizados sem uma técnica adequada. Neste trabalho foi proposto a utilização da análise por envoltória de dados (DEA) como técnica para comparar as IFES, tendo-se como resultado a identificação das IFES relativamente eficientes e ineficientes bem como a definição de metas para que as ineficientes se tornem eficientes em relação às outras. Palavras-chave: Análise por Envoltória de Dados, Indicadores, Medidas de Desempenho, Instituições Federais de Ensino Superior. 1. Introdução A avaliação de desempenho de órgãos do setor público é fundamental para uma melhor gestão dos recursos destinados a estes. Através de sistemas de medição de desempenho podemos avaliar como os recursos estão sendo utilizados e que resultados estes estão gerando, porém sem um determinado referencial não podemos avaliar se estes recursos podem ser melhor empregados. Para isto é necessária a comparação entre órgãos similares, elegendo assim os que fazem um melhor uso dos recursos empregados e que geram melhores resultados através destes recursos. Dentro deste contexto encontramos as Instituições Federais de Ensino Superior (IFES), que são avaliadas pelo Tribunal de Contas da União (TCU) através de nove indicadores. Neste trabalho foi estudo a eficiência das IFES através da comparação dos indicadores do TCU utilizando a técnica da análise por envoltória de dados para eleger unidades relativamente eficientes e ineficientes. Foi utilizada uma metodologia de avaliação do desempenho para as IFES através de sua eficiênca, utilizando a técnica da análise por envoltória de dados (data envelopment analysis - DEA). As unidades básicas de observação foram dezenove IFES. A coleta de dados foi feita através de pesquisa documental dos relatórios de gestão das IFES obtidos nos sites das próprias instituições. Foram escolhidos os dados do ano de 2004 pelas seguintes razões: os dados do ano de 2005 se encontram disponíbilizados por poucas instituições e o ano de 2003 já se encontra um pouco distante do presente. Foram utilizadas apenas dezenove instituições, pois as demais instituições não possuíam seus dados atualizados em seus sites até a data do presente estudo. 2. Sistema de medição de desempenho nas IFES Para uma melhor alocação de recursos e avaliação de desempenho nas instituições é necessário o uso de sistemas de medição de desempenho. Através destes sistemas tem-se uma 1

2 melhor eficiência na tomada de decisão criando e utilizando metas para a gestão. Uma das funções desses sistemas em órgãos públicos é informar à sociedade o desempenho deste órgão podendo-se fazer uma comparação com outros órgãos similares ou de mesma função (OLIVEIRA e TURRIONI, 2006). Através das medidas de desempenho pode-se avaliar, controlar e melhorar processos de produção. Além disso, pode-se utilizá-las para comparar o desempenho de diferentes organizações, departamentos, times e indivíduos (GHALAYINI e NOBLE, 1996). Atualmente as Instituições Federais de Ensino Superior são avaliadas através do Tribunal de Contas da União. O TCU busca através desta avaliação verificar a conformidade nas prestações de contas das IFES, não retratando de forma clara seu real desempenho e necessidades (OLIVEIRA e TURRIONI, 2006). O TCU utiliza nove indicadores para avaliar as IFES, que são (TCU, 2006): 1.A - custo corrente com hospital universitário / aluno equivalente; 1.B - custo corrente sem hospital universitário / aluno equivalente; 2 - aluno tempo integral / professor equivalente; 3.A - aluno tempo integral / funcionário equivalente com hospital universitário; 3.B - aluno tempo integral / funcionário equivalente sem hospital universitário; 4.A - funcionário equivalente com hospital universitário/ professor equivalente; 4.B - funcionário equivalente sem hospital universitário/ professor equivalente; 5 - grau de participação estudantil (GPE); 6 - grau de envolvimento discente com pós-graduação (GEPG); 7 - conceito CAPES/MEC para pós-graduação; 8 - índice de qualificação do corpo docente (IQCD); 9 - taxa de sucesso na graduação (TSG). Os indicadores referentes ao ano de 2004 das dezenove instituições estudas são apresentados na tabela 1. IFES/TCU A 5997,55 7,24 10,13 0,72 0,85 0,10 3,66 3,43 0,85 B 13350,22 9,54 0,91 10,42 1,05 0,12 4,50 4,08 1,02 C 10814,44 10,62 6,14 1,73 0,71 0,01 3,00 2,68 0,54 D 5863,98 15,86 8,55 1,86 1,10 0,03 3,35 3,22 0,84 E 6881,94 17,00 11,83 1,44 0,94 0,07 4,09 3,21 0,51 F 8266,22 12,21 5,88 1,98 0,87 0,07 3,53 3,39 0,73 G 9659,88 10,81 4,52 2,39 0,57 0,14 4,00 3,60 0,70 H 7532,34 14,45 7,24 1,99 0,88 0,09 3,54 3,84 0,67 I 8560,42 12,58 6,02 2,09 0,86 0,19 4,92 3,83 0,84 J 7786,00 12,71 6,97 1,82 0,90 0,15 4,31 3,49 0,58 L 7095,43 14,24 8,79 1,62 0,75 0,25 4,89 3,76 0,59 M 8878,64 9,78 3,91 2,62 0,84 0,24 4,84 3,93 0,45 N 8870,62 13,55 5,16 2,48 0,82 0,10 4,04 3,16 0,65 O 8504,66 6,90 11,01 0,63 0,65 0,01 3,00 2,48 0,41 P 6809,77 10,92 5,50 1,99 0,57 0,04 3,25 2,56 0,69 Q 7910,68 11,63 4,48 2,60 0,86 0,09 3,87 3,43 0,73 R 10297,16 12,92 4,29 3,01 0,77 0,15 3,52 3,64 0,90 S 10777,00 17,67 6,50 2,72 0,77 0,16 4,29 4,35 0,75 T 7712,92 11,92 7,84 1,52 0,75 0,15 3,86 4,16 0,63 2

3 Tabela 1 Indicadores do TCU das IFES do ano de 2004 Fonte: Relatório de Gestão das IFES 2004 Estes indicadores integram o relatório de gestão das IFES por força da Decisão N 408/2002 TCU Plenário (TCU, 2006). Os indicadores utilizados pelo TCU até o ano referente à 2004 não possuiam distinção entre instituições com ou sem hospital escola. Assim os indicadores 1, 3 e 4 eram calculados da mesma forma para ambos tipos de instituições. 3. Análise por envoltória de dados Segundo Borenstein, Becker e Prado (2003) a análise por envoltória de dados foi desenvolvida por Charnes, Cooper e Rhodes em 1978 para avaliar a eficiência relativa de unidades organizacionais, utilizando múltiplas variáveis de entrada e saída. Conforme Mante e O Brien (2002), a DEA é uma abordagem usada em comparações de eficiência de unidades organizacionais como um departamento de autoridade local, escolas, hospitais, lojas, filiais de bancos e onde existir um conjunto relativamente homogêneo de uma unidade organizacional. A DEA é uma técnica de programação matemática para avaliar unidades similares, isto é, que executem a mesma função ou subordinadas a um mesmo órgão controlador. Estas unidades são denominadas unidades de tomada de decisão (decision making units DMU). Através da DEA pode-se determinar quantitativamente a eficiência relativa de cada DMU, identificar origens e quantidades de ineficiência relativa de cada DMU e planejar metas para as diversas entradas ou saídas que maximizem a eficiência de cada DMU (BORENSTEIN, BECKER e PRADO, 2003). De acordo com Kassai (2002), os resultados da aplicação da DEA podem ser sintetizados em: uma superfície envoltória formada pelas unidades de melhor desempenho (eficientes), que passam a formar o conjunto de referência para as demais unidades; uma medida de desempenho, que se traduz na distância de cada unidade à fronteira; e projeções das unidades ineficientes na fronteira, compondo metas para essas unidades. Borenstein, Becker e Prado (2003) apresentam algumas vantagens na utilização da técnica DEA que são: ser uma abordagem não paramétrica, não exigindo uma forma funcional relacionando entrada e saída, poder apontar a eficiência do processo de produção relacionada aos investimentos, e como resultado temos além da análise de eficiência, as metas para possíveis melhoramentos. A técnica da DEA possui diversos modelos que possibilitam várias interpretações. Dentre estes modelos os mais utilizados são (KASSAI, 2002): Modelo CCR: desenvolvido, em 1978, por Charnes, Cooper e Rhodes. Este modelo permite uma avaliação objetiva de eficiência global e identifica as fontes e estimativas de montantes das ineficiências identificadas; Modelo BCC: criado, em 1984, por Banker, Charnes e Cooper. Este modelo distingue entre ineficiências técnicas e de escala, estimando a eficiência técnica pura, a uma dada escala de operações, e identificando se estão presentes ganhos de escala crescentes, decrescentes e constantes, para futura exploração. O modelo CCR foi escolhido neste trabalho para análise das IFES pois presupõe-se que as unidades avaliadas apresentam retornos constantes de escala. Assim admite-se que a produtividade máxima não varie em função da escala de produção. 3

4 4. Avaliação das IFES através da DEA De acordo com Soterior et al. (1998), apesar das dificuldades envolvidas, a avaliação de desempenho de instituições de ensino pode, além de outras, ser usada para definir metas de desempenho, para a tomada de decisão sobre alocação de recursos, e para melhorar todo o desempenho da instituição. Examinar apenas as saídas das instituições de ensino não provê uma visão completa em relação ao desempenho. É importante saber onde a instituição está atualmente utilizando seus recursos de maneira mais eficiente para produzir os resultados desejados (SOTERIOU, 1998). Segundo Mante e O Brien (2002) a análise por envoltória de dados parece ser apropriada para avaliar eficiência de organizações do setor público pois: DEA tem a habilidade de lidar com múltiplas saídas simultaneamente. Isto é importante para organizações não lucrativas; DEA não requer uma pré-especificação de uma forma matemática para a função produção, onde um simples conjunto de parâmetros liga todas as entradas eficientes e níveis de saída. DEA não requer entradas e saídas compatíveis. No presente estudo foram desenvolvidos os seguintes passos: seleção das variáveis de entrada e saída, coleta de dados das variáveis para as instituições estudas, construção do modelo, processamento dos dados e análise dos resultados. As variáveis selecionadas foram os indicadores do TCU por serem empregados por todas as IFES e por ser a forma na qual o governo através do TCU avalia estas instituições. Como variáveis de entrada foram selecionados os indicadores: 1, 2, 3, 4, 5, 6 e 8. As variáveis de saída escolhidas foram os indicadores 7 (conceito CAPES/MEC) e 9 (taxa de sucesso na graduação). Assim através dos indicadores de entrada poderemos analisar quais instituições obtêm melhores indicadores de saída. Para a coleta de dados foi feita uma pesquisa documental nos relatórios de gestão de cada IFES estudada, obtendo-se seus indicadores conforme foi demonstrado na tabela 1. Na fase de construção do modelo foi desenvolvida uma planilha utilizando o software Microsoft Excel, onde foram armazenados os dados dos indicadores e especificados quais eram entrada e saída para o posterior processamento dos dados. O processamento dos dados foi feito através da programação linear utilizando o software Efficiency Measurement System (EMS), o qual é livre para uso acadêmico. Através dos resultados gerados pelo EMS fez-se a análise dos resultados que será discutida mais a diante. O software EMS foi utilizado pela razão de possuir diversas funcionalidades que facilitam seu uso, como ser compatível com as planilhas desenvolvidas em Excel, não necessitando de redigitação de dados caso estes estejam em Excel. Além disso, o EMS permite através de suas configurações a aplicação de diversos modelos da técnica da DEA. A figura 1 demonstra a tela de configuração para a técnica da DEA. Destaca-se aqui a possibilidade de se utilizar os modelos mais comuns da técnica DEA, o modelo CCR através do retorno de escala constante ou o modelo BCC através do retorno de escala variável. Através da orientação podemos definir se a DEA será calculado com orientação à saída ou entrada. 4

5 Figura 1 Tela de configuração do EMS Ao realizar os cálculos o software disponibiliza diversos resultados obtidos através da programação linear como demonstrado na figura 2. Dentre estes resultados podemos citar o índice de eficiência (score), as instituições eficientes e ineficientes, as que são referências (benchmarks), seus valores de referência, e os valores de metas a serem alcançadas para se tornarem eficientes. Figura 2 Tela de resultados da DEA do EMS As IFES foram analisadas através do modelo CCR tanto com orientação para entrada (insumos) como para saída (produtos). Através dos resultados gerados obteve-se cinco instituições ineficientes relativas às IFES estudas tanto com orientação à entrada quanto à saída, sendo estas: F, H, J, S e T. As figuras 3 e 4 demonstram os gráficos dos índices de eficiencia das IFES estudas destacando as relativamente ineficientes. 5

6 Índice de Eficiência A B C D E F G H I J L M N O P Q R S T IFES Figura 3 Gráfico de eficiência das IFES através do modelo CCR Insumo Índice de Eficiência A B C D E F G H I J L M N O P Q R S T IFES Figura 4 Gráfico de eficiência das IFES através do modelo CCR Produto Para o presente estudo foi escolhida dentre as IFES relativamente ineficientes, a instituição T. Para a DEA calculada com orientação à entrada, para a instituição T foram encontradas quatros instituições como referência: A, G, L e O. Através destas referências a instituição T pode atinjir a fronteira de eficiência. Foi calculado a meta de melhoria para cada indicador da instituição T para que esta atinja sua eficiência relativa. O cálculo da meta foi feito através da soma da contrituição de cada referência. A contribuição da referência é feita através do produto da referência e o indicador relacionado à instituição de referência. A tabela 2 resume os cálculos realizados com orientação à entrada. As sugestões referem-se a uma redução de 5,92% no indicador 1 (custo corrente/aluno equivalente), 14,97% no indicador 2, 10,11% no indicador 3, 13,61% no indicador 5 e 20,98% no indicador 8. Com estas sugestões a instituição T pode apresentar os mesmos resultados relativos de saída 6

7 (indicadores 7 e 9 CAPES/MEC e taxa de sucesso na graduação) que as outras instituições tidas neste estudo como eficientes. Assim percebe-se mesmo reduzindo alguns indicadores de entradas, pode-se encontrar os mesmos ou até melhores resultados de saída. Através desta análise deve-se melhor rever a gestão destes recursos (entradas). TCU A G L O Meta T Diferença % Ref. 0, , , , , , , , , ,92 456, , , , , , , ,92 1, , , , , , , ,84 0, , , , , , , ,52 0, , , , , , , ,75 0, , , , , , , ,15 0, , , , , , , ,86 0, , , , , , , ,16 0, , , , , , , ,63 0, ,000 Tabela 2 Resumo dos cálculos com orientação à entrada Tendo a DEA com orientação à saída, obteve-se para a instituição T cinco instituições como referência: A, I, L, O e P. Os valores calculados para esta orientação se encontram na tabela 3. Neste modelo a indicação é de aumento do indicador 7 (CAPES/MEC) de 9,40% e do indicador 9 (taxa de sucesso na graduação) de 4,09% e uma diminuição do indicador 2 de 7,05% e no indicador 8 de 19,70%. Através desta análise percebe-se que para os mesmos valores de entrada, exceto os indicadores 2 e 7 que podem ser até reduzidos, pode-se encontrar melhores valores de saída (indicadores 7 e 9), assim deve-se buscar uma melhor gestão de recursos na instituição pois através da avaliação da DEA percebe-se que estes recursos podem ser melhor empregados. TCU A I L O P Meta T Diferença % Ref. 0, , , , , , , , , , , ,92 0, , , , , , , , ,92 0, , , , , , , , ,84 0, , , , , , , , ,52 0, , , , , , , , ,75 0, , , , , , , , ,15 0, , , , , , , , ,86-0, , , , , , , , ,16 0, , , , , , , , ,63-0, ,088 Tabela 3 - Resumo dos cálculos com orientação à saída O procedimento e a análise feitos para a instituição T devem ser repetidos para cada instituição analisada como relativamente ineficiente. Existem algumas limitações que devem ser consideradas no estudo, que são: as instituições estudadas, pois ao se acrescentar ou excluir do grupo alguma instituição, isto modifica completamente o resultado de análise por se tratar de uma análise relativa, e o mesmo pode ser considerado aos indicadores escolhidos. 7

8 5. Conclusões Decorrente dos resultados alcançados através da aplicação da técnica DEA, é possível avaliar a eficiência relativa das Instituições Federais de Ensino Superior, conforme proposto neste trabalho, permitindo apoiar o planejamento de metas para os diversos indicadores, que maximizem a eficiência de cada instituição. Podemos concluir que a técnica pode ser aplicada às IFES permitindo uma melhor avaliação das instituições e da gestão dos recursos administrados por estas. Percebe-se que é possível ter resultados melhores nos indicadores de saída com valores menores nos indicadores de entrada. Esta análise é possível através da comparação entre as instituições. Além de identificar as instituições ineficientes, foi obtidas metas para melhorar o planejamento e assim aumentar a eficiencia de tais órgãos. Através da DEA foi possível identificar possíveis falhas na gestão de recursos, onde estes ao serem aplicados não traziam resultados melhores ou que para os mesmos resultados podemos ter menores entradas, isto é, menores níveis nos indicadores. Referências BORENSTEIN, D.; BECKER, J. L.; PRADO, V. J. Avaliando a eficiência das lojas da ECT do Rio Grande do Sul. Gestão e Produção, vol.10, n.2, GHALAYINI, A. M.; NOBLE, J. S. The changing basis of performance measurement. Internacional Journal of Operations and Production Management. vol. 16, n.8, pp.63-80, KASSAI, S. Utilização da análise por envoltória de dados (DEA) na análise de demonstrações contábeis. Tese (Doutorado em Contabilidade e Controladoria). Faculdade de Economia, Administração e Contabilidade - Universidade de São Paulo. São Paulo MANTE, B.; O BRIEN, G. Efficiency measurement of Australian public sector organisations the case of state secondary schools in Victoria. Journal of Educational Administration, vol.40, n.30. pp , OLIVEIRA, C. E. M.; TURRIONI, J. B. Medidas de desempenho em instituições federais de ensino superios: um estudo sobre o balanced scorecard. In: ENCONTRO DE ENGENHARIA DE PRODUÇÃO DA UFRJ PROFUNDÃO, 10, 2006, Rio de Janeiro. Anais... Rio de Janeiro: Universidade Federal do Rio de Janeiro SOTERIOU, A. C.; KARAHANNA, E.; PAPANASTASIOU, C.; DIAKOURAKIS, M. S. Using DEA to evaluate the efficiency of secondary schools: the case of Cyprus. International Journal of Educational Management, vol.12, n.2. pp.65-73, TRIBUNAL DE CONTAS DA UNIÃO (TCU). Orientações para o cálculo dos indicadores de gestão: decisão plenária n 408/2002. Brasília