Avaliação da Docente em um Programa de Pós-Graduação Stricto Sensu na Região Sul do Brasil com o uso de Data Envelopment Analysis DEA Autoria: Solange de Lima Barbosa, Wesley Vieira da Silva, Eduardo Damião da Silva, Jansen Maia Del Corso RESUMO Considerando a crescente preocupação dos programas de pós-graduação no Brasil com a elevação do seu conceito, em função dos benefícios diversos que isso acarreta, e a constante pressão sobre a produtividade docente como forma de viabilização desse desejo além de, ainda, como tudo isso depende da eficiência docente em empregar suas competências e recursos no aumento desses resultados, este estudo buscou, por meio da metodologia de análise Data Envelopment Analysis DEA, associar o tempo disponível e a experiência doutoral à produção intelectual do corpo docente de um programa de pós-graduação em uma IES privada instalada na Região Sul do Brasil, com intuito de identificar o nível de eficiência desses docentes e do próprio programa. As constatações permitiram aceitar o tempo disponível como insumo importante para a eficiência docente além de provocar outras discussões correlatas acerca do caso em estudo. 1 INTRODUÇÃO Segundo Paiva (2000) os programas de pós-graduação vêm sendo avaliados no Brasil quase que exclusivamente sob o prisma da qualidade científica necessária para consolidar o ensino de pós-graduação no Brasil, embora a legislação atribua ao Ministério de Educação e do Desporto (MEC) a tarefa de realizar avaliação das Instituições de Ensino Superior (IES) de modo direcionado aos fatores que determinam a qualidade e a eficiência das atividades de ensino, pesquisa e extensão. Para o autor, tal ocorrência se dá devido ao fato dos resultados da avaliação corrente promovida pela Fundação Coordenação de Aperfeiçoamento Pessoal de Nível Superior (CAPES), embora prioritariamente destinada à classificação de programas de ensino de pósgraduação com vistas à alocação de recursos para consolidação desse nível de ensino, estejam sendo empregados também para o credenciamento e recredenciamento desses programas e, pelas próprias instituições de ensino superior que os abrigam, para orientar a implantação e o aperfeiçoamento de seus cursos de pós-graduação. Para Moita (2002), as formas atualmente empregadas para avaliar o desempenho de programas de pós-graduação e, principalmente de professores universitários no Brasil, têm se baseado em aferições condicionadas a padrões pré-fixados pelas agências e instituições que os avaliam que impedem o conhecimento real da eficiência potencial existente no grupo e as peculiaridades que contemplam. Percebe-se a partir de pesquisas já elaboradas sobre o assunto que a eficiência docente não tem sido alvo de análise freqüente, pelo menos, não fora dos limites impostos pelos padrões de atuação e de produtividade exigidos pela CAPES, e o conhecimento acerca dos fatores que a influenciam ou determinam essa eficiência tem ficado desconhecido, o que não é algo bom, visto que sua descoberta poderia fazer muito mais pelos programas e seu corpo docente do que se imagina. A compreensão dos elementos que estimulam ou inibem a produção científica, gerando maior ou menor eficiência docente, auxiliaria os programas na tomada de decisão ao contribuir para que elementos que estejam comprometendo a eficiência e, portanto, limitando a produtividade almejada, possam ser revistos ou adequadamente planejados, gerando melhores resultados para os envolvidos. Segundo Belloni (2000), o conceito de eficiência produtiva está associado aos conceitos de racionalidade econômica e de produtividade material e supõe que ser eficiente é
ser capaz de produzir um máximo de resultados com um mínimo de recursos. Nesse sentido, a produtividade docente estaria associada à quantidade de recursos empregados pelo docente para realizar suas atividades e à quantidade de resultados gerados por essas atividades, variando somente em função de diferenças tecnológicas e condições ambientais adversas de atuação não assumidas no modelo. A identificação de fontes de ineficiência na atividade docente propiciaria a oportunidade de adoção de ações corretivas para eliminá-las levando ao incremento da produtividade do programa. De acordo com Moita (2002), em termos gerais, a eficiência produtiva pode ser observada sob duas abordagens, a da eficiência produtiva e da eficiência alocativa. A eficiência produtiva refere-se à habilidade de se aproveitar de forma maximizada os recursos, evitando desperdícios e produzindo tantos resultados quanto os recursos utilizados ou o máximo de resultado possível com o mínimo possível de recursos. A orientação desse aspecto é a de economia ou uso otimizado de recursos. A eficiência alocativa, por sua vez, refere-se à habilidade de combinar recursos e resultados em proporções ótimas para um nível de produção dado. No caso da avaliação da eficiência docente, a eficiência produtiva faz mais sentido, uma vez que tanto o produto como os insumos são variáveis e determinam padrões de combinação diversos. Considerando a falta de estudos que avaliem a eficiência de programas de pósgraduação a partir da fronteira de eficiência criada pelo desempenho individual de seus membros (ao invés dos padrões impostos por agentes fiscalizadores) e que uma melhor compreensão acerca dos fatores que determinam e influenciam a eficiência docente e das combinações mais eficientes entre grupos de docentes em um programa de pós-graduação podem oportunizar a elevação da produtividade do programa e o estímulo à melhoria de desempenho dos pares avaliados como ineficientes, o presente estudo se formou com o objetivo de avaliar a eficiência dos docentes que compõem o quadro de um programa de pósgraduação stricto sensu de uma IES privada de ensino na Região Sul do Brasil com o emprego da métrica Data Envelopment Analysis (DEA). O trabalho encontra-se dividido em cinco seções que podem ser sumarizados como segue: a primeira refere-se à parte introdutória do trabalho; a segunda traz algumas considerações gerais sobre a avaliação da produtividade docente no Brasil; a terceira refere-se à metodologia da pesquisa; a quarta trata da apresentação e análise dos resultados e a quinta refere-se às considerações finais e recomendações para elaboração de trabalhos futuros. 2 AVALIAÇÃO DA PRODUTIVIDADE DOCENTE NO BRASIL Há décadas, desde a consolidação da CAPES e do Conselho Nacional de Pesquisa (CNPq) como órgãos de regulação e avaliação de programas de pós-graduação no país, o desempenho docente tem sido alvo de avaliação (SINAES, 2004). A produtividade docente, mensurada a partir da produção científica e das atividades de formação discente em nível de mestrado e doutorado, tem sido cada vez mais controlada e cobrada. A quantidade e a qualidade, assegurada pela atenção aos parâmetros estipulados pela comissão, definem o padrão de desempenho esperado do programa e dos docentes que o compõe. No entanto, observa-se que pouca atenção tem sido dada à identificação de como essa produtividade tem sido possível e que recursos têm-na estimulado ou restringido. Segundo Moita (2002), as formas atualmente empregadas para avaliar o desempenho de professores universitários no Brasil, frequentemente encontradas na literatura, baseiam-se, na maior parte do tempo, em opiniões de alunos a respeito do desempenho do professor, em análises feitas pelos pares e a na avaliação do CNPq feita pelos seus comitês assessores. Nestes casos, o desempenho do professor é aferido em função de padrões que são pré-fixados pelas agências e instituições que os avaliam, utilizando critérios e pesos relevantes para o 2
avaliador sem considerar os valores que ele próprio atribui para as diversas atividades que desenvolve no meio acadêmico. Para Costa, Motta e Gutierrez (2006), de um modo geral, a avaliação de desempenho no âmbito da academia é um assunto que têm despertado intensos debates com demonstrações favoráveis e contrárias. Na opinião dos autores, mesmo que se conseguisse consenso sobre a necessidade de avaliação isto não significaria a existência de consenso quanto à maneira pela qual essa deveria ser efetuada. Isso ocorre não só pela ignorância de boa parte da sociedade sobre o assunto, mas também reflete o fato de não existirem, até o momento, métodos de avaliação livres de questionamentos acerca de sua eficácia e isenção. Nas últimas décadas, o governo federal brasileiro vem buscando aprimorar os sistemas de avaliação de desempenho de Instituições de Ensino. No que tange à avaliação docente de Instituições Federais de Ensino (IFE), que acabam sendo empregados como modelos para as instituições privadas também, alguns instrumentos de avaliação têm sido empregados (COSTA, MOTTA, GUTIERREZ, 2006), mas com relativo sucesso, uma vez que tais instrumentos, por meio da gratificação e da concessão de apoio financeiro e material à pesquisa e ao desenvolvimento docente, ainda são balizados por parâmetros de eficiência que estabelecem padrões de produção científica e de atuação acadêmica uniformes ao conjunto de docentes e que consideram a produtividade pelo alcance de metas e não pela eficiência individual em seu processo. 3 METODOLOGIA DA PESQUISA Neste trabalho, o método de pesquisa empregado foi o dedutivo, que é definido por Lakatos e Marconi (1991) como um método pelo qual a busca por soluções parte de teorias ou leis previamente aceitas. Ainda, no que se refere à natureza da aplicação, esse trabalho pode ser caracterizado como uma Pesquisa Aplicada, pois como ressalta Jung (2004, p. 148), a pesquisa aplicada tem por objetivo principal a obtenção de um novo produto ou processo. Nesse tipo de pesquisa são utilizados os conhecimentos gerados por pesquisas básicas como também tecnologias existentes. O autor ainda enfatiza que esse tipo de pesquisa, além de promover a geração de novos produtos e processos, produz também conhecimentos que podem ser disseminados pelos pesquisadores diretamente em empresas, ou por meio de congressos, feiras, seminários ou mesmo manuais técnicos. No que diz respeito aos objetivos da pesquisa, esse trabalho pode ser caracterizado como uma Pesquisa Descritiva, pois, segundo Gil (2002), a pesquisa descritiva estabelece relações entre variáveis por meio da descrição das características de determinado fenômeno ou população. Em relação aos procedimentos para execução da pesquisa, pode-se classificar esse trabalho de pesquisa como um Estudo de Caso em uma organização educacional, mais especificamente um Programa de Pós-graduação Stricto Sensu situado na Região Sul do Brasil. A abordagem por meio do estudo de caso é considerada importante na visão de Jung (2004, p. 158), pois o pesquisador tem como finalidade maior entender como e por que funcionam as coisas. Além disso, como afirma Yin (2001, p. 44) um caso pode ser interpretado como (...) algum evento ou entidade que é menos definido do que um único indivíduo. A pesquisa pode ainda ser caracterizada em função do Tempo de coleta e aplicação (dimensão do tempo). Nesse caso, o referido trabalho pode ser visto como um Estudo Longitudinal porque envolve medições do desempenho dos docentes por meio de uma mesma amostra fixa da população ao longo de um triênio (2004 a 2006). Com isso é possível analisar mudanças ocorridas nas variáveis, durante o intervalo de tempo determinado (MALHOTRA, 2004). 3
Em relação aos Procedimentos Técnicos utilizados, esse trabalho de pesquisa pode ser classificado como uma Pesquisa com Delineamento Ex-post facto que, segundo Gil (1994) refere-se aos experimentos realizados após a ocorrência dos fatos e, sendo assim, o pesquisador não tem controle sobre as variáveis analisadas. Na descrição do caso em estudo, verificou-se que o programa foco dessa análise possui seis anos de funcionamento e conta com uma equipe de 19 professores doutores. Para este estudo foram considerados apenas 14 deles em função dos demais estarem retornando de licenças outorgada pela IES em meio ao triênio de avaliação da CAPES, o que impediria a comparação adequada dos mesmos. Para a análise descritiva dos dados foi utilizado o pacote estatístico SPSS, pelo qual foi possível apresentar a caracterização da amostra e suas variáveis no que tange à distribuição de freqüência e medidas de variabilidade, desvio-padrão, mínimos e máximos da amostra (BISQUERRA, SARRIERA, MARTINEZ, 2004). Já para a análise da eficiência, objetivo principal do estudo, foi utilizada a métrica denominada de Análise Envoltória de Dados (DEA) por meio da ferramenta solver de uma planilha eletrônica. Para o uso dessa métrica os dados acerca dos docentes foram transformados com vistas a manter dimensões passíveis de relacionamento e também com intuito de criar proxies mais eficazes para a produção docente e para os fatores insumos. Os detalhamentos das variáveis e dos procedimentos para sua obtenção são apresentados na próxima seção. O método DEA (Data Envelopment Analysis) ou Análise Envoltória de Dados foi escolhido para o estudo em face de suas propriedades analíticas e resultados que permite angariar. Segundo Belloni (2000), o objetivo dessa métrica é o de verificar se unidades produtivas operam de maneira adequada quando observada a relação entre um elenco específico de recursos utilizados e de resultados obtidos em unidades consideradas similares por seus administradores, sem a necessidade de conhecer, a priori, qualquer relação de importância (pesos) entre as variáveis consideradas. De acordo com Beckenkamp (2002 p. 15), a Análise Envoltória de Dados DEA, é uma técnica não-paramétrica que emprega programação matemática para construir fronteiras de produção de unidades produtivas DMU s que empregam processos tecnológicos semelhantes para transformar múltiplos insumos em múltiplos produtos. As fronteiras de eficiência criadas pelo modelo são empregadas para avaliar a eficiência relativa dos planos de operação executados pelas DMU s, servindo também como referência para o estabelecimento de metas eficientes para cada uma delas. A principal finalidade da Análise por Envoltória de Dados (DEA) seria, portanto a de estimar as eficiências dos planos de operação executados por unidades produtivas homogêneas, que usam um mesmo conjunto de recursos para produzir um mesmo conjunto de resultados, por meio de processos tecnológicos similares (BELLONI, 2000; MACEDO, 2004; PEREIRA, 1995; MELLO at al., 2004). Conforme apresentam Beckenkamp (2002), Lapa e Neiva (1996) e Paiva (2000), esse método de análise é apropriado para avaliar a eficiência de organizações cujas atividades não visam lucros ou para as quais não existem preços pré-fixados para todos os insumos ou todos os produtos. Como não há preços que estipulem pesos e restrições à combinação dos fatores, a identificação das taxas de substituição entre insumos e das taxas de troca entre produtos fica prejudicada e, diante disso, o método promove a identificação dos pesos multiplicadores relativos ao conjunto de DMU s avaliadas. Desse modo, as taxas de substituição e as taxas de troca acabam não sendo as mesmas para todas as unidades produtivas. Mais ainda, como sustentam Lapa e Neiva (1996), tais características tornam o método DEA apropriado para a realização de avaliação institucional de universidades públicas e privadas, bem como de unidades acadêmicas, como centros de ensino e de pesquisa. De acordo com Moita (2002), a utilização de DEA para o cálculo da eficiência relativa de um professor dentro de um programa ou de uma universidade requer como referência um 4
conjunto de outros professores com comportamento acadêmico similar na seleção das atividades desenvolvidas. Conceituando formalmente a eficiência técnica mensurada pelo DEA, é preciso considerar a atividade docente como um sistema de produção que transforma N recursos, representados pelo vetor de quantidades X = (x 1, x 2,...x N ) R N, em M resultados, cujas quantidades são representadas em um vetor Y = (y 1, y 2,...,y M ) R M. Esses vetores determinam um plano de operação descrito pelo vetor (x, y) R N+M. Quando observados K planos descritos pela produção observada de K docentes, obtém-se como resultado uma matriz de eficiências individuais relativas à eficiência do grupo que pode ser expressa, individualmente, pela expressão (1) M 0 j= 1 r = N P (1) q X i= 1 p i j Y 0 j 0i onde: i: quantidade do recurso empregado; j: quantidade de resultado com ele produzido; p e q: são vetores de pesos utilizados para a agregação dos recursos e dos resultados do professor avaliado; Pr 0 : é a medida de produtividade do professor em avaliação. A associação de um conjunto de pesos específicos para cada docente permite a definição de uma medida de produtividade específica determinando um vetor de pesos (p, q), que corresponde às taxas de substituição técnicas entre os recursos e entre os resultados. Dessa forma, os pesos (p, q) podem reproduzir a utilidade que o professor atribui ao plano de produção por ele realizado (MOITA, 2002). A determinação dos pesos do docente sob avaliação pode ser encontrada maximizando-se o valor da produtividade relativa E 0 por meio do problema de programação matemática denotado em (2). Max : E 0 M j= 1 = N i= 1 p Y i j 0 j q X 0i (2) Onde as restrições são: E j 1, ou seja, a eficiência docente seja igual ou menor a 1; e os vetores de pesos de recursos e resultados p j e q i sejam > 0. Segundo a métrica DEA, os docentes 100% eficientes (E j = 1) transformam-se em parâmetros para o modelo, ou seja, constituem a fronteira de eficiência e todos os demais são avaliados em função deles. De acordo com Moita (2002), para cada desempenho ineficiente a técnica DEA identifica um conjunto de desempenhos eficientes que formam um grupo de referência para análise da eficiência do docente em avaliação. Essas unidades de referência determinam uma faceta da fronteira de eficiência que representa o benchmark do professor avaliado, enquanto seus pesos ótimos representam as taxas de substituição das relações entre as variáveis. Deste modo, a autora entende que cada faceta determina a utilidade que os professores que a compõem atribui aos seus insumos e produtos. Os professores então são 5
agrupados conforme a ênfase própria atribuída às suas atividades, respeitando seu interesse particular e dedicação peculiar às atividades de ensino, pesquisa, extensão e (ou) gestão. 3.4 Descrição das variáveis Para o emprego da Análise Envoltória de Dados (DEA) é preciso classificar o conjunto de variáveis envolvidas em variáveis de entrada (inputs) e variáveis de saída (outputs). São consideradas variáveis de entrada os fatores de produção na análise e de saída os resultados por esses produzidos. Na avaliação da eficiência de docentes pesquisadores, os produtos que podem ser observados envolvem a própria natureza do trabalho universitário que são o resultado em pesquisa, ensino e extensão. Como sugerem os parâmetros de avaliação de desempenho de programas de pós-graduação sticto sensu propostos pela CAPES (2005), a produção científica publicada e o conjunto de dissertações e teses produzidas são os principais elementos de propulsão do desempenho dos programas e, sendo assim, no nível individual, expressam o nível de qualidade do corpo docente, ou seja, seu desempenho. Neste estudo, como variáveis de output, foram considerados os produtos visados pelo trabalho docente o desempenho em pesquisa e o desempenho em orientação acadêmica, visto que as atividades de extensão apresentam maior dificuldade de aferição individual. Como proxy para o desempenho em pesquisa foi adotada a pontuação docente no conjunto de publicações obtidas nos diferentes meios classificados pelo Qualis, no triênio 2004-2006. O Sistema Qualis é o resultado do processo de classificação dos veículos utilizados por programas de pós-graduação para a divulgação da produção intelectual de seus docentes e alunos (CAPES, 2005). Nele, os periódicos científicos são enquadrados em categorias indicativas da qualidade - A, B ou C e do âmbito de circulação dos mesmos (internacional, nacional ou local). As combinações dessas categorias terminam por compor nove alternativas indicativas da importância do veículo utilizado que sugere, por conseqüência, o padrão dos trabalhos neles divulgados. Como indicador para o desempenho em orientação acadêmica foi empregado o conjunto de dissertações defendidas, também no triênio 2004-2006. Esse dado foi coletado em relatório próprio do programa e considerou as dissertações concluídas e defendidas dentro do triênio. Esses dois indicadores, a produção científica publicada e a produção acadêmica orientada e defendida, representaram os outputs do modelo, ou seja, o resultado produtivo da atividade docente. Na outra ponta do modelo, como variáveis de input, considerou-se como principais insumos para a produção docente o tempo dedicado às atividades e a experiência acumulada, que permite melhor aproveitamento desse tempo ou melhor resultado em função do mesmo tempo empregado. Como proxy para a experiência acumulada adotou-se o número de anos de doutor. A expectativa é a de que, com o tempo, a experiência acumulada promova efeito nos resultados produtivos do docente em termos de melhor emprego do tempo disponível na produção de maior quantidade e qualidade como, por exemplo, a conquista de publicações em meios de maior pontuação no Sistema Qualis. Como indicador de tempo de dedicação empregou-se uma variável construída a partir da relação entre a carga horária disponibilizada pela IES para a pesquisa e o trabalho de orientação e as demais atividades docentes que consomem regularmente frações dessa carga horária, como a participação em bancas examinadoras de pós-graduação e de graduação, horas administrativas, orientação de trabalhos de graduação e a condução de disciplinas na graduação e pós-graduação. A Figura 1 retrata resumidamente as variáveis consideradas na análise. 6
Figura 1: Descrição das variáveis de entrada e saída INPUTS OUTPUTS Tempo Disponível para produção científica e acadêmica Carga Horária docente menos: - tempo dedicado a atividades na graduação - tempo dedicado à participação de bancas examinadoras - tempo dedicado à condução de aulas na graduação e na pósgraduação - tempo dedicado a atividades administrativas Experiência como doutor Produção científica e acadêmica - Publicações em eventos nacionais e internacionais - Publicações em periódicos nacionais e internacionais - Publicações em livros - Dissertações de mestrado orientadas e defendidas Para a construção da variável tempo foi empregada a seguinte metodologia: Considerou-se a carga horária total docente excetuadas as horas de envolvidas em condução de aulas na graduação. No caso da IES em estudo, todos os docentes dos programas de pós-graduação stricto sensu possuem 40h como carga horária total empregadas no regime 32-8 (32 horas no programa e 8 na graduação). Considerou-se, portanto, 32 horas disponíveis para atividades no nível de pós-graduação; Dessas 32 horas são ainda empregadas frações para a condução de aulas no stricto sensu. Uma vez que os docentes podem ministrar disciplinas de 45 ou 30 horas ao longo do ano e que o registro das disciplinas usado como fonte de dados para este estudo somente permitiu acesso ao número de disciplinas e não à sua carga horária, considerou-se a média de 37,5 horas para cada disciplina ministrada. Para obter o tempo disponível do docente calculou-se o número de horas detido pelo professor no triênio (32*4,5*36) e dele se subtraiu o número de horas empregadas em condução de disciplinas no período; O docente ainda emprega, da carga horária restante, frações de tempo em participação de bancas de defesa de dissertações de mestrado e de monografias de graduação. Para efeitos deste estudo, considerou-se emprego médio de quatro horas para as bancas de pósgraduação e duas horas para as bancas de graduação. Das horas docentes disponíveis no triênio após os descontos para as aulas e participação em bancas ainda foi preciso retirar a fração de tempo destinada a atividades administrativas. Dado a realização deste aspecto, obteve-se o tempo total disponível no triênio para a produção científica e acadêmica (considerada aqui como a produção de dissertações defendidas). Após a construção da variável ela foi ajustada para o lançamento no modelo por meio da transformação em carga horária média semanal disponível. Essa transformação permitiu visualizar melhor e compreender a variável como variável de entrada. A primeira constatação foi a de que, das 32 horas originais (as 40 excetuando as horas obrigatórias em graduação), esse grupo de docentes emprega uma média de 27,15 horas para as atividades de produção científica e acadêmica. Para a variável experiência, foi utilizado o número integral de anos de conclusão do doutorado pelos docentes em análise. Esse dado foi obtido a partir de consulta ao currículo Lattes do docente (CNPQ, 2007). 7
No que tange às variáveis de saída ou de produto, os dados foram obtidos por meio de consulta aos relatórios do programa de pós-graduação que apresentavam as defesas de dissertações realizadas no triênio de avaliação da CAPES e o relatório de produção científica docente, já em formato de pontuação mediante os critérios do Sistema Qualis. 4 APRESENTAÇÃO E ANÁLISE DOS RESULTADOS Como já comentado, participaram do estudo 14 dos 19 docentes pertencentes ao programa de pós-graduação da IES. Os cinco docentes excluídos não fizeram parte da amostra pelo fato de terem sua entrada no programa durante o triênio, o que tornaria prejudicial a comparação. A Tabela 1 apresenta a distribuição dos dados coletados. Tabela 1: Apresentação dos dados e caracterização da amostra Docentes Número de Disciplinas Stricto Número de Bancas Mestrado Número de Bancas Graduação Dissertações defendidas Produção Científica Número de Anos Doutor CH Administrativa Tempo Ajustado P1 28 11 3 1 128 5 0 25,21 P2 9 5 2 5 79 11 0 29,77 P3 6 10 4 7 57 6 10 20,31 P4 9 3 0 4 27 6 0 29,84 P5 18 5 12 5 85 16 0 27,56 P6 24 19 0 9 46 12 0 25,98 P7 12 5 15 5 124 11 0 28,91 P8 6 4 9 2 90 7 0 30,40 P9 14 11 35 4 71 9 0 28,06 P10 6 9 0 5 59 24 0 30,39 P11 18 5 0 3 67 14 0 27,71 P12 27 3 17 2 139 10 0 25,47 P13 6 16 13 6 62 5 0 30,06 P14 6 4 0 3 21 22 10 20,51 O Gráfico 1 evidencia que a média de disciplinas conduzidas no triênio por docente foi de 13,5, o que equivale ao emprego de 506,25 horas. Somente três docentes apresentaram número de disciplinas muito superior ao padrão médio da equipe, porém, cinco deles apresentaram-se na quantidade mínima de oferta de disciplinas. Gráfico 1: Número de disciplinas no Stricto Sensu conduzidas pelos docentes 30 25 20 15 10 5 0 28 27 24 18 18 14 12 9 9 6 6 6 6 6 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 Docentes 8
O Gráfico 1 ainda retrata que a maior parte da equipe de professores (58%) concentrou a oferta em quantidades moderadas de disciplinas. A participação em bancas de mestrado pelos docentes também seguiu distribuição similar (Gráfico 2). Mais da metade da equipe de professores (57%) obteve participação no nível mínimo. Gráfico 2: Distribuição de docentes quanto à participação em bancas de Mestrado 14% 0% 29% 57% Até 6 Entre 7 e 13 Entre 14 e 20 Acima de 20 No que tange à produção científica, o desvio padrão elevado revela grande diferença entre o desempenho da equipe, tendo três dos 14 docentes alcançado uma pontuação acima dos 100 pontos enquanto 57,14% concentra-se abaixo da média (Tabela 2 e Gráfico 3). Tabela 2: Estatísticas descritivas dos dados Descriptive Statistics N Minimum Maximum Mean Std. Deviation Disciplinas no Programa 14 6 28 13,5 8,1689 Bancas de Mestrado 14 3 19 7,8571 5,0055 Bancas de Graduação 14 0 35 7,8571 9,9912 Dissertações Defendidas 14 1 9 4,3571 2,1342 Produção Científica 14 21 139 75,3571 35,6643 Experiência Doutor 14 5 24 11,2857 5,9927 Carga Horária Adm 14 0 10 1,4286 3,6314 Tempo Disponível 14 20,31 30,4 27,1514 3,3596 FONTE: Extraído do SPSS 13.0. Observe-se, com base na Tabela 2, que o menor desvio padrão obtido refere-se à quantidade de dissertações defendidas cujo valor é igual a 2,13. Embora a diferença entre o mínimo e o máximo seja significativa, a maior parte dos docentes apresentou desempenho em torno da média. Gráfico 3: Distribuição de docentes quanto à pontuação em produção científica no triênio 21% 14% 21% 44% Até 30 Entre 31 e 60 Entre 61 e 90 Acima de 90 9
Com relação às variáveis de entrada, o tempo médio de experiência como doutor nessa equipe de professores é de 11,3 anos. Vê-se que o docente mais experiente possui 24 anos, enquanto o menos experiente possui cinco anos, conforme evidencia o Gráfico 4. Gráfico 4: Distribuição de docentes quanto ao número de anos de atuação como doutor 14% 14% 29% 43% Até 6 Entre 7 e 13 Entre 14 e 20 Acima de 20 O Gráfico 5 retrata que o tempo disponível variou de 20,3 horas semanais a 30,4 horas. Os docentes com tempo disponível mais elevado situaram-se muito próximos da carga horária máxima docente envolvida no programa (32h), o que revela que estão menos envolvidos em atividades de graduação e demais áreas correlatas ao ensino na pós-graduação. Dos 14 docentes pesquisadores em estudo, cinco deles apresentam tempo disponível muito próximo do limite superior observado. Gráfico 5: Distribuição de docentes em função do tempo disponível para envolvimento na produção intelectual 35,00 30,00 25,00 20,00 15,00 10,00 5,00 0,00 29,77 25,21 29,84 28,91 30,40 27,5625,98 28,06 30,39 30,06 27,71 25,47 20,31 20,51 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 Docentes 4.2 Resultados obtidos a partir da modelagem Data Envelopment Analysis A análise da eficiência docente por meio da técnica de Análise Envoltória de Dados (DEA) permitiu identificar que, na relação proposta de tempo disponível e experiência como doutor como base para a produtividade docente em produção científica e acadêmica, cinco dos docentes da amostra (P1, P3, P6, P12 e P13) mostraram-se eficientes a 100% e um (P7) apresentou eficiência bem próxima de 100%, tal como pode ser visto na Tabela 3. A observação dos dados individuais permitiu constatar que os docentes com maior eficiência combinam baixo ou médio tempo de experiência como doutor e menores quantidades de tempo disponível em relação aos demais para produzir maior pontuação em produção científica. Somente dois deles apresentaram pontuação abaixo da média. No entanto, esses compensaram a produção abaixo da média com dissertações defendidas acima da média. Da mesma forma ocorreu com aqueles que possuíam número de dissertações 10
defendidas em nível muito abaixo da média, compensaram o desempenho com elevação na produção científica. A análise também revelou docentes com eficiência muito baixa. Um deles, o docente P14, que apresentou o menor coeficiente (0,4236) possui a segunda maior experiência do grupo e uma das menores faixas de tempo disponível, porém apresenta também o menor desempenho em publicação científica e um dos mais baixos desempenhos em dissertações defendidas. Isso significa que esse docente tem sub-aproveitado os recursos de que dispõe. Outros docentes com baixa eficiência apresentaram comportamentos similares, altos montantes de tempo disponível gerando baixa produção científica não compensada também por dissertações defendidas. Um caso curioso, o docente P8, apresentou o quarto melhor desempenho em publicações e foi considerado ineficiente. Na observação mais atenta, percebe-se que ele possui a maior posição em tempo disponível e acumula ainda pouca experiência como doutor, significando que a combinação do tempo disponível e resultados promovidos, sobretudo em dissertações defendidas (apenas duas no triênio), revelam que há, em comparação com o desempenho da equipe, potencial sendo desperdiçado pelo docente. Tabela 3: Resultados da análise de eficiência com a Data Envelopment Analysis Resultados (outputs) Insumos (Inputs) Produto Insumo DEA Professores Dissertações Diferença Publicações Tempo Experiência Ponderado Ponderado Defendidas P1 1 128 25,2099 5 0,1723 1,2290-1,0567 1 P2 5 79 29,7685 11 0,7172 1,4512-0,7340 0,693514 P3 7 57 20,3148 6 0,9904 0,9904 0,0000 1 P4 4 27 29,8426 6 0,5645 1,4549-0,8904 0,561721 P5 5 85 27,5617 16 0,7188 1,3437-0,6249 0,783922 P6 9 46 25,9753 12 1,2663 1,2663 0,0000 1 P7 5 124 28,9136 11 0,7288 1,4096-0,6808 0,963387 P8 2 90 30,4012 7 0,3019 1,4821-1,1802 0,637103 P9 4 71 28,0556 9 0,5758 1,3677-0,7919 0,640483 P10 5 59 30,3889 24 0,7121 1,4815-0,7694 0,573907 P11 3 67 27,7099 14 0,4354 1,3509-0,9155 0,560354 P12 2 139 25,466 10 0,3145 1,2415-0,9270 1 P13 6 62 30,0556 5 0,8523 1,4652-0,6130 1 P14 3 21 20,5123 22 0,4236 1,0000-0,5764 0,423564 Outras três rodadas de análise foram feitas no intuito de testar se as variáveis envolvidas estavam de fato sendo adequadas para avaliar a eficiência dos docentes e também de investigar se a eficiência média do programa, por meio da eficiência de sua equipe de professores, poderia variar se fossem alteradas as variáveis de entrada e de saída. Em face de se ter constatado que a produção científica do docente, em alguns dos casos, apresentou maior peso na determinação da eficiência, decidiu-se, em um primeiro momento assumir como output somente essa variável e embutir as dissertações defendidas dentro do tempo dedicado às demais atividades, atuando assim como redutor do tempo disponível do docente e, portanto, elevando o potencial de eficiência do mesmo. Foi considerada uma média de três horas semanais sendo empregadas na orientação desses trabalhos, e incorporado o total de horas envolvidas com elas no triênio no cálculo da variável tempo. Os novos valores podem ser visualizados na Tabela 4. 11
Com essa alteração de concepção, a média de tempo disponível caiu de 27,15 para 23,52 horas. Os valores mínimos e máximos também foram reduzidos de modo significativo, tal como pode ser evidenciado na Tabela 5. Tabela 4: Resultados da análise de eficiência com o DEA (2ª rodada) Resultados (outputs) Insumos (Inputs) Produto Insumo DEA Professores Dissertações Defendidas Publicações Tempo Experiência Ponderado Ponderado Diferença Rodada 2 P1 128 24,377 5 1,2167 1,3533-0,1366 1 P2 79 25,602 11 0,7509 1,4214-0,6704 0,5283316 P3 57 14,481 6 0,5418 0,8040-0,2622 0,6757845 P4 27 26,509 6 0,2567 1,4717-1,2151 0,191842 P5 85 23,395 16 0,8080 1,2988-0,4909 0,6220791 P6 46 18,475 12 0,4373 1,0257-0,5884 0,4263017 P7 124 24,747 11 1,1787 1,3739-0,1952 0,8579294 P8 90 28,735 7 0,8555 1,5953-0,7398 0,5847351 P9 71 24,722 9 0,6749 1,3725-0,6976 0,5050301 P10 59 26,222 24 0,5608 1,4558-0,8950 0,3852418 P11 67 25,21 14 0,6369 1,3996-0,7627 0,4550457 P12 139 23,799 10 1,3213 1,3213 0,0000 1 P13 62 25,056 5 0,5893 1,3910-0,8017 0,484375 P14 21 18,012 22 0,1996 1,0000-0,8004 0,1996181 Tabela 5: Análise comparativa do tempo disponível com e sem o cômputo das horas de orientação de dissertações Análise 1 Análise 2 Média 27,15 23,52 Mínimo 20,31 14,48 Máximo 30,40 28,73 Desvio Padrão 3,36 3,87 Sob os novos parâmetros, somente dois docentes P1 e P12 puderam ser considerados eficientes a 100%. Todavia, esses também o foram na análise anterior. O que mudou foi o fato de que docentes que estavam sendo considerados eficientes mediante organização de variáveis no processo anterior estão agora sendo considerados ineficientes, que é o caso dos docentes P3, P6 e P13 (Tabela 6). Considerando a produção acadêmica como parte do insumo e não como resultado, a eficiência da equipe é reduzida e média geral cai de 0,7741, da primeira rodada, para 0,5655 na segunda. Observa-se que os docentes considerados eficientes continuam o sendo pelas mesmas razões anteriores, a de apresentarem melhor combinação entre experiência, baixa quantidade de horas disponíveis e alta produção científica. A redução significativa dos coeficientes não sustenta a impressão anterior de que o melhor aproveitamento do tempo disponível para elevação de produção científica é o mais forte indicador de eficiência, visto que a reação natural com a queda da média geral de tempo disponível no grupo deveria provocar elevação da eficiência geral; ocorreu justamente o contrário. Como foi mantida inalterada a variável experiência, a conclusão que se chega é de que a eficiência docente não é advinda apenas da combinação equilibrada de tempo disponível associado à experiência na produção 12
maximizada de produção científica, mas, dessa produção aliada à produção acadêmica (conjunto de dissertações defendidas). Quando se avalia somente a produção científica, a eficiência relativa no grupo é reduzida. Tentando verificar se a experiência interfere de fato na análise da eficiência, foram feitas duas novas rodadas, uma considerando como input somente a variável tempo disponível e outra em que se considerou como insumo somente a experiência. Em ambas a variável de saída, a quantidade de dissertações defendidas, foi retomada. Tabela 6: Análise comparativa da eficiência docente nas rodadas 1 e 2 considerando a alteração das variáveis DEA DEA DEA DEA Professores Rodada 2 Rodada 1 Professores Rodada 2 Rodada 1 P1 1 1 P8 0,5847351 0,6371028 P2 0,5283316 0,693514 P9 0,5050301 0,6404834 P3 0,6757845 1 P10 0,3852418 0,5739071 P4 0,191842 0,561721 P11 0,4550457 0,5603536 P5 0,6220791 0,7839215 P12 1 1 P6 0,4263017 1 P13 0,484375 1 P7 0,8579294 0,9633875 P14 0,1996181 0,4235638 Na primeira delas, verificou-se elevação da eficiência média no grupo (0,7271 contra 0,5655 da tentativa anterior) tornando-se bem próxima da primeira rodada neste estudo (0,7741). E não foi somente a média que se apresentou muito próxima. Para a grande maioria dos docentes o coeficiente foi o mesmo nas duas rodadas (Tabela 7). Isso pode significar que, em geral, a experiência não interfere na eficiência docente. Somente em quatro casos foi observado efeito redutor na eficiência com a retirada da variável experiência do modelo. Mesmo assim, a queda foi muito pequena para ser considerada como significativa. Ela foi mais expressiva somente para os docentes P4 e P13 que possuem ambos, pouco tempo como doutores em relação à média do grupo. Tabela 7: Análise comparativa da eficiência docente nas rodadas 1 e 3 considerando alteração das variáveis Professores DEA DEA DEA DEA Rodada 1 Rodada 3 Professores Rodada 1 Rodada 3 P1 1 0,9302208 P8 0,6371028 0,5794191 P2 0,693514 0,693514 P9 0,6404834 0,6332314 P3 1 1 P10 0,5739071 0,5739071 P4 0,561721 0,3880064 P11 0,5603536 0,5603536 P5 0,7839215 0,7839215 P12 1 1 P6 1 1 P13 1 0,6494142 P7 0,9633875 0,9633875 P14 0,4235638 0,4235638 Na segunda rodada desta etapa, quarta da pesquisa, buscou-se verificar se a experiência poderia ser tomada como única variável de entrada no modelo, embora as 13
constatações da rodada anterior já apontassem a baixa relevância desta no modelo. Nessa rodada então foi suprimida a variável tempo disponível, ficando como input somente a experiência como doutor, e considerado como produto a pontuação relativa à produção científica e a quantidade de dissertações defendidas. As constatações desta rodada reforçaram a soberania da variável tempo disponível na explicação da eficiência docente e a baixa relevância da variável experiência. A eficiência média do grupo caiu para 0,5568 e somente dois docentes (P1 e P13) mantiveram-se com eficiência em 100%. Um outro docente, o P3 (sempre eficiente a 100% nas rodadas anteriores) chegou bem próximo, com coeficiente de 0,9722. O docente P7, que apresentou eficiência bem próxima de 100% nas rodadas anteriores, nesta obteve seu coeficiente reduzido a 0,6116. O mesmo ocorreu com P6 e P12 que eram eficientes a 100% e assumiram coeficientes de 0,625 e 0,585, respectivamente. Se para esses o efeito da experiência é pouco significativo para a sua eficiência, o contrário ocorre com o docente P13 que, conforme constatado na rodada anterior, tem sua eficiência altamente influenciada pela variável experiência (seu coeficiente de eficiência sobe a 100% toda vez que a experiência está presente e reduz-se significativamente quando é retirada do modelo). A Tabela 8 revela os resultados de eficiência comparando as quatro rodadas. Tabela 8: Análise comparativa da eficiência docente nas rodadas 1 a 4 considerando a alteração das variáveis DEA DEA DEA DEA Professores Rodada 1 Rodada 2 Rodada 3 Rodada 4 P1 1 1 0,9302208 1 P2 0,693514 0,5283316 0,693514 0,4667783 P3 1 0,6757845 1 0,9722222 P4 0,561721 0,191842 0,3880064 0,5555556 P5 0,7839215 0,6220791 0,7839215 0,3341891 P6 1 0,4263017 1 0,625 P7 0,9633875 0,8579294 0,9633875 0,6116405 P8 0,6371028 0,5847351 0,5794191 0,5888304 P9 0,6404834 0,5050301 0,6332314 0,4870947 P10 0,5739071 0,3852418 0,5739071 0,1844311 P11 0,5603536 0,4550457 0,5603536 0,2696277 P12 1 1 1 0,5856941 P13 1 0,484375 0,6494142 1 P14 0,4235638 0,1996181 0,4235638 0,1136364 As constatações finais após as quatro rodadas é de que, neste grupo de docentes, é possível identificar: Docentes cuja eficiência é determinada pelo desempenho em publicações; o tempo disponível combinado à experiência compõe o melhor conjunto de insumos e, em função do seu perfil mais focado em publicações, o efeito das dissertações no modelo não é significativo. Docentes com esse perfil: P1 e P8. Docentes cuja eficiência é determinada pelo desempenho combinado de publicações e dissertações defendidas; o tempo disponível combinado à experiência só promovem meios 14
para eficiência se for possível combinar os resultados; quando da análise de apenas um deles a eficiência fica comprometida. Docentes com esse perfil: P3 e P4. Docentes com perfil muito semelhante ao grupo anterior, mas com uma reação significativa ao tempo disponível como insumo. Esses docentes têm sua eficiência fortemente influenciada pela variável tempo. Docentes com esse perfil: P2, P5, P6, P7, P9, P10, P11, P12 e P14. Docentes cuja eficiência é determinada pelo desempenho combinado de publicações e dissertações defendidas, mas, com reação significativa à experiência como insumo. Esses docentes têm sua eficiência fortemente influenciada pela variável experiência. Docentes com esse perfil: P13. 5 CONSIDERAÇÕES FINAIS O presente estudo teve como objetivo identificar a eficiência docente em um grupo de professores pertencentes ao programa de pós-grduação de uma IES privada de ensino e discutir os resultados na tentativa de identificar padrões que permitam entender melhor os fatores influenciadores e determinantes da eficiência docente nesse nível. Para tanto, foi utilizada a Análise Envoltória de Dados (DEA) no modelo clássico CRS (constant returns to scale) em que se tomou com variáveis de entrada (inputs) o tempo disponível do docente para as atividades de pesquisa e de produção acadêmica e a sua experiência acumulada medida pelo número de anos como doutor, e como variáveis de saída (outputs) a pontuação acumulada em produção científica publicada e o volume de dissertações defendidas como produção acadêmica no programa. Os resultados da análise permitiram verificar que, embora se apresentem docentes com alta eficiência no programa, o conjunto da equipe de professores ainda está sub-aproveitando suas potencialidades. A equipe é rica em tempo de experiência doutoral e apresenta tempo médio disponível em quantidade bastante significativa para ampliar sua produção, mas boa parte dela não tem conseguido aproveitar bem esses recursos. A eficiência média da equipe está em 77,4%, o que não é baixa, porém, a diferença significativa de eficiência entre os membros (somente 44% se mostrou eficiente na análise) sugere que o quadro mereça ser melhorado. A reação da eficiência docente a rodadas diferenciadas, tomadas para efeito de melhor compreensão do comportamento das variáveis no modelo, permitiu identificar no grupo perfis distintos quanto à sensibilidade às variáveis de entrada. A maior parte dos docentes formou um subgrupo caracterizado pela eficiência determinada pelo emprego otimizado da variável tempo. Para esse grupo, a experiência acumulada mostrou-se pouco significativa, apresentando baixa variação nos níveis de eficiência quando retirada do modelo. Outro grupo, porém, apresentou comportamento contrário, tendo sua eficiência altamente influenciada pelo nível de experiência acumulada. Docentes cuja eficiência é resultado do aproveitamento otimizado do tempo e experiência para obtenção de níveis elevados de produção científica e outros cuja eficiência está focada na orientação de dissertações compõem outros grupos identificados. Por fim, o estudo tornou possível também observar que, embora influenciem a eficiência de alguns docentes, o tempo de experiência, como input, e o produto de dissertações defendidas, como output, não se mostraram como proxies significativos, tanto como o tempo disponível (input) e a produção científica (output) para esse grupo. Diante disso, é importante que, em trabalhos futuros, sejam exploradas outras variáveis para verificar se essas apresentam melhor adequação ao modelo ou revelam informações mais úteis para a tomada de decisão acerca de ações para melhoria do desempenho da equipe. 15
REFERÊNCIAS BECKENKAMP, M. T. Análise Envoltória de Dados: considerações sobre o estabelecimento de restrições para os multiplicadores ótimos. Dissertação de Mestrado, Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: UFSC, 2002. BELLONI, J.A. Uma Metodologia de Avaliação da Produtiva de Universidades Federais Brasileiras. Tese de Doutorado, Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: UFSC, 2000. BISQUERRA, R.;SARRIERA, J.C.; MARTINEZ, F. Introdução à Estatística: enfoque informático com o pacote SPSS. Porto Alegre: Artmed, 2004. CAPES. Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Critérios de Implantação QUALIS: Administração/Turismo. Setembro / 2005. Disponível em < www.capes.gov.br>. Acesso em 26 de Janeiro de 2007. CHARNES, A.; COOPER, W. W.; RHODES, E. Measuring the efficiency of decision making units. European Journal of Operational Research, n. 2, v. 6, p.429-444, 1978. COSTA, H.G.; MOTTA, S.S.; GUTIERREZ, R.H. Avaliação da Produção Docente: abordagem multicritério pelo método Electre II. In XXVI ENEGEP, 2006, Fortaleza. Anais... Fortaleza, ABEPRO, 9 a 11 de Outubro de 2006. CD ROM. CNPQ. Conselho Nacional de Desenvolvimento Científico e Tecnológico. Plataforma Lattes. Disponível em < http://lattes.cnpq.br/index.htm> Acesso em 26 de Janeiro de 2007. Gil, Antonio Carlos. Como elaborar projetos de pesquisa. 3ª. ed., São Paulo: Atlas, 1991. GIL, Antônio. C. Como elaborar projetos de pesquisa. 4ª ed. São Paulo: Atlas, 2002. JUNG, Carlos Fernando. Metodologia para pesquisa e desenvolvimento aplicada a novas tecnologias, produtos e processos. Rio de Janeiro: Axcel Books do Brasil, 2004. LAKATOS, E. M.; MARCONI, M. A. Fundamentos da metodologia científica. 3ª. ed. São Paulo: Atlas, 1991, 190p. LAPA, J. S.; NEIVA, C. C. Avaliação em Educação: comentários sobre desempenho e qualidade. Ensaio, v.4, n. 12, jul/set, 1996, p. 213-236. MALHOTRA, Naresh K. Pesquisa de marketing: Uma Orientação Aplicada. Porto Alegre: Bookman, 2004. MOITA, M.H.V. Um modelo para Avaliação da Técnica de Professores Universitários Utilizando Análise de Envoltória de Dados: o caso dos professores da área de engenharias. Tese de Doutorado, Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: UFSC, 2002. PAIVA, F.C. Produtiva de Programas de Ensino de Pós-Graduação em Engenharias: uma aplicação do método análise envoltória de dados DEA. Dissertação de Mestrado, Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Santa Catarina. Florianópolis: UFSC, 2000. SELLTIZ, C. e outros. Métodos de Pesquisa nas Relações Sociais. São Paulo: EPU, 1974. SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2004. YIN, R. K. Estudo de caso: planejamento e métodos. 2 ed., Porto Alegre: Bookman, 2001. 16