Avaliação Universitária: útil ou inútil?

Transcrição

1 Avaliação Universitária: útil ou inútil? Este é um depoimento baseado em algumas leituras sobre o assunto e na minha experiência universitária no Brasil e nos Estados Unidos. Acompanhei de perto os debates sobre a CERT na Universidade de São Paulo, durante os quais o processo de avaliação interna e externa recebeu muitas críticas. A Revista da Adusp publicou vários artigos discutindo os critérios e procedimentos utilizados na avaliação, expressando principalmente o ponto de vista de professores (na maioria, críticos do sistema adotado). Por outro lado, na qualidade de membro do Conselho Consultivo da USP (cargo que ocupei por dois anos) familiarizei-me com o ponto de vista da Administração (em geral favorável à avaliação, embora receptiva a sugestões que visem a melhorar o sistema). No que concerne aos Estados Unidos, onde a avaliação é procedimento utilizado há bastante tempo na universidade, a ponto de haver uma enorme bibliografia a respeito, limitei-me às informações contidas no livro Research Doctorate Program in the United States: Continuity and Change, publicado em O livro, patrocinado pela Conference Board of Associate Research Council, resultou de uma pesquisa que contou com amplo financiamento, tendo envolvido numerosas organizações, entre as quais o American Council of Education, o American Council of Learned Societies, o National Research Council. O Comitê responsável pela coordenação do projeto reuniu 17 colaboradores recrutados entre professores, deans, provosts, chancellors, pertencentes a várias universidades públicas e privadas, entre as quais, Columbia University; Stanford; Brown Chicago; Harvard, Yale, representando universidades privadas, e Berkeley; Santa Bárbara; San Diego; Southern Califórnia, entre outras, representando universidades públicas. Desnecessário seria dizer que a lista incluía algumas das universidades mais prestigiosas dos Estados Unidos. O Comitê responsável incluía ainda representantes de organizações paralelas, associadas à pesquisa, entre os quais o Diretor Emérito do Center for Advance Study in the Behavioral Science Research Council e o vice-presidente para pesquisa no National Opinion Research. Além desses, havia três membros ex-ofício, entre os quais o presidente do Social Science Research Council. O projeto contava ainda com a colaboração de representantes de outras organizações, tais como American Council on Education, National Research Council, além de numeroso staff e representantes do Office of Scientific and Engineering Personnel Advisory Committee. Como se pode verificar pela simples relação das instituições que se associaram ao projeto e de pessoas de alguma forma nele envolvidas, tratava-se de um grande empreendimento - só possível num país com a riqueza dos Estados Unidos.

2 Essa enumeração seria suficiente para demonstrar o quanto estamos distantes dessa situação e quão ilusório é querer transplantar para o Brasil sistemas de avaliação adotados em países em condições tão diversas das nossas. Isso posto de lado, a análise do projeto e seus resultados evidencia problemas que vale a pena analisar e que confirmam a validade das críticas ao processo de avaliação das universidades brasileiras que tem sido modelado a partir de critérios semelhantes aos adotados nos Estados Unidos. O objetivo explícito da avaliação no estudo publicado nos Estados Unidos, referente aos cursos de doutorado (aos quais eu me limito nesta fala), era fornecer aos candidatos aos cursos de pós-graduação um guia que os orientasse na escolha de programas existentes, identificando os melhores nas várias áreas do conhecimento, e, ao mesmo tempo, apresentar dados úteis para atividades educacionais. Baseando-se em relatórios de coordenadores institucionais que forneceram dados sobre os programas existentes nas várias instituições, o Comitê identificou cursos de doutoramento em 274 instituições (105 particulares e as demais públicas), envolvendo professores - uma amostragem bastante representativa de um número muito maior de universidades que existem no país. Note-se que nessa época (1993) o número de estudantes que conseguiram doutoramento era de O projeto, desenvolvido ao longo de quatro anos, resultou em um livro de 740 páginas, formato grande. Comparando-se a estudos relativos a anos anteriores, verificou-se um aumento notável no número de inscrições de candidatos aos programas de doutoramento, que passaram de aproximadamente , em 1966, para em Para a coleta dos dados foi feito um survey solicitando aos entrevistados que avaliassem os programas quanto a sua produtividade e eficácia no ensino, classificando-os de um a cinco. Os entrevistados deviam responder as perguntas quanto a scholarly quality do programa (qualidade acadêmica), qualidade didática do treinamento, percurso (se o programa melhorou ou piorou nos últimos cinco anos), número de professores envolvidos no programa, porcentagem de professores mais titulados existentes no programa, porcentagem de professores que recebem apoio financeiro externo para suas pesquisas, número total de prêmios e outras distinções honoríficas recebidas, porcentagem de professores que foram agraciados, porcentagem de professores que tiveram publicações, número de citações do programa em relação ao número de professores. Esses números convertidos em índices foram então comparados através de procedimentos estatísticos altamente sofisticados. Nenhuma pesquisa poderia ter sido mais completa. No entanto, depois de tantas horas gastas, tantos indivíduos envolvidos, tantas associações participantes, tanto dinheiro

3 investido, os resultados pareceram-me desapontadores. Essa não é apenas minha opinião pessoal. Uma leitura cuidadosa das conclusões a que chegaram os pesquisadores revela as dúvidas dos próprios participantes e invalida em grande parte o sistema de avaliação. 1 Vários fatores intervêm numa avaliação. É necessária, portanto, uma análise bastante cuidadosa dos resultados. Os relatores observaram que as medidas relativas ao prestígio dos vários programas correspondem ao tamanho dos departamentos. Os maiores sempre alcançarão melhores resultados devido ao maior número de professores envolvidos no ensino e na pesquisa, com maior visibilidade e impacto no campo, e, naturalmente, com maior número de publicações. Tudo isso atrai mais recursos e melhores alunos. Dessa forma, de maneira cumulativa, esses programas tendem a ter melhores resultados na avaliação, reforçando a sua boa reputação, o que por sua vez atrai mais recursos etc., resultando num processo que se repete ao infinito. Além disso, segundo os relatores, é possível que a reputação de um determinado programa decorra do prestígio de alguns poucos elementos que ficaram famosos, sendo amplamente reconhecidos pelo seu valor científico. Esse fato, no entanto, provoca uma outra questão. É melhor ter um prêmio Nobel no programa ou vários bons pesquisadores? A questão foi deixada sem resposta. Afirmam ainda os relatores que a boa reputação de um programa não é garantia de que o programa seja propício aos alunos ou que a experiência deles seja satisfatória. De fato, minha experiência em Yale comprova que os colegas mais famosos raramente se dedicam ao treinamento de alunos, pois estão ocupados com sua própria visibilidade, envolvidos com conferências, congressos e com suas publicações, deixando aos seus assistentes as tarefas relativas ao ensino. Os relatores lembraram que o número de alunos e os recursos a eles disponíveis - oportunidades de bolsas, processos de seleção - são fatores tão importantes quanto os dados que o projeto analisa e que, no entanto, haviam sido negligenciados na avaliação. Observaram ainda que a avaliação do desempenho das instituições é influenciada por vários outros fatores, que limitam sua utilidade, como os apontados a seguir. Muitas das avaliações não partem do conhecimento próprio dos indivíduos ou dos programas que estão sendo avaliados, mas da sua reputação. Além disso, as avaliações não levam 1 Antes de prosseguir quero deixar registrada uma observação que me parece importante, para assegurar a credibilidade deste relatório e também a minha isenção ao fazê-lo. O programa de doutoramento do Departamento de História da Universidade de Yale, onde trabalhei até 1999, foi classificado em primeiro lugar; Berkeley em segundo; Princeton em terceiro e Harvard em quarto - entre todas as Universidades recenseadas no ano em que o estudo foi feito.

4 em consideração outros elementos, tais como contribuição para o ensino de estudantes, para a comunidade ou para o departamento, pois essas atividades não podem ser medidas quantitativamente, como ocorre com as publicações, posições honorificas etc. Além disso, a qualidade científica e didática do programa e seu progresso ou declínio nos últimos anos são observações meramente subjetivas, embora talvez sejam as mais importantes. Os dados que permitem algum tratamento objetivo são os relativos ao número de pessoas trabalhando no programa, a porcentagem de professores em relação aos demais instrutores e o número de publicações por indivíduo em relação ao número de pessoas envolvidas no programa. No entanto, como os relatores mesmo confessam, esses dados não asseguram a qualidade do ensino. Por isso sugeriram que nos próximos estudos sejam investigados outros dados, tais como número de alunos que recebem o grau de doutor e o sucesso destes nas carreiras que escolheram. Recomendaram, ainda, que seja investigado junto à indústria o desempenho dos alunos para se avaliar concretamente a efetividade do programa que os preparou. Reconhecem, entretanto, que nunca se sabe ao certo se o sucesso de um aluno é devido às suas qualidades pessoais ou ao treinamento recebido. Concluem o relatório, recomendando que, no futuro, sejam investigadas: a disponibilidade dos professores; a natureza do currículo; as instalações de ensino e pesquisa disponíveis; a qualidade dos estudantes; o seu desempenho, objetivos e expectativas; a adequação dos requisitos do programa aos objetivos; a avaliação do tempo disponível do corpo docente; orientação dada aos alunos; tipo de assistência aos alunos em suas carreiras; a qualidade do pessoal associado (assistentes de pesquisa e de ensino) e outros fatores ainda não analisados, os quais, na opinião dos relatores, contribuem para o sucesso de um programa. Por mais interessante que o resultado do projeto possa parecer, é de se indagar o que sobra depois da crítica feita? Se os fatores importantes não podem ser medidos e fixados em índices, se os resultados dessas medidas são duvidosos e quando muito correspondem à opinião subjetiva de observadores, que interesse existe em mobilizar tantos recursos para obter uma ilusão de objetividade? Não foram examinadas ainda as conseqüências negativas que a adoção do sistema de avaliação vêm provocando nos vários departamentos. Seria o caso de se perguntar: como foi possível a Universidade de São Paulo chegar aos resultados positivos a que chegou sem o sistema de avaliação? O sucesso das universidades americanas é devido ao sistema de avaliação ou à quantidade de recursos de que dispõem? A que propósito serve a avaliação? Quais são seus objetivos reais? Avaliar o que e para que? Trata-se de saber quais são os programas que merecem ajuda financeira ou outros recursos? Se, depois da avaliação, uma universidade torna-se mais produtiva que outra, devese reduzir os recursos da primeira, deixando-a a míngua e enfraquecendo o seu programa, enquanto se encaminham recursos para melhorar o nível da segunda? Ou se pretende com a avaliação canalizar recursos para programas

5 novos que vão satisfazer mais diretamente os interesses do mercado? Isso não levaria a deterioração da pesquisa científica e a uma ênfase excessiva na tecnologia em detrimento dos interesses nacionais? Não aumentaria nossa dependência? Quem deve definir os tipos de avaliação? Que especialistas devem ser convocados para elaborar esse projeto? Não seria melhor e mais democrático abrir um debate nacional em torno do problema? Pretende-se estimular o aperfeiçoamento do ensino, estimular a pesquisa, ou ambos? Pretende-se medir qualidade ou quantidade? É possível reduzir a avaliação a uma série de dados estatísticos? Não vimos acima que os dados estatísticos os mais sofisticados ocultam uma avaliação muitas vezes subjetiva. Não vimos também que os dados considerados objetivos não ajudam muito na avaliação de cursos e programas? Os critérios adotados até agora só conseguiram obrigar pesquisadores e professores a publicar, freqüentar congressos internacionais, fundar revistas - tudo isso sem qualquer discussão dos resultados. Não se pergunta se essas exigências levaram a bons resultados ou a resultados medíocres. Os critérios usados medem capacidade e talento de um indivíduo ou programa ou avaliam os recursos de que dispõem e as facilidades que lhes são oferecidas? Estimulam-se as qualidades de pesquisador ou de prestidigitador? Um indivíduo talentoso que não dispõe de recursos para freqüentar congressos internacionais deverá ter uma avaliação inferior a outro que vive viajando com dinheiro próprio, recauchutando o mesmo trabalho que passa a ser apresentado em diferentes congressos com títulos diversos? E um pesquisador que publica vários trabalhos medíocres, divulgando pesquisas feitas por outros, será melhor do que outro que devotou anos a um trabalho original e pioneiro? Um historiador que publica em revistas estrangeiras será mais qualificado do que outro que nunca publicou no exterior? Esse critério não desvincula a pesquisa dos nossos problemas que raramente interessam a pesquisadores de países desenvolvidos? Como avaliar um professor excepcional que publica pouco, pois devota todo seu tempo produzindo doutores, e outro que publica bons trabalhos, mas é um péssimo professor, pois não tem tempo para dar assistência a seus alunos? Podem critérios aplicados a pessoas pertencentes ao Departamento de Física ser aplicados àquelas que se dedicam à História? Como comparar um professor de História que trabalhou nos admiráveis arquivos ingleses a um outro que foi buscar material nos arquivos do Peru, onde, por vezes, foi o primeiro a freqüentá-los e que não dispõe sequer de um catálogo para sua orientação? Como é possível utilizar critérios abstratos e universais a realidades tão diversas? Recentemente, tornaram-se públicas denúncias de que vários pesquisadores da área das ciências biomédicas, em diversos locais, realizaram projetos apressados que logo revelaram suas falhas e às vezes até puseram em risco a vida de pacientes. Não será isso resultado da pressão para publicar a qualquer custo? Essas e outras considerações feitas acima lançam dúvidas sobre a eficácia dos procedimentos que têm sido utilizados e revelam a

6 necessidade de um amplo debate dos setores interessados sobre as vantagens e desvantagens dos processos de avaliação. Emília Viotti da Costa Professora Emérita da USP 7 de Setembro de 2004