AUTOAVALIAÇÃO DOS PROGRAMAS DE PÓS-GRADUAÇÃO DA UNISC. Ana Karin Nunes* Rosângela Gabriel** Christian Ricardo Rohr* Maria Elisa Baumhardt**

Transcrição

1 AUTOAVALIAÇÃO DOS PROGRAMAS DE PÓS-GRADUAÇÃO DA UNISC Ana Karin Nunes* Rosângela Gabriel** Christian Ricardo Rohr* Maria Elisa Baumhardt** * Assessoria de Avaliação Institucional da Universidade de Santa Cruz do Sul UNISC. ** Coordenação de Pós-Graduação Stricto Sensu da Universidade de Santa Cruz do Sul UNISC. Resumo: Este trabalho tem por objetivo relatar a experiência de autoavaliação dos programas de pós-graduação stricto sensu da Universidade de Santa Cruz do Sul UNISC. Fruto de uma experiência cujo início se deu no ano de 2004, o Projeto de Avaliação da Pós-Graduação Stricto Sensu PGSS, aprovado pela comunidade acadêmica no ano de 2008, visa a consolidar uma base sólida de indicadores da pós-graduação stricto sensu, de modo a que possam ser acompanhados de forma sistemática. Os resultados decorrentes do processo sinalizam na direção da consolidação de uma cultura de autoavaliação no âmbito da pós-graduação e na legitimação dos programas frente aos seus diversos sujeitos, na medida em que esses assumem seu lugar na busca pela qualificação das ações dessa dimensão. Palavras-chave: autoavaliação, programas de pós-graduação stricto sensu. INTRODUÇÃO Na Universidade de Santa Cruz do Sul, doravante UNISC, a avaliação institucional é concebida como um processo intencional e sistemático de busca de subsídios para a melhoria e o aperfeiçoamento da qualidade institucional, incidindo sobre sujeitos, processos, fluxos, resultados e estruturas. Visa a garantir que o processo de planejamento seja cada vez mais eficiente e eficaz, por meio da identificação de potencialidades e de necessidades de melhoria, da sugestão de diretrizes e critérios para

2 2 políticas e metas. É um processo indispensável para a tomada de decisão por parte de diversas instâncias da Instituição. O processo de avaliação institucional se dá através do Programa de Avaliação Institucional da UNISC PAIUNISC, que se constitui de um eixo de ideias-práticasagentes, de um conjunto de ações alicerçadas em concepções e princípios, construídos de maneira participativa pela comunidade acadêmica, tendo em vista o contexto social no qual a Instituição está inserida. A operacionalização do PAIUNISC ocorre por intermédio de Comissões 1, Subcomissões 2 e da Assessoria de Avaliação Institucional 3. Entre as Subcomissões de Avaliação, está a Subcomissão da Pós-Graduação Stricto Sensu, a qual é composta pela Coordenação de PGSS, pelos coordenadores dos Programas, por representantes discentes dos Programas e pela Assessoria de Avaliação Institucional. Recentemente, com a construção do PAIUNISC IV , a Subcomissão de Avaliação da Pós-Graduação Stricto Sensu estabeleceu um amplo planejamento de avaliação para o período, com o propósito de qualificar ainda mais os programas de mestrado e de doutorado existentes. Durante o ano de 2007, a Subcomissão trabalhou na construção de um Projeto de Avaliação para o período Essa atividade foi norteada pela experiência em 1 CAI Comissão de Avaliação Institucional, instituída no ano de 1994, por ocasião da adesão da Universidade ao PAIUB, que tem como atribuições elaborar e acompanhar projetos de avaliação em nível institucional, prestar contas à comunidade acadêmica das atividades avaliativas desenvolvidas anualmente e constituir subcomissões que operacionalizem esse processo; CPA Comissão Própria de Avaliação, instituída em atendimento à determinação da Lei Federal Nº , que tem como atribuições a condução dos processos de avaliação internos da Universidade, a sistematização e a prestação de informações solicitadas pelo INEP Instituto Nacional de Estudos e Pesquisas Nacionais Anísio Teixeira. 2 Para dar conta da operacionalização do Programa de Avaliação, a CAI instituiu seis Subcomissões. Atualmente elas estão assim divididas: graduação, pós-graduação lato sensu, pós-graduação stricto sensu, pesquisa, extensão e gestão. 3 Ligada à Pró-Reitoria de Planejamento, a Assessoria de Avaliação Institucional funciona como órgão executivo das ações deliberadas pela CPA e pela CAI, assim como órgão assessor das Subcomissões de Avaliação no cumprimento do PAIUNISC.

3 3 autoavaliação, acumulada pela área desde o ano de 2004, bem como pelas diretrizes estabelecidas pelo Roteiro de Autoavaliação do SINAES (BRASIL, 2004). Diante deste contexto, o presente trabalho tem por objetivo apresentar a experiência da UNISC no âmbito da autoavaliação da pós-graduação stricto sensu, descrevendo suas origens e suas perspectivas para os próximos anos. 1 O INÍCIO DA AUTOAVALIAÇÃO DOS PROGRAMAS DE PÓS- GRADUAÇÃO Com os objetivos de sensibilizar a comunidade acadêmica envolvida com os programas de pós-graduação para a importância e necessidade da autoavaliação, bem como analisar os programas visando à melhoria constante de seus processos, a Coordenação de Pós-Graduação Stricto Sensu da Pró-Reitoria de Pesquisa e Pós- Graduação PROPPG, em conjunto com a Assessoria de Avaliação Institucional, deu início a um projeto piloto de autoavaliação dos programas de PGSS. O projeto piloto foi aplicado aos dois programas oferecidos pela Instituição, em nível de mestrado, durante o ano de 2004: Direito e Desenvolvimento Regional. No Programa de Desenvolvimento Regional, a avaliação foi relativa ao primeiro e ao segundo trimestre 4 letivo de No Programa de Direito, a avaliação foi relativa apenas ao segundo trimestre letivo de Foram considerados aptos a participarem do processo avaliativo todos os docentes que estivessem lecionando disciplina(s) no primeiro e no segundo trimestre de 2004, bem como todos os acadêmicos com matrícula ativa nesse mesmo período. 4 O calendário acadêmico dos Programas de Pós-Graduação da UNISC é dado a partir de trimestres e quadrimestres. Cada Programa fixa o seu próprio calendário.

4 4 Os instrumentos de coleta de dados foram construídos pela Coordenação de Pós- Graduação Stricto Sensu e pela Assessoria de Avaliação Institucional. Houve também um momento de validação dos questionários junto às coordenações dos programas. A coleta de dados foi feita através de questionários impressos nos quais não era permitida a identificação dos sujeitos avaliadores. A aplicação dos questionários foi feita pelas coordenações dos programas de pós-graduação stricto sensu, por ocasião da última semana de aula do segundo trimestre de Os itens propostos para avaliação foram os seguintes: - Avaliação do desempenho do corpo docente pelos alunos; - Avaliação das disciplinas pelos alunos; - Avaliação do programa pelos alunos; - Avaliação da coordenação do programa pelos alunos e pelos professores; - Avaliação da orientação pelos alunos e pelos professores; - Autoavaliação do aluno; e - Autoavaliação da produção científica e da pesquisa pelo professor. Para a avaliação dos indicadores de cada um dos itens acima citados, foi utilizada uma escala de avaliação que permitia cinco níveis de resposta, sendo: 4 = Ótimo; 3 = Bom; 2 = Regular; 1 = Ruim; 0 = Péssimo. Essa escala é padrão para todos os processos de autoavaliação da UNISC. Institucionalmente, considera-se com desempenho satisfatório, o indicador que, na média ponderada, apresenta grau igual ou superior a 3 (três). Vale ressaltar que, tanto a escala quanto o detalhamento a respeito da composição de médias, estão descritos no PAIUNISC. Apesar da adesão ao processo ser voluntária, a participação de estudantes e professores foi significativa. No Programa de Desenvolvimento Regional, 71% dos estudantes e 86% dos professores, aptos a participarem do processo, realizaram a avaliação. Já no Programa em Direito, esses números corresponderam a 46% e 40%, respectivamente.

5 5 Os resultados da experiência piloto de autoavaliação dos Programas de Pós- Graduação Stricto Sensu foram positivos. Do ponto de vista dos resultados, a grande maioria dos indicadores avaliados apresentou média de desempenho igual ou superior a 3 (três). No que diz respeito à avaliação dos Programas, os alunos ressaltaram que esses tem seus objetivos muito bem explicitados, possuem estrutura curricular compatível com a formação de pesquisadores e oferecem atividades acadêmicas de grande relevância. A Figura 1 apresenta os resultados. Figura 1 Avaliação dos Programas de PGSS 2004 Avaliação dos Programas de Pós-Graduação Stricto Sensu pelos alunos Desenvolvimento Regional 3,41 Direito 3, Péssimo Ruim Regular Bom Ótimo Fonte: Assessoria de Avaliação Institucional / UNISC. Com relação à coordenação dos Programas, os alunos explicitaram como pontos positivos o relacionamento que os coordenadores mantêm com o corpo discente e o comprometimento em relação às exigências da CAPES. Os professores destacaram ainda a disponibilidade dos coordenadores no atendimento aos docentes.

6 6 A grande maioria das disciplinas foi muito bem avaliada pelos alunos. Foram destacados pontos como a contribuição para a formação do pesquisador, a relação com o foco do Programa e a adequação da carga horária. Segundo os alunos dos Programas de Pós-Graduação Stricto Sensu, o corpo docente da UNISC possui desempenho bastante satisfatório. Destacaram o comprometimento em relação ao aprendizado dos discentes e à condução adequada do conteúdo da disciplina. Para alunos e professores, a orientação de dissertações e teses é bem conduzida na Pós-Graduação Stricto Sensu. Foram destacados a boa relação entre docentes e discentes, bem como o comprometimento em relação aos objetivos do Programa. Do ponto de vista da institucionalização do processo, verificou-se que, apesar da falta de uma cultura de autoavaliação do Stricto Sensu à época (ano de 2004), seria possível a continuidade da sistemática. No entanto, seria necessário o rompimento de algumas barreiras. A primeira questão a ser vencida na institucionalização da autoavaliação dos da PGSS era a crença de que o sistema de avaliação externa, instituído pela CAPES, daria conta de todas as respostas necessárias à gestão dos programas. A visão de autoavaliação (interna) e avaliação externa (realizada pela CAPES) como processos complementares precisaria ser construída, especialmente entre os gestores dos programas. Outra questão que deveria ser aprofundada, de natureza técnica, era a agilidade na operacionalização do processo como um todo, desde a aplicação dos questionários até o retorno dos resultados aos sujeitos envolvidos.

7 7 Além disso, foi apontada a necessidade de criação de um instrumento para a avaliação dos serviços e da infraestrutura institucional para os programas de pósgraduação stricto sensu e de um instrumento de acompanhamento aos egressos dessa dimensão. 2 A INSTITUCIONALIZAÇÃO DO PROCESSO DE AUTOAVALIAÇÃO DA PÓS-GRADUAÇÃO STRICTO SENSU Na perspectiva de institucionalização do processo de autoavaliação dos programas de pós-graduação stricto sensu, a Coordenação de Pós-Graduação Stricto Sensu, auxiliada pelos colegiados dos programas, dos quais participam professores e estudantes, deu continuidade à avaliação das disciplinas, do desempenho docente, dos programas e da coordenação dos programas pelos alunos durante o ano de Além disso, implantou a avaliação dos serviços e da infraestrutura dos programas pelos estudantes. Os resultados da fase piloto de avaliação, desencadeada no ano de 2004, foi determinante ainda para a não-continuidade dos seguintes processos: i) avaliação da coordenação do programa pelos professores, tendo em vista que o diálogo entre coordenadores e professores a esse respeito é permanente e, portanto, não requer um instrumento formal de coleta de dados; ii) avaliação da orientação pelos alunos e pelos professores, pois o número reduzido de orientandos por professor pode gerar a natural identificação dos sujeitos durante a avaliação, o que não se configura como um objetivo, nesse caso; e iii) autoavaliação do aluno e a autoavaliação do professor, pela dificuldade de se chegar a ações práticas a partir dos resultados.

8 8 Com o objetivo de agilizar a coleta de dados, também foi implantado um sistema via gabaritos de leitura ótica. Através desse procedimento, a Assessoria de Avaliação Institucional passou a disponibilizar às secretarias dos Programas um número de gabaritos (formulário em papel) correspondente ao número de alunos aptos a realizarem a avaliação. As respostas passaram a ser registradas nos gabaritos e devolvidas à Assessoria de Avaliação Institucional para tabulação e confecção de relatórios. Na medida em que novos programas de pós-graduação stricto sensu passaram a ser ofertados na UNISC, o processo de avaliação também foi naturalmente incorporado às rotinas. No decorrer dos anos de 2005, 2006 e 2007 foram avaliados os Programas de Pós-Graduação em Desenvolvimento Regional, Direito, Letras, Sistemas e Processos Industriais e Tecnologia Ambiental. Mais recentemente, no ano de 2008, o Programa em Educação também passou a integrar o processo de avaliação, tendo em vista a oferta da primeira turma. A participação dos estudantes durante esse período continuou expressiva. Como a aplicação dos questionários é feita em sala de aula, atinge-se quase a totalidade dos alunos matriculados. Nesse contexto, é importante ressaltar ainda que a avaliação foi tornando-se uma rotina. Com relação à avaliação do desempenho docente, os alunos da pós-graduação destacam positivamente o comprometimento dos professores e a acessibilidade na resolução de dificuldades. Em alguns programas foi sugerida, como necessidade de melhoria, um maior estímulo à participação da turma durante as aulas. A Figura 2 apresenta os resultados gerais do processo de avaliação no desempenho da docência da PGSS. Esses resultados estão expressos em médias, de acordo com a escala de avaliação anteriormente mencionada. Vale destacar que esse processo contou com a participação de 90% dos estudantes matriculados nos programas no período de 2005 a Foi realizado um total de 214 avaliações de professores.

9 9 Figura 2 Avaliação do desempenho na docência da PGSS ,00 3,00 3,25 3,62 3,44 3,80 3,39 3,58 3,50 3,90 3,29 3,60 3,63 3,86 Média 2,00 1,00 0, /1 2005/2 2005/3 2005/4 2006/1 2006/2 2006/3 2006/4 2007/1 2007/2 2007/3 2007/4 Ano/Trimestre Fonte: Assessoria de Avaliação Institucional A grande maioria das disciplinas recebeu uma avaliação bastante satisfatória pelos alunos. São destacados itens como a contribuição para a formação do pesquisador e a relação com o foco dos programas. A Figura 3 apresenta as médias gerais obtidas na avaliação das disciplinas pelos estudantes. No período de 2005 a 2007, foi realizado um total de 209 avaliações de disciplinas. O percentual de participação dos estudantes no processo foi de 90%. Figura 3 Avaliação das disciplinas da PGSS ,00 3,00 3,25 3,54 3,45 3,82 3,42 3,54 3,46 3,78 3,33 3,59 3,58 3,62 Média 2,00 1,00 0, /1 2005/2 2005/3 2005/4 2006/1 2006/2 2006/3 2006/4 2007/1 2007/2 2007/3 2007/4 Ano/Trimestre Fonte: Assessoria de Avaliação Institucional / UNISC.

10 10 Em um dos programas, a avaliação insatisfatória de uma disciplina por parte da turma motivou o seu redimensionamento. A ação resultou em uma avaliação positiva da turma subsequente. No âmbito da infraestrutura e dos serviços, os estudantes destacaram as salas de aula e a qualidade do atendimento das secretarias dos programas. A Figura 4 apresenta os resultados. Vale destacar que no ano de 2006, a avaliação da infraestrutura e dos serviços foi realizada apenas pelos Programas de Desenvolvimento Regional, Letras e Direito. No ano de 2007, além desses programas, também participaram desse processo os estudantes dos Programas de Sistemas e Processos Industriais e de Tecnologia Ambiental. Figura 4 Avaliação da infra-estrutura e dos serviços da PGSS ,00 3,00 3,50 3,39 3,31 3,25 3,21 3,23 3,38 3,37 3,07 3,03 3,46 3,26 Média 2,00 1,00 0,00 Salas de aula Recursos audiovisuais Biblioteca Secretaria do Programa Livraria Manutenção do campus Fonte: Assessoria de Avaliação Institucional / UNISC. No que diz respeito aos indicadores de avaliação presentes em cada instrumento, cabe destacar que os mesmos foram construídos de forma participativa, entre a Coordenação de Pós-Graduação Stricto Sensu, a Assessoria de Avaliação Institucional e as Coordenações dos Programas de Pós-Graduação Stricto Sensu. Portanto, os

11 11 indicadores são comuns a todos os programas. No entanto, caso julgue necessário, um programa pode solicitar a inclusão/exclusão de um determinado indicador, tendo em vista as suas especificidades. 3 AUTOAVALIAÇÃO DA PGSS NA UNISC Com a proposta de continuidade do processo de autoavaliação, a Subcomissão de Avaliação da PGSS elaborou, durante o segundo semestre de 2007, seu Projeto de Avaliação para o período Ao longo desse período, o grupo reuniu-se periodicamente a fim de construir um projeto que servisse à qualificação da área da pósgraduação. Durante esses encontros, o comprometimento dos coordenadores dos Programas e, em especial, dos representantes discentes merece destaque. O Projeto de Avaliação da Subcomissão da PGSS é parte do PAIUNISC IV , o qual foi amplamente discutido com representantes de todos os segmentos da Instituição e aprovado pelo Conselho Universitário CONSUN, em junho do ano de A Subcomissão de Avaliação da PGSS entende que a avaliação não é mero instrumento de controle. Deve servir para o aperfeiçoamento institucional e para a verificação das condições de qualidade. Sua função deve ser educativa e construtiva. Nesse contexto, a Subcomissão traçou como objetivos: i) consolidar uma base sólida de indicadores da pós-graduação stricto sensu, de modo que possam ser acompanhados de forma sistemática; e ii) observar os critérios da CAPES para a consolidação do projeto de autoavaliação da pós-graduação stricto sensu. Entre os itens 5 previstos pela Subcomissão de Avaliação da PGSS para o período estão: 5 O PAIUNISC prevê que o processo avaliativo institucional ocorra por meio da avaliação de dez dimensões. As dimensões são compreendidas como o sentido em que se mede a extensão da Universidade para avaliá-la. Elas são transversais ao ensino, à pesquisa, à extensão e à gestão

12 12 - As políticas de melhoria da qualidade dos currículos e da prática docente na PGSS: inclui-se aqui a avaliação do desempenho da docência na PGSS, das disciplinas, dos programas e da coordenação dos programas pelos estudantes. - A contribuição da PGSS para a formação de pesquisadores e profissionais para o ensino superior: inclui-se aqui o acompanhamento do egresso da PGSS da UNISC. - A produção científica e técnica dos professores e estudantes da PGSS. - As estratégias de comunicação e divulgação dos programas de pós-graduação para o público externo: inclui-se aqui o monitoramento do perfil do estudante ingressante da PGSS. - A infraestrutura, a Biblioteca e os demais serviços que atendem aos estudantes e professores da pós-graduação stricto sensu. O projeto de avaliação da PGSS descreve, amplamente, a metodologia de avaliação de cada um dos itens propostos, bem como a sua relação com as dimensões institucionais de avaliação. Ao longo do período , a Coordenação de PGSS comprometeu-se, em conjunto com a Assessoria de Avaliação Institucional, a monitorar o andamento do planejamento traçado. A Subcomissão de Avaliação da PGSS deve ser chamada sempre que houver necessidade de readequação da metodologia inicialmente proposta para a avaliação dos itens. Nessa perspectiva, tem-se garantido, a cada período letivo, a continuidade da avaliação do desempenho na docência da PGSS, das disciplinas, dos Programas, da Coordenação dos Programas, da infraestrutura, da Biblioteca e dos demais serviços disponíveis aos estudantes da PGSS. da Instituição. Por sua vez, cada dimensão comporta itens, que são entendidos como objetos de avaliação. É através da avaliação dos itens que será possível identificar as potencialidades e necessidades de melhoria no conjunto de cada uma das dimensões.

13 13 No ano de 2008, com o intuito de facilitar a consulta dos resultados da avaliação e, consequentemente, agilizar a tomada de decisões, foi iniciado o processo de informatização da avaliação no âmbito da PGSS. A partir do primeiro trimestre letivo de 2008, os professores, coordenadores dos programas e a coordenação de PGSS, que até então eram informados dos resultados através de relatórios manuais, encaminhados por , passaram a consultar os resultados através do Sistema de Avaliação On-Line 6. Os docentes podem acessar os resultados individuais da sua avaliação (desempenho na docência e disciplina), a avaliação geral do desempenho docente no programa, a avaliação das disciplinas, a avaliação da infraestrutura e dos serviços, a avaliação do programa e a avaliação da coordenação do programa. Os coordenadores dos programas e a coordenação de PGSS têm acesso a todos os resultados mencionados. Os estudantes da PGSS também passaram a acessar os resultados da avaliação por eles realizada, de forma on-line. Até então, os resultados eram disponibilizados a esse público por meio do Jornal da UNISC. Atualmente, os estudantes podem consultar os resultados da avaliação das disciplinas, da infraestrutura e serviços, do programa e de sua coordenação, além dos resultados gerais do desempenho docente. Quanto à coleta dos dados junto aos estudantes, manteve-se a sistemática de distribuição de instrumentos e gabaritos de leitura ótica em sala de aula. No entanto, mais recentemente, no ano de 2009, iniciou-se a informatização também dessa etapa da avaliação, possibilitando ao estudante a realização da avaliação diretamente através do Sistema On-line. No ano de 2009, deu-se início à avaliação do perfil do estudante ingressante da PGSS, com o objetivo de coletar dados a respeito da cidade de onde vêm os estudantes, 6 O Sistema de Avaliação On-line consiste em um sistema informatizado, desenvolvido pelo Setor de Informática da UNISC, com as funções de coleta, tabulação, divulgação e armazenamento, em séries históricas, de dados de avaliação. Criado no ano de 2003 para

14 14 dos motivos que levaram à escolha de um determinado programa, da percepção da divulgação do programa junto à comunidade, do processo seletivo e da matrícula. 4 CONSIDERAÇÕES FINAIS A experiência de autoavaliação da UNISC vem demonstrando que tão importante quanto a definição sobre o que avaliar, como avaliar e quando avaliar, é a forma de encaminhamento dos resultados oriundos do processo avaliativo e a consequente tomada de decisão decorrente dos resultados obtidos. Nesse sentido, a Coordenação de PGSS tem trabalhado junto aos programas para que utilizem e reconheçam a autoavaliação como uma importante ferramenta de gestão, o que representa um desafio permanente. Em um contexto como o da pós-graduação, em que a avaliação externa assume um papel determinante no planejamento das ações, o convencimento da necessidade de mecanismos de autoavaliação não é uma tarefa simples. Porém, acredita-se que, após alguns anos dessa prática, a cultura da autoavaliação no âmbito da PGSS da UNISC encontra-se fortalecida. A Avaliação da PGSS da UNISC tem contribuído para a legitimação dos programas perante a comunidade acadêmica, tendo em vista que é por meio dos processos avaliativos que os diversos sujeitos da PGSS têm a oportunidade de refletirem a respeito de suas práticas e reorientarem as suas ações. atender às necessidades do ensino de graduação, o Sistema vem sofrendo adequações para atendimento às demais áreas da Instituição.

15 15 REFERÊNCIAS UNIVERSIDADE DE SANTA CRUZ DO SUL. Programa de Avaliação Institucional IV Santa Cruz do Sul: UNISC, BRASIL. Ministério da Educação. Comissão Nacional de Avaliação da Educação Superior. Roteiro de Autoavaliação Institucional. Brasília, Disponível em < >. Acesso em: 26 de julho de 2006.