Avaliação Docente Em MBA S Lato Sensu Um Estudo Multicritério

Avaliação Docente Em MBA S Lato Sensu Um Estudo Multicritério Autoria: Maria da Graça de Oliveira Carlos, Marília Pinheiro Falcioni Pereira, Natália Queiroz da Silva Oliveira, Celso Miranda de Carvalho Resumo O estudo investiga a aplicação do atual instrumento de avaliação dos cursos lato sensu, averiguando como os gestores acadêmicos atribuem importância aos diversos itens da avaliação, medindo seus respectivos graus de consistência e comparando suas percepções com os pontos de vista dos alunos. A análise foi realizada por abordagem multicritério com uso dos métodos AHP e SMART e comparada ao resultado da avaliação de 2000 alunos usando análise fatorial. Os resultados apontam que os gestores enfatizam itens de avaliação referentes à fundamentação teórico-científica ensinada, enquanto os alunos estão focados na comunicação, flexibilidade, disponibilidade e integração do professor com a turma. 1

1 Introdução A avaliação das Instituições de Ensino Superior ganhou importância com a implantação do Sistema Nacional de Avaliação da Educação Superior (SINAES), implementado a partir de 2004, quando o Estado passa a supervisionar e regular a educação, a fim de garantir a qualidade do sistema, inclusive com a instalação de Comissões Próprias de Avaliação (CPA), responsáveis por conduzirem o processo de auto avaliação dessas instituições. Vários instrumentos são necessários para medir os resultados do ensino, pesquisa, extensão e gestão acadêmica e, por isso, devem ser monitorados e aperfeiçoados, a fim de que realmente venham cumprir o seu papel de identificar as qualidades e fraquezas das IES. Com o propósito de atingir os padrões estabelecidos pelo Ministério da Educação e Cultura (MEC), as Instituições de Ensino Superior (IES) devem dispor de instrumentos adequados para avaliar os seus cursos e programas. Um deles é o modelo de avaliação de docentes e disciplinas, aplicado por essas instituições, os quais são utilizados como guias para as respectivas tomadas de decisão. Este trabalho se volta, especificamente, para o processo de avaliação de professores e disciplinas do curso de pós-graduação lato sensu em uma IES privada. Acredita-se que o atual processo de avaliação do desempenho dos cursos de pósgraduação lato sensu não se mostra totalmente adequado às necessidades das IES, em razão de depoimentos obtidos de próprios funcionários e gestores desses cursos. Por sua vez, observou-se que, de modo geral, as avaliações têm servido apenas como instrumento voltado para uma eventual dispensa ou contratação de professores, não se prestando como ferramenta completa de apoio à coordenação dos programas. A partir da problemática acima, busca-se estudar o processo de avaliação dos cursos lato sensu em uma IES que atende atualmente 1.713 alunos nesse segmento. Apesar de o trabalho ter sido realizado em apenas uma única IES, configurando-se como estudo de caso, acredita-se que problemas similares ocorram em grande parte das instituições que oferecem tais cursos, segundo os depoimentos de vários gestores ligados à área. Tem-se como hipótese que um dos principais responsáveis pela problemática levantada, é a inadequação entre a formulação dos instrumentos de avaliação dos cursos por parte dos gestores dos programas de pós- graduação lato sensu e a sua utilização como instrumento de planejamento e controle desses programas. O presente trabalho procura investigar a aplicação do atual instrumento de avaliação dos professores e disciplinas dos cursos lato sensu, averiguando como os gestores acadêmicos atribuem importância aos diversos itens da avaliação, medindo seus respectivos graus de consistência e comparando as suas percepções com o conteúdo que os alunos estão tentando transmitir às coordenações quando respondem a tais instrumentos. A avaliação de desempenho dos docentes e disciplinas dos cursos de pós-graduação da universidade aqui estudada é realizada mediante a aplicação de instrumento de coleta de dados junto aos alunos, ao final de cada disciplina. O discente manifesta sua percepção através do preenchimento de questionário constituído por 16 questões, cuja resposta é dada mediante a atribuição de uma escala numérica de zero a cinco pontos. O instrumento tem sido utilizado largamente pela Instituição em foco, apesar de se poder constatar, mesmo à primeira vista, a ocorrência de redundâncias no conteúdo das perguntas, o que leva à necessidade de validar cientificamente o instrumento utilizado como ferramenta apropriada para a tomada de decisão. Sendo assim, o objetivo desse estudo é mostrar as diferenças de foco das avaliações da área de pós-graduação lato sensu entre os gestores acadêmicos (os que elaboram e se utilizam 2

do instrumento) e os sujeitos (alunos a quem a avaliação é aplicada), em relação à percepção dos resultados. Para a operacionalização deste objetivo, o estudo compara a importância atribuída aos itens da avaliação por parte de gestores acadêmicos e alunos, mostra a relação entre a quantidade de questões e a inconsistência nas respostas e procura determinar os fatores de avaliação mais relevantes, de acordo com a visão dos alunos de pós-graduação. O estudo envolveu análise das questões de avaliação docente junto a grupo de gestores e alunos de pós-graduação, por meio da abordagem multicritério, com uso dos métodos AHP (Analitic Hyerarchy Process) e SMART (Simple Multi-attribute Rating Technique). Posteriormente, comparou as interpretações advindas das respostas atribuídas por uma amostra de 2.000 alunos - utilizando a Análise Fatorial - com as importâncias atribuídas às questões por parte dos encarregados de utilizar os resultados, isto é, os gestores acadêmicos. A investigação mostra-se relevante ao analisar as dimensões pedagógicas do processo ensino-aprendizagem que se supõe presente nas avaliações institucionais, tentando confrontar as percepções de discentes e docentes acerca do próprio instrumento de avaliação, de forma a verificar como esta última pode colaborar com a melhoria do desenvolvimento institucional. O artigo está dividido da seguinte forma: primeiro realiza-se uma revisão da literatura sobre avaliações institucionais e métodos multicritério de decisão, com ênfase no SMART E AHP. Posteriormente, apresenta-se a metodologia, resultados, conclusão e referências. 2 Avaliação dos cursos de Pós-Graduação. A avaliação é necessária para medir os resultados do ensino, da pesquisa, da extensão e da gestão acadêmica, nas instituições de ensino, além de constituir instrumento para administrar o sistema nacional de ensino superior, constituindo-se em critério para o seu próprio financiamento (CERQUEIRA e FREITAS, 1999) É importante destacar que o atual Sistema Nacional de Avaliação da Educação Superior (Sinaes) procede à avaliação das IES brasileiras nas dimensões interna e externa. A primeira fase, a de auto avaliação, deve ser um processo permanente de reflexão sobre as ações globais da instituição que inclui o conjunto de dimensões, estruturas, relações, atividades de ensino, pesquisa e extensão, segundo a sua missão institucional. Sob o âmbito de avaliação interna, o artigo 11 da Lei 10.861/04 estabelece que cada IES, pública ou privada, deve constituir a Comissão Própria de Avaliação - CPA. Suas atribuições contemplam a condução dos processos de avaliação interna da instituição, da sistematização e da prestação das informações, por meio de relatórios, à comunidade acadêmica corpo docente, discente e técnico-administrativo - e à comunidade. A CPA foi instituída pelo SINAES - Sistema Nacional de Avaliação da Educação Superior-, e seu objetivo é o de assegurar o processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico dos estudantes. A CPA utiliza questionários para avaliar a infraestrutura e a qualidade no atendimento do corpo docente e técnico-administrativo. As avaliações são realizadas a cada semestre e servem de parâmetros para estabelecer estratégias de melhoria no atendimento dos alunos e de toda a comunidade. Os cursos de especialização hoje, no país, respondem por grande número de alunos que após a graduação procuram obter melhor qualificação para enfrentar o mercado de trabalho. Em razão de sua curta duração mínimo de 360 horas e não exigência de prática é a modalidade de pós-graduação mais demandada em diversas áreas (Brasil, 20011). O sistema de avaliação institucional aplicado à pós-graduação, como afirma Iannone (1999) compreende a realização do acompanhamento do desempenho de cada disciplina e do 3

professor. Sendo assim, tais processos devem buscar três objetivos fundamentais: Auto- Referência, Auto-Análise e Auto-Desenvolvimento. De acordo com Ristoff et al. (2000) e Ribeiro (2000), todo processo de avaliação institucional tem que levar em consideração os indicadores internos e externos, dando prioridade aos primeiros, considerados mais relevantes para o desenvolvimento da instituição. Para Kolb (1984), a aprendizagem é a modificação do comportamento como resultado de uma experiência. Tal é efetivada quando há interação das informações adaptadas de acordo com as necessidades e interesses dos alunos. É a intersecção entre a teoria e a prática, entre as necessidades individuais e sociais. Compreender a reação que o professor causa no aluno é condição fundamental para a aprendizagem. Por isso, o desempenho dos professores é de fundamental importância para promoção da educação. Avaliar de forma continuada e científica é condição necessária para levar à reflexão dos conhecimentos e habilidades necessárias ao trabalho docente, visando à aprendizagem com qualidade. Segundo Pimenta e Anastasiou (2002), em virtude das atuais mudanças sociais, a dinâmica do conhecimento deve ser alterada e devem ser desenvolvidas novas técnicas de comunicação e de ensino que acompanhem tais transformações. A pesquisa bibliográfica sobre avaliação dos cursos pós-graduação no Brasil revelou a existência de poucos estudos sobre o tema e, especialmente, a carência de instrumentos específicos e mais sofisticados (questionários e escalas) elaborados para este propósito no país. A maioria das avaliações aplicadas aos cursos de pós-graduação para avaliar a infraestrutura e a qualidade no atendimento do corpo docente e técnico-administrativo, utilizam o questionário com perguntas objetivas como instrumento investigativo (MASSI, 2001). Especialistas via de regra julgam difícil a tarefa de elaborar instrumento que possa certificar se o professor estabelece clima favorável à aprendizagem, por exemplo. Ao realizar uma sondagem comparativa sobre a avaliação de professores em diversas nações, a uruguaia Denise Vaillant, coordenadora do Programa de Desenvolvimento Profissional Docente na América Latina e Caribe (Preal), concluiu que os sistemas que obtiveram melhores resultados utilizaram múltiplas estratégias, como a avaliação pelos pares, pelos gestores das escolas e a autoavaliação. A reorganização do ensino superior exige um sistema que permita identificar seu nível de qualidade, para que cumpra o papel que a sociedade espera. E o processo de avaliação é um dos avanços em direção ao aperfeiçoamento. Entretanto, os instrumentos utilizados têm sido questionados sobre sua capacidade de obter essas informações. (PIMENTA e ANASTASIOU, 2002). A produção de conhecimento envolve interrogar a realidade para compreendê-la, dando significado aos atos e estruturas sociais e apreendendo seus movimentos. Para MINAYO (1999), é uma atividade de aproximação sucessiva da realidade que nunca se esgota, fazendo uma combinação particular entre teoria e dados. Nessa ótica, a gestão de um sistema institucional pressupõe um processo de articulação para o desenvolvimento de uma proposta político pedagógica, segundo uma concepção de educação e de sociedade. Significa atribuir finalidades à organização educacional, definir os seus fundamentos filosóficos, sociais e educacionais; determinar a sua especificidade e estabelecer os parâmetros da qualidade desejada de sua atuação (BORDIGNON E GRACINDO, 2000). Uma instituição que deseja se desenvolver e se aprimorar necessita, primeiramente, conhecer os próprios atributos e deficiências para que possa potencializar seus pontos positivos e minimizar os negativos. Os questionários atualmente aplicados possibilitam que os 4

gestores dos cursos tenham essas informações? Há divergência entre os alunos e gestores dos cursos acerca do grau de importância de cada ponto avaliado? Para contribuir com o avanço do conhecimento sobre tais questões, o presente trabalho propõe-se a utilizar uma abordagem quantitativa multicritério como meio de trazer informações sobre a percepção de valor de cada questão respondida, tanto pelo gestor, como pelo aluno. 3 Métodos Multicritérios O Processo de formulação de decisão e escolha entre a melhor delas é quase sempre caótico e complexo. Caótico porque os indivíduos e as organizações não possuem visão clara e completa dos objetivos e dos meios que definem o problema da decisão. Complexo porque a incerteza, a falta de estruturação e o tamanho do problema podem inviabilizar a aplicação sistemática da maior parte das metodologias de decisão, que frequentemente usam julgamentos subjetivos (SHIMIZU, 2001;15). Uma alternativa ao processo de decisão é o uso de métodos multicritérios de apoio à decisão (MMAD) com o objetivo de tornar possível o tratamento da complexidade e do impacto da escolha. Gomes, Araya e Carignano (2004) ressaltam que os MMAD têm um caráter científico e, ao mesmo tempo, subjetivo, podendo agregar características consideradas importantes, inclusive aquelas não quantitativas, visando sistematizar e dar transparência à decisão. Nesse sentido, o Apoio Multicritério à Decisão corresponde a uma atividade baseada em modelos claramente apresentados, mas não necessariamente formalizados, que ajuda na obtenção de respostas às questões de um agente de decisão. Os primeiros métodos de auxílio multicritério à decisão começaram a surgir nos anos 1970 com o intuito de enfrentar situações específicas, nas quais um decisor deve resolver um problema com vários objetivos a serem atingidos de forma simultânea, atuando com racionalidade. Esta metodologia procura tornar neutro, objetivo, válido e transparente o processo de tomada da decisão, sem pretender indicar ao tomador de decisão uma solução única e verdadeira. As etapas traduzem-se em níveis que consideram: i) o objeto da decisão, e o espírito da recomendação, que representa o momento de reconhecimento da demanda de solução do problema; ii) a análise das consequências e elaboração dos critérios, que trata da definição do problema, grupos de interesse, objetivos e atributos; iii) a modelagem das preferências globais e operacionalização, que trata da elaboração do modelo analítico do problema, de forma a permitir o impacto dos parâmetros considerados; e iv) a análise dos resultados, que trata da avaliação de alternativas ante os critérios. Como a presente investigação utilizou-se principalmente dos métodos AHP e SMART, ambos serão descritos brevemente a seguir. 3.1 O Método SMART (Simple Multi-Attribute Rating) Godwinn & Wright (2004) tratam da técnica SMART ou Simple Multi-attribute Rating Technique, apresentada por Edwards em 1971 e faz uma classificação simples multiatributo amplamente aplicada. Os autores assinalam como positiva a agilidade na aplicação da técnica SMART, considerada um instrumento de grande utilidade, inclusive com possibilidade de uso em grupos de tomadores de decisões. Salientam os autores que o ônus da simplicidade do instrumento é o fato de o método não poder capturar todos os detalhes e complexidades de um problema real. Em que pese tais aspectos, a abordagem SMART tem sido considerada uma metodologia robusta para a tomada de decisão. O procedimento fundamenta-se no fato de que para a solução de problemas que envolvem vários critérios representativos de múltiplas dimensões, o melhor recurso é a 5

aprendizagem sobre o problema através da sua estruturação ou modelagem desse problema, e posteriormente, pela sua avaliação (CARLOS, MUNGUBA E MOURA, 2002). Para Godwinn & Wright (2004) a técnica de decisão multicritério SMART possui análise transparente e o método é capaz de produzir uma melhor compreensão do problema e ser aceitável para a decisão, pois permite a explicitação da própria decisão à medida que o processo se realiza nas suas etapas. As principais etapas na análise são mostradas abaixo: Quadro 1: Etapas do Método SMART. Etapa Especificação da análise 1 Identificar o decisor (ou decisores). 2 Identificar os cursos alternativos de ação. 3 Identificar os atributos que são relevantes para o problema de decisão. 4 Para cada atributo, atribuir valores para medir o desempenho das alternativas sobre esse atributo. 5 Determinar um peso para cada atributo. Isso pode refletir o quão importante o atributo é para o tomador de decisão. 6 Para cada alternativa, ter uma média ponderada dos valores atribuídos para essa alternativa. Isso nos dará uma medida de quão uma alternativa tem melhor atributo que outra. 7 Faça uma decisão provisória. 8 Realizar análise de sensibilidade para ver quão robusta a decisão é alterações nos dados fornecidos pelo decisor. Construindo uma árvore de valor Fonte: Godwinn & Wright (2004). Tendo construído uma árvore de valor, como podemos julgar se é uma representação precisa e útil das preocupações do tomador de decisão? Keeney e Raiffa (1976, apud GODWINN & WRIGHT, 2004) sugeriram cinco critérios que podem ser utilizados para julgar a árvore: 1. Integralidade. Se a árvore estiver concluída, todos os atributos que são de preocupação para o tomador de decisão terão sido incluídos. 2. Operacionalidade. Este critério é satisfeito quando todos os atributos de nível mais baixo na árvore são específicos o suficiente para o tomador de decisão para avaliar e compará-los para as diferentes opções. 3. Capacidade de Decomposição/Desdobramento. Este critério requer que o desempenho de uma opção sobre um atributo possa ser julgado independentemente de seu desempenho em outros atributos. 4. Ausência de redundância. Se dois atributos duplicarem o outro porque eles realmente representam a mesma coisa, então um desses atributos é claramente redundante, acarretando dupla contagem. 5. O tamanho mínimo. Se a árvore é muito grande qualquer análise significativa pode ser impossível. Para garantir que isso não aconteça, atribui não devem ser decomposto para além do nível onde podem ser avaliados. 3.2 O Método AHP (Analytic Hierarchy Process) O processo de análise hierárquica (AHP) oferece uma abordagem alternativa a SMART quando um decisor é confrontado com um problema que envolve múltiplos objetivos. As principais etapas da ferramenta são: (i) definir a hierarquia da decisão; (ii) fazer comparações aos pares de atributos e alternativas; (iii) transformar as comparações em pesos e 6

checar a consistência das comparações do tomador de decisão; (iv) usar os pesos para obter escores para as diferentes opções e tomar uma decisão provisória; e (v) realizar análise de sensibilidade. Segundo os autores, uma vez que o tomador de decisão e os cursos alternativos de ação tenham sido identificados, as principais etapas do método são mostradas conforme especificado a seguir: Quadro 2: Etapas do Método AHP. Etapa Especificação da análise 1 Configurar a hierarquia de decisão. Isto é semelhante a uma árvore valor no Inteligente, mas, como veremos, a principal diferença é que os cursos alternativos de ação também aparecem na hierarquia, no seu nível mais baixo. 2 Fazer comparações de pares de atributos e alternativas. Isto é utilizado para determinar a importância relativa de atributos e também para comparar o quão bem as opções de executar em diferentes atributos. 3 Transformar as comparações em pesos e verificar a consistência das comparações do decisor. 4 Use os pesos para obter pontuações para as diferentes opções e fazer uma decisão provisória. 5 As classificações de importância e preferência. Note-se que as fases 3, 4 e 5 requerem um pacote de computador, como EXPERT ESCOLHA, por causa da complexidade dos cálculos que estão envolvidos. A seguir, considerar cada uma das fases mais detalhadamente. Fonte: Godwinn & Wright (2004). As alternativas de decisão devem ser comparadas aos pares, considerando o grau e importância de uma em relação a outra, de acordo com a escala de definição sugerida por Saaty (1991). Os valores obtidos para cada alternativa são registrados em uma matriz quadrada de preferências. Quadro 3 : Escala Fundamental de Valores para Comparações Paritárias Escala de Definição Descrição 1 Importância igual 3 Importância fraca de uma sobre a outra 5 Importância forte 7 Importância muito forte. 9 Importância absoluta 2,4,6,8 Valores intermediários. Fonte: Saaty (1991). Para Gomes, Araya e Carignano, (2004) o estudo do processo pelo método AHP pode ser dividido em duas etapas: estruturação hierárquica do problema de decisão e a modelagem do método. Os autores apontam para os cuidados necessários à estruturação e da decisão e assinalam os aspectos a serem preservados, tais como: a) homogeneidade, na qual deve contemplar critérios relativos de importância em um mesmo nível; e b) não redundância, o qual presume independência dos níveis entre si. Ressaltam ainda que, considerando a hierarquia de decisão como ponto fundamental do método AHP, a hierarquia linear é a estrutura que o representa de forma adequada. Além disso, estabelece-se o vetor de 7

prioridades e um índice específico para apontar ao decisor a eventual inconsistência nas comparações. Godwinn & Wright (2004) explicam que um valor igual a zero indica consistência perfeita. Por outro lado, os valores acima de 0,1 apontam inconsistência a qual, segundo Saaty (1993) é inerente ao comportamento humano, sendo mais um fator de alerta para o decisor do que uma situação indesejável. Nesse sentido, o autor considera necessário trabalhar juntas a hierarquia e as medidas de relatividade e desse modo sugere o indicador de Razão de Consistência (RC), obtida através da relação entre alguns índices específicos voltados para este tipo de medição (GOMES, ARAYA E CARIGNANO, 2004). 4. METODOLOGIA Inicialmente analisou-se o questionário utilizado para a avaliação docente na Instituição. Observou-se que o mesmo modelo é utilizado por todos os cursos de todas as áreas (ciências sociais, exatas, saúde e ciências jurídicas). Constatou-se também que o modelo usado coincide (a despeito de poucas alterações) com o adotado pela maior parte das IES e empresas específicas que oferecem cursos de pós-graduação em Fortaleza. A propósito, a Instituição considerada está situada em Fortaleza, é de natureza privada e possui 1.713 alunos em todos os cursos de especialização e MBA s. A seguir solicitou-se aos dois principais gestores da área de especialização lato sensu que atribuíssem pesos aos itens contidos no questionário de avaliação docente. Um deles realizou a atribuição pelo método SMART, enquanto o outro usou AHP. Em seguida, solicitou-se a seis indivíduos que já realizaram pós-graduação lato sensu naquela IES, que são atualmente professores com doutorado/mestrado e considerados conhecedores da área, que também atribuíssem níveis de importância aos itens do questionário. Denominou-se o conjunto de Grupo de Planejamento. Depois de recebidos os resultados, foram comparados: a) Os valores gerados pelo SMART com o do AHP; b) As atribuições geradas pelo grupo dos 2 gestores com o grupo dos 6 ex-participantes; e c) os níveis de consistência das respostas, a partir das razões e índices de consistência associados ao método AHP. Foram comparados os auto vetores dos 8 entrevistados com a finalidade de encontrar convergências ou divergências nas percepções relacionadas aos fatores analisados. Também foram elencadas as medidas de Razão de Consistência (RC) para todos os entrevistados. Como forma de verificar se a quantidade de questões constituía aspecto relevante para a existência de inconsistência das respostas, realizou-se novo experimento, agora considerando apenas 10 das 16 questões iniciais e recalculando os índices de consistência propostos pelo método AHP. Em seguida realizou-se outro procedimento: Consideraram-se as respostas apresentadas por todos os alunos que utilizaram os questionários de avaliação docente nos anos de 2010 e 2011 em pelo menos um curso do programa lato sensu. A Instituição disponibilizou amostra com 2.000 resultados. Os pesquisadores tiveram acesso ao instrumento de pesquisa, cuja composição envolve 16 itens que avaliam o professor. Procedeu-se à aplicação da técnica da Análise Fatorial, como maneira de identificar dimensões implícitas nas respostas dadas pelos 2.000 alunos. A escolha da técnica atende aos objetivos do estudo de acordo com Hair (2009), pois permite resumir a informação contida em diversas variáveis originais em um conjunto menor de novas dimensões compostas com perda mínima de dados, além de buscar e definir construtos fundamentais assumidos como inerentes às variáveis originais. O quadro a seguir indica as variáveis consideradas: 8

Quadro 4: Variáveis fatores de avaliação VARIÁVEIS ITENS DE AVALIAÇÃO DO DOCENTE v1 ORGDISC Demonstra organização na disciplina v2 ALCOBJE Analisa, ao final de cada unidade, juntamente com os alunos, o alcance dos objetivos. v3 TEOCIENT Apresenta fundamentação teórico-científica do conteúdo ensinado v4 CONATUAL Apresenta conhecimentos atualizados na disciplina v5 OUTVISAO Procura apresentar vários aspectos de um assunto/ problema p/ facilitar compreensão v6 FONADIC Indica fontes de informações adicionais para a disciplina v7 BIBLATUAL Indica suporte bibliográfico atualizado, acessível aos alunos v8 MOTIVA Ministra aulas que motivam os alunos v9 COMUNI Comunica-se de forma clara e objetiva v10 PVISTA Aceita críticas sobre o seu ponto de vista v11 CLIMA Mantém clima de respeito mútuo e moral elevado em sala de aula v12 AVOBJET Realiza atividades avaliativas (trabalhos, provas) relacionadas aos objetivos da disciplina. v13 AVCONSTR Avalia trabalhos/provas com atenção, fazendo críticas construtivas. v14 CARGHORA Cumpre a carga horária prevista para a disciplina v15 INTEGRA Facilita a integração com os alunos de sua turma v16 RECDIDAT Utiliza recursos didáticos de qualidade, apropriados à disciplina.. Fonte: Elaboração dos autores Tal análise exploratória apoiou-se no método dos componentes principais, obtendo as estatísticas utilizadas usualmente pela análise fatorial, tais como: Teste de Esfericidade de Bartlett, Medida de Adequacidade de Kaiser-Meyer-Olkin (KMO), Comunalidades, Eigenvalues e Cargas fatoriais conforme preconizam Aaker, Kumar e Day (2001). 5. RESULTADOS A partir da aplicação dos métodos multicritério e com a hierarquização dos itens de avaliação foi possível identificar a Razão de Consistência (RC) de todos os entrevistados que priorizaram os 16 itens do questionário usando a técnica AHP, quais sejam, gestores e exparticipantes, o que permitiu avaliar a consistência das respostas no instrumento. Tabela 1: Medidas de consistência quanto à importância dos fatores. Gestor Ex-participante Consistência A B a b c d e f N=16 IC 0,43 s 0,35 0,22 0,55 0,15 0,52 0,71 RC 0.28 s 0,23 0,15 0,36 0,10 0,34 0,47 N=10 IC 0,45 s 0,49 0,20 0,47 0,27 0,39 0,94 RC 0,30 S 0,28 0,14 0,32 0,18 0,26 0,63 Fonte: Elaboração dos autores Nesse sentido constatou-se que a maior parte dos respondentes demonstra inconsistência na resposta quanto à importância dos fatores de avaliação docente, tanto ao considerar os 16 itens (n = 16), quanto para n = 10. Isso significa que a simples redução de 9

itens não implica aumento de consistência, pois em algumas situações a inconsistência até mesmo cresceu. A tabela 2 apresentada a seguir, permite perceber a partir das médias, que os itens de avaliação julgados mais importantes por aqueles que elaboram e usam as avaliações no programa de pós-graduação lato sensu (aqui denominado Grupo de Planejamento), foram : Na visão dos gestores do programa (coordenadores acadêmicos) : Apresenta fundamentação teórico-científica do conteúdo ensinado ; Ministra aulas que motivam os alunos ; Apresenta conhecimentos atualizados na disciplina ; Comunica-se de forma clara e objetiva Na visão de participantes do programa (ex-participantes e professores): Ministra aulas que motivam os alunos ; Comunica-se de forma clara e objetiva ; Utiliza recursos didáticos de qualidade, apropriados à disciplina Apresenta conhecimentos atualizados na disciplina ; Procura apresentar vários aspectos de um assunto/ problema p/ facilitar compreensão Mantém clima de respeito mútuo e moral elevado em sala de aula Observa-se que, enquanto os gestores, os quais são responsáveis diretos pela formulação e utilização dos instrumentos de avaliação, valorizam mais o conteúdo em si, os ex-participantes e atuais professores do programa priorizam a forma como o conteúdo chega aos alunos. Considerando a necessidade de identificar eventuais divergências nas percepções dos planejadores sobre o nível de importância dos itens analisados, comparou-se os resultados ( apresentados sob a forma de autovetores ) do Grupo de Planejamento. Os resultados apresentaram convergência em 11 das 16 variáveis,e evidenciaram 5 divergências. Em relação a estas últimas, os itens identificados se referem às variáveis (v3) Apresenta fundamentação teórico-científica do conteúdo ensinado, (v4) Apresenta conhecimentos atualizados na disciplina, (v11) Mantém clima de respeito mútuo e moral elevado em sala de aula, (v12) Realiza atividades avaliativas (trabalhos, provas) relacionadas aos objetivos da disciplina e (v16) Utiliza recursos didáticos de qualidade, apropriados à disciplina. Tais itens tratam de repasse de conhecimento, clima, avaliação da aprendizagem e uso de recursos didáticos. Por outro lado, as demais variáveis assinalam alguma convergência de posicionamentos, revelando similaridade na percepção do Grupo de Planejamento no que se refere ao grau de relevância que os seus membros atribuem aos diversos itens de avaliação. A tabela seguinte mostra os resultados gerados pelos métodos multicritério e se referem às prioridades atribuídas pelos componentes do Grupo de Planejamento. Os resultados permitem identificar cinco variáveis onde o grupo tem praticamente a mesma percepção quanto à importância dos itens avaliados: (v7) Indica suporte bibliográfico atualizado, acessível aos alunos, (v10) Aceita críticas sobre o seu ponto de vista, (v13) Avalia os trabalhos e/ou provas com atenção, fazendo críticas construtivas e (v14) Cumpre a carga horária prevista para a disciplina. Estas variáveis tratam, respectivamente da atualidade da informação repassada pelo docente, assim como sua objetividade, clareza na comunicação e receptividade a críticas. 10

Tabela 2: Prioridades atribuídas pelos componentes do Grupo de Planejamento, na forma de autovetores. Qt Gestor Ex-participante Média Itens A B Média a b c d e f Média geral 1 0,01 0,07 4% 0,06 0,04 0,02 0,02 0,02 0,08 4% 3% 2 0,05 0,04 5% 0,01 0,02 0,03 0,13 0,03 0,12 6% 2% 3 0,18 0,06 12% 0,15 0,06 0,02 0,04 0,08 0,03 6% 8% 4 0,14 0,08 11% 0,04 0,07 0,04 0,12 0,14 0,03 7% 8% 5 0,09 0,06 8% 0,07 0,09 0,04 0,07 0,08 0,06 7% 6% 6 0,03 0,05 4% 0,02 0,03 0,03 0,04 0,02 0,06 3% 2% 7 0,03 0,06 5% 0,02 0,04 0,04 0,04 0,06 0,07 5% 4% 8 0,15 0,08 12% 0,14 0,10 0,12 0,18 0,11 0,04 11% 12% 9 0,12 0,08 10% 0,18 0,10 0,14 0,07 0,03 0,09 10% 12% 10 0,01 0,06 4% 0,02 0,09 0,03 0,04 0,05 0,04 4% 3% 11 0,01 0,07 4% 0,04 0,09 0,08 0,07 0,06 0,06 7% 6% 12 0,06 0,08 7% 0,06 0,03 0,02 0,03 0,09 0,09 5% 6% 13 0,06 0,04 5% 0,04 0,07 0,03 0,04 0,05 0,09 5% 4% 14 0,02 0,05 4% 0,04 0,04 0,10 0,02 0,02 0,03 4% 5% 15 0,02 0,05 4% 0,03 0,08 0,11 0,05 0,05 0,04 6% 6% 16 0,02 0,06 4% 0,07 0,05 0,13 0,02 0,12 0,07 8% 11% RC 1 1 100% 1 1 1 1 1 1 1 100% Fonte: Elaboração dos autores Isso quer dizer que componentes do Grupo de Planejamento aqui formado, apesar de pertencerem a subgrupos distintos (tais como gestores e especialistas) manifestam alguma conformidade de opinião quanto à importância dos aspectos organizacionais,alcance de objetivos do programa, motivação despertada pelas aulas ministradas, atualidade da informação,conteúdos adicionais e abordagem de pontos de vista diferenciados. Os resultados apontam para maior número de convergências do que de divergências, permitindo induzir a existência de alguma regularidade entre os planejadores dos instrumentos associados à avaliação docente nos cursos lato sensu da IES considerada. Na fase seguinte realizou-se o procedimento fatorial. Considerou-se 16 variáveis em uma base de dados com 2.000 respondentes, onde procurou-se determinar dimensões implícitas a partir das correlações entre as variáveis originais. Tal procedimento, via de regra, reduz o conjunto original de itens de avaliação, na medida em que parte da variância dos dados está contida em fatores supostamente pertencentes a dimensões superiores. A adequacidade da amostra foi verificada pelo Teste KMO cuja estatística 0,923 é julgada satisfatória e sugere que o procedimento será de utilidade para efeito de redução dos dados. Além disso, o teste de esfericidade de Bartlet s confirma a existência de variação conjunta entre as variáveis (Tabela 3). Tabela 3: Teste KMO e Bartlet s. KMO and Bartlett's Test Kaiser-Meyer-Olkin Measure of Sampling Adequacy.,923 Bartlett's Test of Sphericity Approx. Chi-Square 6229,347 df 120 Sig.,000 Fonte: Saída relatório SPSS. Elaboração dos autores. 11

A matriz Antiimagem apresenta o poder de explicação dos fatores em cada uma das 16 variáveis consideradas. A diagonal indica medidas de adequação amostral para cada variável e valores inferiores a 0,50 apontam para variáveis que podem ser retiradas da análise (CORRAR, 2007). Como pode ser observado na tabela abaixo, todas as variáveis são consideradas pertinentes para a análise (tabela 4). Tabela 4:. Resultados correlação anti-imagem variáveis covariância Variáveis correlação Anti-image v1 ORGDISC,819 Anti-image v1 ORGDISC,942 a Covariance v2 ALCOBJE,860 Correlation v2 ALCOBJE,953 a v3 TEOCIENT,832 v3 TEOCIENT,936 a v4 CONATUAL,830 v4 CONATUAL,910 a v5 OUTVISAO,836 v5 OUTVISAO,929 a v6 FONADIC,859 v6 FONADIC,896 v7 BIBLATUAL 840 v7 BIBLATUAL,907 v8 MOTIVA,636 v8 MOTIVA,930 v9 COMUNI,599 v9 COMUNI,918 v10 PVISTA,799 v10 PVISTA,940 v11 CLIMA,858 v11 CLIMA,929 v12 AVOBJET,854 v12 AVOBJET,914 v13 AVCONSTR,617 v13 AVCONSTR 902 v14 CARGHORA,776 v14 CARGHORA,935 v15 INTEGRA,586 v15 INTEGRA,905 v16 RECDIDAT,644 v16 RECDIDAT,935 Fonte: Saída relatório SPSS. Elaboração dos autores. As comunalidades indicam o grau de variância existente em cada variável explicada pela totalidade dos fatores. A comunalidade inicial é estimada a partir da variância de cada variável contada em relação a todos os fatores componentes, isto é, a parcela que é comum às demais variáveis estudadas. Neste estudo, as comunalidades de parte das variáveis após a extração dos fatores estão próximas a 0,7, indicando razoável poder de explicação do modelo. Tabela 5: Comunalidade inicial e após a extração pelo método dos componentes principais Comunalidades Initial Rextracted v1 ORGDISC 1,000,701 v2 ALCOBJE 1,000,656 v3 TEOCIENT 1,000,603 v4 CONATUAL 1,000,574 v5 OUTVISAO 1,000,480 v6 FONADIC 1,000,698 v7 BIBLATUAL 1,000,580 v8 MOTIVA 1,000,530 v9 COMUNI 1,000,585 v10 PVISTA 1,000,479 v11 CLIMA 1,000,616 v12 AVOBJET 1,000,723 v13 AVCONSTR 1,000,614 v14 CARGHORA 1,000,496 v15 INTEGRA 1,000,592 v16 RECDIDAT 1,000,511. Fonte: Saída relatório SPSS. Elaboração própria. 12

Como é usual na aplicação do método de extração por componentes principais, a consideração considerados os eigenvalues superiores a 1, o que gerou 2 fatores principais, explicativos de 37,16% da variância. Para efeito de interpretação dos fatores a partir das cargas fatoriais (factor loadings), realizou-se rotação ortogonal, a qual melhor evidencia a relevância das variáveis em cada fator. Cada valor representa a correlação parcial entre a variável original e o fator após rotação e essa correlação pode apoiar a formulação e interpretação de fatores ou componentes, podendo ser visualizada por meio de eixos perpendiculares ajustados aos dados. Tabela 6: Eigenvalues variância explicada Total Variance Explained Component Initial Eigenvalues Extraction Sums of Squared Loadings Total % of Variance Cumulative % Total % of Variance 1 4,644 29,022 29,022 4,644 29,022 2 1,303 8,145 37,168 1,303 8,145 Fonte: Saída (parcial) relatório SPSS. Elaboração própria. Considerando que os fatores não são observáveis, sua interpretação baseia-se nas cargas fatoriais, apresentadas na tabela seguinte: Tabela 7: Matriz de componentes rotacionados Varimax Components 1 2 v1 ORGDISC,286,051 v2 ALCOBJE,300,052 v3 TEOCIENT,152,737 v4 CONATUAL,213 -,015 v5 OUTVISAO,103,433 v6 FONADIC,057,094 v7 BIBLATUAL -,016,200 v8 MOTIVA,668,225 v9 COMUNI,729,146 v10 PVISTA,247,488 v11 CLIMA,212,132 v12 AVOBJET,163,126 v13 AVCONSTR,772,059 v14 CARGHORA,330,606 v15 INTEGRA,733,165 v16 RECDIDAT,640,186 Fonte: Saída relatório SPSS. Elaboração própria. Observa-se que o primeiro fator recebe forte carga fatorial positiva das variáveis Aulas que motivam os alunos. Comunica-se de forma clara e objetiva, Utiliza recursos didáticos de qualidade, apropriados à disciplina e Facilita a integração com os alunos de sua turma, Avalia os trabalhos e/ou provas fazendo críticas construtivas podendo ser interpretado por uma dimensão que represente COMUNICAÇÃO E ATUALIDADE. De fato, os resultados obtidos mostram que a base histórica apontou fatores, cujo foco recai, principalmente, sobre a clareza na comunicação, integração do grupo e uso do instrumento de 13

avaliação como elemento de aprendizagem. Tal fator representa o principal componente obtido a partir das respostas dos alunos. Já o segundo fator recebeu maiores cargas fatoriais nas variáveis Apresenta fundamentação teórico-científica do conteúdo ensinado e Cumprimento da carga horária prevista para a disciplina, sendo aqui interpretado por CONTEÚDO. Os resultados obtidos na análise fatorial demonstram que os alunos da pós-graduação lato sensu (assim como os professores e ex-participantes do programa) consideram prioritários os fatores relacionados a comunicação, integração e feedback construtivo e em seguida, o conteúdo apresentado, possibilitando apreender que tal clientela parece estar mais interessada na forma e atualidade com que o curso é apresentado do que com o conteúdo do mesmo. Um aspecto merecedor de atenção é que nenhum fator ou variável, além das mencionadas acima, teve maior importância para os respondentes. Este fato demonstra que o processo de avaliação atualmente utilizado baseia-se em uma quantidade excessiva de variáveis, que levam a redundâncias e não contribuem para um planejamento efetivo do programa de pós-graduação daquela IES. 6. CONCLUSÃO O estudo mostrou as diferenças de percepção do programa de pós-graduação lato sensu entre os planejadores da IES (gestores que elaboram e se utilizam do instrumento) e os sujeitos (indivíduos a quem a avaliação é aplicada). Enquanto os gestores, representantes da instituição, enfatizam a priori os itens de avaliação referentes à fundamentação teórico-científica do conteúdo ensinado, os alunos (assim como os professores e ex-participantes do programa) estão mais focados na comunicação e integração do professor com a turma, na manutenção de um bom clima em sala de aula e na flexibilidade e disponibilidade do docente para aceitar críticas e posicionamentos distintos. Um aspecto relevante na identificação dos principais fatores sob a ótica do corpo discente, é que o conteúdo teórico e a base científica dos cursos ficaram em segundo lugar. Ressalte-se que enquanto o primeiro fator (interpretado por COMUNICAÇÃO E ATUALIDADE) captou 29% da variação de todo o conjunto de dados, o segundo fator (interpretado por CONTEÚDO) foi responsável por apenas pouco mais de 8%, significando que se encontra algo distante do primeiro. Assim, a prioridade apontada pelos alunos refere-se principalmente à forma com que o curso é apresentado. Os resultados advindos dos alunos, e ex-participantes revelam prioridades que, de certa forma, confrontam as propostas pedagógicas dos cursos, geralmente de caráter formativo, propondo-se a repassar conteúdos a partir de métodos tradicionais. Naturalmente, tais propostas atendem às diretrizes curriculares definidas pelo INEP e pela CAPES quanto à abordagem de formação. Entretanto, o resultado desse estudo sinaliza para uma reflexão quanto à expectativa do corpo discente quanto ao professor colocando-o muito mais como um facilitador da aprendizagem e orientador do aluno a partir de uma abordagem mais prática e direcionada ao mercado. A análise fatorial corroborou as diferenças de foco apontadas na análise multicritério, porquanto mostra os principais pontos em que as percepções dos atuais alunos, assim como de ex-participantes e professores, diferem daquelas associadas aos gestores acadêmicos, responsáveis pela elaboração, levando a se questionar o uso do instrumento atual como instrumento de planejamento. Provavelmente este é o principal motivo para a não utilização dos resultados deste tipo de avaliação como instrumento de planejamento e atualização dos programas de pós- 14

graduação lato sensu na IES estudada. Conforme mencionado no início do artigo, o problema que originou toda a investigação, foi o fato de os próprios gestores e participantes das áreas de planejamento informarem não fazer qualquer uso dos resultados daquelas avaliações como instrumento de apoio ás decisões. O estudo recomenda que se reveja o processo de avaliação do programa de pósgraduação lato sensu da IES, principalmente no que se refere à elaboração do questionário, de modo a alinhar as expectativas dos alunos e professores com as dos gestores acadêmicos, com o propósito de atender expectativas de um novo perfil de alunos, demandas de avaliação do desempenho docente baseadas em diretrizes do MEC e levando também em consideração outros aspectos quando da formação do corpo docente de cada curso, tudo isto visando proporcionar uma maior qualidade ao programa. 7. REFERÊNCIAS BIBLIOGRÁFICAS AAKER, David; KUMAR, V.; DAY, George, Pesquisa de Marketing. São Paulo: Atlas, (2001); AFONSO, A. J. Avaliação educacional: regulação e emancipação. São Paulo: Cortez, 2000. BORDIGNON, G.; GRACINDO, R. V. Gestão da educação: o município e a escola. In: BRASIL. Congresso Nacional. Lei n. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior (Sinaes) e dá outras providências. Diário Oficial da União. Brasília, 2004, seção I, p.3.. Sistema Nacional de Avaliação da Educação Superior: bases para uma nova proposta de avaliação da Educação Superior Brasileira. Brasília: MEC/Inep, 2011. Disponível em: <http://www.publicacoes.inep.gov.br/detalhes. asp?pub=3608> Acesso em: 10 abr. 2012 CARLOS, M. G. O. ; PAIVA FILHO, A. S. ; BEZERRA, R. M. M. ; MOURA, H. J.. Processo De Decisão Através Da Análise Multicritérios Smart - Um Estudo De Caso Aplicado À Faculdade Contemporânea Do Ceará. In: II Encontro de Pós-Graduação e Pesquisa da Universidade de Fortaleza, 2002, Fortaleza. II Encontro de Pós-Graduação e Pesquisa da UNIFOR, 2003. COOPER, D.R., E SCHINDLER, P.S.Métodos de Pesquisa em Administração. 7.ed. Porto Alegre: Bookman, 2004 CORRAR, L J, PAULO E, DIAS FILHO, J M Análise Multivariada. São Paulo: Atlas, 2007 DIAS SOBRINHO, J. Avaliação da educação superior. Petrópolis: Vozes, 2002. FREITAS, M. A. O. Pós-Graduação e Formação Docente: a experiência da Disciplina de Formação Didático-Pedagógica em Saúde na Unifesp. São Paulo, 2005. Dissertação (mestr.) Universidade Federal de São Paulo. Centro de Desenvolvimento do Ensino Superior em Saúde Cedess. GOMES, Luis Flávio Autran Monteiro; ARAYA, Marcella Cecília Gonzáles; e CARIGNANO, Cláudia. Tomada de Decisões em Cenários Complexos. São Paulo: Pioneira Thomsom Learning, 2004). GOODWIN,Paul & WRIGHT, George. Decision analysis for management judgment 3rd ed. p. cm. British Library, John Willey and sons, 2004 HAIR, Jr J. F.; BLACK, W.C. BABIN, B; ANDERSON, R.E.; TATHAM, R.L. Análise multivariada de dados. 6. ed. Porto Alegre: Bookman, 2009. IANNONE, Leila Rentroca. Avaliação institucional: relato de uma experiência. In: Editora Articulação Universidade/Escola, 1999. KEENEY, R. L. and RAIFFA, H. (1976) Decisions with Multiple Objectives: Preferences and Value Tradeoffs, Wiley, New York. KOLB, David A. Experiential learning. New Jersey. Ed O Doughert, 1984. 15

PIMENTA, Selma G. e ANASTASIOU, Lea das Graças C. Docência no ensino superior. São Paulo:Cortez, 2002. MASSI, Cosme D. Basto.Avaliação Institucional. 2001. MINAYO, M. C. S. O Desafio do Conhecimento: pesquisa qualitativa em saúde. 6.ed. São Paulo: Hucitec, 1999 RIBEIRO, Célia Maria Ribeiro et al. Projeto de Avaliação Institucional da Universidade Federal de Goiás. 2000 RISTOFF. Dilvo I., DIAS SOBRINHO e BALZAN, Newton César (orgs.) Avaliação Institucional: teorias e experiências. Avaliação Institucional: pensando princípios. São Paulo: Cortez, 2000. SAATY, T. L. Método de análise hierárquica. São Paulo: Markron Books, 1991. SHIMIZU, Tamio. Decisão nas Organizações: Introdução aos problemas de decisão encontrados nas organizações e nos Sistemas de apoio à decisão. São Paulo: Atlas, 2001. 16