Aplicação do método ELECTRE TRI à classificação da percepção do desempenho de IES por parte do corpo discente

Transcrição

1 Aplicação do método ELECTRE TRI à classificação da percepção do desempenho de IES por parte do corpo discente Tania Aparecida Azeredo da Conceição Ribeiro (UCAM-Campos) Helder Gomes Costa (UFF) Resumo Este artigo apresenta uma modelagem para a classificação da percepção do desempenho de Instituições de Ensino Superior (IES) sob a óptica discente. Este texto propõe o emprego do Método ELECTRE TRI à análise deste problema. Um estudo de caso de aplicação da abordagem proposta é também apresentado. Palavras-chave: IES.Qualidade. Multicritério. 1. Introdução A universidade brasileira vem sofrendo, nas últimas décadas, mudanças importantes, tanto em termos de quantidade quanto de qualidade. O crescimento vertiginoso do número de cursos superiores, a criação de novos cursos de pós-graduação, o aumento no número de alunos e necessidade de melhor qualificação profissional dos professores contribuem para um quadro diversificado em que a rapidez das mudanças dificulta a análise das Instituições de Ensino Superiores (IES). Pensar qualidade pressupõe pensar em avaliação, a qual deve estar relacionada à retórica da excelência, não se devendo falar em avaliação sem essa proposta. Atualmente já não se discute a necessidade da avaliação, mas como a mesma deve ser processada. Para Demo (1994) a qualidade é processo de construção e participação coletiva, envolvendo os diferentes segmentos da organização. A avaliação da IES pelos corpos docente e discente revelam-se como ações recomendáveis, tendo em vista a ligação destes com todas as funções que cabem ser cumpridas pela Universidade (BOTH,1998). Esta questão também é corroborada pelo Programa de Avaliação (PAIUB) e pela Lei de Diretrizes e Bases (LDB). Em função da importância que este tema ganhou, torna-se necessário construir e investigar os métodos de avaliação de IES. Dentre os diversos ângulos existentes no processo de avaliação institucional, há um destaque na percepção do corpo discente quanto à qualidade do serviço prestado pela IES. Uma das manifestações deste problema é a classificação das IES em classes de padrões pré-estabelecidos. A Figura 1 busca ilustrar este problema: Estabelecida à classificação, a instituição poderá promover ações para desenvolver suas potencialidades e reduzir seus pontos fracos, constituindo assim em instrumento de gestão, para suporte à decisão na busca da melhoria contínua. 1.1 Objetivo Neste trabalho apresenta-se uma proposta de aplicação da análise multicritério à avaliação de desempenho da IES sob a ótica do corpo discente. ENEGEP 2005 ABEPRO 1607

2 Muito Bom Bom IES Regular Ruim Muito Ruim Figura 1 Classificação da IES em padrões pré-estabelecidos. 1.2 Justificativa A avaliação institucional é uma análise valorativa da organização, do seu funcionamento e dos resultados dos processos acadêmicos e administrativos, conforme reportado em Vahl (1991), podendo ser adotada como uma ferramenta auxiliar no processo de gestão das políticas educacionais e na administração do ensino. A implementação do processo de avaliação compreende duas linhas de atuação. A primeira de inteira responsabilidade da Instituição, concebida pela comunidade acadêmica, com finalidade de produzir uma qualidade cada vez melhor e socialmente mais significativa. A segunda é um modelo de avaliação de educação nacional, conduzido pelo Estado, onde a transformação, dos objetivos em critérios de avaliação nem sempre são transparentes e consensuais (SGUISSARDI, 1997). A avaliação entendida como um insumo do processo mais amplo de planejamento da organização, permite obter o diagnóstico de necessidades e identificar as ações que se podem fazer na gestão da organização, permitindo retro-alimentar as mais diversas atividades das instituições. Em síntese, a avaliação além de verificar se a instituição está atingindo seus objetivos e cumprindo sua missão, deve exercer um papel de direcionador na busca da melhoria contínua. Oliveira et al (1999) afirmam que os motivos que levam a avaliar as instituições de ensino vão desde a melhoria da utilização dos recursos até a oportunidade de tomar decisões relativas às dimensões administrativas e pedagógicas. Avaliações são múltiplas e devem ser feitas por ângulos diferentes, como se olhasse um cubo, onde cada face oferece uma nova dimensão, uma perspectiva diferente e, ao mesmo tempo, complementar. Desta forma, a avaliação tem um forte componente subjetivo - sobretudo ao se considerar as especificidades regionais. Este contexto motivou a escolha do tema Avaliação Institucional de IES e o emprego de técnicas de Análise Multicritério, capazes de tratar problemas envolvendo múltiplos critérios e a subjetividade inerente ao processo de avaliação e classificação. Este estudo é parte de um conjunto de análises sobre as IES, vistas sob vários ângulos.espera-se que, com esta abordagem multicritério, se possa melhor perceber a realidade multidimensional das universidades brasileiras. ENEGEP 2005 ABEPRO 1608

3 2. Modelagem do problema Nesta seção descreve-se a abordagem proposta para a avaliação e classificação do desempenho de IES sob a percepção do seu corpo discente. Por tratar-se de problema específico no qual a subjetividade está fortemente presente, fundamentou-se a proposta aqui apresentada em conceitos de Auxílio Multicritério À Decisão (AMD), que é capaz de tratar problemas com esta característica. Mais especificamente utilizou-se o método ELECTRE TRI (YU, 1992 e MOUSSEAU et al, 1999),da família ELECTRE. A aplicação desta metodologia é um desdobramento do trabalho de Freitas (1997), que de forma pioneira empregou o método ELECTRE III para avaliação da qualidade de serviços.a justificativa para a escolha do ELECTRE TRI está relacionada ao fato do trabalho apresentar um problema de classificação ordenada (COSTA, 2002), que envolve múltiplos critérios e avaliação subjetiva. As etapas para a estruturação da metodologia aqui proposta são apresentadas a seguir: a) Identificar a IES cujo grau de qualidade de serviços deseja-se avaliar. O desenvolvimento deste estudo teve objeto uma Universidade, da rede particular de ensino, localizada em Campos dos Goytacazes,no Estado do Rio de Janeiro. Esta IES tem uma variedade de cursos de graduação, pós-graduação e de extensão. A avaliação foi realizada mediante aplicação de um questionário, no qual se coletou julgamentos de valor referentes ao grau de satisfação do corpo discente com a IES, à luz de múltiplos critérios. O recorte temporal recai sobre os seguintes períodos letivos: 2000(segundo semestre) e 2001(primeiro e segundo semestres). b) Identificar conjunto de critérios que devem ser considerados na avaliação da IES. Considerando o número elevado de alunos desta IES, estabeleceu-se uma comissão discente(cd), para definir o conjunto de critérios. Esta comissão teve um total de 25 membros e era composta: pelo presidente do Diretório Acadêmico; pelo presidente da Empresa Junior; e, por representantes de turmas. Em decisão consensual esta comissão sugeriu um conjunto de critérios de avaliação apresentado no Quadro 1. Este conjunto de critérios foi referendado pelos demais membros do corpo discente, através de votação em terminal eletrônico. A CD também se reuniu e discutiu a importância década um destes critérios. Após esse procedimento, a comissão concluiu que para atender as expectativas dos discentes, todos os critérios tinham igual importância (foram considerados como muito importantes). Os pesos atribuídos aos critérios também estão ilustrados no Quadro 1. CRITÉRIOS Código Peso 1-Gestão da Direção da Instituição Cr Gestão da Coordenação Geral de Ensino Cr Gestão da Coordenação Acadêmica do curso Cr3 5 4 _Serviço da Biblioteca Cr Serviço do Xerox Cr5 5 6-Serviço da Secretaria Cr Serviço da Tesouraria Cr Nível de ensino Cr Nível de satisfação em relação ao curso Cr9 5 Quadro 1- Conjunto de critérios definidos pelo corpo discente c) Identificar as classes de equivalência juntamente com seus respectivos limites (fronteiras). Foram definidas cinco categorias de classificação ou classes (C1, C2, C3, C4 e C5), ENEGEP 2005 ABEPRO 1609

4 delimitadas por quatro fronteiras (F1, F2, F3 e F4). O Quadro 2 reportado a seguir, ilustra as categorias e fronteiras consideradas nesse experimento. Por exemplo: se a IES receber uma avaliação igual a 4,0, em todos os critérios,ficará classificada na classe C2 (Desempenho Bom). Categorias e Fronteiras Limites das Categorias Cr1 CR2 Cr3 CR4 CR5 CR6 CR7 CR8 CR9 C1 MUITO BOM F1 4,5 4,5 4,5 4,5 4,5 4,5 4,5 4,5 4,5 C2 BOM F2 3,5 3,5 3,5 3,5 3,5 3,5 3,5 3,5 3,5 C3 REGULAR F3 2,5 2,5 2,5 2,5 2,5 2,5 2,5 2,5 2,5 C4 RUIM F4 1,5 1,5 1,5 1,5 1,5 1,5 1,5 1,5 1,5 C5 MUITO RUIM Quadro 2- Limites das categorias utilizadas no experimento d) Especificar a escala de julgamentos dos serviços prestados pela IES x à luz de cada critério. Recomenda-se o emprego de escalas nominais associadas a uma escala numérica, visto que a metodologia proposta permite contemplar critérios subjetivos na avaliação. A escala definida pela IES, está de acordo com os trabalhos de Likert (1932), Miller (1954), Parducci (1965) e Saaty (1991). A escala adotada é apresentada na Tabela 1. Escala verbal Valor Numérico Muito satisfeito 5 Satisfeito 4 Hesitação entre satisfeito e insatisfeito 3 Insatisfeito 2 Muito insatisfeito 1 Tabela 1- Escala de conversão para o julgamento dos critérios e) Definir o conjunto de avaliadores. Definidos os critérios, a implantação da avaliação institucional ocorreu no semestre seguinte, com uma amostra aleatória de alunos matriculados entre o segundo período (inclusive) e o último período (exclusive).. f) Os avaliadores são constituídos por membros do corpo discente, dos cursos de graduação, matriculados entre o segundo período (inclusive) e o último período (exclusive), durante o período 2000 (segundo semestre) e 2001(primeiro e segundo semestre) que emitiram julgamentos a respeito do Grau de Satisfação com os serviços prestados pela IES à luz de cada critério estabelecido pela comissão representativa dos discentes. Estes avaliadores foram definidos de forma aleatória, em amostras constituídas de 975 alunos (conforme tabela 5). Foram desprezados os dados (da amostra e da população) referentes aos discentes matriculados nos primeiros e nos últimos períodos. Período Amostra População ENEGEP 2005 ABEPRO 1610

5 2000/ / / TOTAL Quadro 4 - Amostra e População utilizada na pesquisa g) Coleta de julgamento de valor. Os dados obtidos da coleta de dados estão apresentados, de forma consolidada, nos quadros5, 6 e 7, apresentados a seguir: Critérios Média Moda Coeficiente de Variação CR 1 3,68 4 0,255 CR 2 3,65 4 0,239 CR 3 3,59 4 0,247 CR 4 3,25 4 0,349 CR 5 3,13 4 0,416 CR 6 3,55 4 0,339 CR 7 3,37 5 0,364 CR 8 4,01 5 0,204 CR 9 4,00 4 0,198 Quadro 5 - Resultados referentes ao ao segundo semestre de 2000 (2000/2). Critérios Média Moda Coeficiente de Variação CR 1 3, ,2435 CR 2 3, ,2553 CR 3 3, ,283 CR 4 3, ,282 CR 5 3, ,4199 CR 6 3, ,3353 CR 7 3, ,32 CR 8 4, ,24 CR 9 4, ,2586 Quadro 5 - Resultados referentes a 2001/1 Critérios Média Moda Coeficiente de Variação CR 1 2, ,3345 CR 2 2, ,3428 CR 3 2, ,3601 CR 4 2, ,3262 CR 5 2, ,3698 CR 6 2, ,348 CR 7 2, ,351 CR 8 2, ,3605 CR 9 2, ,3262 Quadro 5 - Resultados referentes a 2001/2 h) Estabelecer os limites de preferência (p) e de indiferença (q), para cada critério. Estes limites permitem ao ELECTRE TRI trabalhar com as imprecisões e incertezas do julgamento. O ideal é que estes limites sejam expressos por consenso entre os avaliadores. No entanto, em algumas situações torna-se proibitivo coletar estas variáveis junto aos avaliadores. No problema em tela esta dificuldade ocorre, pois dois motivos: tamanho da ENEGEP 2005 ABEPRO 1611

6 amostra; e, a falta de conhecimento da comissão sobre o processo de definição destas variáveis. Este é um problema que surge ao se utilizar os Métodos da família ELECTRE com múltiplos avaliadores e que ainda está em aberto. Em geral nestas situações, tem sido usual arbitrar valores para p e q. Esse fato ocorre sem que haja grandes prejuízos de aproveitamento dos benefícios da Análise Multicritério. No presente trabalho propõe-se considerar para p e q o coeficiente de variação da amostra (Quadro 8).Os coeficientes de variação (cv) foram obtidos através de tratamento estatísticos de dados referentes aos limites de cada critério. Este procedimento foi inicialmente proposto em Mansur (2000) e em Mansur e Costa (2001), que busca utilizar uma variável que represente a incerteza ou dispersão da amostra, sob um ponto de vista global. Os coeficientes de variação foram obtidos através de tratamento estatísticos de dados. Os valores dos limites de preferência (p) e indiferença (q) serão adotados como: p = max(cv) ; e, q = min (cv). p q CR 1 0,3345 0,2435 CR 2 0,3428 0,239 CR 3 0,3601 0,247 CR 4 0,349 0,282 CR 5 0,4199 0,3698 CR 6 0,348 0,3353 CR 7 0,364 0,32 CR 8 0,3605 0,204 CR 9 0,3262 0,198 Quadro8 - Limites de preferência (p) e de indiferença (q) para cada critério i) executar o algoritmo de classificação do Electre Tri. Nessa etapa foi obtida a classificação da percepção do discente quanto ao desempenho da IES, utilizando procedimentos de classificação do ELECTRE TRI. Essa metodologia permite a classificação das alternativas segundo dois procedimentos: procedimento otimista (menos exigente) e procedimento גּ= pessimista (mais exigente). Esse método permite adotar um valor para o limite de corte ).A compreensão dos resultados é possível com a análise apresentada a 1 גּ (0,5 seguir. 3. Análise dos resultados Buscando analisar os resultados obtidos, foram realizados vários experimentos. Estes experimentos buscaram avaliar ao efeito introduzido pelas seguintes ações: considerar a média dos julgamentos como elemento de entrada para os julgamentos de valor; considerar a moda dos julgamentos como elemento de entrada para os julgamentos de valor; considerar pesos dos critérios atribuídos pela alta direção da Instituição. ENEGEP 2005 ABEPRO 1612

7 3.1 Média como parâmetro de entrada O Quadro 9 apresenta os resultados da classificação da IES sob o ponto de vista do discente, nos recortes de tempo (2000/2, 2001/1, 2001/2), localizando a IES em suas respectivas classes padrão de desempenho.estes resultados foram obtidos,adotando-se גּ = 0,75 e as médias dos julgamentos para o desempenho das alternativas. Alternativas Classificação Pessimista Otimista ME Bom Bom ME Bom Bom ME Regular Regular Quadro 9 - Resultados obtidos na utilização pelo ELECTRE TRI utilizando a média Analisando este resultado observa-se que em 2000/2 e 2001/1 os resultados de desempenho da IES tiveram concordância coma classificação d desmpnho desta instituição na Classe Bo Desempneho. No entanto, em 2001/2 apreecepçõdo corpodiscente foi de que o desempenho da IES deveria ser classificado na Classe Regular. Foi realizadoumestudo da sensibilidade dos resultadosa variaçõesno valor do grau de credibilidade (plano de corte) λ. Os valores acima apresentados permaneceram inalterados para valores de λ menores ou iguais a 0,97(valor máximo=1,0). Estes resultados mostram uma alta estabilidade do modelo. 3.2 Moda como parâmetro de entrada Também foi realizado um experimento utilizando a moda como julgamento do desempenho em cada critério. Neste experimento foram realizados vários ensaios variando o valor do plano de corte (λ). Os resultados destes ensaios indicam incomparabilidades para valores de λ maiores ou iguais a 0,56 (o valor mínimo possível é 0,5). Estes resultados mostram uma baixa estabilidade do modelo ao se utilizar a moda como parâmetro de entrada. Os resultados obtidos com λ = 0,75 estão apresentados no quadro 10. Alternativas Classificação Pessimista Otimista MO Bom Bom MO Bom Muito Bom MO Ruim Regular Quadro 10- Resultados obtidos na utilização pelo ELECTRE TRI utilizando a moda. (λ= 0,75). 4. Conclusões Observa-se que ao estabelecer uma comparação de resultados nos diversos métodos aplicados, utilizando a média dos desempenhos na classificação da IES, houve uma homogeneidade de resultados em cada período da coleta de dados, ou seja há uma coincidência de 100% nos resultados das classificações obtidas para a IES. Percebe-se, entretanto que ao utilizar a moda resultante do julgamento de desempenho da IES, a classificação obtida apresenta resultados heterogêneos para os períodos 2001/1 e 2001/2. Este fato indica uma incomparabilidade. Estes resultados indicam uma estabilidade do modelo proposto quanto à utilização da média como elemento de avaliação para classificação no ELECTRE TRI. Adicionalmente este ENEGEP 2005 ABEPRO 1613

8 modelo apesar de apresentar classificação semelhante aquela obtida pela percepção inicial do discente, também foi capaz de sinalizar quanto à credibilidade da classificação obtida, conforme descrito a seguir. Também é relevante registrar que o ELECTRE TRI é capaz de informar a credibilidade com que se pode afirmar que uma alternativa está em umadesterminada classe. Referências ABDEL-AAL, R.E. & AL-GARNI, Z. (1997) - Forecasting Monthly Electric Energy Consumption in eastern Saudi Arabia using Univariate Time-Series Analysis. Energy Vol. 22, n.11, p BRASIL. (1996) Lei no , de 20 de dezembro de Lei de Diretrizes e Bases da Educação Nacional. DEMO, P. Educação e Qualidade. (1994) - Papiros Editora,3ª ed. São Paulo. COSTA, H. G.. (2002). Introdução ao Método de Análise Hierárquica (AHP). UFF, Niterói, < acessado em 20/01/2005>. FREITAS, A.L.P. (1997) Emprego de uma abordagem multicritério na avaliação e classificação da qualidade de serviços. Dissertação( Mestrado em Ciências de Engenharia de Produção), Universidade Estadual do Norte Fluminense, Campos dos Goytacazes, RJ, Brasil. FREITAS, A.L.P., COSTA, H.G. (1998) Uma abordagem multicritério para avaliação e classificação de serviços. Gestão e Produção, vol. 5 (3), pp LIKERT, R.A. (1932) Technique for measurement of attitudes. Archives of Psychology, vol. 140 (1), pp MILLER, G.A. (1994) The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information. Psychological Review, 101 (2) MANSUR, A. L. F. (2000) Aplicação de Metodologia ELEQUAL para Avaliação da Qualidade de Serviços: um estudo de caso. Tese (Mestrado em Ciências de Engenharia de Produção) Universidade Estadual do Norte Fluminense UENF, Campos dos Goytacazes RJ. MANSUR, A. F. U; COSTA, H. G. (2001) Aplicação da metodologia ELEQUAL para avaliação da qualidade em serviços: um estudo de caso. Proceeding of the VI ICIE (International Congress of Industial Engineers). Anais do XX ENEGEP (Encontro Nacional de Engenharia de Produção), Salvador: Associação Brasileira de Engenharia de Produção. MOUSSEAU, V., SLOWINSKI, R. & ZIELNIEWICZ, P. (1999). ELECTRE TRI 2.0a Methodological Guide and User s Manual. Cahiers du Lamsade, fevereiro. PAIUB (1996) Programa de Avaliação Institucional das Universidades Brasileiras. Avaliação,Ano 1, nº 1. PARDUCCI, G.A. (1965) Category judgement: a range-frequency model. Psychological Review, vol. 72 (3), pp SAATY, T.L. (1991) Método de Análise Hierárquica. Ed. McGraw-Hill-Makron, São Paulo SP. Traduzido por Wainer da Silveira e Silva, da 1a. ed. em inglês (1980) The Analytic Hierarquic Process. Pittsburg: RWS Publications.) SGUISSARDI, V. (1996). O desafio da Educação Superior no Brasil: quais são as perspectivas? RAIES. V. 5, no. 2. VAHL, T. (1991) - Algumas Reflexões sobre a Política de Ensino Superior no Brasil. In Liderança e Administração na Universidade. Ed. UFSC, Florianópolis. YU, W., ELECTRE TRI - Aspects Méthodologiques et Guide d utilisation (1992). Cahiers du LAMSADE, abril. AGRADECIMENTOS Os autores agradecem ao poio institucional de suas respectivasinstituições e aoapoio financeiro do CNPq. ENEGEP 2005 ABEPRO 1614