Roberta Braga Neves (UFF) Livia Dias de Oliveira (UFF) Helder Gomes Costa (UFF)

Transcrição

1 XXIX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO. MODELAGEM BASEADA NO ELECTRE TRI PARA O MAPEAMENTO DE PERCEPÇÕES SOBRE O IMPACTO DE UM CURSO DE MESTRADO EM ENGEHARIA DE PRODUÇÃO SOBRE O PERFIL DE SEUS EGRESSOS. Roberta Braga Neves (UFF) robertaneves@producao.uff.br Livia Dias de Oliveira (UFF) livia@vm.uff.br Helder Gomes Costa (UFF) hgc@vm.uff.br O presente trabalho apresenta uma modelagem para avaliação e classificação do Programa de Mestrado em Engenharia de Produção da Universidade Federal Fluminense, classificado na área Engenharias III pela CAPES. A proposta baseia-se no levanttamento das percepções de discentes sobre os impactos gerados pelo curso em seu desempenho profissional. A classificação do programa foi efetuada através da aplicação do método de Auxílio Multicritério à Decisão denominado ELECTRE TRI. Os critérios utilizados foram definidos com base na revisão bibliográfica. Os resultados obtidos indicam a viabilidade da aplicação da modelagem e que a mesma pode subsidiar a tomada de decisão no âmbito da gestão/coordenação de cursos desta natureza. Palavras-chaves: Avaliação, Pós-Graduação, ELECTRE TRI, Multicriteria, MCDA, MCDM, Multicriterio

2 1. Introdução Os Programas de Mestrado e Doutorado Brasil buscam, constantemente, seu aperfeiçoamento para atingir os padrões de qualidade estabelecidos pela CAPES. E os resultados do sistema de avaliação contribuem na orientação das decisões a serem tomadas pelos coordenadores dos programas, pois manifestam suas deficiências e potencialidades. Mesmo reconhecendo a relevância e mérito do sistema de avaliação da CAPES, o presente trabalho explora a aplicação de outros aspectos não considerados neste sistema para avalaição de programs de Pós-graduação strictu sensu. Os sistemas de avaliação em sua maioria envolvem julgamentos subjetivos, ocorrendo imprecisões e incertezas, que dificultam o estabelecimento de padrões bem-definidos e eficientes na apreciação dos julgadores. A proposta apresentada baseia-se no mapeamento e análise das percepções discentes sobre a influência de um curso de pós-graduação no seu desempenho profissional e utilização desses dados para classificação do programa. O objetivo desta pesquisa é desenvolver uma modelagem multicritério que permita a investigação sobre os impactos originados pelos cursos de pós-graduação no desempenho profissional dos seus egressos. 2. REVISÃO BIBLIOGRÁFICA Uma pesquisa bibliográfica foi realizada para mapeamento de trabalhos nacionais e internacionais que envolvem reflexões sobre a avaliação da Pós-Graduação ou apresentam alguma outra relação com o tema abordado neste trabalho. Esta pesquisa buscou identificar, principalmente, o foco, o(s) método(s) e os resultados em cada trabalho. O Quadro 1 destaca alguns desses estudos. AUTOR FOCO MÉTODOS RESULTADOS Ribak; Notzer e Drezne (1995) Morris et al. (2001) Avaliação do Programa de Mestrado em Saúde Ocupacional da Universidade de Tel Aviv em Israel após a formatura da quarta turma do curso em Análise dos pontos fortes e fracos do sistema de avaliação da pósgraduação em educação odontológica na Inglaterra. Entrevistas entre representantes de turma, professores e alunos através de aplicação de questionários estruturados. Uso de método qualitativo para avaliação da relevância, consistência e custo benefício do sistema de avaliação. Os dados foram analisados a partir de documentos, entrevistas, consultas em grupo e Apresenta as seguintes conclusões ao compara os resultados da pesquisa com os resultados de outra avaliação realizada após a conclusão da segunda turma: - Maior nível de satisfação entre alunos e professores do programa. - Maior aceitação no mercado de trabalho. -Maior integração nas disciplinas de estudo. Destaca os seguintes aspectos: - Inexistência de avaliação formal dos anos destinados à formação profissional; - A formação especializada não apresenta questões permanentes sobre sua 2

3 Carvalho (2001) Prescott et al. (2002) Rangel; Gomes e Lins (2003) Miranda e Almeida (2004) Lins; Almeida e Bartholo Júnior (2004). Discute questões relacionadas ao monitoramento e avaliação de cursos de pósgraduação. O estudo tem por base um levantamento sobre os primeiros 25 anos do curso de pós-graduação de Psicologia Experimental da USP. Discussão sobre os desafios encontrados pelos educadores e médicos envolvidos no desenvolvimento de sistemas de avaliação de profissões da saúde. Apresentação de método que visa considerar esses desafios na avaliação de programa de pósgraduação de Formação Dentária na Escócia. Estimativa das funções de utilidade dos critérios utilizados na avaliação dos programas de pósgraduação em engenharia de produção da UFRJ pela Comissão de Avaliação de Docentes (CAD). Avaliação de Programas de Pós-graduação (stricto sensu) tendo como objeto de estudo o sistema de avaliação da CAPES e os resultados da avaliação de curso da área de Engenharias III no triênio Proposta de uma ferramenta de apoio quantitativo na avaliação da eficiência dos cursos de pós-graduação stricto sensu com aplicação junto aos programas de engenharia de produção reconhecidos pela CAPES. observações. Entrevistas com docentes e aplicação de questionários junto a alunos e ex-alunos e levantamento de dados de arquivo sobre produção científica e produção de dissertações/teses. Utilização do método denominado Longitudinal Evaluation of Performance (LEP) que baseia-se na observação direta do estagiário e reúne as observações dos avaliadores sobre o desempenho em cada critério/competência considerados, segundo uma escala de julgamentos de valor do tipo Likert. Emprega também uma adaptação do método utilizado pelo Conselho Americano de Medicina Interna (ABIM) para avaliação dos residentes em treinamento. Uso do Método UTA (Utilité Aditive) de Auxílio Multicritério à Decisão e uma variante desenvolvida do mesmo método. Aplicação de dois métodos AMD: MAUT (Multiple Attribute Utility Function) e ELECTRE II Uso de DEA (Data Envelopment Analysis). coerência e custo-benefício. - Necessidade de reforço na interação entre a avaliação e os cuidados ao paciente. Recomenda a auto- avaliação como ferramenta de validação e questionamento de avaliações externas e propõe a utilização dos seguintes critérios para avaliação dos programas: participação dos alunos na produção científica; avaliação do curso pelos alunos; e, destino profissional dos titulados. -Indicador do nível de competência dos estagiários em relação aos procedimentos clínicos a serem realizados. - Obtenção de dados que servem como feedback para os alunos e subsidiam na construção de novas diretrizes para remediar os problemas identificados no desempenho. - Constrói funções de utilidade para cada um dos seis critérios considerados. - Determina maior coerência nas preferências dos decisores nas funções geradas pela variante do método UTA. Permite uma ordenação (ou ranking) dos programas analisados e comparação entre os resultados obtidos pelo emprego dos dois métodos AMD e aqueles gerados pela metodologia de avaliação da CAPES. -Produz um indicador de eficiência relativa dos cursos estudados. - Produz apoio nas interpretações inerentes ao processo de avaliação da CAPES. 3

4 Spagnolo e Souza (2004) Politis Siskos (2004) e Moreira; Hortale e Hartz (2004) Almeida Filho Ramos (2005) Sant anna (2005) Neves (2005). Gauntlett (2005) e Investigação sobre possíveis mudanças no sistema de avaliação da CAPES. Avaliação de desempenho de processos do Departamento de Engenharia de Produção e Gestão da Universidade Técnica de Creta pela captação de percepção dos alunos, diplomados e empresas que empregam esses alunos do departamento. Reflexão sobre possíveis modificações no sistema de avaliação da pósgraduação no Brasil. Avaliação de desempenho de Programas de Pós- Graduação stricto sensu em Engenharia de Produção das Instituições Federais de Ensino Superior no Brasil. Avaliação de desempenho de cursos de pósgraduação em Engenharia de Produção com base em resultados de avaliação da CAPES para os triênios e Avaliação e classificação de desempenho e posicionamento estratégico de um Programa de Mestrado em Engenharia de Produção. Extensões deste trabalho podem ser encontradas em Neves e Costa (2006). Avaliação de um curso de pós-graduação do Centro de Saúde Mental de Sainsbury (SCMH) em Londres, Inglaterra. Pesquisa de opinião realizada junto aos membros das comissões de avaliação da CAPES durante a avaliação de 2004 e junto aos coordenadores de programas de pós-graduação de instituições privadas. Desenvolvimento da proposta baseada na utilização do método MUSA (Multicriteria Satisfaction Analysis). Uso da técnica Delphi simplificada para mapeamento de opiniões junto ao colegiado de doutores da Fundação Oswaldo Cruz sobre 35 proposições sugeridas pelos convidados internacionais da CAPES na avaliação de Abordagem quantitativa através do uso de DEA aplicada aos dados utilizados na avaliação realizada pela CAPES no triênio Emprego da composição probabilística. Integração de uma ferramenta de análise estratégica (SWOT) com um método de auxílio multicritério a decisão denominado ELECTRE TRI. Aplicação de questionário, entre uma turma de recém formados, com escalas do tipo Likert para mensurar o nível de aquisição de habilidades e o nível de aplicação dessas habilidades em 12 competências enfatizadas no Propõe mudanças voltadas para consideração de novos aspectos de avaliação e uma melhor definição de idéias ainda não muito bem assimiladas pela Academia. Destaca os pontos fortes e fracos do departamento e aponta a necessidade de uma constante avaliação das instituições de ensino e pesquisa. Ressalta a necessidade de maior discussão sobre aspectos que abordam a valorização da atividade docente e a possibilidade de se ampliar a avaliação da pósgraduação, contemplando também questões referentes à qualidade do ensino e à autoavaliação institucional. Detecta os programas com melhor desempenho e permite compará-los entre si e junto àqueles para os quais servem como referência. Avaliação global dos cursos evidenciando seus indicadores de evolução ao longo do tempo. Apresenta uma modelagem que considera a subjetividade inerente a avaliação estratégica de programas de pós-graduação. -Avalia o nível de impacto do curso na aquisição de habilidades e aplicação das mesmas. - Identifica, sob a ótica discente, as principais ferramentas do programa que 4

5 Leite; Viana e Pereira (2006) Rocha (2006) Moreno et al. (2008) Stellman; Cohen e Rosenfield (2008) Levantamento e comparação dos métodos quantitativos já utilizados na avaliação de cursos de pós-graduação stricto sensu no Brasil. Auto-avaliação do Centro de Pós-Graduação da Fundação Visconde de Cauru (CEPPEV/FVC). Auto-avaliação do mestrado em Ciências Biomédicas da Universidade de Carabobo, Venezuela. Avaliação de um programa acelerado de mestrado em saúde pública (Mailman School of Public Health) da Universidade Columbia. O curso tem por duração o período de um ano e concede o grau de Mestre em Saúde Pública (MPH) para estudantes concluintes do terceiro ou quarto ano de todas as escolas médicas de Nova York e duplo grau (MPH e MD) manual do programa. Também utiliza escalas do mesmo tipo para avaliar o desempenho de cada ferramenta utilizada pelo programa para transformação do aprendizado teórico em aplicação prática. Pesquisa bibliográfica em base de dados, revistas, por pesquisadores e em sistemas de busca na internet. Foram consideradas publicações realizadas no período Construção coletiva do diagnóstico institucional através de oficinas de auto-avaliação (pesquisa-ação) com gestores, docentes, alunos e funcionários. - Análise de rendimento discente obtido nas disciplinas obrigatórias e trabalhos para a obtenção de grau. - Aplicação de questionário entre alunos para avaliação das disciplinas e entre egressos para avaliação dos pontos fortes e fracos do mestrado e coleta de informações sobre o perfil e atuação profissional dos mesmos. Reunião para discussão entre docentes sobre: rendimento estudantil, perfil do egresso, pontos fortes e fracos do programa e do plano de estudo. - Uso de softwares estatísticos (Sigma Stat e Sigma Plot) para tratamento dos dados. Pesquisa de campo com avaliação qualitativa (perguntas abertas) e quantitativa (escala de Likert). Uso do software Surveymonkey para administrar avaliações realizadas pelos alunos através de questionário on-line. facilitam a transferência de aprendizado em prática clínica. -Compara dos resultados obtidos na pesquisa entre os alunos acadêmicos e nãoacadêmicos com relação às experiências adquiridas. - Conclui que os estudos referentes ao tema encontramse publicados em diferentes áreas de pesquisa, entretanto com maior concentração na área de ciências exatas. - Agrupa os métodos utilizados em três classes: estatística descritiva, inferência estatística e métodos multicritérios. Autoconhecimento através de dados que também subsidiam no planejamento e tomada de decisões rumo a excelência institucional. -Autoconhecimento em aspectos que envolvem os programas docentes, perfil do egresso e grade curricular. - Pontos fortes e fracos do programa e sugestões de ajustes e correções em busca de uma formação pósgraduada de alta qualidade. - Compara os objetivos do programa com os resultados alcançados nos primeiros seis anos do curso ( ). - Estuda as motivações dos estudantes para ingressar no programa. - Avalia o nível de satisfação dos alunos com o curso e com as orientações e experiências práticas desenvolvidas. - Analisa o desempenho acadêmico. - Observa o efeito da 5

6 aos estudantes provenientes do Colégio de Médicos e Cirurgiões da Universidade Columbia. formação em saúde pública na escolha de programas de residência e práticas profissionais. 3. Modelagem Multicritério Nesta seção apresenta-se a modelagem proposta para avaliação multicritério das percepções dos impactos gerados por um programa de mestrado acadêmico em Engenharia de Produção sobre o perfil dos seus egressos. Esta abordagem está estruturada no desenvolvimento das etapas apresentadas a seguir; 3.1 Caracterização do programa sob avaliação Devido à conveniência, foi escolhido um Programa de Mestrado Acadêmico da Área de Engenharias III da CAPES. 3.2 Instrumento de coleta de dados O conjunto de critérios adotados e a elaboração do instrumento para coleta de dados foram definidos com base na revisão bibliográfica, tendo por referência principal o trabalho de Politis e Siskos (2004). As percepções referentes a dois aspectos foram pesquisadas: desempenho e importância. As escalas adotadas para a obtenção das respostas em cada critério baseiam-se em Likert (1932) e Miller (1954O Anexo I apresenta o Instrumento doe coleta, no qual é possível identificar as escalas adotadas para coleta de percepções quanto à importância dos critérios e quanto aos impactos do programa sobre os seus egressos. 3.3 Definição dos parâmetros de modelagem para execução do método ELECTRE TRI As classes de equivalência ou classes-padrão de referência são definidas por seus perfis e, conforme demonstrado em Costa et al (2007) estão diretamente associadas à escala de julgamento utilizada. O Quadro 1 apresenta as classes de referência adotadas. Classes Descrição das Classes Limite Superior Limite Inferior A Padrão MUITO BOM + α 4,5 B Padrão BOM 4,5 3,5 C Padrão REGULAR 3,5 2,5 D Padrão RUIM 2,5 1,5 E Padrão MUITO RUIM 1,5 - α Quadro 1. Classes e perfis para os critérios internos Ainda segundo Costa et al (2007) ao se adotar uma escala de percepções de desempenho opções discretas com intervalo igual a 1, e classes com limites discretos eqüidistantes dos pontos de da escala de julgamento, todos os valores de limite de preferência (p) e de indiferença (q) factíveis não alteram o resultado da classificação, isto que o o resultado gerado pelo modelo não é sensível a qualquer valor de p j ou q j no intervalo [0; 0,5). Logo, os limites de preferência e de indiferença utilizados serão q j (b h ) = p j (b h ) = 0. 6

7 3.5 Resultados obtidos O universo da pesquisa era composto por 65 mestrandos, tendo sido encimnhado o questionário por para todos os membros deste universo, sendo coletadas 24 respostas. O mestrando não paresntou respostas válidas em seu questionário. Assim a aostra passou a ter 23 respondentes. A Tabela 1 ilustra o grau de importância atribuído pelos mestrandos aos critérios. Já a Tabela 2 apresenta as percepções de impacto/influência pelos discentes. O método ELECTRE TRI apresntado em Yu (1992) realiza dois procedimentos de classificação: pessimista; e, otimista. Por ser mais exigente, a classificação pessimista é adotado no presnte trabalho. Este procedimento consiste em comparar as alternativas com os perfis, começando pelo limite inferior da classe até o limite superior da classe. C 1 C 2 C 3 C 4 C 5 C 6 M M M M M M 7 N N 2 M M N M M 11 N 4 N 4 N 4 M M N N 3 3 M M M M M M M M M M M Tabela 1. Grau de importância atribuído aos critérios C 1 C 2 C 3 C 4 C 5 C 6 M 1 N N N M M M 4 3 N N M M 7 N M M N M M 11 N 3 N 4 N 5 M M N N 4 3 M M M M M M M N M N M M N M 24 N N 4 N N 3 Tabela 2. Percepções de desempenho à luz dos critérios 7

8 O procedimento otimista consiste em comparar a alternativa a com os perfis bh, A Figura 1 apresenta os procedimentos pessimista e otimista para um modelo com 5 classes (A, B, C, D e E) e, portanto, 4 perfis (b1, b2, b3, b4). Pessimista alternativa a E D C B A g j b 1 b 2 b 3 b 4 A classificação no ELECTRE Figura 1. Procedimentos TRI é baseada Pessimista em e Otimista parâmetro de corte denotado por credibilidade. Essa credibilidade se iguala à concordância global quando o efeito da discordância é anulado pelo fato do limiar de veto ter sido desabilitado. A Tabela 3 ilustra os índices de credibilidade com a sfirmsaçãode que a altenativa a subordina o perfil bh (asbh). Grau de Credibilidade Alt b 1 Alt b 2 Alt b 3 Alt b 4 M 1 M 2 M 3 M 4 M 6 M 7 M 8 M 9 M 10 M 11 M 12 M 13 M 14 M 15 M 16 M 17 M 18 M 19 0,19 0,00 0,00 0,00 1,00 0,67 0,56 0,00 1,00 1,00 1,00 0,19 0,69 0,50 0,13 0,00 1,00 1,00 0,88 0,24 1,00 1,00 0,58 0,25 1,00 0,86 0,52 0,00 1,00 1,00 0,40 0,00 1,00 1,00 0,28 0,11 1,00 1,00 0,67 0,33 1,00 1,00 1,00 0,00 1,00 0,69 0,23 0,23 1,00 1,00 0,86 0,52 1,00 1,00 0,88 0,00 1,00 1,00 0,33 0,00 1,00 1,00 0,20 0,00 1,00 1,00 0,74 0,42 1,00 1,00 0,67 0,17 Tabela 3. Índices de credibilidade da relaçãoash h 8

9 Para estabelecer a classe à qual as alternativas pertencem é necessário determinar um plano de corte ( ). O plano de corte definido neste trabalho foi = 0,50. A Tabela 4 apresenta a freqüência da classificação à luz dos critérios qualificados como fator interno na avaliação dos mestrandos. Classe Freqüência A 4,35% B 43,47% C 39,13% D 4,35% E 8,70% Tabela Erro! Nenhum texto com o estilo especificado foi encontrado no documento.. Freqüência das classificações. A classe com maior freqüência é a B (43,4%), isto implica em dizer que os mestrandos, considerando o algoritmo mais exigente, classificam o curso como Bom. Logo, não há predominância de pontos fortes ou pontos fracos. 4. Conclusões A pesquisa atingiu o seu objetivo central de propor e experimentar uma abordagem para avaliação das percepções dos mestrandos sobre os impactos originados por um programa de pós-graduação no seu perfil profissinal. Não foram, ao longo da pesquisa, identificados problemas estruturais que inviabilizassem a aplicação da análise proposta; No Brasil, a CAPES, vinculada ao MEC, define os padrões de excelência e de qualidade dos diplomas através do Sistema Nacional de Avaliação de Programas de Pós-Graduação, influenciando positiva na política de fomento à formação de pesquisadores. Da aplicação da modelagem proposta conclue-s que, ao adotar um perfil mais exigente, os mestrandos consideram o Programa à luz dos critérios internos como Bom, o que indica u perfil de desenvolvimento do programa. Este trabalho também permitiu identificar os critérios mais favoráveis e os menos favoráveis para o Programa. Os critérios mais bem avaliados foram os relacionados à utilidade e importância dos pós-graduados na empresa e à satisfação da empresa com base no relacionamento interpessoal dos pós-graduados. Porém, o impacto no perfil de empreendedor do pós-graduado foi o critério externo mais criticado. Limitações da pesquisa o O presente trabalho limitou-se a aplicar a modelagem à Coordenação do Programa, aos docentes, aos mestrandos e aos pós-graduados, portanto, não foram coletadas respostas junto a CAPES e às organizações atuantes no mercado de trabalho. o Uma outra limitação das pesquisas que envolvem a coleta de dados é o 9

10 interesse dos respondentes. O índice de retorno dos instrumentos de coleta tende a aumentar em função desse interesse. A amostra desta pesquisa foi de 36,92% dos mestrandos. Contribuições da pesquisa: o A pesquisa permite explorar a aplicaçao de métodos e de questões ainda pouco exploradas no âmbitpo da avaliação de programas de pós-graduação strictu sensu no Brasil- apesar do aumento crescente de pesquisa nesta área. o O presente trabalho agregou critérios e métodos de agregação de dados não abordados pela CAPES à discussão sobre avaliação da Pós-graduação. Para isto, foram utilizadas dimensões relacionadas aos pós-graduados e ao mercado de trabalho. o A definição desses critérios, os julgamento de desempenho dos Programas e a formulação do instrumento de coleta de dados envolvem subjetividade. Este fator foi decisivo na escolha pela aplicação dos conceitos de Auxílio Multicritério à Decisão nesta pesquisa. o A modelagem identificou os principais gargalos, fornecendo subsiídios ao gestor do programa. Sugestões para trabalhos futuros Com base no estudo desenvolvido, na elaboração da modelagem proposta e na experiência obtida no decorrer da sua aplicação são propostas as seguintes sugestões para futuras pesquisas: o coleta de dados feitas junto às organizações atuantes no mercado de trabalho para se ter uma visão mais geral do desempenho do Programa; o desenvolvimento de estratégias para os Programas que adotassem a modelagem desenvolvida na pesquisa; o aplicação de outros métodos de AMD para investigação e a comparação dos diferentes possíveis resultados. 5. REFERÊNCIAS BIBLIOGRÁFICAS ALMEIDA FILHO, A. T. de; RAMOS, F. S. Avaliação de desempenho de programas de pósgraduação com Análise de Envoltória de Dados. In: XXV Encontro Nacional de Engenharia de Produção XXV ENEGEP, 2005, Porto alegre - RS. Anais... Rio de Janeiro: ABEPRO, p , COSTA, H. G.; MANSUR, A. F. U.; FREITAS, A. L. P.; CARVALHO, R. A. de. ELECTRE TRI aplicado a avaliação da satisfação de consumidores. Produção, v.17, n.2, p CARVALHO, A. M. A. Monitoramento e avaliação da pós-graduação: algumas reflexões sobre requisitos e critérios. Psicol., São Paulo, v. 12, n. 1, GAUNTLETT, A. N. Evaluation of a postgraduate training programme for community mental 10

11 health practitioners. Journal of Psychiatric and Mental Health Nursing. v.12, n. 2, p LEITE, M. F. B.; VIANA, A. B. N.; PEREIRA, G. G. Métodos quantitativos na avaliação da CAPES: uma pesquisa bibliográfica. FACEF Pesquisa. v.9, n.2, p LIKERT, R. A. Technique for measurement of attitudes. Archives of Psychology, v.140, n.1, p LINS, M. P. E.; ALMEIDA, B. F. de; BARTHOLO Jr., R. Avaliação de desempenho na pósgraduação utilizando a Análise Envoltória de Dados: o caso da engenharia de produção. Revista Brasileira de Pós-Graduação. v. 1, n.1, p.41-56, jul MILLER, G.A. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information. Psychological Review, v.101, n.2, p MIRANDA, C. M. G. D.; ALMEIDA, A. T. D. Visão multicritério da avaliação de programas de pós-graduação pela CAPES: o caso da área ENGENHARIA III baseado nos métodos ELECTRE III e MAUT. Gestão e Produção, v.11, n.1, p MORRIS, Z. S; BULLOCK, A D; BELFIELD, C R; BUTTERFIELD, S; FRAME, J W. Assessment in postgraduate dental education: an evaluation of strengths and weaknesses. MEDICAL EDUCATION. v. 35, n.6, p MOREIRA, C. O. F.; HORTALE, V. A.; HARTZ, Z. de A.. Avaliação da pós-graduação: buscando consenso. Revista Brasileira de Pós-Graduação, v.1, n.1, p MORENO, N. TOVAR, G.; ALVARADO, M., FERRER, E.; RODRÍGUEZ, F.; TRIANA, F., HERRERA, F. Autoevaluación de la Maestría en Ciencias Biomédicas de la Universidad de Carabobo. Salus online. v.12, n.2, p.47-56, ago NEVES, R. B. Integração da análise SWOT com o método ELECTRE TRI na avaliação do desempenho de programas de pós-graduação. Dissertação (Mestrado em Engenharia de Produção), Universidade Federal Fluminense, Niterói, NEVES, R. B.; COSTA, H. G. Avaliação de programas de pós-graduação: proposta baseada na integração ELECTRE TRI, SWOT e sistema CAPES. SISTEMAS & GESTÃO, v.1, n.3, p POLITIS, Y.; SISKOS, Y. Multicriteria methodology for the evaluation of a Greek engineering department. European Journal of Operational Research, v.156, n.1, p PRESCOTT, L. E. NORCINI, J. J.; MCKINLAY, P.; RENNIE, J. S. Facing the challenges of competency-based assessment of postgraduate dental training: Longitudinal Evaluation of Performance (LEP). MEDICAL EDUCATION, v.36, n. 1, p

12 RANGEL, L. A. D.; GOMES, L. F. A. M.; LINS, M. P. E. Avaliação dos programas de pósgraduação em engenharia da UFRJ empregando uma variante desenvolvida do método UTA. Pesquisa Operacional, v.23, n.2, p , maio/ago RIBAK, J.; NOTZER, N.; DREZNE, E. Evaluation of an integrative masters program in occupational health at the Tel Aviv University Medical School. Safety Science, v.20, n.2-3, p ROCHA, N. M. F. Auto-avaliação de centros de pós-graduação: uma proposta em ação. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.14, n.53, p , out./dez SANT ANNA, A. P. Composição probabilística de critérios na avaliação de cursos. Revista Brasileira de Pós-Graduação. v.2, n.3, p.40-54, mar SPAGNOLO, F.; SOUZA, V. C. O que mudar na avaliação da Capes? Revista Brasileira de Pós-Graduação, v.1, n.2, p STELLMAN, J. M.; COHEN, S.; ROSENFIELD, A. Evaluation of a one-year masters of public health program for medical students between their third and fourth years. Academic Medicine, v. 83, n. 4, p , abr YU, W. Aide multicritère à la décision dans le cadre de la problématique du tri: concepts, méthodes et applications. Tese (Doutorado), Universidade de Paris-Dauphine, Paris,1992. Anexo I- QUESTIONÁRIO O objetivo deste questionário é captar a sua percepção do desempenho do Programa de Mestrado em Engenharia de Produção da UFF. Para cada critério serão dadas 2 respostas. Na primeira será captada a percepção quanto ao desempenho do programa no critério e na segunda, a percepção quanto ao grau de importância do critério. Para responder o questionário utilize as seguintes escalas. - Quanto ao desempenho do programa: Muito Bom Bom Regular Ruim Muito Ruim Não sei opinar N - Quanto ao grau de importância do critério: Muito Importância Pouco Nada Não sei Importante Importante média Importante Importante opinar N Critério Descrição do Critério Desempenho Importância Impacto do curso na C1: Impacto na empregabilidade do pósgraduado. Possibilitou N N Empregabilidade obter um novo emprego ou 12

13 C2: Nível de resposta às expectativas do mercado de trabalho C3: Remuneração do pós-graduado C4: Perfil pesquisador C5: Perfil empreendedor C6: Relacionamento interpessoal manter o emprego atual? Correlação da grade curricular com as reais necessidades encontradas no mercado de trabalho. Impacto na remuneração do pós-graduado. Impacto no perfil de pesquisador do pósgraduado. Impacto no perfil de empreendedor do pósgraduado. Impacto na capacidade do pós-graduado para trabalhar em equipe N N N N N N N N N N 13