Integração da Análise SWOT com o Método ELECTRE TRI na Avaliação do Desempenho dos Programas de Pós-Graduação

Transcrição

1 Integração da Análise SWOT com o Método ELECTRE TRI na Avaliação do Desempenho dos Programas de Pós-Graduação Mestranda: Roberta Braga Neves Orientador: Prof. Dr. Helder Gomes Costa Mestrado em Engenharia de Produção Universidade Federal Fluminense

2 Roteiro Justificativa Objetivo Referencial Conceitual Modelagem Proposta Caso de Aplicação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) Conclusões UFF / CTC / TPP Mestrado em Engenharia de Produção 2

3 Justificativa Educação: base da sociedade Buscar um padrão de excelência através de Avaliação e Monitoramento Lacunas no Sistema de Avaliação da CAPES (utilização de novos critérios) Utilização de um método que avalia vários critérios sem utilizar um sistema compensatório UFF / CTC / TPP Mestrado em Engenharia de Produção 3

4 Objetivo Investigar a integração de uma técnica de diagnóstico estratégico (SWOT) e um método de Auxílio Multicritério à Decisão (ELECTRE TRI) à avaliação e classificação de desempenho dos Programas de Pósgraduação, classificando-os segundo um padrão de classes. UFF / CTC / TPP Mestrado em Engenharia de Produção 4

5 Referencial Conceitual Análise SWOT Fatores Internos: controláveis Pontos Fortes Pontos Fracos Fatores Externos: não controláveis Oportunidades Ameaças UFF / CTC / TPP Mestrado em Engenharia de Produção 5

6 Referencial Conceitual Posicionamento Estratégico (SWOT) ANÁLISE EXTERNA Predominância de Ameaças Oportunidades ANÁLISE INTERNA Predominância de Pontos Fracos Pontos Fortes MANUTENÇÃO SOBREVIVÊNCIA DESENVOLVIMENTO CRESCIMENTO UFF / CTC / TPP Mestrado em Engenharia de Produção 6

7 Referencial Conceitual ELECTRE TRI: Definição das classes Classe A Classe B Classe C Classe D Classe E b 4 b 3 b 2 b 1 UFF / CTC / TPP Mestrado em Engenharia de Produção 7

8 Referencial Conceitual ELECTRE TRI: Procedimentos de Classificação Pessimista (ou mais exigente) Otimista (ou menos exigente) Pessimista a i E D C B A g j b 1 b 2 b 3 b 4 a i Otimista UFF / CTC / TPP Mestrado em Engenharia de Produção 8

9 Modelagem Proposta 1) Caracterizar o Programa cujo desempenho será avaliado. 2) Especificar os critérios que serão considerados. 3) Classificar os critérios (fatores internos ou externos). 4) Definir os avaliadores que emitirão os julgamentos de valor. 5) Especificar a escala para o julgamento do grau de importância (peso) e para o julgamento de desempenho do Programa em cada critério. 6) Definir as classes de equivalência (ou padrões de referência) e seus perfis. 7) Definir os limites de preferência e de indiferença para cada critério. 8) Estabelecer o limiar de veto para cada critério. 9) Definir o peso de cada critério. UFF / CTC / TPP Mestrado em Engenharia de Produção 9

10 Modelagem Proposta 10) Coletar os julgamentos de valor que avaliam o desempenho do Programa à luz de cada critério, com base na escala definida na 5 a etapa. 11) Executar o algoritmo de classificação do ELECTRE TRI considerando os critérios classificados em fatores internos. 12) Executar o algoritmo de classificação do ELECTRE TRI considerando os critérios classificados em fatores externos. 13) Analisar os resultados obtidos para as duas classificações, fatores internos e fatores externos. UFF / CTC / TPP Mestrado em Engenharia de Produção 10

11 1) Caracterizar o Programa cujo desempenho será avaliado. Mestrado em Engenharia de Produção da UFF 2) Especificar os critérios que serão considerados. Dimensão Pós-Graduado: C 1 : Impacto na Empregabilidade Impacto do curso na empregabilidade do pós-graduado. Possibilitou obter um novo emprego ou manter o emprego atual? C 2 : Nível de resposta às expectativas do mercado de trabalho Correlação da grade curricular com as reais necessidades encontradas no mercado de trabalho. C 3 : Remuneração do pós-graduado Impacto na remuneração do pósgraduado. C 4 : Perfil pesquisador Impacto no perfil de pesquisador do pósgraduado. C 5 : Perfil empreendedor Impacto no perfil de empreendedor do pósgraduado. C 6 : Relacionamento interpessoal Impacto na capacidade do pósgraduado para trabalhar em equipe. UFF / CTC / TPP Mestrado em Engenharia de Produção 11

12 Dimensão Mercado de Trabalho: C 7 : Qualidade do Conhecimento Suficiência do conhecimento obtido (quantidade, qualidade e abrangência das disciplinas oferecidas). C 8 : Importância do pós-graduado Utilidade e importância dos pósgraduados na empresa. C 9 : Relacionamento Interpessoal Satisfação da empresa com base no relacionamento interpessoal dos pós-graduados (capacidade de trabalhar em equipe, de tomar iniciativa, criatividade e aptidão para que possa tornar-se líder). C 10 : Nível de resposta às necessidades da companhia Satisfação da empresa em relação ao nível de resposta dos pós-graduados às suas necessidades. UFF / CTC / TPP Mestrado em Engenharia de Produção 12

13 Dimensão Operação Interna do Programa (Administração): C 11 : Número de Professores Número de professores permanentes no Programa. C 12 : Proporção entre estudante e professor Proporção de número de estudantes por professores. C 13 : Assistência ao estudante Serviços de secretaria. C 14 : Apoio financeiro ao estudante Disponibilidade de bolsas e engajamento em projetos financeiros. Dimensão Operação Interna do Programa (Educação): C 15 : Material Didático (livro, notas de aula, etc) Qualidade e suficiência do material didático. C 16 : Infra-estrutura disponível Disponibilidade de equipamentos tecnológicos e computadores. C 17 : Softwares disponíveis Disponibilidade e uso de softwares. C 18 : Instalações físicas adequadas Adequação dos prédios utilizados. C 19 : Biblioteca Adequação das bibliotecas às necessidades dos estudantes. UFF / CTC / TPP Mestrado em Engenharia de Produção 13

14 Continuação Dimensão Operação Interna do Programa (Educação): C 20 : Salas de estudo Adequação das salas de estudo. C 21 : Desenvolvimento das disciplinas Qualidade das disciplinas oferecidas (teoria e prática). C 22 : Adequação das disciplinas à proposta do programa Associação entre o desenvolvimento das disciplinas e os objetivos do Programa. C 23 : Programa das disciplinas Programação das disciplinas, número, seqüência e abordagem dos capítulos. UFF / CTC / TPP Mestrado em Engenharia de Produção 14

15 3) Classificar os critérios. FATOR INTERNO FATOR EXTERNO Código Critério Código Critério C 2 Nível de resposta às expectativas do mercado de trabalho C 1 Impacto na Empregabilidade C 7 Qualidade do Conhecimento C 3 Remuneração do pósgraduado C 11 Número de Professores C 4 Perfil pesquisador C 12 Proporção entre estudante e professor C 5 Perfil empreendedor C 13 Assistência ao estudante C 6 Relacionamento interpessoal C 14 Apoio financeiro ao estudante C 8 Importância do pós-graduado C 15 Material Didático (livros, notas de aula, etc) C 9 Relacionamento Interpessoal C 16 Infra-estrutura disponível C 10 Nível de resposta às necessidades da companhia UFF / CTC / TPP Mestrado em Engenharia de Produção 15

16 FATOR INTERNO FATOR EXTERNO Código Critério Código Critério C 17 Softwares disponíveis C 18 C 19 C 20 Instalações físicas adequadas Biblioteca Salas de estudo C 21 Desenvolvimento das disciplinas C 22 C 23 Adequação das disciplinas à proposta do programa Programa das disciplinas UFF / CTC / TPP Mestrado em Engenharia de Produção 16

17 4) Definir os avaliadores que emitirão os julgamentos de valor. Coordenadores; Docentes; Mestrandos; Pós-Graduados do Programa. UFF / CTC / TPP Mestrado em Engenharia de Produção 17

18 5) Especificar a escala para o julgamento do grau de importância (peso) e para o julgamento de desempenho do Programa em cada critério. Escala para o julgamento do grau de importância: Muito Importante Importante Importância média Pouco Importante Nada Importante Não sei opinar N UFF / CTC / TPP Mestrado em Engenharia de Produção 18

19 Escala para o julgamento do desempenho do Programa à luz dos critérios internos: PONTO FORTE Muito Forte Pouco Forte FATOR INTERNO PONTO NEUTRO Neutro PONTO FRACO Pouco Fraco Muito Fraco Muito Bom Bom Regular Ruim Muito Ruim Não sei opinar N UFF / CTC / TPP Mestrado em Engenharia de Produção 19

20 Escala para o julgamento do desempenho do Programa à luz dos critérios externos: OPORTUNIDADE Oportunidade Alta Oportunidade Baixa FATOR EXTERNO SITUAÇÃO NEUTRA Neutra Ameaça Baixa AMEAÇA Ameaça Alta Muito Bom Bom Regular Ruim Muito Ruim Não sei opinar N UFF / CTC / TPP Mestrado em Engenharia de Produção 20

21 6) Definir as classes de equivalência (ou padrões de referência) e seus perfis. Classes de equivalência e seus perfis para os critérios internos: Classes Descrição das Classes Limite Superior Limite Inferior A I Padrão MUITO BOM + α 4,5 B I Padrão BOM 4,5 3,5 C I Padrão REGULAR 3,5 2,5 D I Padrão RUIM 2,5 1,5 E I Padrão MUITO RUIM 1,5 - α UFF / CTC / TPP Mestrado em Engenharia de Produção 21

22 Classes de equivalência e seus perfis para os critérios externos: Classes Descrição das Classes Limite Superior Limite Inferior A E Padrão MUITO BOM + α 4,5 B E Padrão BOM 4,5 3,5 C E Padrão REGULAR 3,5 2,5 D E Padrão RUIM 2,5 1,5 E E Padrão MUITO RUIM 1,5 - α UFF / CTC / TPP Mestrado em Engenharia de Produção 22

23 7) Definir os limites de preferência e de indiferença para cada critério. q j (b h ) = p j (b h ) = 0 8) Estabelecer o limiar de veto para cada critério. Desabilitado 9) Definir o peso de cada critério. Coletados a partir do questionário 10) Coletar os julgamentos de valor que avaliam o desempenho do Programa à luz de cada critério, com base na escala definida na 5 a etapa. Coletados a partir do questionário UFF / CTC / TPP Mestrado em Engenharia de Produção 23

24 11) Executar o algoritmo de classificação do ELECTRE TRI considerando os critérios internos. Coordenadores (2) Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A I - A I - B I - B I 100% C I 100% C I - D I - D I - E I - E I - UFF / CTC / TPP Mestrado em Engenharia de Produção 24

25 Docentes (6) Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A I - A I - B I - B I 100% C I 66,67% C I - D I 33,33% D I - E I - E I - UFF / CTC / TPP Mestrado em Engenharia de Produção 25

26 Mestrandos (24) Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A I 4,17% A I 41,67% B I 20,83% B I 41,67% C I 41,67% C I 16,67% D I 25% D I - E I 8,33% E I - UFF / CTC / TPP Mestrado em Engenharia de Produção 26

27 Pós-Graduados (11) Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A I - A I - B I - B I 63,64% C I 36,36% C I 27,27% D I 45,46% D I 9,09% E I 18,18% E I - UFF / CTC / TPP Mestrado em Engenharia de Produção 27

28 12) Executar o algoritmo de classificação do ELECTRE TRI considerando os critérios externos. Coordenadores Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A E - A E 50% B E 50% B E - C E 50% C E 50% D E - D E - E E - E E - UFF / CTC / TPP Mestrado em Engenharia de Produção 28

29 Docentes Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A E - A E 20% B E 20% B E 20% C E 40% C E 60% D E 20% D E - E E 20% E E - UFF / CTC / TPP Mestrado em Engenharia de Produção 29

30 Mestrandos Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A E 4,17% A E 29,17% B E 25% B E 54,17% C E 50% C E 4,17% D E 8,33% D E 8,33% E E 12,50% E E 4,17% UFF / CTC / TPP Mestrado em Engenharia de Produção 30

31 Pós-Graduados Classificação Pessimista Classificação Otimista Classe Freqüência Classe Freqüência A E - A E 27,27% B E 27,27% B E 54,54% C E 45,45% C E 18,18% D E 18,18% D E - E E 9,09% E E - UFF / CTC / TPP Mestrado em Engenharia de Produção 31

32 13) Analisar os resultados obtidos para as duas classificações, fatores internos e fatores externos. Análise de Sensibilidade λ=0,76 λ=0,76 Classificação Pessimista Fator Interno Fator Externo Classificação Otimista Fator Interno Fator Externo COORDENADORES C I B E C E B I B E C E DOCENTES C I C E B I C E MESTRANDOS C I C E A I B I B E PÓS-GRADUADOS D I C E B I B E UFF / CTC / TPP Mestrado em Engenharia de Produção 32

33 Procedimento Pessimista A I Manutenção Desenvolvimento Coordenadores B I Docentes C I Mestrandos Pós-Graduados D I E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 33

34 Procedimento Otimista A I Manutenção Coordenadores B I Docentes C I Desenvolvimento Mestrandos D I Pós-Graduados E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 34

35 Análise de Sensibilidade λ=0,65 λ=0,65 Classificação Pessimista Fator Interno Fator Externo Classificação Otimista Fator Interno Fator Externo COORDENADORES C I C E C I B E C E DOCENTES C I C E B I C E MESTRANDOS B I B E B I B E PÓS-GRADUADOS C I C E B I B E UFF / CTC / TPP Mestrado em Engenharia de Produção 35

36 Procedimento Pessimista A I Manutenção Desenvolvimento Coordenadores B I Docentes C I Mestrandos Pós-Graduados D I E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 36

37 Procedimento Otimista A I Manutenção Desenvolvimento Coordenadores B I Docentes C I Mestrandos Pós-Graduados D I E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 37

38 Análise de Sensibilidade λ=0,50 λ=0,50 Fator Interno Classificação Pessimista Fator Externo Classificação Otimista Fator Interno Fator Externo COORDENADORES C I B E C E C I B E C E DOCENTES C I C E C I C E MESTRANDOS B I B E B I B E PÓS-GRADUADOS B I B E B I B E UFF / CTC / TPP Mestrado em Engenharia de Produção 38

39 Procedimentos Pessimista e Otimista A I Manutenção Desenvolvimento Coordenadores B I Docentes C I Mestrandos Pós-Graduados D I E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 39

40 Critérios INTERNOS com as MELHORES avaliações: Coordenadores: C 11 (relacionado ao número de professores permanentes no Programa) e o C 12 (pertinente à proporção de número de estudantes por professores) Docentes: C 11 Mestrandos: C 12 Pós-Graduados: C 12 e C 22 (relacionado à adequação das disciplinas à proposta do programa) UFF / CTC / TPP Mestrado em Engenharia de Produção 40

41 Critérios INTERNOS com as PIORES avaliações: Coordenadores: C 14, (disponibilidade de bolsas e engajamento em projetos financeiros), C 18 (adequação dos prédios utilizados)e C 20 (adequação das salas de estudo) Docentes: C 19 (pertinente à adequação das bibliotecas às necessidades dos estudantes) Mestrandos: C 19 Pós-Graduados: C 19 e C 20 UFF / CTC / TPP Mestrado em Engenharia de Produção 41

42 Critérios EXTERNOS com as MELHORES avaliações: Coordenadores: Não pôde ser feita! Docentes: C 1 (referente ao impacto do curso na empregabilidade do pós-graduado) e o C 3 (relacionado ao impacto na remuneração do pós-graduado) Mestrandos: C 8 (utilidade e importância dos pósgraduados na empresa) e C 9 (satisfação da empresa com base no relacionamento interpessoal dos pós-graduados) Pós-Graduados: C 4 (pertinente ao impacto no perfil de pesquisador do pós-graduado) UFF / CTC / TPP Mestrado em Engenharia de Produção 42

43 Critérios EXTERNOS com as PIORES avaliações: Coordenadores: Não pôde ser feita! Docentes: C 5 (relacionado ao impacto no perfil de empreendedor do pós-graduado) Mestrandos: C 5 Pós-Graduados: C 5 UFF / CTC / TPP Mestrado em Engenharia de Produção 43

44 CAPES Responsável pela avaliação dos Programas de Pós-graduação nacionais Critérios e avaliações das Engenharias III do triênio de Dimensões: Proposta do Programa (Não foi considerada!) Corpo Docente Atividades de Pesquisa Atividades de Formação Corpo Discente Teses e Dissertações Produção Intelectual UFF / CTC / TPP Mestrado em Engenharia de Produção 44

45 CAPES FATOR INTERNO Código C 1 C 2 Critério Composição e atuação do corpo docente; vínculo institucional e dedicação. Dimensão do NRD6 relativamente ao corpo docente. Atuação do NRD6 no Programa. C 3 Abrangência, especialização do NRD6 relativamente às Áreas de Concentração e Linhas de Pesquisa. C 4 C 5 C 6 C 7 C 8 Intercâmbio ou renovação do corpo docente. Participação de outros docentes. Qualificação do NRD6. Adequação e abrangência dos Projetos e Linhas de Pesquisa em relação às Áreas de Concentração. Vínculo entre Linhas e Projetos de Pesquisa. Adequação da quantidade de Linhas e Projetos de Pesquisa em andamento em relação à dimensão e à qualificação do NRD6. UFF / CTC / TPP Mestrado em Engenharia de Produção 45

46 CAPES Código C 9 FATOR INTERNO Critério Participação do corpo discente nos Projetos de Pesquisa. Adequação e abrangência da Estrutura Curricular relativamente à Proposta do Programa e às suas Áreas de Concentração. Adequação e C 10 abrangência das disciplinas ministradas em relação às Linhas e Projetos de Pesquisa. C 11 C 12 C 15 C 16 C 17 C 19 Distribuição da carga letiva e carga horária média. Participação de outros docentes. Quantidade de orientadores do NRD6 relativamente à dimensão do NRD6. Dimensão do corpo discente em relação à dimensão do NRD6. Número de desligamentos e abandonos em relação à dimensão do corpo discente. Número de discentes-autores da pós-graduação em relação à dimensão do corpo discente. Vínculo das teses e dissertações com Áreas de Concentração e com Linhas e Projetos de Pesquisa; adequação ao nível dos cursos. UFF / CTC / TPP Mestrado em Engenharia de Produção 46

47 CAPES Código C 22 C 23 C 24 C 25 C 26 C 27 C 28 FATOR INTERNO Critério Número médio de orientandos em relação à dimensão do NRD6. Adequação das dissertações e teses à proposta do programa. Adequação dos tipos de produção à Proposta do Programa e vínculo com as Áreas de Concentração, Linhas e Projetos de Pesquisa ou Teses e Dissertações. Qualidade dos veículos ou meios de divulgação. Quantidade e regularidade em relação à dimensão do NRD6; distribuição da autoria entre os docentes. Autoria ou co-autoria de outros participantes (não pertencentes ao núcleo básico). Produção técnica. UFF / CTC / TPP Mestrado em Engenharia de Produção 47

48 CAPES Código C 13 C 14 C 16 C 17 C 18 C 20 C 21 FATOR EXTERNO Atividades letivas de graduação. Orientação nos cursos de graduação. Critério Número de desligamentos e abandonos em relação à dimensão do corpo discente. Número de titulados em relação à dimensão do corpo discente. Número de discentes-autores da pós-graduação em relação à dimensão do corpo discente. Tempo médio de titulação de bolsistas; tempo médio de bolsa. Relação entre os tempos médios de titulação de bolsistas e de não bolsistas. Número de titulados em relação à dimensão do NRD6. Participação de outros docentes. UFF / CTC / TPP Mestrado em Engenharia de Produção 48

49 CAPES Análise de Sensibilidade CAPES Classificação Pessimista Fator Interno Fator Externo Classificação Otimista Fator Interno Fator Externo λ=0,76 C I C E A I B E λ=0,65 C I C E B I B E λ=0,50 B I B E B I B E UFF / CTC / TPP Mestrado em Engenharia de Produção 49

50 CAPES Procedimento Pessimista A I Manutenção Desenvolvimento B I λ = 0,50 C I λ = 0,65 D I λ = 0,76 E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 50

51 CAPES Procedimento Otimista A I Manutenção B I Desenvolvimento λ = 0,50 C I λ = 0,65 D I λ = 0,76 E I Sobrevivência Crescimento E E D E C E B E A E UFF / CTC / TPP Mestrado em Engenharia de Produção 51

52 CAPES Critérios INTERNOS com as MELHORES avaliações: Dimensão Corpo Docente (Muito Bom) Critérios INTERNOS com as PIORES avaliações: C 8 - Adequação da quantidade de Linhas e Projetos de Pesquisa em andamento em relação à dimensão e à qualificação do NRD6. (Fraco) <2 UFF / CTC / TPP Mestrado em Engenharia de Produção 52

53 CAPES Critérios EXTERNOS com as MELHORES avaliações: C 13 - Atividades letivas de graduação. (Muito Bom) >70% C 16 - Número de desligamentos e abandonos em relação à dimensão do corpo discente. (Muito Bom) 0-10% Critérios EXTERNOS com as PIORES avaliações: C 18 - Número de discentes-autores da pós-graduação em relação à dimensão do corpo discente. (Regular) 20-35% C 20 - Tempo médio de titulação de bolsistas; tempo médio de bolsa. Relação entre os tempos médios de titulação de bolsistas e de não bolsistas. (Regular) 1,2-1,3 UFF / CTC / TPP Mestrado em Engenharia de Produção 53

54 Conclusões Utilizou critérios mais abrangentes: pósgraduado e mercado de trabalho Identificou critérios mais favoráveis e menos favoráveis Identificou uma discrepância entre os 4 grupos de avaliadores UFF / CTC / TPP Mestrado em Engenharia de Produção 54

55 Conclusões Permitiu uma classificação com visão estratégica Posicionamento neutro com tendência ao desenvolvimento Implantação do Doutorado Método ELECTRE TRI Permite detectar incomparabilidades (avaliações não-homogêneas) Elimina o efeito compensatório UFF / CTC / TPP Mestrado em Engenharia de Produção 55

56 Conclusões Limitações da pesquisa: Organizações atuantes no mercado de trabalho Interesse do respondente Sugestões para trabalhos futuros: Coleta de dados feitas junto às organizações atuantes no mercado de trabalho Desenvolvimento de estratégias Aplicação de outros métodos de AMD UFF / CTC / TPP Mestrado em Engenharia de Produção 56