Avaliação da Educação Superior Brasileira: contextualização, desafios e perspectivas

Transcrição

1 Avaliação da Educação Superior Brasileira: contextualização, desafios e perspectivas Maria Inês Fini Presidente do INEP Brasília-DF Mês 2017

2 1. Principais dados da Educação Superior Brasileira

3 Quantitativo de IES no Brasil, de 2000 a Pública Privada Total Fonte: Inep/Censup 2000 a 2015

4 Quantidade de IES no Brasil, em 2015, por Categoria Administrativa Federais Estaduais Municipais Privadas Total Fonte: Inep/Censup 2015

5 Quantidade de IES no Brasil, em 2015, por Organização Acadêmica e Categoria Administrativa Universidades Centros Universitários Faculdades IF/CEFET 0 40 Federais Estaduais Municipais Privadas Total Fonte: Inep/Censup 2015

6 Quantidade de Cursos no Brasil, em 2015, por Grau Acadêmico Bacharelado Licenciatura Tecnólogo Total Fonte: Inep/Censup 2015

7 Quantidade de Matrículas no Brasil, em 2015, por Grau Acadêmico Bacharelado Licenciatura Tecnólogo Não-Aplicável Total Fonte: Inep/Censup 2015

8 Quantidade de Concluintes no Brasil, em 2015, por Grau Acadêmico Bacharelado Licenciatura Tecnólogo Total Pública Federal Estadual Municipal Privada Total Fonte: Inep/Censup 2015

9 EDUCAÇÃO SUPERIOR: DESAFIOS DECORRENTES DE SUAS CARACTERÍSTICAS O tamanho do sistema X acompanhamento da qualidade X condições de oferta de curso de graduação X complexidade dos processos avaliativos. A diversidade de natureza administrativa e de formas de organização acadêmica das IES: desafios para os processos de avaliação, regulação e supervisão do Sistema.

10 2. Legislação relacionada à Educação Superior

11 LEGISLAÇÃO Constituição Federal 1988 Lei nº 9.394/1996 Lei de Diretrizes e Bases da Educação Nacional (LDBEN) Lei nº /2014 Plano Nacional da Educação (PNE) Lei nº /2004 Sistema Nacional de Avaliação da Educação Superior (Sinaes) Decreto nº 5.773/2006 (em revisão) Exercício das funções de regulação, supervisão e avaliação Portaria Normativa MEC nº 40/2007 (2010) (em revisão) Normativa os processos de regulação, supervisão e avaliação

12 SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR Lei nº /2004 O Sinaes foi instituído [...] com o objetivo de assegurar processo nacional de avaliação das instituições de educação superior, dos cursos de graduação e do desempenho acadêmico de seus estudantes [...] (Art. 1º, Lei nº /2004). A realização da avaliação das instituições, dos cursos e do desempenho dos estudantes será responsabilidade do INEP (Art. 8º, Lei nº /2004), sob a coordenação da Comissão Nacional de Avaliação da Educação Superior (Conaes).

13 FUNÇÕES DE REGULAÇÃO, SUPERVISÃO E AVALIAÇÃO Decreto nº 5.773/2006 REGULAÇÃO Realizada por atos autorizativos de IES e de cursos de graduação (credenciamento, recredenciamento, autorização, reconhecimento e renovação de reconhecimento) Secretaria de Regulação e Supervisão da Educação Superior (Seres) SUPERVISÃO Objetivo de zelar pela qualidade da oferta de Educação Superior no Sistema Federal AVALIAÇÃO Inep Processo formativo e referencial para a regulação e supervisão da Educação Superior, a fim de promover a melhoria de sua qualidade

14 PROCESSOS DE REGULAÇÃO, SUPERVISÃO E AVALIAÇÃO Portaria Normativa MEC nº 40/2007 (2010) A Portaria Normativa MEC nº 40/2007, reeditada e republicada em 29 de dezembro de 2010, trata do fluxo e gerenciamento dos processos de regulação, supervisão e avaliação via sistema eletrônico, tornado efetivo o caráter público dos resultados da avaliação. Dentre outros aspectos da avaliação, consolida disposições sobre Enade e os indicadores de qualidade, reafirmando o papel do Inep como responsável pela operacionalização do Sinaes, sob a orientação da Conaes.

15 INTERAÇÃO ENTRE AVALIAÇÃO E REGULAÇÃO IES protocola o pedido e insere documentação e-mec Secretaria Reguladora analisa documentos postados Despacho Saneador Início da Fase de Avaliação Visita e Elaboração de Relatório de Avaliação Sorteio da Comissão de Avaliação Abertura do Formulário Eletrônico Criação da Avaliação Disponibilização do Relatório para a IES e Seres Há impugnação? Publicação do Ato Autorizativo CTAA Legenda: Instância do Processo SERES INEP CTAA

16 3. Sistema Nacional de Avaliação da Educação Superior

17 SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR O que se espera a partir dos resultados do Sinaes? Melhorar a qualidade da Educação Superior, orientar a expansão da oferta. Identificar mérito e valor das instituições, áreas, cursos e programas nas dimensões de ensino, pesquisa, extensão, gestão e formação. Promover a responsabilidade social das Instituições de Educação Superior (IES), respeitando a identidade institucional e a autonomia.

18 FORMAS DO PROCESSO DE AVALIAÇÃO Estão previstos processos avaliativos vinculados a: (Portaria nº 40/ ) Exame Nacional de Desempenho de Estudantes (Enade). Realizado para aferir conhecimentos, competências e habilidades desenvolvidas pelo estudante ao longo do curso. Avaliações in loco. Realizada com uma abordagem mais qualitativa de avaliação sobre as condições de oferta dos cursos de graduação e da estrutura das IES. Indicadores de Qualidade da Educação Superior. Produzidos com uma abordagem mais quantitativa, subsidiando os processos de avaliação in loco.

19 ABRANGÊNCIA DO PROCESSO DE AVALIAÇÃO O Sinaes promove o processo de avaliação da qualidade de: Estudantes avaliação de desempenho dos estudantes. Resultados: nota do estudante no Enade e Conceito Enade para cursos. Cursos de graduação avaliação dos cursos de graduação para fins de autorização, reconhecimento e renovação de reconhecimento (visita in loco); indicadores de qualidade sobre cursos. Resultado: Conceito de Curso (CC) e Conceito Preliminar de Curso (CPC). IES autoavaliação e avaliação institucional (visita in loco) para fins de credenciamento e recredenciamento; indicador de qualidade sobre IES. Resultado: Conceito Institucional (CI), Relatório de Autoavaliação e Índice Geral de Cursos Avaliados da Instituição (IGC).

20 Enade

21 CICLO AVALIATIVO Está previsto Ciclo Avaliativo composto por 3 (três) anos:(portaria nº 40/ ) Áreas - Bacharelados e Licenciaturas Ano I - Saúde, Ciências Agrárias e áreas afins (2016). Ano II - Ciências Exatas, Licenciaturas e áreas afins (2017). Ano III - Ciências Sociais Aplicadas, Ciências Humanas e áreas afins (2015). Eixos Tecnológicos Ano I - Ambiente e Saúde, Produção Alimentícia, Recursos Naturais, Militar e Segurança (2016). Ano II - Controle e Processos Industriais, Informação e Comunicação, Infraestrutura, Produção Industrial (2017). Ano III - Gestão e Negócios, Apoio Escolar, Hospitalidade e Lazer, Produção Cultural e Design (2015).

22 ENADE Ações vinculadas às áreas de avaliação do Enade: Elaboração e aplicação das provas. Inep Cálculo e divulgação dos Indicadores de Qualidade (ano subsequente à aplicação do Enade). Determina medidas de regulação realizadas pela Secretaria de Regulação e Supervisão (Seres) do MEC (ano subsequente à aplicação do Enade).

23 ENADE Instrumentos aplicados no Enade: Questionário do Estudante Questionário do Coordenador Prova DIMENSÕES DO INSTRUMENTO TIPO DE ITEM NOTA ENADE ENADE Formação Geral (FG) Conhecimento Específico (CE) 8 de múltipla escolha 2 discursivas 27 de múltipla escolha 3 discursivas 25% 75%

24 Quantidade de Estudantes Inscritos 2004 a 2016 (valores aproximados - em unidades de milhar) * *Ano de 2016: quantidade prévia do total de inscrições Fonte: Inep/Censup 2016

25 Avaliação in loco

26 AVALIAÇÃO IN LOCO Utilização de procedimentos e instrumentos estruturados pelo Inep e aprovados pela Conaes. Avaliação de IES: busca identificar como a missão e o perfil da instituição e sua atuação na sociedade expressam-se nas atividades, cursos, programas e projetos realizados, considerando diferentes dimensões institucionais. Avaliação de curso de graduação: busca identificar as características do projeto formativo e as condições de oferta do curso aos estudantes, em especial as relativas ao perfil do corpo docente, às instalações físicas e à organização didático-pedagógica.

27 AVALIAÇÃO IN LOCO Subsídios da Avaliação in loco para os Processos de Regulação da Educação Superior: Cursos de graduação avaliação dos cursos de graduação para fins de autorização, reconhecimento e renovação de reconhecimento. Resultado: o Conceito de Curso (CC); IES avaliação institucional para fins de credenciamento e recredenciamento. Resultado: o Conceito Institucional (CI).

28 DIMENSÕES DA AVALIAÇÃO DE CURSOS Quem? DIMENSÃO 1 Organização didáticopedagógica Como? DIMENSÃO 2 Corpo docente e tutorial DIMENSÃO 3 Infraestrutura Onde?

29 Quantidade de Cursos avaliados in loco DIMENSÃO DIMENSÃO Corpo docente e tutorial Infraestrutura

30 Avaliação in loco por ato no ano de 2016 Ato Quantidade Aditamento - Credenciamento de Polo de Apoio Presencial 208 Autorização vinculada ao credenciamento 64 Autorização 711 Credenciamento 117 Credenciamento Centro Universitário 13 Credenciamento de Escola de Governo 4 DIMENSÃO 3 Credenciamento EAD 251 DIMENSÃO 2 Credenciamento Lato Sensu EAD 11 Reavaliação de Curso Infraestrutura 5 Reconhecimento de Curso 781 Corpo docente e tutorial Reconhecimento de Curso EAD 117 Recredenciamento 226 Recredenciamento EAD 160 Renovação de Reconhecimento de Curso 693 Renovação de Reconhecimento de Curso EAD 6 Total Geral 3.663

31 Indicadores de Qualidade

32 INDICADORES DE QUALIDADE Segundo a Portaria Normativa MEC nº 40/2007 (2010), são Indicadores de Qualidade da Educação Superior: Conceito Enade Conceito Preliminar de Curso (CPC) Índice Geral de Cursos Avaliados da Instituição (IGC) Esses indicadores de qualidade mantêm relação direta com o Ciclo Avaliativo, sendo os cursos avaliados segundo as áreas de avaliação vinculadas aos Anos do Ciclo Avaliativo.

33 INDICADORES DE QUALIDADE Todos os indicadores são expressos em faixas, descritas em uma escalada discreta crescente de valores de 1 (um) a 5 (cinco). Os indicadores são calculados a partir de componentes. Os valores brutos atribuídos aos componentes são padronizados e reescalonados para serem expressos em valores contínuos de 0 (zero) a 5 (cinco). Os valores discrepantes (outliers) são desconsiderados como valores mínimo e máximo no processo de reescalonamento. Antes do cálculo final, todas as IES têm acesso aos insumos de cálculo e podem se manifestar no Sistema e-mec.

34 FAIXAS DOS INDICADORES DE QUALIDADE Tabela de conversão das notas expressas em valor contínuo para Faixas dos Indicadores de Qualidade CONCEITO (Faixa) NC j (Valor Contínuo) 1 0,000 NC j < 0, ,945 NC j < 1, ,945 NC j < 2, ,945 NC j < 3, ,945 NC j 5,000

35 CONCEITO ENADE O Conceito Enade é um indicador de qualidade calculado a partir dos desempenhos dos estudantes concluintes dos cursos de graduação no Enade. É resultante da média ponderada da nota padronizada dos concluintes na Formação Geral (25%) e no Conhecimento Específico (75%). Calculado por Código de Curso, para aqueles com ao menos 2 (dois) concluintes participantes no Enade.

36 Quantidade de Cursos Avaliados 2004 a

37 Cursos por Faixa do Conceito Enade % 42,729% 40% 35% 30% 25% 20% 15% 26,918% 18,803% 10% 5% 3,362% 4,975% 3,202% 0% Sem Conceito

38 . CONCEITO PRELIMINAR DE CURSO (CPC) O CPC é um indicador de qualidade que agrega diferentes variáveis que expressam: resultados da avaliação de desempenho de estudantes; titulação e regime de trabalho do corpo docente; valor agregado pelo processo formativo oferecido pelo curso de graduação; percepções dos estudantes sobre a organização didáticopedagógica, infraestrutura e as oportunidades de ampliação da formação acadêmica e profissional. Calculado por Código de Curso, para aqueles com ao menos 2 (dois) concluintes participantes no Enade.

39 CONCEITO PRELIMINAR DE CURSO (CPC) DIMENSÃO COMPONENTES PESOS Desempenho dos Estudantes Nota dos Concluintes no Enade (NC) 20,0% Valor Agregado Nota do Indicador de Diferença entre os Desempenhos Observados e Esperados (NIDD) Nota de Proporção de Mestres (NM) 7,5% 35,0% Corpo Docente Nota de Proporção de Doutores (ND) 15,0% Nota de Regime de Trabalho (NR) 7,5% 30,0% Nota Referente à Organização Didático-pedagógica (NO) 7,5% Percepção Discente sobre as Condições do Processo Formativo Nota Referente à Infraestrutura e Instalações Físicas (NF) Nota Referente às Oportunidades de Ampliação da Formação Acadêmica e Profissional (NA) 5,0% 2,5% 15,0%

40 Cursos por faixa do CPC % 57,678% 50% 40% 30% 26,536% 20% 10% 0% 11,045% 3,202%,296% 1,244% Sem Conceito

41 60% Cursos por faixa do CPC 2015 Públicas e Privadas 58,294% 53,880% 50% 40% 30% 20% 10% 0% 32,892% 25,505% 11,178% 10,229% 3,349%,301%,265% 1,374%,441% 2,293% Sem Conceito Privadas Públicas

42 ÍNDICE GERAL DE CURSOS AVALIADOS DA INSTITUIÇÃO (IGC) Calculado, por IES, considerando: Média dos CPC dos cursos avaliados da instituição, no triênio de referência, ponderada pelo número de matrículas. Média dos conceitos da avaliação trienal da Capes dos programas de pós-graduação stricto sensu, ponderada pelo número de matrículas. Para instituições sem programas de pós-graduação stricto sensu avaliados pela Capes, o IGC é a média ponderada dos CPC de seus cursos de graduação.

43 IES por faixa do IGC % 66,999% 60% 50% 40% 30% 20% 14,414% 16,643% 10% 0%,427% 1,138%,379% Sem Conceito

44 IGC 2015 (Públicas e Privadas) 70% 60% 50% 53,731% 68,930% 40% 30% 20% 10% 0% 27,985% 12,313% 14,720% 14,992% 4,851%,373%,435%,598%,746%,326% Sem Conceito Públicas Privadas

45 INDICADORES DE QUALIDADE Componentes dos cálculos Desempenhos como Concluinte de cursos de graduação (Enade) Conceito Enade Questionário do Estudante (Enade) Desempenhos como Ingressante do curso do graduação avaliado (Ingressantes de 2011 a 2013/ concluintes após 2013) (Enem) IDD Conceito Preliminar de Curso (CPC) Índice Geral de Cursos (IGC) Corpo Docente (Censup) Pós-Graduação (Capes)

46 INDICADORES DE QUALIDADE As Notas Técnicas sobre os cálculos e estudos realizados para mudanças dos indicadores e/ou de seus componentes são disponibilizadas no sítio oficial do Inep.

47 LIMITES E POSSIBILIDADES LIMITES Por melhores que sejam, são Indicadores e não um retrato das condições concretas dos processos formativos e estrutura das IES, portanto, não substituem a avaliação in loco. Expressam valores relativos e não absolutos. Não são comparáveis entre suas edições. Implementação de ajustes em indicadores utilizados para fins de regulação, supervisão e financiamento.

48 POSSIBILIDADES LIMITES E POSSIBILIDADES Aprimoramento dos indicadores existentes para que estimem melhor as condições de oferta dos cursos e da estrutura das IES. Substituir as escalas de estimação da qualidade para que possam expressar mensurações e valorações absolutas (não relativas). Composição de escalas de valores que permitam a comparação entre as edições dos indicadores. Composição de uma cesta de indicadores para subsidiar processos decisórios e de avaliação de políticas públicas de naturezas e finalidades diversas, ao invés se utilizar um mesmo indicadores compostos nos referidos processos.

49 INDICADORES DE QUALIDADE Os Indicadores de Qualidade têm sido indutores de qualidade, como no caso do CPC: Titulação do corpo docente. Infraestrutura. Oportunidades de ampliação da formação acadêmica e profissional.

50 RESULTADOS DA AVALIAÇÃO A disseminação dos resultados da avaliação interessa a diversos segmentos sociais. Instituições de Educação Superior: utilizam as informações para decisões de políticas institucionais. Secretarias do MEC: adotam resultados para fins de regulação e supervisão da Educação Superior. Gestores públicos em Educação Superior: utilizam dados para elaborar e orientar ações e políticas educacionais. Pesquisadores: utilizam os dados em trabalhos acadêmicos. Sociedade em geral: obtém elementos para conhecer melhor um curso e/ou IES de interesse.

51 DESAFIOS DO PROCESSO DE AVALIAÇÃO Diante da quantidade de IES e cursos avaliados pelo Sinaes, destacamse os seguintes desafios: ENADE Aplicação do Enade aos estudantes de todas as áreas de maneira censitária anualmente. Estimação do valor agregado ao estudante pelo curso de graduação. Estruturação de provas que apreendam competências e habilidades não mensuradas no formato atual.

52 DESAFIOS DO PROCESSO DE AVALIAÇÃO AVALIAÇÃO IN LOCO Realização de avaliações in loco de todos os cursos dentro dos Ciclos Avaliativos. Formação de Avaliadores que extrapolem a checagem de itens e avance para uma visão mais ampla de avaliação. Disponibilização de resultados detalhados da avaliação in loco de forma consolidada.

53 DESAFIOS DO PROCESSO DE AVALIAÇÃO Dada a dificuldade de se realizar avaliações in loco de todos os cursos abarcados pelo Sinaes, passou-se a fazer uso de Indicadores de Qualidade para subsidiar os processos de regulação e supervisão. Não tem por objetivo estabelecer ranking, mas conforma uma alternativa para o acompanhamento da qualidade do conjunto de IES e cursos avaliados pelo Sinaes. Uma questão fundamental para o debate sobre a atuação do Inep: para quê fins se destinam os Indicadores de Qualidade da Educação Superior?

54 DESAFIOS DO PROCESSO DE AVALIAÇÃO SINAES Estruturação e implementação de processos avaliativos que contemplem a diversidade e as características regionais. Integração dos instrumentos avaliativos e dos resultados obtidos a partir das avaliações in loco e dos Indicadores de Qualidade.

55 MUITO OBRIGADA!