Mensurando e avaliando a eficiência do ensino superior no Brasil. Ana Carolina Zogbhi Enlinson Mattos Fabiana Rocha Paulo Arvate

Transcrição

1 Mensurando e avaliando a eficiência do ensino superior no Brasil Ana Carolina Zogbhi Enlinson Mattos Fabiana Rocha Paulo Arvate 1. Introdução Mais recentemente passou a haver uma procura crescente por formação superior no Brasil. Por um lado, isso foi a resposta a uma demanda do mercado de trabalho por profissionais mais capacitados, inclusive através da exigência de ensino superior completo em alguns concursos públicos. Por outro lado, houve um componente de oferta em que a política do governo federal para o setor parece ter se baseado na ampliação do número de vagas por meio da expansão privada (Pinto, 2004). Com isso, enquanto em 1994 apenas 1,07% da população estava matriculada em algum curso superior (um a cada 93 brasileiros), em 2003 este número passou para 2,19% (um a cada 46) de acordo com o INEP (2006). No período de 1994 a 2003 houve ainda um aumento de 118% no número de instituições de ensino superior (IES) no país que passaram de 851 para As instituições privadas passaram de 633 para 1652 (crescimento de 161%) ao mesmo tempo em que as instituições públicas mostraram redução, variando de 218 para 207 (Alfinito, 2007). A expansão do ensino superior, em particular, do setor privado traz de imediato a questão de se esse crescimento foi ou não acompanhado de perda em termos de qualidade das IES. O objetivo deste trabalho é, então, avaliar os determinantes do desempenho das instituições de ensino superior no Brasil, levando em consideração a natureza destas instituições, pública ou privada. Para medir desempenho utiliza-se como indicador a nota dos alunos no ENADE. Mais especificamente, considera-se a diferença entre as notas dos ingressantes e concluintes das instituições neste exame.desta forma, segue-se a literatura sobre avaliação de ensino básico e fundamental que mensura desempenho ou qualidade educacional pelo resultado dos alunos em algum exame padronizado 1

2 como o Sistema de Avaliação da Educação Básica (SAEB), a Prova Brasil ou o PISA (Programme for International Student Assessment) 1. A literatura empírica que estima funções de produção de educação, contudo, se desenvolveu independentemente da modelagem de fronteira estocástica. Mínimos quadrados ordinários (ou alguma variante) eram usados para traçar uma função através de um conjunto de pontos e os resíduos não recebiam tratamento especial. A preocupação era como os parâmetros da estrutura de produção e não com desvios individuais da função estimada. A preocupação era com a média e não com a melhor prática. Este trabalho procura contribuir com a literatura estimando uma função de produção estocástica de educação, em que cada universidade particular se defronta com sua própria fronteira de produção, sendo esta fronteira aleatoriamente dependente do conjunto completo de elementos estocásticos que são importantes mas estão fora do controle das universidades. O trabalho está organizado da seguinte maneira. A segunda seção faz uma breve discussão dos trabalhos que avaliaram a questão da eficiência e produtividade do ensino superior. A ênfase será dada na unidade de análise, nas variáveis utilizadas como insumo e produto e na técnica de estimação empregada. Como não se tem conhecimento de trabalhos parecidos para o Brasil, o estudo é de caráter exploratório, o que dificulta comparações com resultados de outros estudos, a não ser com aqueles realizados para os países desenvolvidos.. A terceira seção apresenta uma descrição e crítica das diferentes técnicas econométricas existentes na literatura para estimar eficiência. A quinta seção discute as variáveis que serão utilizadas como produto e insumo, assim como algumas estatísticas descritivas das mesmas. A sexta seção apresenta e discute os resultados da estimação. A sétima seção resume as principais e traça algumas direções de política futura para o ensino superior no Brasil. 2. Breve discussão metodológica Uma primeira alternativa para a construção de fronteiras de eficiência seria a técnica de Free Disposable Hull (FDH), em que assume-se a existência de n Estados na amostra, m 1 Ver Soares e Collares (2006) e Menezes-Filho(2007). 2

3 produtos ou serviços produzidos por esses Estados com k insumos sendo utilizados na produção dos mesmos. Em termos de função de produção teria-se: y i = F( x i ) em que y é o vetor de produtos e x é o vetor de insumos. Pode-se ordenar o Estado i, se o mesmo não for o mais eficiente, da seguinte forma: MIN em que y ( n) j n = n1,..., nl MAX j= 1,..., m y j ( i) n 1,..., nl são todos os l Estados mais eficientes do que o Estado i. Da mesma forma, em termos de insumo, pode-se ordenar o Estado i em relação ao mais eficiente da seguinte forma: MIN MAX n = n1,..., nl j= 1,..., m x ( n) j x ( i) j Diferentemente do FDH, a técnica de Data Envelopment Analysis (DEA) é uma técnica que constrói as fronteiras de produção usando programação linear. Supondo que existam os mesmos m produtos e k insumos para os n Estados, 2 para todo Estado existe um y i (vetor coluna dos produtos ou serviços) e um x i (vetor coluna de insumos). De maneira complementar, existe uma matriz X (k x n) de insumos e uma matriz Y (m x n) de produto. A partir dessas definições, pode-se apresentar o problema matemático de programação linear da seguinte forma: MIN θ,λ θ Sujeito a + Yλ 0 y i θ x i Xλ 0 n λ ' 1 = λ 0 1 do Estado ( Nesse problema, θ é um escalar (que satisfazθ 1) que mede a eficiência técnica x, y ). Na prática é uma medida da distância entre o Estado e a fronteira de i i 2 Veja Coelli et al. (1998) para maiores detalhes. 3

4 eficiência. Se θ < 1, o Estado está dentro da fronteira e, portanto, é ineficiente. Se θ = 1, o Estado está na fronteira e, portanto, é eficiente. O vetor λ é um vetor (n x 1) de constantes com os pesos usados para computar a alocação ineficiente dos Estados se eles forem ineficientes. ' n é um vetor dimensional de uns. n λ 1 impõe a convexidade da fronteira. ' 1 1 = Finalmente, uma outra alternativa metodológica a ser utilizada é o método de fronteiras estocásticas de produção. Ele tem como principal vantagem sobre o FDH e DEA a possibilidade de fazer a decomposição do resíduo em dois componentes: um relativo à ineficiência e outro relativo ao choque puramente aleatório. Esse método foi introduzido na literatura econômica simultaneamente por Aigner, Lovell e Schmidt (1977) e Meeusen e van den Broeck (1977). Sua especificação para dados em cross-section é a seguinte: 3 k ln y = β0 + f ( β, x ) + v u, i = 1,..., I; k 1,..., n, i k i i i = em que lny i é o logaritmo da quantidade produzida pela firma i; β 0 é o intercepto da k equação; f ( β, ) é a forma funcional adequada; β k é o vetor de coeficientes k x i tecnológicos; k x i é o vetor de insumos utilizado na produção pela firma i; v i é o choque aleatório não correlacionado com k 2 x i e u i, com distribuição N(0, σ v ) ; e u i é o termo de ineficiência não negativo da firma i também não correlacionado com Para a estimação dos coeficientes tecnológicos das fronteiras estocásticas de produção são empregados os estimadores de máxima verossimilhança 4. É necessário que se assuma hipóteses distributivas sobre o termo de ineficiência assimétricas têm sido utilizadas para o termo k x i. u it. Diversas distribuições u it, sendo as mais populares a distribuição semi-normal, distribuição normal-truncada, distribuição exponencial e distribuição gama. 3 Posteriormente, Pitt e Lee (1981) especificaram o modelo de Aigner, Lovell e Schmidt (1977) para dados em painel. Assim, a função de produção passa a assumir a seguinte forma: k ln yit = β0 + f ( βk, xit ) + vit uit, i = 1,..., I; k = 1,..., n, t = 1,..., T, em que todas as hipóteses válidas usando em cross section valem para o modelo em painel. 4 Outros estimadores podem utilizados para o cálculo dos coeficientes. Optou-se aqui pela máxima verossimilhança por ser esta uma metodologia consolidada literatura sobre ineficiência técnica, além de possuir propriedades interessantes sobre os demais estimadores. Como não é do escopo deste trabalho dissertar sobre as diversas metodologias possíveis para a estimação de fronteiras estocásticas, sugere-se ao leitor interessado que verifique Kumbhakar e Lovell (2000). 4

5 Quando se escolhe um método econométrico, deve-se avaliar as vantagens existentes entre a escolha feita e as alternativas possíveis. A primeira questão que se coloca é porque não utilizar mínimos quadrados ordinários (MQO). Conforme colocam Kumbhakar e Lovell (2000), o estimador de mínimos quadrados, apesar de não ser viciado para o vetor de coeficientes tecnológicos é viciado para o intercepto da equação a ser estimada 5. Além disto, tal metodologia não permite a existência de ineficiência técnica, atribuindo toda variação na produção que possa ser explicada por variação dos insumos a choques aleatórios. Nesta situação, caso não haja presença de ineficiência, MQO é o estimador mais adequado para a função de produção. Assim, MQO assume estados plenamente eficientes, enquanto a metodologia de fronteiras estocásticas não assume esta hipótese. Outro ponto importante é a escolha arbitrária de uma distribuição para a ineficiência. Muito embora haja distribuições flexíveis que não impõem restrições sobre a média da ineficiência, esta pode sofrer alterações de acordo com distribuição escolhida. Entretanto, há evidências de que a posição relativa das unidades tomadoras de decisão no ranking de eficiências não é muito sensível à forma distributiva das unidades tomadoras de decisão como mostra Greene (1990) Revisão da literatura de eficiência na provisão de ensino superior A apresentação da revisão da literatura sobre a avaliação do Ensino Superior (ES) foi feita seguindo três linhas. Primeiro, evitou-se utilizar trabalhos mais antigos porque os mais recentes trabalham com as mesmas técnicas. Nesse caso, trabalhos mais recentes levam vantagem de apresentarem uma avaliação mais contemporânea das instituições e entre as instituições dos países. Segundo, buscou-se trabalhos que empregassem diferentes metodologias para medir a eficiência. Os trabalhos costumam utilizar duas técnicas: DEA (Data Envelopment Analysis) e FS (Frontier Stochastic). Alguns dos trabalhos apresentam 5 Kumbhakar (1990) argumenta que caso se esteja utilizando dados em painel e a ineficiência for variante no tempo, o estimador de MQO será inconsistente para os coeficientes da matriz de regressores. Além disto, o autor argumenta que esta inconsistência pode ser evitada usando-se máxima verossimilhança. 6 Neste mesmo estudo, o autor mostra que, para 123 geradoras de eletricidade dos Estados Unidos, as médias das distribuições não variam abruptamente. Seus resultados reportam valores médios de ineficiências iguais a 0,8766 para a distribuição semi-normal, 0,8949 para a distribuição gama, 0,8961 para a distribuição normal truncada e 0,9011 para a exponencial. 5

6 os resultados da DEA com retornos constantes e outros com retornos variáveis em escala, sendo que a grande maioria dos trabalhos optou por retornos variáveis em escala.todos os trabalhos que utilizaram a FS, estimaram a função mínima de custo. Terceiro, buscou-se apresentar trabalhos de diferentes países e trabalhos que fizessem comparações entre países. O quadro a seguir apresenta nove trabalhos. A ordem de apresentação dos mesmos segue a seguinte seqüência na colunas: 1. autor (es); 2. metodologia; 3. amostra a ser considerada (o número de instituições, em que país ou países o trabalho foi realizado e o numero de países envolvidos no trabalho quando a comparação acontece entre países); 4. variáveis utilizadas como produto-insumo (no caso da DEA) e variáveis dependentes e independentes no caso de FS; 5. sub-amostras (muito dos trabalhos mostram os resultados em sub-amostra porque algumas instituições tem suas especificidades que podem distorcer os resultados finais; por exemplo, é muito comum separar e comparar instituições na área médica, na área de engenharia e na área de ciências e artes), outras especificações (existem trabalhos que procuram com regressões complementares obter a correlação entre o ranqueamento obtido e alguma das características dos países como nível de financiamento público) e algumas especificidades (construção do índice ponderado pelos gastos, uma variável diferente, algo que nos chamou a atenção tecnicamente); 6. os principais resultados gerais dos trabalhos (um grupo de instituições e países que se mantiveram no topo do rank de eficiência apesar das mudanças em sub-amostras, por exemplo). Autor (es) Afonso e Santos (2004) Metodol ogia DEA Tabela 1 Fronteira de Eficiência aplicada ao Ensino Superior Amostra Insumos (I), Produtos (P) e Trabalhou com variáveis explicativas (se aplicável) sub-amostras, outras especificações e algumas 45 instituições de Portugal (universidades, faculdades e institutos politécnicos) com dados de I: Gastos Totais e o número de professores P: Número de alunos matriculados (graduação e pós-graduação) especificidades 1. Apresentaram ranqueamento com retornos variáveis em escala para produto e insumo; 2. Apresentaram ranquemaneto com retornos constantes em escala para o produto; 3. separou no produto e apresentou resultados distintos para graduandos e graduandos e pósgraduandos; 4. faculdades e institutos separados Principais contribuições Primeiro estudo sobre eficiência no ES feito para Portugal. 6

7 Joumady e Ris (2005) Robst (2001) Izadi, Johnes, Oskrochi and Crouchley (2002) Johnes (2005) DEA FS FS DEA 210 instituições de 8 países europeus (Itália, Espanha, França, Áustria, Finlândia, Grã- Bretanha, Alemanha e Holanda) baseado num questionário enviado aos alunos três anos depois de formado (1998) 440 instituições públicas (colleges e universidades classificadas como Research, Doctoral, Masters, and Baccalaureate) nos Estados Unidos entre 1991 e universidades na Inglaterra entre os anos de 1994 e instituições na Inglaterra Modelo de Competência (o que a universidade acrescentou em termos de formação) I: Características dos estudantes (qualificação e notas de entrada); Condições para estudar (qualidade dos professores, equipamentos, livrarias, material didático, qualidade do equipamento), ênfase na aprendizagem e aplicação do conhecimento; P: Nível de competência vocacional adquirida (conhecimento teórico e de métodos) e de competência genérica adquirida (solucionar problemas, competência analítica, habilidade para aprender). Modelo de Ajustamento (o que a universidade ajudou no seu emprego) I: Intensidade do trabalho (número de tentativas de buscar um emprego; duração do trabalho); background do estudo (importância para o trabalho do conhecimento adquirido na instituição) P: Diferença entre o nível de competência vocacional adquirida e necessária; de competência genérica adquirida e necessária e a distância entre o que se aprendeu e o que se necessita para trabalhar. Modelo Geral considera os dois modelos(competência e Ajustamento) IV: Classificação do Carnegie (Research, Doctoral, Masters, and Baccalaureate); Outputs (estudante de graduação, pós-graduação e dinheiro de pesquisa); Input price (gastos com salários mais benefícios - compensation); e receitas (matriculas, apropriação de recursos do estado, parcela da receita estadual). DV: custo geral dessas instituições IV: estudantes de graduação e artes; estudantes de ciências, pósgraduandos e o valor gasto em pesquisa e contratos recebidos. DV: gasto total por ano de cada instituição. I: Numero total de graduandos que entraram, ponderado pela sua nota de das universidades; 5. eliminou outlyers : instituições onde os custos eram muito altos foram retiradas da amostra (medicina); 6. apresentou resultados para as instituições de medicina isoladamente. 1. Performance por instituições; 2. Tipo de Escola (engenharia, business, college); 1. Estima a equação em OLS e depois a FSE (ML função não-linear) para observar a diferença entre a estimativa na média e a estimativa nos mínimos. 2. realiza três especificações distintas retirando e introduzindo variáveis de controle 1. Estima a FSE usando uma CES (não linear ML) 1. Fez uma separação de amostras de O objetivo do trabalho era verificar o efeito das instituições de ES na vida profissional dos alunos de pósgraduação. Instituições como os British Open University, German College and HBO Holandês tem a mais alta performance nesse sentido. Qualquer instituição italiana sempre apresentou a pior performance. Como no inicio dos anos noventa grande parte das instituições americanas aumentou a parcela de mensalidades e reduziu a parcela vinda dos estados, observou-se que nessa mudança não houve aumento da eficiência nas instituições. Criticaram bastante as estimativas em FSE feitas anteriormente feitas com softwares (CES) devido ao formato da função custo. O problema é que seus resultados não são melhores do que os dos outros trabalhos. A eficiência das universidades 7

8 Agastini (2008) Abbott e Doucouliag os (2003) McMillan e Datta (1998) entre os anos de 2000 e 2001 DEA 18 países da OECD (Alemanha, Áustria, Bélgica, Dinamarca, Eslováquia, Espanha, Finlândia, França, Grãbretanha, Holanda, Hungria, Irlanda, Itália, Noruega, Polônia, Republica Tcheca e Suécia, Suíça) entre os anos de 2001 e DEA 24 das 36 universidades da Australia pertencentes ao governo em DEA 45 universidades do Canadá entre 1993 e 1994 entrada; Numero total de pósgraduandos; Numero total de acadêmicos em tempo integral.; Custo de depreciação; Gasto total em livraria e informática; Custo acadêmico excluindo o custo do staff. P: Numero total de graduandos no primeiro ano ponderado pelo seu ranqueamento nesse ano; Numero total de estudantes (graduandos e pósgraduandos) com premiação; Valor arrecadado de recursos para pesquisa do governo inglês. I: Acessibilidade (taxa de entrada de alunos); Recursos Financeiros (Gastos); Recursos Humanos (relação professor/aluno) P: Educação da População (População que chega ao ES, taxa de graduandos); Empregabilidade (taxa de empregos); Atratividade (alunos vindos do exterior) I: Numero do staff acadêmico; gastos administrativos que não seja o staff; gastos com pesquisadores e professores de tempo integral; outros gastos excetuando o gasto com trabalho e valor corrente do capital. P: Como produto do ensino: alunos matriculados na graduação e na pósgraduação; alunos formados em ambas. Como produto da pesquisa: quantum de pesquisa e renda de pesquisa médica e não-médica. I: numero total de professores em período integral nos três ranks utilizados para separar o numero de professores por área nas variáveis a seguir; numero de professores com recursos do MRC ou NSERC; número de professores com recursos do SSHRC ou Canada Council; gastos totais excetuando os gastos com salários e benefícios dos professores; gasto total com operação e gastos com pesquisa. P: Estudantes de graduação matriculados em período integral; Estudantes de graduação matriculados nas áreas de ciências e engenharia; estudantes de graduação matriculados em outros programas; Estudantes de pós-graduação matriculados em período integral; Estudantes de pósgraduação (máster) matriculados em período integral; Estudantes de pósgraduação (doutorado) matriculados em período integral; Gastos totais na área de pesquisa; council grants universidades criadas antes e depois de 1992 (antes eram universidades mais gerais depois ficaram mais politécnicas). 1.A Itália tem um problema porque ela não tem universidade; 2. Os dados usados no produto sofreram uma ponderação pelos gastos. Utiliza diversas especificações (áreas de pesquisa, tipos de universidade); roda uma regressão para explicar o porque do score de ineficiência; mostra o que aconteceu com o ranqueamento de algumas universidades antes e depois do cortes de grants. inglesas é muito alta (o grupo de elite é composto por um percentual muito grande de universidades). Ele descobriu que existe um core de eficiência para alguns países (Suíça e Grã- Bretanha) e o gasto do setor publico influencia no resultado da eficiência (usou um Tobit controlando com dados dos países GDP, etc). Os resultados indicam que não existe grande diferença no ranqueamento quando se muda a combinação de produtos no modelo estimado. O grupo de leite resiste a varias especificações e tem uma coisa curiosa uma das universidades (Albert) teve um corte de budget de 20% de grants e aumentou bastante sua eficiência apesar de já estar no grupo de elite. 8

9 Warning(2 004) DEA 73 universidades públicas na Alemanha como percentage dos professores elegíveis; número de ativos que recebem grants do MRC e NSERC como percentagem dos professores elegíveis. Modelo 1: I: gasto com pessoal e outros gastos, P: índice da SSCI para publicações ou índice da SCI para publicações. Modelo 2: I: gasto com pessoal e outros gastos, P: índice da SSCI para publicações de pós-graduandos ou índice da SCI para publicações de pós-graduandos. Modelo 3: I: gasto com pessoal e outros gastos, P: índice da SSCI para publicações ou índice da SSCI para publicações de pós-graduandos. Modelo 4: I: gasto com pessoal e outros gastos, P: índice da SCI para publicações ou índice da SCI para publicações de pós-graduandos. Modelo 5: I: gasto com pessoal e outros gastos, P: índice da SSCI para publicações e de pós-graduandos ou índice da SCI para publicações e de pós-graduandos. Nota: I: Insumo; P: Produto; VD: Variável Dependente; VI: Variável Independente. 1.Exclui as universidades de especialidade médica; 2. roda uma regressão para mostrar o que explica a ineficiência das universidades, outra para as áreas médicas somente e outra para ciências sociais. Os resultados destacam que universidades que escolhem a mesma estratégia geralmente estão no mesmo grupo de eficiência. Estratégias diferencias levam as universidades a estarem no grupo de baixo ou no grupo de cima. 4. Medindo o desempenho das instituições de ensino superior: definição do produto Uma vez que instituições de ensino superior produzem uma série de produtos, não é tarefa fácil medir resultado das universidades. Como ilustrado por Salerno (2008, p. 25) vamos supor duas instituições que atendem ao mesmo número de estudantes. Uma, no entanto, fornece uma educação excelente enquanto a outra oferece uma educação razoável. Caso fosse utilizado como medida de produto o número de alunos matriculados, a instituição com o maior número de alunos por professor seria provavelmente considerada mais eficiente, o que não implica que isto seja de fato verdade. Embora os pesquisadores sugiram que uma medida ideal do produto da educação deve vir acompanhada de um peso de qualidade institucional ao número de estudantes que ela educa (Nelson e Hevert, 1992), as dificuldades de mensuração tornam a tarefa praticamente impossível. Assim, são adotadas proxies em que o produto da educação é quase que exclusivamente medido por matrículas ou número de diplomas concedidos, ainda que as limitações da não consideração da qualidade sejam explicitamente reconhecidas. 9

10 No caso da educação superior brasileira, uma série de avanços na avaliação do ensino terciário permitem o uso de uma medida de produto que leva em conta o esforço colocado na educação de estudantes e que, portanto, pode ser mais adequada numa avaliação de eficiência. Em 1995 iniciou-se o processo de avaliação do ensino superior com a lei que estabeleceu o Exame Nacional de Cursos (ENC), que deveria ser aplicado a todos os alunos concluintes de determinadas áreas de conhecimento previamente escolhidas, e que ficou posteriormente conhecido como Provão. O Provão consistia de um exame escrito aplicado anualmente e em todo território nacional, a estudantes concluintes de alguns cursos de graduação previamente escolhidos. A participação dos estudantes era obrigatória e os alunos que não fizessem o exame seriam impedidos de obter o diploma de graduação. O Decreto 2.026/96 estabeleceu ainda como medidas adicionais para a avaliação da educação superior: i) a análise de indicadores gerais de desempenho, por estado e por região, de acordo com a área de conhecimento e o tipo de instituição de ensino, baseada nos dados do Censo da Educação Superior 7 ; ii) a avaliação institucional, baseada em informações do Censo mas também em relatório de equipe de especialistas acadêmicos que visitariam as instituições em busca de informações que permitissem avaliar a administração, o ensino, a integração social e os produtos tecnológicos, culturais e científicos das mesmas. O Decreto manteve a CAPES como responsável pele avaliação da pós-graduação, como ocorria desde Em 2001, o Decreto estabeleceu oficialmente o aspecto high stakes das avaliações ( com conseqüências significativas para quem está sendo avaliado ), que deveriam ser usadas para orientar decisões relativas ao recredenciamento das instituições e ao reconhecimento e renovação e reconhecimento dos cursos. 8 7 Foram identificados os seguintes indicadores identificados pelo no Decreto 2.026/96: taxas bruta e líquida de matrícula, disponibilidade de vagas para novos alunos, taxa de evasão e aprovação, tempo médio de conclusão do curso, níveis de qualificação docente, razão aluno/professor, tamanho médio das classes, custo por aluno, percentual dos custos da educação superior no total dos gasto com educação pública e percentual do PIB gasto com educação superior. 8 Na verdade, somente em casos extremamente ruins as instituições perderam o credenciamento. O Ministério da Educação chegou a intervir em algumas instituições privadas, mas as tentativas de fechar cursos e instituições com desempenho muito inexpressivo não foram levadas adiante através de apelações ao judiciário, ao Conselho Nacional de Educação ou através de pressão política. O Ministério da Educação nunca chegou a intervir em alguma instituição pública. O processo de recadastramento periódico também não chegou a vigorar. 10

11 Os cursos foram classificados relativamente com base nas notas do Provão, ou seja, foi comparado o desempenho médio dos seus alunos com o desempenho médio dos demais cursos na mesma área de conhecimento. Como não foi determinado um escore mínimo que indicasse proficiência no curso, os resultados não serviram diretamente como medida de qualidade do ensino. Indicavam apenas se, na média, um curso tinha alunos mais ou menos preparados do que outros na mesma área de conhecimento. Somado ao aspecto relativo do critério, o fato dos testes não serem equivalentes não permitiu que fossem comparados os resultados de diferentes áreas e nem da mesma área ao longo do tempo. Para complicar, como a prova foi aplicada somente aos alunos concluintes, o Provão não foi capaz de identificar os programas que de fato contribuíram para aumentar o nível de conhecimento dos alunos. Assim, as instituições com processos de entrada mais rigorosos em geral foram aquelas com os melhores desempenhos no Provão. Os destaques foram as universidades públicas que tendem a atrair os melhores alunos pelo fato de terem excelente reputação acadêmica, além de serem gratuitas, ainda que haja uma crença de que a qualidade destas instituições tenha caído no passado recente pela combinação de problemas orçamentários e greves sucessivas. 9 Apesar do crescimento do Provão (de 3 áreas testadas em 1995 passou-se para 26 em ) e da quebra de resistência à avaliação da educação superior quando da implementação do mesmo, durante a campanha presidencial de 2002 foram discutidos vários aspectos do exame. Logo após a posse de Luiz Inácio Lula da Silva, foi formada uma nova comissão (CEA) que tinha como objetivo sugerir mudanças no sistema de avaliação do ensino superior centrado no Provão. Em agosto de 2003, a comissão sugeriu um novo sistema que foi formalmente instituído através de lei federal aprovada em abril de 2004, o SINAES (Sistema Nacional de Avaliação da Educação Superior) que incluía uma 9 Outras críticas ao Provão foram o uso por parte de algumas instituições dos resultados do Provão para marketing; a eventual imposição de um currículo unificado, por constituir um exame único e comum para todos os cursos do país, com possíveis resultados negativos sobre os esforços para diversificar a educação superior num país grande e heterogêneo geograficamente e demograficamente; a ênfase em conteúdos e específicos ás expensas das competências e habilidades; o alto custo de implementação. No texto vão ser destacados somente os aspectos relacionados á adequação como medida de desempenho (qualidade) da educação por necessitarmos de uma medida que avalie o resultado da educação superior. 10 Em 1995 foram avaliados os alunos dos cursos de Direito, Medicina e Engenharia Civil. Em 2003 foram avaliados os cursos de Contabilidade, Administração, Agronomia, Arquitetura, Biologia, Química, Odontologia, Economia, Engenharia Civil, Engenharia Elétrica, Engenharia Mecânica, Engenharia Química, Geografia, História, Jornalismo,, Direito, Letras, Matemática, Medicina, Enfermagem, Pedagogia, Farmácia, Fonoaudiologia, Física, Psicologia e Medicina Veterinária. 11

12 abordagem nova para o exame de cursos denominada ENADE (Exame Nacional de Avaliação do Desempenho de Estudante). O ENADE manteve a abordagem do Provão no que no que diz respeito a testar os cursos individualmente e não as áreas 11. No entanto, passou a avaliar tanto os alunos ingressantes quanto os concluintes com o objetivo de captar a contribuição do curso para a aprendizagem, incluindo nos resultados uma aproximação da noção de valor agregado. Esta foi chamada posteriormente de indicador de diferença de desempenho (IDD). O IDD teoricamente permitiria que duas comparações fossem feitas. A primeira seria a comparação num mesmo ano entre as médias obtidas pelos alunos concluintes e as médias obtidas pelos alunos ingressantes. O problema é que o perfil dos alunos de determinado curso ou instituição pode ter sido alterado ao longo do curso, assim como pode ocorrer um efeito seleção por meio da aprovação/reprovação dos alunos que tende a impactar positivamente o IDD. A segunda seria a comparação entre os resultados de alunos ingressantes no primeiro ano do ciclo de 3 anos de avaliação com os alunos concluintes no terceiro ano deste mesmo ciclo. Neste caso, poderiam ser adotados processos que resultassem em bons indicadores de desempenho. Poderia-se, por exemplo, encorajar os alunos ingressantes a mostrarem um desempenho ruim, aumentar o rigor das avaliações ao longo do curso de forma a reter os alunos com pior desempenho e passar somente os alunos que não fossem comprometer os resultados da instituição no ENADE. Se os mesmos alunos fossem avaliados no primeiro e último ano do curso esses problemas estariam obviamente resolvidos. Fora as dificuldades associadas à obtenção de um painel deste tipo, outros problemas poderiam aparecer como a oferta de benefícios para que os desempenhos ruins fossem melhorados. Diferenciam ainda o Provão e o ENADE, a proposta do ENADE de estabelecer padrões mínimos nas diferentes áreas do conhecimento, a dissipação do caráter high stakes do Provão uma vez que o ENADE leva em conta outros indicadores e somente a partir da consideração de todos eles é que pode ser tomada alguma decisão regulatória e a 11 Quando o governo Lula tomou posse em 2003, a despeito da expectativa da extinção do Provão, a CEA optou por manter uma avaliação através de teste. A proposta foi chamada de Paidéia (Processo de Avaliação Integrada do Desenvolvimento Educacional e da Inovação da Área) e consistia num programa de teste para uma amostra de cursos com vistas a captar as tendências de desempenho por área de conhecimento. Vários membros do Congresso, no entanto, apoiaram o Provão e rejeitaram o Paidéia. O argumento é que o Paidéia era contrário ao que a população estava acostumada em termos de avaliação de ensino superior e que já havia uma demanda por este tipo de informação a despeito das resistências iniciais. 12

13 focalização da formação geral além dos conteúdos específicos. Finalmente, o ENADE incorporou o procedimento de amostragem. Uma crítica que foi comumente apresentada à abordagem amostral foi a de que esta poderia favorecer distorções dado que as instituições poderiam listar somente os candidatos mais preparados para o exame. A nota no ENADE faz parte do histórico escolar do aluno. Segundo as informações divulgadas no site do Inep 12, nos últimos quatro anos foram avaliados os seguintes cursos: Em 2004: Agronomia, Educação Física, Enfermagem, Farmácia, Fisioterapia, Fonoaudiologia, Medicina, Medicina Veterinária, Nutrição, Odontologia, Serviço Social, Terapia Ocupacional e Zootecnia. Em 2005: Arquitetura e Urbanismo, Biologia, Ciências Sociais, Computação, Engenharia (em 8 grupos), Filosofia, Física, Geografia, História, Letras, Matemática, Pedagogia e Química. Em 2006: Administração, Arquivologia, Biblioteconomia, Biomedicina, Ciências Contábeis, Ciências Econômicas, Comunicação Social, Design, Direito, Formação de Professores (Normal Superior), Música, Psicologia, Secretariado Executivo, Teatro e Turismo. Em 2007: Agronomia, Biomedicina, Educação Física, Enfermagem, Farmácia, Fisioterapia, Fonoaudiologia, Medicina, Medicina Veterinária, Nutrição, Odontologia, Serviço Social, Tecnologia de Radiologia, Tecnologia em Agroindústria, Terapia Ocupacional e Zootecnia. A prova é composta por 40 questões no total, sendo 10 questões gerais (25% da nota) e 30 relacionadas à formação específica da área (75% da nota), contendo as duas partes questões discursiva e de múltipla escolha. São elegíveis para fazer a prova os alunos

14 considerados concluintes (último ano) e os ingressantes (primeiro ano) sendo selecionados por sorteio apenas uma amostra destes. Uma vez selecionado o aluno, este deve comparecer ao exame senão terá problemas quando for retirar teu diploma tendo que apresentar justificativas junto ao Ministério da Educação. A Tabela 1 abaixo apresenta a média das notas do Enade 2007 da prova geral e da prova específica, para os ingressantes e os concluintes, para as instituições de ensino superior públicas e privadas, por região do país. Observa-se que as notas dos ingressantes e dos concluintes são maiores na rede pública do que na rede privada, não importando a região do país. Assim, os alunos mais bem preparados são aceitos na rede pública de ensino superior (ingressantes com notas mais altas) e deixam suas instituições melhores preparados (notas concluintes mais altas). Considerando o valor agregado do conhecimento, medido pela diferença entre as notas dos concluintes e as dos ingressantes, observa-se que como esperado os cursos agregam aos alunos mais conhecimento específico do que conhecimento geral. Para o Brasil, há uma melhora, em média, de 11% nas notas gerais e de 50% nas notas específicas. No que diz respeito ao valor adicionado em conhecimento específico e geral, é possível notar que os números variam muito por região e por natureza da instituição. Tabela 2 Média das Notas do Enade 2007 para o Ingressante e para o Concluinte da Rede Pública e Privada Geral Pública Privada Ingre Concl Ingre Concl Ingre Concl Formação 44,67 49,59 47,41 54,61 42,53 46,48 Geral (21,96) (21,78) (24,21) (25,14) (20,32) (18,96) Formação 31,35 47,21 32,61 50,94 30,17 44,70 Brasil Específica (16,29) (20,11) (17,26) (22,72) (15,68) (18,13) Formação 34,69 47,81 36,33 51,87 33,27 45,16 Geral e (16,12) (19,26) (17,45) (22,25) (15,18) (16,88) Específica Norte Formação 42,06 50,68 42,07 51,90 40,20 44,73 Geral (19,25) (22,71) (19,26) (23,55) (19,00) (18,56) Formação 31,12 44,94 31,19 45,13 27,88 43,68 14

15 Nordeste Sudeste Sul Centro- Oeste Específica (14,08) (20,46) (14,06) (21,28) (14,69) (17,34) Formação Geral e Específica Formação Geral Formação Específica Formação Geral e Específica Formação Geral Formação Específica Formação Geral e Específica Formação Geral Formação Específica Formação Geral e Específica Formação Geral Formação Específica Formação Geral e Específica 33,87 (13,90) 45,49 (26,09) 29,88 (18,41) 33,80 (18,86) 44,52 (21,87) 30,68 (16,47) 34,15 (16,21) 45,45 (22,03) 33,42 (16,55) 36,44 (16,30) 47,45 (20,93) 31,62 (15,37) 35,59 (15,03) 46,38 (19,71) 49,24 (24,98) 47,13 (22,50) 47,67 (22,02) 48,54 (21,31) 45,85 (19,81) 46,54 (18,88) 51,00 (20,73) 50,14 (19,10) 50,37 (18,20) 52,18 (21,08) 49,01 (19,44) 49,82 (18,62) Fonte: Elaboração própria com os dados do Enade Entre parênteses encontram-se os desvios-padrão. 33,92 (13,89) 47,18 (28,04) 30,13 (19,58) 34,40 (20,28) 54,99 (26,80) 35,22 (18,97) 40,17 (19,33) 50,62 (25,38) 35,62 (19,22) 39,38 (19,19) 53,14 (22,78) 33,99 (16,92) 38,79 (16,41) 46,84 (20,61) 50,36 (25,81) 47,30 (23,14) 48,07 (22,76) 57,37 (26,43) 52,99 (23,59) 54,10 (23,28) 55,03 (23,98) 53,01 (21,98) 53,53 (21,39) 58,99 (21,43) 54,79 (19,63) 55,85 (18,89) 30,98 (14,05) 41,55 (21,22) 28,59 (15,54) 31,84 (15,31) 42,16 (20,34) 29,44 (15,92) 32,63 (15,37) 43,13 (20,37) 32,25 (15,43) 34,98 (14,99) 44,06 (19,39) 30,03 (14,44) 33,55 (14,06) 43,95 (15,91) 45,84 (21,17) 46,26 (19,57) 46,16 (18,65) 46,09 (19,08) 43,67 (18,29) 44,29 (17,04) 47,96 (17,88) 47,94 (16,91) 47,96 (15,61) 46,53 (19,13) 43,92 (18,04) 44,58 (16,97 Por exemplo, para a região Norte e Nordeste, o valor agregado do conhecimento específico das instituições privadas supera o equivalente nas instituições públicas (56% e 15

16 61% das privadas contra 44% e 56% das públicas respectivamente). Já para a região Sudeste e Sul não há diferença na taxa de melhora do conhecimento específico para IES públicas ou privadas. Apenas no Centro-Oeste o ganho percentual observado é superior nas IES públicas para o conhecimento específico. No entanto no Nordeste, Sudeste e Sul, as IES privadas agregam percentualmente mais em conhecimentos gerais que as IES públicas. Em termos gerais, a região que teve o maior aumento em termos percentuais no valor agregado de conhecimento foi a região Nordeste (44%) seguida pelas regiões Norte (41%) e Sul (37%). Estes dados sugerem que, em termos de valor agregado, devemos levar em consideração as regiões das IES, bem como os diferentes componentes da prova (geral ou específica), pois podem apresentar diferentes resultados quando comparamos IES públicas versus privadas. Assim, como medida de produto é possível utilizar a diferença entre a nota de conhecimento geral do concluinte e do ingressante 13, o que possibilita uma análise dos efeitos dos insumos sobre o quanto o conhecimento dos alunos mudou durante o curso de graduação. É possível, assim, estimar uma função de produção de educação o que faz com que o presente trabalho avance em relação à literatura que por falta de dados tem se limitado a estimar funções de custo. O uso da nota do ENADE representa ainda um avanço uma vez que a literatura tem se concentrado, também por falta de dados, em indicadores quantitativos como número de matrículas ou taxas de conclusão. Ainda que indicadores qualitativos como ocupação e remuneração no longo prazo que captariam melhor a contribuição da educação para o capital humano não estejam disponíveis, um resultado intermediário como a nota no ENADE pode ser visto como um dos elementos básicos na acumulação de capital humano. 14 As informações utilizadas neste trabalho foram obtidas dos Microdados do Censo de Educação Superior de 2006 (dos bancos de instituições e de graduação presencial) e do Enade 2007 (banco de Microdados). 13 Os insumos derivados do questionário do Enade foram agregados por IES para os estudantes concluintes e ingressantes. 14 Sutherland, Price, Jourmad e Nicq (2007) seguem em certa medida a mesma direção, utilizando como resultado intermediário, os scores do PISA em quatro disciplinas acadêmicas, para avaliar a eficiência na provisão de educação básica nos países da OCDE. 16

17 5. Medindo o desempenho das instituições de ensino superior: definindo os insumos Como insumos foram utilizadas as seguintes variáveis das IES s obtidas dos Microdados do Censo da Educação Superior: 1) Total de professores por matriculados como medida do insumo trabalho; 2) Total de computadores por aluno matriculado como medida do insumo capital; 3) Despesas realizadas com docentes (sem inativos) por aluno; 4) Despesas realizadas com capital por aluno; 5) Despesas realizadas com outros fatores por aluno; O outro insumo utilizado representa uma característica das instituições de acordo com a resposta dos alunos que participaram do ENADE, qual seja, se a IES apresenta plano de ensino completo 15. Adicionalmente, inserimos como insumo variáveis que captem o background familiar e as características inerentes aos alunos. Essas informações apresentam-se em termos percentuais por IES e são as seguintes: 1) Se o aluno trabalha mais do que vinte horas por semana; 2) Dummy igual a 1 se o aluno não é branco, e 0, caso contrário; 3) A escolaridade da mãe. A escolaridade da mãe tem aparecido como um fator crucial para o desempenho dos alunos nos trabalhos que avaliam os determinantes da educação básica 16, e imagina-se que o mesmo deva ocorrer com a educação superior 17. Por isso, resolveu-se usar essa variável como insumo na fronteira estocástica de produção. 15 Um plano de ensino completo abrange os seguintes aspectos: objetivos, procedimentos de ensino e de avaliação, conteúdos e bibliografia da disciplina. 16 Barros (2001), Fernandes (2005), Menezes-Filho (2001), entre outros autores, apontam a família como principal determinante dos resultados educacionais dos filhos, principalmente por meio da escolaridade dos pais. 17 Diaz (2005) não encontrou evidências empíricas de que a maior escolaridade dos pais gera melhores notas no ensino superior. Entretanto, argumenta que o esperado é que as IES com maior percentual de alunos cujos pais apresentam ensino superior tendem a ter melhor desempenho. 17

18 Para explicar a ineficiência na provisão de educação superior foram utilizadas as seguintes variáveis: 1) O caráter público ou privado das IES s, ou mais precisamente uma dummy igual a 1 se a IES é pública, e 0, caso contrário. 2) Varáveis relacionadas às IES s: a) total de professores por matriculados; b) total de computadores por aluno matriculado; c) se a IES apresenta plano de ensino completo; d) despesas com docentes por aluno; e) despesas com capital por aluno; d) e outras despesas por aluno. As variáveis do item 2, citadas acima, foram utilizadas como insumos, e também para explicar o componente idiossincrático do erro 18, conjuntamente com as variáveis relacionadas aos alunos. Na tabela 3, apresenta-se algumas estatísticas descritivas dos insumos, classificadas segundo a rede da IES (público e privado) e considerando-se as cinco regiões do país. Percebe-se que as IES s públicas apresentam um maior número de professores por aluno do que as IES s privadas, exceto para região sul. Com relação à variável utilizada como proxy para o capital, qual seja, o total de computadores por aluno, nota-se uma valor maior para as IES públicas em quatro das cinco regiões. De fato, na Região Sudeste, observa-se um valor cerca de cinco vezes maior do que o encontrado nas IES privadas. No entanto, verificou-se uma situação contrária na Região Norte, na qual as IES privadas registraram um total de computadores por aluno maior do que as IES públicas. Em relação à variável plano de ensino completo, observa-se que um maior percentual de alunos das instituições privadas, comparativamente aos das instituições públicas, responderam de forma positivas essa questão. No que diz respeito às despesas por matriculados realizadas pelas IES s, nota-se que estas são maiores entre as IES s públicas. Tanto as despesas com docentes, como as com capital e as outras despesas das instituições públicas podem ser até quatro vezes maiores do que as realizadas pelas IES s privadas. No entanto, essa diferença varia entre regiões. 18 Na próxima seção apresentaremos os resultados da fronteira de produção das IES s. Adicionalmente, utilizaremos as variáveis de insumo para explicar os dois componentes do erro: ineficiência (conjuntamente com a informação se a instituição é pública ou privada) e idiossincrático. 18

19 Sobre as características dos alunos, nota-se que o percentual de alunos que trabalham 20 horas ou mais por semana é maior nas instituições privadas. Nas regiões sul e sudeste, esse percentual chega ser duas vezes maior do que nas instituições públicas. Entre as IES s públicas das Regiões Sudeste, Sul e Centro-Oeste, o percentual de alunos cujas mães cursaram Ensino Superior é maior nas instituições públicas. Já na região Norte e Nordeste, essa característica é maior entre as IES s privadas 19. Por fim, observa-se um maior percentual de alunos não brancos nas instituições privadas do que nas públicas. Essa estatística revela uma característica perversa do sistema educacional superior brasileiro, no qual os estudantes em situação sócio-econômica mais vulnerável que desejem cursar a Educação Superior se vêem obrigados a pagar por essa. Tabela 3 Insumos baseados nas informações declaradas pelos alunos separadas por instituições públicas e privadas Região Norte Nordeste Sudeste Sul Centro-Oeste Rede Privada Pública Privada Pública Privada Pública Privada Pública Privada Pública Professor por aluno 0,0225 0,0306 0,0218 0,0391 0,0293 0,0602 0,0126 0,0042 0,0318 0,0378 Total de computadores por aluno 0,0759 0,0346 0,0425 0,0619 0,0549 0,2503 0,073 0,131 0,0636 0,0754 Plano de ensino da IES completo(%) 61,89 40,28 63,47 47,54 61,02 49,64 63,3 52,43 63,02 48,12 Despesas com docentes por aluno Despesas com capital por aluno Outras despesas por aluno , Aluno trabalha 20 horas ou mais(%) 28,49 28,5 28,2 23,64 49,21 21,97 45,7 29,44 37,71 25,65 Escolaridade mãe superior(%) 21,91 17,15 28,87 27,19 21,99 31,98 21,84 32,18 23,19 29,86 Alunos não branco(%) 44,16 37,03 36,51 36,22 21,26 20,28 9,03 7,59 28,54 23,98 Fonte: Elaboração própria com os dados do INEP. 6. Resultados Como mencionado anteriormente, utiliza-se o método de fronteiras estocásticas de produção para estimar o grau de ineficiência das instituições de ensino superior. 19 Se calcularmos, separadamente para os ingressantes e os concluintes, o percentual de alunos cujas mães cursaram Ensino Superior, observa-se um aumento nos últimos 5 anos nas IES públicas. Isso é possível de se verificar ao comparar esse percentual entre os concluintes (que ingressaram há 4 ou 5 anos atrás) e os ingressantes. Entre as IES privadas, nota-se uma tendência contrária, ou seja, uma redução desse percentual ao longo do tempo, o que demonstra um aumento da demanda por educação superior entre os alunos com pior background familiar. 19

20 Assume-se que o componente de ineficiência do erro do modelo apresenta distribuição exponencial. Uma das principais desvantagens do método de fronteiras estocásticas é a necessidade de se fazer uma escolha arbitrária da distribuição da eficiência. Contudo, existem evidências de que a posição relativa das unidades tomadoras de decisão no ranking de eficiências não é muito sensível à forma distributiva assumida para as unidades tomadoras de decisão como mostra Greene (1990), com o que acredita-se que os resultados obtidos podem ser considerados confiáveis. Embora a unidade de análise seja instituição de Ensino Superior, somente as universidades são consideradas. As demais categorias administrativas (centro universitário, faculdades e outros) não fizeram parte da amostra. São avaliadas 164 universidades. Optou-se por avaliar a eficiência das IES s utilizando como variável de produto a diferença entre a nota de conhecimento geral do concluinte e do ingressante 20, o que possibilitou uma análise dos efeitos dos insumos sobre o quanto a IES agregou de conhecimento aos alunos. Outra razão para utilizar como produto a diferença entre as notas dos concluintes e dos ingressantes é a observação de que as IES privadas, em geral, agregam proporcionalmente mais em conhecimentos gerais que as IES públicas (Tabela 2). No entanto, as últimas apresentam as maiores proficiências, o que torna essa análise bastante atrativa. Em relação aos insumos, uma alternativa seria utilizar os gastos ou os custos das instituições de ensino superior como insumo. Entretanto, os resultados obtidos não foram muito satisfatórios 21. Como apontado por Izadi, Johnes, Oskrochi e Crouchley (2002), o método de fronteiras tem caráter não-linear, o que possibilita falhas na convergência e sensibilidade dos resultados aos critérios de convergência. Por essa razão, a solução que encontramos foi usar informações sobre as IES s que representassem boas proxies para os gastos realizados em capital, em trabalho e em outros fatores. Nossa principal estratégia de análise baseou-se na avaliação e na mensuração da eficiência (ou ineficiência) das IES s em relação à agregação de conhecimento (ou valor agregado, como é mais conhecido na literatura). Para isso, baseamo-nos na literatura de 20 Os insumos derivados do questionário do Enade foram agregados por IES para os estudantes concluintes e ingressantes. 21 Como pode ser observado na Tabela 4. Assim, optamos por não levar esses resultados adiante. 20

21 Finanças Públicas 22. Nesse caso, os controles referem-se somente as características das IES s. Por outro lado, há estudos, especialmente em Economia da Educação, que também incluem variáveis de background familiar para explicar o valor agregado pelas escolas 23. Por essa razão, estimamos modelos somente com variáveis das IES s, e modelos com variáveis de IES s e de alunos. Assim, foi possível verificar se a heterogeneidade existente entre os alunos afeta o valor agregado pelas IES s. Na tabela 4 são apresentados os resultados das estimações das fronteira estocásticas. Para cada modelo são feitas duas estimações. A primeira especificação identifica se o componente de ineficiência do modelo é diferente de zero, o que é necessário pois caso contrário o modelo poderia ser estimado por mínimos quadrados ordinários. A segunda especificação inclui informações adicionais para explicar a ineficiência do modelo, caso o componente seja diferente de zero. No modelo 1 são considerados como insumo as variáveis tradicionais, quais sejam, o capital e o trabalho. O total de professores por matriculados foi utilizado como medida do insumo trabalho e o total de computadores por aluno matriculado como medida do insumo capital. Além disso, foi utilizado como uma variável dummy indicando se a instituição de ensino superior apresenta plano de ensino completo numa tentativa de captar a qualidade da instituição e seu efeito sobre a produtividade 24. No modelo 2 as variáveis de insumo que anteriormente eram medidas fisicamente, são substituídas por suas contrapartidas monetárias. Assim, como insumos passam a ser utilizados as despesas realizadas com docentes (sem inativos) por aluno, as despesas realizadas com capital por aluno e as despesas realizadas com outros fatores por aluno. No modelo 1 observa-se que quanto maior o total de professores por aluno menor a diferença entre as notas dos concluintes e dos ingressantes nas duas especificações (1.1 e 1.2). Esse resultado revela que este tipo de insumo não é um determinante decisivo do conhecimento agregado. 22 Ver Izadi et all (2002), Warning (2004), Journay e Ris (2005), entre outros. 23 Ver Alves e Soares (2008) e Rodgers (2005). 24 Um plano de ensino completo abrange os seguintes aspectos: objetivos, procedimentos de ensino e de avaliação, conteúdos e bibliografia da disciplina. 21