Aumentando a eficácia e a eficiência da avaliação do ensino superior: a relação entre o Enem e o Enade

Transcrição

1 Aumentando a efcáca e a efcênca da avalação do ensno superor: a relação entre o Enem e o Enade ANA CAROLINA PEREIRA ZOGHBI* BRUNO TEODORO OLIVA** GABRIELA MIRANDA MORICONI*** RESUMO A aplcação do Exame Naconal de Desempenho dos Estudantes (Enade) para alunos ngressantes trouxe um sgnfcatvo avanço para a avalação do ensno superor no país: a possbldade do cálculo de uma medda de valor agregado do curso, o Indcador de Dferença entre os Desempenhos Esperado e Observado (IDD). Uma proposta para a melhora da avalação do ensno superor braslero, porém, sera a utlzação dos resultados do Exame Naconal do Ensno Médo (Enem) como baselne para o cálculo do IDD. Havera um aumento da efcênca devdo à não aplcação do Enade para alunos ngressantes, reduzndo custos. Já o aumento da efcáca se dara em razão da obtenção de um baselne melhor, em vrtude dos fortes ncentvos para fazer a prova. Neste estudo, analsou-se a possbldade de se utlzar os resultados do Enem, como alternatva aos resultados do Enade dos ngressantes, para o cálculo * Doutoranda em Polítca e Economa do Setor Públco da EAESP/FGV e Pesqusadora do CEPESP/FGV (Centro de Polítca e Economa do Setor Públco) (zoghb80@yahoo.com.br). ** Doutorando em Economa pela EESP/FGV (olvabt@yahoo.com.br). *** Doutoranda em Admnstração Públca e Governo da EAESP/FGV e Coordenadora-Geral de Instrumentos e Meddas Educaconas do Inep (gabrela.morcon@nep.gov.br). Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

2 do IDD dos cursos. Ao calcularmos um novo IDD, substtundo a nota do Enade dos alunos ngressantes pela nota do Enem desses alunos, obtvemos correlações entre esse novo IDD e o IDD calculado tradconalmente, de cerca de 0,75, ndcando que não havera uma mudança muto sgnfcatva na ordenação das notas dos ndvíduos, o que vablzara essa substtução. Palavras-chave: Avalação da educação, Ensno superor, Indcador de dferença entre os desempenhos observado e esperado (IDD). RESUMEN La aplcacón del Examen Naconal de Desempeño de los Estudantes (Enade) para los alumnos que ngresan mplcó un avance sgnfcatvo para la evaluacón de la enseñanza superor del país con la posbldad de calcular una medda de valor agregado del curso, el Indcador de la Dferenca entre los Desempeños Esperado y lo Observado (IDD). Sn embargo, una propuesta para mejorar la evaluacón de la enseñanza superor brasleña sería la utlzacón de los resultados del Examen Naconal de Enseñanza Meda (Enem) como línea de base para el cálculo del IDD. Habría un aumento de la efcenca debdo a que no se aplcaría el Enade a los alumnos que ngresan, reducendo así los costos. El aumento de la efcaca se daría en funcón de la obtencón de una línea de base mejor, debdo al fuerte ncentvo para hacer la prueba. En este estudo, se analzó la posbldad de utlzar los resultados del Enem, como alternatva a los resultados del Enade de los alumnos que ngresan, para el cálculo del IDD de los cursos. Al calcular un nuevo IDD, que susttuya la nota del Enade de los alumnos que ngresan por la nota del Enem de los msmos, obtuvmos correlacones entre ese nuevo IDD y el IDD calculado tradconalmente, de aproxmadamente 0,75. Esto ndca que no habría un cambo muy sgnfcatvo en la ordenacón de las notas de los ndvduos, lo que vablzaría esa susttucón. Palabras clave: Evaluacón de la educacón, Enseñanaza superor, Indcador de la dferenca entre los desempeños observado y esperado (IDD). ABSTRACT Admnsterng the Natonal Assessment Examnaton of Student Performance (Enade) to new students meant a sgnfcant advance n the evaluaton of hgher educaton n the country: the possblty to calculate a measure of added value of the course, the Indcator of the Dfference between Expected and Observed Performances (IDD). A proposal for mprovng the assessment of hgher educaton n Brazl, however, would be to use the results of the Natonal Secondary Educaton Examnaton (Enem) as a baselne for calculatng the IDD. There would be an ncrease n effcency due to the non-applcaton of Enade to freshmen, thus reducng costs. In turn, the ncrease n effcency would be due to obtanng a better baselne, because of strong ncentves to take the examnaton. In ths study, we analyzed the possblty of usng the Enem results as an alternatve to the Enade results of freshmen n order to calculate the IDD of the courses. When a new IDD was calculated, replacng the freshmen s Enade grade wth the Enem grade of these students, we found correlatons between ths new IDD and the tradtonally calculated IDD, of about 0.75, ndcatng that there would not be a very sgnfcant change n the rankng of ndvduals grades, whch would mean that ths substtuton s qute vable. Keywords: Educaton assessment, Hgher educaton, Indcator of the dfference between observed and expected performances (IDD). 46 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

3 INTRODUÇÃO As avalações educaconas em larga escala, uma realdade presente em dversas partes do mundo desde a década de 70, vêm crescendo no Brasl nos últmos anos, tanto em quantdade como em qualdade. O Sstema Naconal de Avalação da Educação Básca (Saeb) fo a prmera ncatva braslera, em escala naconal, para se conhecer o sstema educaconal braslero em profunddade, o qual começou a ser desenvolvdo no fnal dos anos 80 e fo aplcado pela prmera vez em O uso de avalações em larga escala para o ensno superor no Brasl, por sua vez, é ncado em 1996, com a cração do Exame Naconal de Cursos, mas conhecdo como Provão. É nteressante observar que, apesar da crescente preocupação com a avalação do ensno superor, de acordo com Verhne, Dantas e Soares (2006), apenas o Brasl adota um exame naconal de cunho obrgatóro para o ensno superor dentre aproxmadamente 40 países em que os autores encontraram lteratura dsponível sobre o tema. O Provão, exame unversal e obrgatóro, era aplcado anualmente aos alunos dos cursos de graduação seleconados ncou-se em 1996 com admnstração, dreto e engenhara cvl, e fo sendo expanddo até avalar 26 áreas em 2003, últmo ano de aplcação. Partcpavam do exame somente os alunos concluntes dos referdos cursos, o que permta que o Insttuto Naconal de Estudos e Pesqusas Aníso Texera (Inep) calculasse e dvulgasse um conceto referente à qualdade do curso. Fo a prmera vez que se teve uma medda objetva da qualdade méda dos alunos egressos desses cursos, auxlando empregadores e potencas estudantes em suas escolhas. Adconalmente, pretende-se que a dvulgação desses resultados às nsttuções de ensno auxle e ncentve o processo de melhora do ensno. Hanushek e Raymond (2004), por exemplo, encontram resultados empírcos que ndcam que estados amercanos que têm sstemas de avalação do ensno básco com base na accountablty obtveram melhores desempenhos educaconas do que os estados sem avalação. A análse de Rezende (2008) do Provão como nstrumento de accountablty ndca mpactos dferencados sobre a atuação das nsttuções de ensno superor de acordo com seu tpo de organzação por exemplo, trata-se de unversdade ou outro tpo de nsttução. No entanto, embora a qualdade méda do aluno egresso seja uma medda extremamente mportante, não se pode dzer que é um ndcador dreto do trabalho da nsttução. Isto porque um curso que recebe alunos com formação anteror defcente pode realzar um ótmo trabalho e, anda assm, não ter seus ex-alunos entre aqueles com as melhores notas em um exame como o Provão. Do mesmo modo, um curso pode Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

4 receber alunos com excelente formação anteror e, mesmo sem muto esforço, ter bons resultados fnas, comparatvamente. Fato é que, tanto para os gestores das nsttuções de ensno como para os órgãos reguladores e toda a socedade, é mportante saber o valor agregado desse curso, ou seja, quanto o curso contrbuu para a formação dos alunos. Nesse sentdo, a substtução do Provão pelo Exame Naconal de Avalação do Desempenho dos Estudantes (Enade), a partr de 2004, trouxe um sgnfcatvo avanço para a avalação do ensno superor no país: a possbldade do cálculo de uma medda de valor agregado do curso, o Indcador de Dferença entre os Desempenhos Esperado e Observado (IDD). Ao exgr que alunos ngressantes dos cursos de ensno superor das áreas avaladas também realzem o exame, o Inep garantu a exstênca de um baselne, sto é, uma medda de comparação da formação ncal dos alunos. Contudo, anda exste o rsco de uma dstorção relaconada à falta de ncentvos que os estudantes ngressantes têm para se esforçarem na realzação da prova do Enade. Tal dstorção será mas acentuada quanto maor for a heterogenedade do esforço dos alunos ngressantes entre as escolas. Por exemplo, se uma escola que agrega mas conhecmento tver ngressantes mas esforçados que aquelas que agregam menos conhecmento, o Enade subestmará o verdadero valor médo agregado pelo ensno superor braslero. Adconalmente, anda é possível que nsttuções de ensno superor ncentvem seus alunos ngressantes a não se esforçarem nessa prova, na tentatva de aumentar o valor agregado calculado pelo IDD, numa prátca de gamng. Assm, uma proposta para a melhora da avalação do ensno superor braslero, em termos de efcênca e efcáca, sera a utlzação dos resultados do Exame Naconal do Ensno Médo (Enem) como baselne para o cálculo do IDD a medda de valor agregado calculada atualmente. O aumento da efcênca se dara por motvos óbvos: a redução de custos devdo à não aplcação do Enade para alunos ngressantes no ensno superor. Já o aumento da efcáca se dara em razão da obtenção de um baselne melhor um ndcador de melhor qualdade sobre a formação anteror dos alunos ngressantes. Isto se deve ao fato de que o aluno tem forte ncentvo para fazer a prova, uma vez que o seu desempenho já é crtéro para o processo seletvo em cerca de 500 unversdades, para programas que concedem bolsas de estudos em especal, o ProUn e deverá ter seu uso expanddo com a proposta de uso do Enem, em novo formato, para substtur o vestbular das unversdades federas. Dados do Inep mostram nclusve que o número de avalados pelo Enem nos últmos 48 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

5 anos se aproxmou do total do unverso de alunos que concluíram o ensno médo e buscam ngressar em uma unversdade. O objetvo deste estudo é, portanto, realzar uma análse da possbldade de se utlzar os resultados do Enem como alternatva aos resultados do Enade dos ngressantes para o cálculo do IDD dos cursos ndcador de valor agregado utlzado atualmente. Para tanto, calculamos um novo IDD para o ano de 2006, substtundo a nota do Enade dos alunos ngressantes pela nota do Enem 2005 desses mesmos alunos, e analsamos as correlações entre esse novo IDD e o IDD calculado tradconalmente, tendo a nota do Enade dos ngressantes como baselne. Com esta análse, pretende-se agregar mas nformações ao estudo dos resultados das avalações educaconas realzadas no país, oferecendo maores subsídos à revsão das polítcas de avalação do ensno, permtndo a proposção de melhoras em termos de efcênca e efcáca na realzação da avalação educaconal no Brasl. AVALIAÇÕES EDUCACIONAIS: ENEM E ENADE Dados os objetvos deste estudo, trabalharemos com o Enem e o Enade, avalações realzadas pelo Inep e descrtas a segur. Enem O Exame Naconal do Ensno Médo (Enem) é um exame ndvdual, de caráter voluntáro, oferecdo anualmente aos estudantes que estão conclundo ou que já concluíram o ensno médo em anos anterores. O prncpal objetvo do Enem é avalar o desempenho do aluno ao térmno da escolardade básca, para aferr desenvolvmento de competêncas fundamentas ao exercíco pleno da cdadana. Desde a sua concepção, porém, o exame fo pensado também como modaldade alternatva ou complementar aos exames de acesso aos cursos profssonalzantes pós-médo e ao ensno superor. Apesar de voluntáro, o Enem camnha para a unversalzação entre os estudantes que termnam o ensno médo, pos dversas nsttuções de ensno superor (IES) têm passado a utlzar os resultados do Enem como componente dos seus processos seletvos. Além dsso, essa unversalzação do exame tem sdo promovda pela sua partcpação em programas governamentas de acesso ao ensno superor, como o ProUn, por exemplo, que utlza os resultados do Enem como pré-requsto para a dstrbução de bolsas de estudo em nsttuções prvadas de ensno superor. Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

6 Atualmente, a prova do Enem é nterdscplnar e contextualzada. Nela, busca-se colocar o estudante dante de stuações-problema e medr não apenas se ele conhece os concetos, mas se sabe aplcá-los. A prova é composta de uma parte objetva com 63 questões e de uma redação. Trabalha com uma escala clássca de 0 a 100 para a atrbução da nota fnal, tanto na parte objetva quanto na redação. Recentemente, o Mnstéro da Educação dvulgou uma proposta de que o Enem seja utlzado pelas unversdades federas para subsdar a seleção de seus alunos, mas especfcamente permtndo um processo unfcado para todas aquelas que aderrem ao sstema. Em termos da prova, o Inep propõe uma reestruturação metodológca do exame, de forma a aproxmar o exame das Dretrzes Currculares Naconas e dos currículos pratcados nas escolas, exgndo mas conhecmentos em termos de conteúdo, mas sem abandonar o modelo de avalação centrado nas competêncas e habldades. Segundo o MEC (Brasl, 2009), serão aproxmadamente 50 questões para cada um dos quatro testes: 1) Lnguagens, Códgos e suas Tecnologas; 2) Cêncas Humanas e suas Tecnologas; 3) Cêncas da Natureza e suas Tecnologas; e 4) Matemátca e suas Tecnologas. Com essas alterações, acredta-se que o Enem passará a ser um nstrumento melhor em termos da dscrmnação dos conhecmentos e habldades dos alunos, e anda deverá ser realzado por um número anda maor de ndvíduos caso realmente aumente o número de nsttuções a utlzá-lo como parte de seu processo seletvo. Enade O Exame Naconal de Desempenho dos Estudantes (Enade) é aplcado aos alunos ngressantes e concluntes em cursos de graduação, de áreas defndas pelo MEC anualmente, sendo que a perodcdade de aplcação do Enade, a cada área, é trenal. O objetvo do Enade é avalar o desempenho dos estudantes com relação aos conteúdos programátcos prevstos nas dretrzes currculares dos cursos de graduação, o desenvolvmento de competêncas e habldades necessáras ao aprofundamento da formação geral e profssonal, e o nível de atualzação dos estudantes com relação à realdade braslera e mundal. O Exame é parte ntegrante do Sstema Naconal de Avalação da Educação Superor (Snaes), juntamente com a avalação nsttuconal e a avalação dos cursos de graduação. A prova é composta de 40 questões, sendo 10 da parte de formação geral, comum aos estudantes de todos os cursos que realzam o Enade naquele ano, e 30 de 50 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

7 um componente específco, relatvo àquele curso de graduação, contendo, as duas partes, questões dscursvas e de múltpla escolha. O Enade é realzado por amostragem. O Inep consttu a amostra dos partcpantes a partr da nscrção, na própra nsttução de ensno superor dos alunos habltados a fazer a prova. Ele é componente currcular obrgatóro dos cursos de graduação, sendo o regstro de partcpação condção ndspensável para a emssão do hstórco escolar, ndependentemente de o estudante ter sdo seleconado ou não no processo de amostragem do Inep. Já o conceto do curso é calculado pela méda ponderada da nota padronzada dos concluntes no componente específco, da nota padronzada dos ngressantes no componente específco e da nota padronzada em formação geral (concluntes e ngressantes), possundo estas, respectvamente, os seguntes pesos: 60%, 15% e 25%. Assm, a parte referente ao componente específco contrbu com 75% da nota fnal do curso, enquanto a parte de formação geral contrbu com 25%. O conceto é apresentado em cnco categoras (1 a 5), sendo que 1 é o resultado mas baxo e 5 é o melhor resultado possível, na área. O Enade possblta, também, calcular uma medda dreta da contrbução da escola para a formação acadêmca de seus estudantes, o Indcador de Dferença entre os Desempenhos Observado e Esperado (IDD), o qual já fo ctado e cujo cálculo será descrto de forma detalhada mas adante. O Conceto Enade, juntamente com o IDD, são dvulgados amplamente pelos meos de comuncação e são alguns dos nstrumentos de accountablty exstentes atualmente em relação ao ensno superor. Adconalmente, as notas no Enade e os valores calculados para o IDD de cada curso são combnados a ndcadores de nsumo referentes a docentes, nfraestrutura e fatores pedagógcos dos cursos para compor o Conceto Prelmnar de Curso (CPC). Esse ndcador tem a função de orentar e raconalzar as avalações n loco. Se maor que 2, o curso pode dspensar a vsta e, assm, o CPC torna-se automatcamente o Conceto de Curso. Para os cursos vstados (por solctação ou por ter o CPC nferor a 3), o Conceto de Curso é dado pelos avaladores. Mas, caso dvrja do CPC, é necessáro uma justfcação sólda dos motvos. Com sso, espera-se elmnar a aparente contradção entre ndcadores objetvos e os da avalação n loco. Assm, o CPC é um ndcador ntermedáro que vablza e dá consstênca ao Conceto de Curso. A vantagem da avalação n loco é poder observar característcas específcas dos cursos que são mpossíves de se detectar com ndcadores padronzados, e assm completar os cclos de avalação dos cursos prevstos no Snaes. Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

8 ANÁLISE EMPÍRICA: AVALIÇÃO DA CAPACIDADE PREDITIVA DO ENEM EM RELAÇÃO AO ENADE Passaremos ao estudo da vabldade de se utlzar a nota do Enem com os mesmos objetvos em que são empregadas as notas dos ngressantes do Enade, o que ndcara a possbldade de substtur a prmera pela segunda, aumentando dessa forma a efcáca do processo avalatvo, como já apontado. A prncpal aplcação da nota do ngressante do Enade é o cálculo anual do IDD. Assm, a nossa análse dessa potencal capacdade predtva será realzada por meo do recálculo do IDD 2006, substtundo a nota do Enade dos alunos ngressantes pela nota do Enem 2005 desses mesmos alunos. Os resultados dessa pesqusa permtrão ao MEC avalar, de forma mas crítca, a mportânca da aplcação da prova do Enade aos alunos ngressantes nos cursos avalados. A fm de esclarecer a metodologa adotada nessa prmera análse, segue uma breve descrção do IDD, baseada na nota técnca dvulgada pelo Inep (2007). O cálculo do IDD orgnal Um aspecto muto mportante que deve ser consderado ao avalar a qualdade de um curso é o seu valor agregado ao aluno. Este conceto dz respeto a quanto o curso contrbuu para o desenvolvmento das habldades dos estudantes. Exste uma sére de problemas que precsam ser contornados para que se obtenha uma medda adequada de valor agregado. Notadamente, o fato de o perf l dos alunos ngressantes ser muto desgual entre as dferentes nsttuções nfluenca sobremanera o resultado dos concluntes em exames de aptdão, na medda em que carrega característcas que não estão relaconadas com a qualdade do curso que se pretende avalar. O IDD é uma forma de mensurar o valor agregado. Grosso modo, ele procura comparar o desempenho dos estudantes concluntes de uma nsttução em relação aos resultados obtdos pelas demas nsttuções cujos perfs dos ngressantes sejam semelhantes. Para tanto, é precso analsar o perfl dos ngressantes e concluntes do mesmo curso. Com base no desempenho dos alunos ngressantes é possível estmar qual sera o resultado esperado dos estudantes ao fnal do curso. O cálculo efetvo do IDD nada mas é que a dferença do desempenho médo observado pelos concluntes de uma nsttução e o desempenho esperado desses estudantes. Isto posto, cabe dscutr como é estmado o desempenho esperado dos alunos concluntes. 52 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

9 Os determnantes do desempenho médo dos estudantes concluntes de um I curso ( C ) foram separados em três parcelas: 1) a prmera ( C ) determnada pelo nível médo de formação dos estudantes que ngressaram no curso ( I ); 2) a segunda parcela ( D ) determnada pela dferença da qualdade do curso em que o aluno está matrculado ( Q ) e a qualdade méda dos cursos ( Q ); e 3) um dstúrbo aleatóro ( e ). Vale ressaltar que o nível médo de formação dos estudantes que ngressaram no curso é utlzado por não haver nformações sobre as característcas de formação anteror ao curso para os alunos concluntes. Portanto, há a suposção mplícta de que esta característca é semelhante entre os dos grupos de alunos para cada curso. Formalmente temos: A equação utlzada para a estmação de (1), sendo e. C : = α β γ δ u (2), onde C + P + W + Z + C : méda ponderada das notas médas de conteúdo específco e de formação geral dos concluntes do curso ; P : méda ponderada das notas médas de conteúdo específco e de formação geral dos ngressantes do curso ; W : proporção de estudantes do curso cujos pas possuem nível superor; e Z : razão entre o número de concluntes e o número de ngressantes no curso. Pela equação (2) temos que: E [ C I] = α + βp + γw + δz u = D + e [ ] = 0 Eu C + e I = C + D I = EC [ I ] C [ C, D ] = 0 Ee ; e Assm, os resíduos da regressão geram uma estmatva da dferença entre o desempenho médo e o esperado dos concluntes de cada curso. I Dˆ = C Cˆ Tendo sdo exposto o método utlzado para estmar D, cabe fazer alguns comentáros acerca de alguns procedmentos que foram adotados para mnmzar a possbldade de ocorrênca de erros na estmação: 1. para o cálculo da nota méda foram consderados apenas os estudantes que obtveram notas postvas; ; Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

10 2. cursos com menos de dez partcpantes, ou com taxa de partcpação nferor a 20% dos seleconados, foram excluídos da estmação. A partr do valor estmado de D, dvdndo-o pelo seu desvo padrão, obtêmse o seu valor padronzado ( D PAD ). Com o ntuto de melhorar as estmatvas, os ndcadores fora do ntervalo entre -3 e 3 foram excluídos da amostra. A partr daí, todo o processo é refeto para se obter o IDD de cada curso. Complementarmente, é calculado o IDD conceto, segundo os crtéros que seguem: Z IDD + IDDINF = 5 *, sendo IDD + IDD I SUP Z : transformação do IDD para cração das faxas de conceto; IDD INF : módulo do menor IDD acma de -3; e I IDD SUP : maor IDD abaxo de 3. Os concetos foram defndos segundo exposto na tabela abaxo. INF Tabela 1 Valores do IDD conceto IDD conceto Valor de Z 1 0,0 a 0,9 2 1,0 a 1,9 3 2,0 a 2,9 4 3,0 a 3,9 5 4,0 a 5,0 Fonte: Inep/MEC Nota técnca do IDD. Metodologa para recálculo do IDD Como ndcamos, a metodologa utlzada para analsar a potencal capacdade do Enem como baselne será o recálculo do IDD 2006, substtundo a nota do Enade dos alunos ngressantes pela nota do Enem 2005 desses mesmos alunos. Este estudo fo possível devdo à dsponblzação dos mcrodados do Enade 2006 e do Enem 2005, juntamente com o CPF dos partcpantes nesses exames. Vale ressaltar que fo assnado um termo de compromsso para que não houvesse dvulgação de resultados em que o aluno pudesse ser dentfcado. Com o CPF dos partcpantes do Enade e do Enem fo possível dentfcar os alunos que fzeram o Enem em 2005 e que também partcparam do Enade Contudo, não consegumos dentfcar todos os alunos ngressantes que partcparam do Enade 2006 no Enem Mesmo com a expansão do Enem entre 54 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

11 os alunos que estão termnando o ensno médo, é provável observarmos pessoas ngressando na unversdade depos de alguns anos da conclusão do ensno médo 1 ; assm, essas pessoas apresentam menor probabldade de realzar o Enem. Dentre os alunos ngressantes que realzaram o Enade 2006, recuperamos no Enem 2005 um total de , o que representa 35,12% da amostra. A amostra completa, contendo os alunos ngressantes que partcparam das duas avalações e os alunos concluntes que partcparam do Enade, totalzou ndvíduos. Uma vez que a nova amostra apresenta somente 35,12% dos ngressantes que partcparam do Enade, optamos por recalcular o IDD de duas formas. Prmeramente, recalculamos o IDD da forma tradconal 2, utlzando as notas do Enade dos ngressantes e dos concluntes. Em seguda, recalculamos o IDD com a nota do Enem dos ngressantes e com a nota do Enade dos concluntes. Ao recalcularmos o IDD da forma tradconal com a amostra reduzda, cramos um IDD que pode ser comparável com o IDD calculado a partr da nota do Enem. Vale ressaltar que nessas duas formas de cálculo foram utlzados os fltros menconados na descrção da metodologa de cálculo do IDD. Antes de prossegurmos com o cálculo do IDD fo necessáro agregarmos as nformações dos alunos por curso. O IDD 2006, dvulgado pelo Inep, fo calculado para os seguntes cursos, avalados pelo Enade em 2006: Admnstração, Arquvologa, Bbloteconoma, Bomedcna, Cêncas Contábes, Cêncas Econômcas, Comuncação Socal, Desgn, Dreto, Músca, Normal Superor, Pscologa, Secretarado Executvo, Teatro e Tursmo. As estmações que geraram o cálculo do IDD foram realzadas separadamente, para cada um desses 15 cursos, pelo método de Mínmos Quadrados Ordnáros (MQO). Prmeramente, calculamos o IDD pela metodologa tradconal com a estmação da equação 3. Enade _ conclg = β 0 + β1enade _ ngresg + β 2Escpa _ sup g + β 3 conc ngr g + ε g (3) Contudo, ao estmarmos esta equação com a base reduzda, encontramos a possbldades de vés de seleção relaconado com a escolha de prestar o Enem, dado o fato de o exame ter caráter voluntáro. Esse vés ocorre, em razão do grupo de ngressantes 1 Infelzmente, no questonáro do Enade não há uma varável que dentfque o ano de conclusão do ensno médo dos alunos, não permtndo que esse quanttatvo seja calculado. 2 Quando nos refermos ao cálculo do IDD da forma tradconal, utlzamos a metodologa da nota técnca do IDD dvulgada pelo Inep e descrta na subseção O cálculo do IDD orgnal. Por essa metodologa, o cálculo basea-se na nota do ngressante e do conclunte do Enade. Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

12 que prestou o Enem apresentarem as melhores notas no Enade, c omparatvamente aos ngressantes que não prestaram o Enem, como podemos observar na tabela 2. Tabela 2 Méda do Enade dos ngressantes que prestaram ou não o Enem Prestou Enem Amostral Não prestou Enem Prestou Enem Expanddo Não prestou Enem Méda Nota Formação Geral do Enade 40,13 32,43 46,86 43,10 Méda Nota Específca do Enade 29,32 24,47 33,99 32,47 Méda Nota Geral do Enade 33,42 27,57 38,95 36,71 Fonte: Elaboração própra com base nos mcrodados do Enade 2006 e do Enem Para corrgmos esse vés de seleção, construímos uma varável (Pr op) que representa o percentual de alunos, em cada curso, que prestou o Enem e o Enade, dentre o grupo de ngressantes. Assm, a equação 4 representa a re-estmação do modelo com a nota do ngressante e do conclunte do Enade com uma varável a mas, Pr op. Enade β β β β β + ε _ concl g = 0 + 1Enade_ ngres g + 2Escpa _supg + 3 concngrg + 4 Propg g (4) Além da varável Pr op, utlzamos gualmente as demas varáves da estmação que orgnou o IDD tradconal. Como varável dependente, temos o desempenho médo no Enade do conclunte (Enade_concl). Já como varáves explcatvas, ncluímos o desempenho médo no Enade do ngressante (Enade _ngres), o percentual de ngressantes cujos pas têm nível superor ( Escpa_sup) e a razão entre número de concluntes e o número de ngressantes (conc/ngr). Por f m, o termo εg refere-se ao termo aleatóro de erro. Vale a pena destacar que nossa undade de análse (g) representa o curso da nsttução g. Dessa forma, para facltar a descrção dos resultados das estmações, utlzaremos o termo curso ou cursos para nos refermos à undade de análse. As estmações da equação 4 encontram-se na tabela 3, e cada uma das colunas da tabela representa a estmação para um dos 15 cursos menconados anterormente. Após efetuarmos a padronzação do resíduo ( Y Y ) da equação 4, observamos que alguns cursos apresentaram essa padronzação abaxo de -3 ou acma de +3. Por essa razão, optamos por re-estmar a equação 4 somente com os cursos que apresentaram seu resíduo padronzado no ntervalo de -3 a Os resultados dessa estmação apresentam-se na tabela 4, sendo que os resultados de cada curso estão representados por um número de 1 a 15, segundo a ordem dos cursos lstados anterormente neste trabalho. 56 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

13 Tabela 3 Estmação com MQO para o recálculo do IDD tradconal (com outlers) Nota Conclunte Nota ngressante Escolardade pa Conclunte/ ngressante ,62*** 0,24 0,49* 0,99*** 0,59*** 0,99*** 0,69*** 0,78*** 0,79*** 0,76** 0,32** 0,64*** 0,42 0,62 0,73*** 0,03 1,05 0,26 0,11 0,07 0,13 0,06 0,1 0,05 0,18 0,13 0,08 0,25 0,5 0,08 0,54 64,91-12,97 4,36-2,09 6,44-1,05-1,35 5,68** 48,88-1,98-0,98 10,07 28,22 1,05 1,29 42,34 18,42 8,85 1,92 7,3 2,36 5,15 2,3 35,22 4,34 3,47 7,85 18,29 4,73-0,06 2,61 0,44-1,6 0,04-0,91 0,04 0,09-0,14-1,27 0,02-0,21 0,66-0,81-0,2 0,11 7,7 1,28 1,28 0,18 0,77 0,2 0,67 0,1 1,1 0,24 0,18 0,86 3,67 0,36 Proporção 2,61* 4,94 19,96* -11,81** 1,09-4,85 5,67*** -3,58 6,72*** -22,46 4,73 3,43-1,11-22,14 4,17 1,43 49,52 10,5 5,35 1,98 5,64 1,95 4,15 1,76 15,87 4,94 2,59 9,6 15,06 4,49 Constante 18,15*** 2,48 24,00** 14,94** 16,97*** 8,33 13,68*** 17,72*** 12,22*** 8,09 32,26*** 24,87*** 23,20*** 19,99 15,97*** 1,28 81,81 10,06 6,62 2,32 5,36 2,58 4,29 1,91 16,45 5,93 3,41 7,53 20,93 4,87 R² ajustado 0,38-0,18 0,18 0,72 0,2 0,54 0,41 0,58 0,52 0,72 0,08 0,42 0,18 0,31 0,5 N Fonte: Elaboração própra com base nos mcrodados do Enade Os desvos padrão estão em negrto. * p<0,10; ** p<0,05; *** p<0,01 Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

14 Nota Conclunte Nota ngressante Escolardade pa Conclunte/ ngressante Tabela 4 Estmação com MQO para o recálculo do IDD tradconal (sem outlers) ,62*** 0,24 0,49* 0,99*** 0,59*** 0,99*** 0,68*** 0,78*** 0,85*** 0,76** 0,32*** 0,64*** 0,42 0,47 0,72*** 0,03 1,05 0,26 0,11 0,07 0,13 0,06 0,1 0,04 0,18 0,11 0,07 0,25 0,39 0,07 0,4 64,91-12,97 4,36-2,09 6,44-1,49-1,35 4,79** 48,88-1,06 0,1 10,07 7,27-1,35 1,25 42,34 18,42 8,85 1,92 7,3 2,36 5,15 2,17 35,22 3,88 3,26 7,85 16,61 4,58-0,05 2,61 0,44-1,6 0,04-0,91 0,07 0,09-0,09-1,27 0,11-0,28* 0,66 2,56-0,2 0,11 7,7 1,28 1,28 0,18 0,77 0,2 0,67 0,09 1,1 0,21 0,17 0,86 3,16 0,34 Proporção 2,71* 4,94 19,96* -11,81** 1,09-4,85 5,54*** -3,58 6,56*** -22,46 6,79 3,58-1,11 10,77 3,31 1,39 49,52 10,5 5,35 1,98 5,64 1,95 4,15 1,67 15,87 4,44 2,42 9,6 17,99 4,3 Constante 17,86*** 2,48 24,00** 14,94** 16,97*** 8,33 14,06*** 17,72*** 10,68*** 8,09 30,47*** 24,55*** 23,20*** 18,83 17,88*** 1,25 81,81 10,06 6,62 2,32 5,36 2,58 4,29 1,82 16,45 5,32 3,19 7,53 16,17 4,68 R² ajustado 0,39-0,18 0,18 0,72 0,2 0,54 0,41 0,58 0,57 0,72 0,13 0,46 0,18 0,21 0,53 N Fonte: Elaboração própra com base nos mcrodados do Enade Os desvos padrão estão em negrto. * p<0,10; ** p<0,05; *** p<0,01 58 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

15 Ao compararmos essas duas estmações (com e sem outlers), observamos que não ocorreram grandes modfcações nos coefcentes, nos erros padrão, no tamanho do N e no R² ajustado. Além dsso, para ambas as estmações, a estatístca F somente não fo estatstcamente sgnfcatva nas estmações 2, 3 e 14, que representam os cursos de Arquvologa, Bbloteconoma e Teatro, respectvamente. Isso sgnfca que a regressão como um todo não fo estatstcamente sgnfcatva. Provavelmente, esse resultado reflete o baxo número de observações (penúltma lnha em negrto das tabelas 3 e 4) que essas estmações apresentaram. Ademas, é possível observar que a nota do ngressante apresentou efeto postvo na nota do conclunte em todas as estmações. Por fm, o cálculo do IDD tradconal baseou-se nas estmações sem outlers (Tabela 4). Os resultados desse IDD serão comentados mas à frente, conjuntamente com os do IDD calculado com a nota do Enem do ngressante. Nossa próxma etapa consste em apresentar os resultados da estmação 4 que orgnou o IDD com a nota do Enem. A únca dferença entre essa estmação e a estmação 5, apresentada a segur, é que substtuímos a varável desempenho médo no Enade do ngressante (Enade_ngres) por desempenho médo no Enem dos ngressantes que prestaram Enade (Enade_ngres): Enade = β β β β β Prop + ε (5) _ conclg 0 + 1Enem_ ngresg + 2Escpa_sup g+ 3 concngrg + 4 As notas consderadas para a varável Enem_ ngres foram as notas da prova objetva e da redação. O peso atrbuído para cada uma dessas provas para construr o desempenho médo no Enem fo de 0,5. As demas varáves de controle e a varável dependente permaneceram as mesmas. Na tabela 5 encontram-se os resultados das estmações com outlers. Da mesma forma, após efetuarmos a padronzação do resíduo ( Y Y ) da equação 4, observamos que alguns cursos apresentaram essa padronzação fora do ntervalo de -3 a +3. Por essa razão, reestmamos a equação 5 somente com os cursos que apresentaram seu resíduo padronzado dentro desse ntervalo. Os resultados dessa estmação estão na tabela 6. Ao compararmos as estmações das tabelas 5 e 6, nota-se que a amostra apresentou uma perda de 23 cursos (undade de análse). No que dz respeto às prncpas estatístcas, elas não apresentaram grandes varações entre as estmações. Em relação à estatístca F, esta não fo estatstcamente sgnfcatva nas estmações 2, 3, 10, 11, 13 e 14, que representam os cursos de Arquvologa, Bbloteconoma, Músca, Normal Superor, Secretarado Executvo e Teatro, respectvamente. Deve-se reconhecer que o dobro de cursos (dos 15 avalados), comparatvamente às estmações das tabelas 3 e 4, apresentaram suas estmações não sgnfcatvas. Ademas, a nota do Enem do ngressante apresentou efeto postvo na nota do conclunte em todas as estmações. Por fm, para calcularmos o Conceto IDD com o Enem, também utlzamos as estmações sem outlers. g g Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

16 Tabela 5 Estmação com MQO para o recálculo do IDD com Enem (com outlers) Nota Conclunte Nota Enem ngressante Escolardade pa Conclunte/ ngressante ,21*** 1,51-0,01 0,74*** 0,15*** 0,56*** 0,21*** 0,44*** 0,33*** 0,1 0,14 0,26*** 0,24 0,05 0,40*** 0,03 0,3 0,29 0,13 0,04 0,12 0,04 0,09 0,04 0,35 0,1 0,06 0,17 0,29 0,09 4,41*** 94,81* 25,95 6,11-0,88 12,31-1,02-2,5 8,18*** 20,19 0,05-4,76 11,92 31,68-1,83 1,46 10,35 14,59 12,73 2,1 8,29 2,71 5,84 2,93 57,91 4,55 3,88 8,25 21,64 5,37 0,16 3,19-1,46-0,11 0,24-1,17* 0,16 1,95*** - 0,18 1,99-0,15-0,07 0,17 1,97-0,91** 0,13 1,13 1,39 1,95 0,2 0,63 0,22 0,68 0,11 2,06 0,21 0,19 0,83 3,09 0,43 Proporção 4,91*** -4,19 10,59 0,05 1,8-5,21 8,66*** 9,66** 8,25*** 21,48 5,02 10,29*** 9,85-12,96 4,95 1,68 9,43 8,98 7,29 2,23 6,53 2,23 4,3 2,27 30,35 5,07 3,05 8,32 14,44 5,4 Constante 26,57*** -84,18 35,06** -1,11 25,14*** 6,78 28,28*** 20,75*** 20,57*** 19,19 38,44*** 36,84*** 21,47** 36,23 29,14*** 1,68 22,27 15,76 11,31 2,48 7,2 2,59 5,29 2,71 43,76 5,72 4,07 9,35 22,98 5,91 R² ajustado 0,1 0,95 0,29 0,47 0,04 0,32 0,16 0,41 0,24-0,51 0,03 0,18 0,11 0,17 0,17 N Fonte: Elaboração própra com base nos mcrodados do Enade 2006 e do Enem Os desvos padrão estão em negrto. * p<0,10; ** p<0,05; *** p<0,01 60 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

17 Tabela 6 Estmação com MQO para o recálculo do IDD com Enem (sem outlers) Nota Conclunte Nota Enem ngressante Escolardade pa Conclunte/ ngressante ,18*** 1,4-0,01 0,74*** 0,15*** 0,56*** 0,22*** 0,45*** 0,32*** 0,1 0,12 0,26*** 0,24 0,3 0,40*** 0,03. 0,29 0,13 0,04 0,12 0,04 0,08 0,04 0,35 0,09 0,06 0,17 0,22 0,09 3,98*** 0 25,95 6,11-0,58 12,31-0,53-1,48 7,71*** 20,19 1,33-4,76 11,92 11,45-1,79 1,37. 14,59 12,73 2,06 8,29 2,68 5,41 2,83 57,91 4,19 3,88 8,25 16,61 5,38 0,18 0-1,46-0,11 0,2-1,17* 0,09 2,05*** -0,16 1,99-0,07-0,07 0,17 4,61* -0,90** 0,12. 1,39 1,95 0,2 0,63 0,22 0,63 0,11 2,06 0,2 0,19 0,83 2,34 0,44 Proporção 4,51*** 0 10,59 0,05 1,99-5,21 8,31*** 11,44*** 8,83*** 21,48 7,12 10,29*** 9,85 22,19 4,68 1,6. 8,98 7,29 2,18 6,53 2,17 4,01 2,19 30,35 4,69 3,05 8,32 15,75 5,42 Constante 28,57*** -25,24 35,06** -1,11 24,91*** 6,78 28,16*** 19,03*** 21,42*** 19,19 37,37*** 36,84*** 21,47** 14,18 29,27*** 1,61. 15,76 11,31 2,44 7,2 2,59 4,92 2,63 43,76 5,26 4,07 9,35 17,72 5,92 R² ajustado 0,08. 0,29 0,47 0,04 0,32 0,16 0,48 0,24-0,51 0,04 0,18 0,11 0,23 0,17 N Fonte: Elaboração própra com base nos mcrodados do Enade 2006 e do Enem Os desvos padrão estão em negrto. * p<0,10; ** p<0,05; *** p<0,01 Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

18 Na tabela 7, realzamos alguns exercícos de correlações entre o Conceto IDD tradconal e o Conceto IDD com o Enem. Assm, poderemos analsar a capacdade do Enem como alternatva ao Enade ngressante como baselne para o cálculo do valor agregado dos cursos por meo do IDD. Para sso calculamos correlações smples e de ordem (Spearman). Também na tabela 7 há uma segunda análse, a qual se refere à correlação entre os resíduos padronzados (estmação com as notas do Enade do ngressante e com as notas do Enem), antes de serem dscretzados entre 1 e 5 (Conceto IDD). Tabela 7 Correlações entre o IDD tradconal e o IDD com Enem Conceto IDD Resíduo Padronzado Correlação Smples Correlação de Spearman Correlação Smples Correlação de Spearman Geral 0,71 0,68 0,79 0,73 Admnstração 0,65 0,58 0,79 0,73 Arquvologa Bbloteconoma 0,13 0,12 0,35 0,33 Bomedcna 0,77 0,7 0,68 0,36 Cêncas Contábes 0,78 0,75 0,9 0,86 Cêncas Econômcas 0,6 0,61 0,66 0,76 Comuncação Socal 0,82 0,82 0,87 0,85 Desgn 0,8 0,78 0,84 0,8 Dreto 0,63 0,64 0,69 0,69 Músca 0,99 0,98 0,98 0,99 Normal superor 0,98 0,98 0,97 0,99 Pscologa 0,81 0,83 0,88 0,88 Secretarado Executvo 0,84 0,87 0,82 0,9 Teatro -0,55-0,5 0,82-0,5 Tursmo 0,75 0,71 0,74 0,7 Fonte: Elaboração própra com base nos mcrodados do Enade 2006 e do Enem Na prmera análse, observamos que para a maora dos cursos a correlação entre os Concetos IDDs o tradconal e o proposto pode ser consderada alta: em méda 0,75. Até onde temos conhecmento, exste somente um trabalho empírco no Brasl que examna a correlação dos resultados de uma avalação em relação a outra. Esse estudo fo realzado por Pansanato e Soares (1999), e trata da capacdade predtva do Enem em relação ao desempenho dos canddatos na 1ª fase do vestbular da 62 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

19 Unversdade Federal de Mnas Geras (UFMG) de Os autores obtveram uma correlação de ordem de 0,79 entre os resultados do Enem e o desempenho dos alunos na 1ª fase do vestbular da UFMG resultado consderado excelente pelos autores. Desse modo, é possível afrmar que as correlações obtdas neste trabalho podem ser consderadas satsfatóras. Adconalmente, vale ressaltar que os cursos com maor número de observações Admnstração, Cêncas Contábes, Comuncação Socal e Dreto apresentaram correlações de ordem entre 60% e 80% entre o IDD tradconal e o IDD calculado com base na nota do Enem dos ngressantes. Por sua vez, os cursos que apresentaram as menores correlações entre os IDDs foram Bbloteconoma e Teatro cursos que estão dentre aqueles com menor número de observações. Além dsso, observa-se que a dferença entre a correlação smples e a de ordem fo de no máxmo 0,07 p.p (pontos percentuas). O segundo exercíco, o qual se refere à correlação entre os resíduos padronzados (coluna 3 e 4 da tabela 7), é mportante porque ao calcularmos as correlações com uma varável dscreta (Conceto IDD da coluna 1 e 2 da tabela 7), podemos perder nformações, em razão da pouca varabldade. Contudo, nota-se que em geral as correlações entre os resíduos padronzados apresentam valores apenas um pouco superores do que entre os do Conceto IDD. CONCLUSÃO Neste estudo, buscamos analsar a possbldade de se utlzar os resultados do Enem, como alternatva aos resultados do Enade dos ngressantes, para o cálculo do IDD dos cursos ndcador de valor agregado utlzado atualmente. Ao calcularmos um novo IDD, substtundo a nota do Enade dos alunos ngressantes pela nota do Enem desses alunos, obtvemos correlações entre esse novo IDD e o IDD calculado tradconalmente de cerca de 0,75. Esses resultados apresentam ndícos de que, além das vantagens em termos de efcáca do uso do Enem como baselne para o cálculo do valor agregado dos cursos, dados os ncentvos para sua realzação, bem como de efcênca, ao dspensar a aplcação do Enade para ngressantes, não havera uma mudança muto sgnfcatva na ordenação da nota dos ndvíduos ao realzar essa substtução. Algumas ressalvas devem ser fetas com relação a esses resultados. Em prmero lugar, o resultado do presente trabalho leva em conta somente 35,12% dos ngressantes que prestaram o Enade em 2006, e que também prestaram o Enem em 2005, e que estes apresentaram nota no Enade superor àqueles que Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr

20 não prestaram Enem. Portanto, sugere-se que sejam realzadas novas análses com dados referentes a outros anos, permtndo a análse dos resultados dos cursos avalados nesses outros anos e também a busca de um aumento no número de ndvíduos que tenham realzado as duas avalações amplando, assm, o potencal de comparação entre elas. Caso se confrmem os resultados desta análse, da mesma forma que o Mnstéro da Educação determnou a obrgatoredade da partcpação dos alunos no Enade, condconada à obtenção do dploma, sugermos que o MEC determne que a realzação do Enem se torne obrgatóra para qualquer aluno que deseje se matrcular em uma nsttução de ensno superor, ndependentemente se essa nsttução utlza o Enem em seu processo seletvo, ou não. Desse modo, a totaldade dos alunos do ensno superor realzara o Enem, e essa nota servra como substtuta para a nota do Enade dos ngressantes. Assm, conseguríamos, no longo prazo, utlzar no cálculo do IDD a nota do conclunte, juntamente com sua nota no Enem quando ngressou na IES 3, em vez da nota de outros ngressantes. Prmeramente, há uma grande vantagem na adoção dessa polítca, pos sso gerara uma redução de custos para o Inep, uma vez que não ocorrera mas a aplcação do Enade para os ngressantes nos cursos de graduação. Em segundo lugar, essa alteração gerara uma medda melhor da qualdade dos alunos ngressantes, em razão de que esses teram maores ncentvos ao realzar o Enem do que ao realzar o Enade, pos o Enem já é utlzado para o processo seletvo de dversas IES e para programas como o ProUn. Dessa forma, a nossa proposta, na verdade, é a amplação de um procedmento que mutas IES públcas e prvadas já adotam. Por fm, vale ressaltar, anda, que este processo deve ser realzado de forma cudadosa, preceddo de análses cudadosas dos questonáros socoeconômcos aplcados aos estudantes em ambos os exames, de forma a compatblzar esses questonáros e não correr o rsco de perder nformações mportantes a serem utlzadas nos processos de avalação e regulação de cursos e em estudos que subsdem as polítcas educaconas brasleras. 3 Mesmo no longo prazo, utlzar a nota do Enade do aluno conclunte, quando este fo ngressante, é ncerto, uma vez que o seu curso podera não fazer parte do conjunto de cursos avalados no período em que ngressou na IES. Além dsso, mesmo que seu curso tenha sdo avalado, este conclunte podera não ter sdo parte da amostra que prestou o Enade quando era ngressante. 64 Est. Aval. Educ., São Paulo, v. 21, n. 45, p , jan./abr. 2010

21 REFERÊNCIAS BIBLIOGRÁFICAS BRASIL. Mnstéro da Educação. Insttuto Naconal de Estudos e Pesqusas Educaconas Aníso Texera. Resultado do ndcador de dferença entre os desempenhos esperado e observado IDD: Nota Técnca do IDD. Brasíla: Inep, BRASIL. Mnstéro da Educação. Proposta à Assocação Naconal dos Drgentes das Insttuções Federas de Ensno Superor. Brasíla: MEC/Assessora de Comuncação, HANUSHEK, E.; RAYMOND, M. The effect of school accountablty systems on the level and dstrbuton of student achevement. Journal of the European Economc Assocaton, v. 2, n. 2/3, p , PANSANATO, K. A.; SOARES, J. F. Desempenho dos alunos no Enem e no vestbular da UFMG. In: JORNADA LATINO-AMERICANA DE ESTATÍSTICA APLICADA, 1. Anas... São Carlos, REZENDE, M. The effects of accountablty on hgher educaton. In: ENCONTRO BRASILEIRO DE ECONOMETRIA, 30. Anas... Salvador, VERHINE, R. E.; DANTAS, L. M. V.; SOARES, J. F. Do Provão ao Enade: uma análse comparatva dos exames naconas utlzados no ensno superor Braslero. Ensao: Avalação e Polítcas Públcas em Educação, Ro de Janero, v. 14, n. 52, p , Recebdo em: setembro 2009 Aprovado para publcação em: dezembro 2009 Est. Aval. Educ., São Paulo, v. 21, n. 45, 45-66, jan./abr