Ivan Akio Itocazo Soida. Estabilidade e Transitoriedade no Ranking do ENEM de Médias por Escola

Transcrição

1 Ivan Akio Itocazo Soida Estabilidade e Transitoriedade no Ranking do ENEM de Médias por Escola Dissertação apresentada ao Programa de Mestrado Profissional em Economia do Insper Instituto de Ensino e Pesquisa, como parte dos requisitos para a obtenção do título de Mestre em Economia. Área de concentração: Finanças e Macro Economia Aplicadas Orientador: Prof. Dr. Rodrigo Menon Simões Moita Insper Instituto de Ensino e Pesquisa Co-orientador: Prof. Dr. Eduardo de Andrade Carvalho Insper Instituto de Ensino e Pesquisa São Paulo 2012

2 2 SOIDA, Ivan Akio Itocazo Estabilidade e Transitoriedade no Ranking do ENEM de Médias por Escola / Ivan Akio Itocazo Soida; orientador: Rodrigo Menon Simões Moita; co-orientador: Eduardo de Carvalho Andrade São Paulo: Insper, f. Dissertação de Mestrado Programa de Mestrado Profissional em Economia. Área de concentração: Finanças e Macroeconomia Aplicadas. Insper Instituto de Ensino e Pesquisa. 1. Política monetária 2. Crédito 3. Consumidor

3 3 FOLHA DE APROVAÇÃO Ivan Akio Itocazo Soida Estabilidade e Transitoriedade no Ranking do ENEM de Médias por Escola Dissertação apresentada ao Programa de Mestrado Profissional em Economia do Insper Instituto de Ensino e Pesquisa, como requisito parcial para obtenção do título de Mestre em Economia. Área de concentração: Macroeconomia Aplicada, Economia da Educação Aprovado em: Janeiro/2012 Banca Examinadora Prof. Dr. Rodrigo Menon Simões Moita Orientador Instituição: Insper-SP Assinatura: Prof. Dr. Eduardo de Carvalho Andrade Co-orientador Instituição: Insper-SP Assinatura: Prof. Dr. Naércio Aquino Menezes Filho Instituição: Insper-SP Assinatura: Prof. Dr. Ricardo de Abreu Madeira Instituição: FEA-USP Assinatura:

4 4 Dedicatória A meus pais, meu fantástico passado. À Leny, meu precioso futuro. Ao Thomas, nosso maior presente.

5 5 Resumo SOIDA, Ivan Akio Itocazo. Estabilidade e Transitoriedade no Ranking do ENEM de Médias por Escola f. Dissertação (Mestrado) Insper Instituto de Ensino e Pesquisa, São Paulo, Nesse artigo, nós exploramos alguns aspectos estatísticos, usualmente negligenciados, do ranking de ENEM de médias por escola o instrumento mais difundido de avaliação das escolas brasileiras de ensino médio. Nós encontramos evidências de variação amostral nos scores escolares medidos e verificamos o impacto que o porte da escola tem na atenuação desse efeito. Identificamos também evidências de flutuações estatísticas de curto prazo (ruído) e de reversão à média. Estimamos as magnitudes relativas dos componentes persistentes e não-persistentes (voláteis) no desempenho de escolas de diferentes categorias em determinado ano; em um caso extremo, o de escolas públicas de pequeno porte, estimamos que o componente volátil médio correspondia a aproximadamente 62% dos scores medidos naquele ano. Estudamos também a estabilidade intertemporal dos rankings por meio de matrizes de Markov. Finalmente, avaliamos a sensibilidade do ranking a uma mudança de critério de desempenho: construímos dois rankings de valor adicionado para escolas públicas paulistas um exercendo controle estatístico para as características socioeconômicas e do aluno ingressante em cada escola, outro expandindo esse controle também sobre a infraestrutura escolar a fim de comparar esses rankings com o ranking tradicional. Nós descobrimos que a adoção desses novos critérios não gerou alterações radicais na distribuição de desempenhos das escolas, mas teve impacto substancial nos ranqueamentos, sugerindo baixos graus de separação efetiva entre posições consecutivas do ranking. Palavras-chave: ENEM; Educação; Ensino Médio; Rankings; Valor Adicionado

6 6 Abstract SOIDA, Ivan Akio Itocazo. Stability and Transience in ENEM Ranking of Averages by School f.. Dissertation (Mastership) Insper Instituto de Ensino e Pesquisa, Sao Paulo, In this article, we analyzed some usually neglected statistical issues concerning ENEM s rankings the most popular instrument for evaluating the quality of Brazilian high schools. We found evidences of sampling variation on schools measured performances and checked its diminishing effect as schools sizes increase. We also identified evidences of short-term statistical fluctuations (noise) and mean-reversion. We estimated the relative magnitudes of persistent and non-persistent (volatile) components on schools performances from different categories in a given year; in the extreme case of small, public schools we estimated the mean volatile component as about 62% of the scores measured that year. Furthermore, we also studied the stability of the rankings across time, by means of Markov matrices. Finally, we evaluated how stable the ranking would behave after changing the adopted criteria to measure performance: we built two rankings based on added scores ( value-added ) for a specific category of Brazilian schools the first of those imposing statistical control for each school s freshmen s characteristics and students socioeconomic status, and a second one expanding the prior statistical control for each school s infrastructure data, as well in order to compare these rankings to the one based on absolute scores. We discovered that the adoption of these new criteria did not generate extreme effects on schools distribution of performances, but it did impact heavily on ranking positions, suggesting low degrees of effective separation between consecutive positions. Keywords: ENEM; Education; High School; Rankings; Value-Added

7 7 Sumário Introdução Capítulo 1. O Ranking do ENEM Capítulo 2. Vulnerabilidades do Ranking do ENEM Capítulo 3. Decomposição da Volatilidade nos Scores Médios por Escola Metodologia Dados Resultados e Discussão Capítulo 4. Evidência de Ruído Estatístico Metodologia Resultados e Discussão Capítulo 5. Estabilidade Interanual dos Rankings Metodologia Resultados e Discussão Capítulo 6. Proposta de um Ranking de Municípios Baseado em Valor Adicionado Metodologia Dados Resultados e Discussão Capítulo 7. Conclusões Referências Apêndices

8 8 Introdução O ENEM Exame Nacional do Ensino Médio foi criado em 1998, com a proposta objetiva de medir o grau de conhecimento dos alunos concluintes do 3º ano. Nos anos seguintes, porém, o Exame expandiu enormemente suas possibilidades de uso e hoje ocupa uma posição estratégica na dinâmica educacional do país: o ENEM é o critério parcial ou exclusivo para ingresso à ampla maioria das universidades federais (e uma parcela significativa das instituições privadas); é o principal quesito de acesso a bolsas de estudo e crédito estudantil financiado pelo governo; recentemente, tornou-se o certificador oficial de conclusão do ensino médio no país e, no futuro, deverá facilitar o acesso de jovens ao mercado de trabalho. Nenhum desses papéis, entretanto, projeta tanta repercussão na sociedade quanto o ranking do ENEM de médias por escola. Amplamente divulgada pelos grandes canais da mídia, abrange virtualmente todas as escolas de ensino médio do país e ranqueia os desempenhos obtidos por seus alunos em uma prova padronizada. O ranking do ENEM é o mais influente indicador nacional de desempenho para escolas de ensino médio. Alguns dos fatores bastante prováveis para a popularidade desse ranking são a abrangência nacional, a ênfase dada pela mídia e a fácil digestão dos resultados (principalmente das posições obtidas pelas escola ano a ano). Outro fator, histórico, é que o ranking do ENEM preenche uma lacuna com relação a metodologias, confiáveis e objetivas, de avaliação da qualidade escolar. E, não pouco importante para o grande público, os rankings remetem naturalmente a uma ideia de competição em algum nível. Em termos metodológicos, o advento do ranking foi uma revolução no panorama da educação brasileira, e se alinhou com uma ampla política instaurada pelo MEC a partir de 2004, o Plano de Desenvolvimento da Educação. Um dos pilares do PDE é o estabelecimento amplo de métricas eficientes que permitam mapear a evolução da educação no Brasil nos três níveis orgânicos municipal, estadual, federal e de ensino fundamental, médio e superior e, a partir de diagnósticos confiáveis e padronizados, projetar metas de longo prazo. Antes, as poucas medidas de performance escolar que havia no Brasil eram difusas, de aplicação restrita, esporádicas, herméticas (destinadas a uso por especialistas e acadêmicos) e estáticas (baseadas essencialmente em insumos). Após o PDE, as medidas passaram a ser comparáveis em larga escala (por exemplo, nacional), abrangentes, mais frequentes e

9 9 regulares, mais acessíveis (destinadas também ao grande público) e dinâmicas (baseadas principalmente em resultados em provas padronizadas). Após a rápida popularização dessas medidas entre o público leigo (do qual a Prova Brasil, o ranking do ENEM e o ranking do ENADE são os expoentes), o mercado educacional passou por uma profunda dinamização. Afinal, os critérios que até então atestavam a qualidade dessa ou daquela instituição deixaram de ser subjetivos e indiretos e passaram a seguir parâmetros objetivos. A propaganda ideal de uma instituição de ensino particular deixou os canais da publicidade tradicional e passou para posições em rankings e índices oficiais de qualidade, chancelados pelo MEC. A adoção de medidas transparentes de qualidade favoreceu principalmente os mantenedores de escolas, profissionais do setor (diretores, coordenadores, professores, funcionários), alunos e pais de alunos. Por outro lado, essa avidez por rankings teve efeitos colaterais, com aumentos vultuosos de mensalidades em escolas bem avaliadas, acirramento de práticas de exclusão de alunos menos proficientes, ostracismo de instituições com baixos desempenhos ou incentivo a comportamentos oportunistas. Diante das demais instâncias educacionais monitoradas pelo MEC, o ranking do ENEM tem algumas características específicas. Por exemplo, a adesão é voluntária (opera, portanto, segundo uma amostragem totalmente aleatória). Ou o fato de ser uma avaliação pontual, realizada em dois únicos dias de prova (vulnerável, portanto, à potencial interferência de eventos ocasionais). Ou a questão de não envolver intervenções diretas de órgãos oficiais (de modo que a regulação do sistema é necessariamente intermediada por um mercado concorrencial, no caso das instituições privadas, e por pressões da sociedade, no caso das públicas). Ou a adoção de um critério extremamente simples de desempenho, segundo o qual a performance atribuída a cada escola é a média aritmética simples dos desempenhos de seus alunos. Esse é o ponto chave que pretendemos explorar nesse estudo: a rápida aceitação e a alta popularidade do ranking do ENEM devem-se, em grande parte, à sua simplicidade metodológica e à sua fácil interpretação. Mas essa aparente simplicidade certamente mascara questões subjacentes que, mesmo não veiculadas pela grande mídia, têm impacto silencioso, e potencialmente grande, nos rankings publicados: escolas com menos alunos prestando a prova do ENEM levam algum tipo de vantagem? Ou algum tipo de desvantagem? Uma turma de alunos excepcionalmente boa (ou ruim) pode alavancar (ou comprometer) substancialmente o desempenho da escola naquele ano? Se o peso da prova de redação fosse menor que os 50% atuais, isso levaria a mudanças sensíveis no ranking? As escolas bem ranqueadas em um ano

10 10 têm maior chance de repetirem o desempenho no ano seguinte? Ou há uma tendência à alternância entre escolas top? Se uma escola é melhor ranqueada que outra, isto quer dizer que todos seus alunos são melhores que os da outra? Em que medida? Se o ENEM fosse aplicado duas vezes com uma semana de intervalo, os rankings tenderiam a ser muito parecidos? É possível, em alguma medida, prever os resultados do próximo ranking com base na série histórica? As escolas com bons desempenhos na prova agregaram mais desempenho aos alunos ou tiveram sorte de captar alunos mais proficientes? Existem escolas cronicamente ruins? Escolas públicas mais bem equipadas têm mais chances de bons desempenhos? Nos próximos capítulos, sugerimos e fundamentamos respostas para essas perguntas. Além dessa introdução, esse artigo é composto por sete capítulos. O Capítulo 1 descreve o formato da prova do ENEM e a composição do ranking de médias por escola. O Capítulo 2 revisa algumas fontes de vulnerabilidade que o ranking apresenta e que serão exploradas aqui. Os Capítulos 3 a 6 dedicam-se aos procedimentos empíricos, descrevendo metodologias, dados e resultados. O capítulo final conclui e encerra.

11 11 Capítulo 1. O RANKING DO ENEM 1.1. SOBRE A PROVA DO ENEM E O RANKING DE MÉDIAS POR ESCOLA O ENEM é uma prova de abrangência nacional aplicada anualmente. Hoje se apresenta como uma avaliação de adesão voluntária, acessível a todos concluintes do ensino médio (ou pessoas já formadas nesse nível). Apesar de não ser uma prova obrigatória, é a porta de acesso a uma série de benefícios que marcam a transição do ensino médio para o ensino superior: vale como certificado de conclusão do nível médio, serve de critério (parcial ou único) para ingresso em instituições privadas e públicas de nível superior e dá acesso a oportunidades de bolsa de estudos e créditos educativos, oriundos de programas federais. Atualmente, o ENEM é realizado em edição anual única, dividida em dois dias de prova. O candidato faz cinco avaliações independentes, sendo 4 delas provas objetivas (Humanidades, Ciências, Matemática e Linguagens, com 45 questões objetivas cada) e uma redação. No cômputo final, todas as provas objetivas têm o mesmo peso, e a prova de redação tem peso igual ao conjunto delas; ou seja, a distribuição de pesos entre as provas é um vetor como [ 12.5%, 12.5%, 12.5%, 12.5% e 50% ]. Na edição de 2009, o Inep (órgão encarregado de aplicar as várias provas de proficiência sob tutela do MEC e publicar seus resultados) optou pela metodologia de Teoria de Resposta ao Item (TRI) em substituição à Teoria Clássica de Resposta (TCR), para permitir a comparabilidade intertemporal dos resultados dali em diante (comentamos os efeitos dessa mudança metodológica nos ensaios que usaram dados desse período específico). Diferente dos vestibulares tradicionais do país, que priorizam a cobrança de conteúdos (informação), o ENEM é assentado na filosofia de cobrar habilidades (manipulação de informações) dos candidatos. Esse, junto à incorporação do TRI, é provavelmente um dos pontos do exame que mais gera controvérsia, mas não trataremos desses aspectos nesse ensaio, por não se identificarem com nosso escopo. Um candidato é considerado elegível para fins de cálculo de seu desempenho (e do desempenho da escola na qual ele declarou ter cursado o ensino médio) caso participe das 4 provas objetivas e da prova de redação naquele ano. Houve grande investimento do MEC nos últimos anos no sentido de estabelecer o ENEM como o principal (e, eventualmente, o único) critério para ingresso nas disputadas

12 12 instituições federais de ensino superior. Outros vestibulares tradicionais, como a FUVEST e o da FGV-SP, também já chegaram a adotar o score no ENEM como critério parcial para seus processos seletivos. A partir de 2004, o Inep/MEC passou a publicar compilações de scores de candidatos na forma de um ranking de médias por escola. São habitualmente divulgadas três notas: média geral dos alunos da instituição nas provas objetivas, média geral dos alunos da instituição na prova de redação e média aritmética simples entre esses dois scores para cada escola. Dados individuais de candidatos não são publicados, mas o Inep disponibiliza em seu site todos os microdados pertinentes a cada edição do exame desde 1998, aplicando máscaras sobre as identidades de candidatos e, eventualmente, sobre as identidades das escolas (caso de 2006; nos ensaios que realizamos usando dados desse ano, foi necessário reconstruir as médias agregadas, e o fizemos apenas para as escolas paulistanas). Outra complicação técnica envolveu os dados de 2010, que foram divulgados sem os códigos-padrão das escolas listadas (essa base de dados foi aproveitada, portanto, apenas parcialmente, conforme explicamos oportunamente nos procedimentos empíricos). Para amenizar o efeito da variação amostral em escolas com poucos representantes, o Inep frequentemente adota dois critérios mínimos de elegibilidade para ranqueamento e publicação: escolas com menos de 10 alunos e/ou com menos de 2% (dos alunos matriculados) participantes da prova são excluídas das listagens daquela edição do exame. Em alguns anos, foi aplicado um terceiro mecanismo, que era um fator de correção da nota, a fim de eliminar o viés de participação. Os resultados foram bastante contestados. Em 2010 (último ranking disponível na época de redação desse estudo) o Inep publicou quatro rankings distintos, onde as escolas eram agrupadas por bandas de taxa de participação (2% a 25%, 25% a 50%, 50% a 75%, 75% a 100% dos alunos matriculados). Escolas elegíveis, então, têm suas médias validadas e integram os rankings daquele ano. Os rankings são inicialmente distribuídos aos canais de imprensa na forma de arquivos (geralmente, em CD-ROM) e usualmente são publicados em um mesmo dia, na forma de rankings com diferentes critérios de agregação (nacionais, estaduais, de escolas públicas etc) SOBRE O IMPACTO ECONÔMICO DO RANKING DO ENEM O ranking do ENEM se insere em um amplo conjunto de medidas de performance escolar, estabelecido pelo governo federal em 2004, na forma do Plano de Desenvolvimento da Educação (PDE). A adoção dessas medidas objetivas de desempenho veio ao encontro de

13 13 uma tendência em rápida disseminação pelo mundo, com experiências em vários países. Segundo Fernandes e Gremaud (2009), a implantação plena desses sistemas objetivos envolve três níveis de profundidade: 1. um dispositivo de medida de performance de alunos (geralmente, uma prova unificada); 2. um dispositivo de divulgação, para a comunidade, desses índices de performance obtidos por cada instituição de ensino; e 3. um dispositivo de intervenções objetivas, aplicáveis sobre cada escola, como reação aos índices obtidos (na forma de recompensas ou sanções). Assim, um dos pilares do PDE é a introdução de sistemas amplos, padronizados e continuados de avaliação escolar, baseados em scores em provas feitas pelos alunos. Essa nova proposta de avaliação educacional tende a substituir os sistemas tradicionais, aqueles baseados exclusivamente em indicadores indiretos, fundamentados em insumos como quantidade de livros na biblioteca por aluno e percentual de professores com pósgraduação, por exemplo. O PDE prevê e exige a instituição de provas unificadas em todos os níveis da educação, pública e privada, de modo que os governos, nas suas várias esferas, têm efetuado grandes investimentos no estabelecimento dessas avaliações. Exemplos dessas iniciativas são a Prova Brasil, o ENADE / Provão, o SAEB e, em nível estadual, o SARESP paulista. Parte dessas avaliações (dispositivo de medida) geram resultados disponíveis para consulta pela sociedade (dispositivo de divulgação) e envolvem algum tipo de efeito, que vão desde bônus concedidos às escolas bem sucedidas até redução da oferta de vagas e fechamento de cursos e escolas (dispositivo de intervenção). Ao nível do ensino médio, essa prática tem se consolidado na forma do ENEM. Há, entretanto, uma diferença prática fundamental: diferentemente dos sistemas mencionados anteriormente, o processo do ENEM não acarreta intervenções diretas pelo governo a avaliação existe, e seus resultados são reportados à sociedade, mas não foi criado um mecanismo governamental de recompensas ou sanções decorrente dessa avaliação. Sistemas desse tipo são chamados de accountability fraca. Assim, principalmente no caso de escolas particulares, a reação aos resultados reportados restringe-se à própria dinâmica do mercado concorrencial, a ser livremente estabelecida por escolas (ofertantes do serviço educacional) e alunos e pais de alunos (demandantes por serviços de ensino).

14 14 Isso explica, ao menos em parte, porque o ranking do ENEM um ranking anual de escolas de ensino médio, chancelado e publicado pelo próprio MEC ganhou tamanha visibilidade na mídia em anos recentes. Entretanto, apesar da grande envergadura que o ranking (e, por extensão, também o Exame) adquiriu desde sua instituição, ainda são escassos na literatura nacional estudos que questionem ou endossem a qualidade desse ranking como um instrumento de avaliação escolar. Nesse sentido, tentamos contribuir para o preenchimento dessa lacuna, importando conhecidos experimentos da literatura internacional e adaptando-os para o caso brasileiro.

15 15 Capítulo 2. VULNERABILIDADES DO RANKING DO ENEM Os sistemas de medida objetiva de desempenho baseada em outputs do processo educacional (isto é, no desempenho médio dos alunos de cada instituição) apresentam várias vantagens sobre a medida clássica, baseada em inputs. A maior é a superação de uma limitação intrínseca do modelo clássico: quais inputs medir? Quais são relevantes para o processo de aprendizado? E, caso haja mais de um input relevante (o que geralmente é o caso), qual o critério de pesos a ser adotado? A ilustração aqui é que uma escola pode investir desmedidamente em um fator considerado relevante (exemplo: computadores) sem que esse investimento se traduza necessariamente em aprendizado. Em termos econômicos, podemos falar em alocação ineficiente de recursos. As medidas baseadas diretamente em outputs contornam esse problema, mas introduzem limitações de outras ordens, principalmente técnica e operacional. Por exemplo, como lidar com a questão dos erros de medida? Quais habilidades, por mapearem bem o aprendizado, devem ser medidas para avaliar a proficiência de um aluno, ou a eficiência de uma escola? Nesse capítulo, apresentamos uma visão geral de fontes de distorção/erro e comentamos brevemente os ensaios realizados nas próximas páginas. Em termos econométricos, podemos imaginar que uma variável que nos interessa avaliar (não-observável) é o desempenho médio real da escola. Entretanto, esse score teórico nunca se manifesta diretamente, mas por meio dos desempenhos de várias coortes de seus alunos, e contaminado por várias ordens de erros de medida. No primeiro ensaio desse artigo (Capítulo 3), nós replicamos um estudo de Kane & Staiger (2002) que identifica três dessas fontes: variação amostral (diferentes coortes de alunos representando uma mesma escola) e variância intra-escolar (a magnitude da heterogeneidade de desempenhos dentro de uma mesma escola), e ruído (flutuações estatísticas de curto prazo, caraterísticas de medições pontuais sobre variáveis aleatórias). Aproveitamos o ensaio e identificamos dois comportamentos distintos, que coexistem no Brasil, quanto aos universos de escolas públicas e privadas. Essa distinção é tão profunda e expressiva que, em vários ensaios subsequentes, a segmentação da base de dados nesses dois universos produziu resultados notoriamente diferentes.

16 16 No segundo ensaio (Capítulo 4), demos mais ênfase às questões do ruído estatístico e do retorno à média. Tentamos isolar evidências mais precisas de incorporação deles aos scores registrados. Nosso modelo é um artigo de Dichev (1999), completamente baseado na análise de séries pareadas de diferenças simples de 1ª ordem, e complementa a análise anterior. No terceiro ensaio (Capítulo 5), o enfoque foi menos sobre scores medidos e mais sobre a questão do ordenamento desses scores (posições em um ranking). Nós segmentamos escolas em grupos conforme a distribuição de scores e avaliamos como esses grupos se comportavam ao longo do tempo, no sentido de trazer mais estabilidade ou transitoriedade aos rankings, em diferentes condições e níveis de agregação. Usamos matrizes de transição de Markov como a ferramenta básica de análise. O ensaio do Capítulo 6 questiona a estabilidade dos rankings diante de novas sugestões de medidas de performance. A questão central do capítulo é as escolas bem posicionadas no ranking do ENEM são realmente mais eficientes em ensinar ou apenas captam alunos melhores desde o início do processo?. Esse quarto ensaio propõe alternativas ao critério amplamente conhecido e intuitivo (mas não livre de críticas) de medida de scores absolutos. A construção de rankings de valor adicionado foi inspirada em um artigo de Yunker (2004).

17 Capítulo 3. DECOMPOSIÇÃO DA VOLATILIDADE NOS SCORES MÉDIOS POR ESCOLA 17 A literatura sobre medidas de desempenho em educação identifica que um dos maiores problemas de natureza técnica presente em avaliações pontuais de desempenho é a incorporação de erros de medida. Assim, é natural esperar que uma avaliação como o ENEM, ranking de médias por escola, exiba também vulnerabilidade a esse tipo de contaminação. Nesse primeiro ensaio, pretendemos (i) encontrar indícios de erros de medida, (ii) especular sobre suas possíveis fontes e (iii) avaliar, em termos quantitativos, o impacto relativo dessas fontes sobre a medida final. Para esse fim, replicamos um ensaio empírico, originalmente desenhado para escolas da Carolina do Norte (Kane & Staiger, 2002), sobre as escolas participantes de algumas edições recentes do ENEM. Como no artigo original, dividimos esse experimento em três seções correlatas Metodologia A. EVIDÊNCIAS QUALITATIVAS DE VARIAÇÃO AMOSTRAL Nossa primeira abordagem teve natureza qualitativa e buscou por evidências empíricas de erros de medida. No caso de uma avaliação pontual como o ENEM, existem várias possíveis fontes desse tipo de erro, que vão desde incidentes individuais (como um candidato que transcreve o gabarito errado em sua folha de respostas), até eventos de fundo coletivo (como uma coorte de alunos excepcionalmente boa ou ruim, em determinado ano em uma escola) ou mesmo fatores não relacionados diretamente ao fator humano, como um acidente de trânsito na rua, um surto de gripe forte ou um canteiro de obras em operação no dia de aplicação do exame. Entretanto, a maior parte desse amplo panorama de fontes possíveis é de difícil controle e carece de dados padronizados, de modo que detivemos nossa atenção em um aspecto particular e, supostamente, muito impactante: a questão amostral. Apesar da incorporação de mecanismos estatísticos sofisticados que visam a aprimorar, ano a ano, a qualidade da medição feita, o ENEM ainda é ainda uma prova aplicada pontualmente (até 2010, houve uma única edição por ano, realizada em um único dia ou, no máximo, dois dias de exame), além de sujeita a outros fatores, como participação

18 18 voluntária, que implicam diferentes graus de distorção amostral. A questão central é que o desempenho publicado pelo Inep, endossado pelo MEC e creditado anualmente a cada instituição de ensino é um registro, pontual e instantâneo, do desempenho de uma fração dos alunos representando determinada instituição, naquele dia de prova. Das várias fontes de erro que incidem sobre essa medida pontual, uma delas certamente é a amostral, e a magnitude desse tipo de erro tende a ser agravada quanto menor é a amostra. Se essa hipótese for correta, poderíamos esperar dois efeitos: (i) quanto menor a escola, maior a vulnerabilidade do score médio a esse tipo de erro ou seja, maior a discrepância média esperada entre o score medido (observado) e o score real (não-observável); e (ii) à medida que a escola aumenta de porte, em número de alunos prestantes ao ENEM, menor a sensibilidade da escola a essa fonte de interferência ou seja, maior a tendência à convergência entre os scores medido e real, para cada instituição de ensino. Nesse primeiro contato com os rankings escolares, plotamos em gráficos de dispersão os resultados do ENEM 2010 (médias por escola) contra o número de alunos prestantes de cada instituição, a fim de avaliar se a hipótese seria consistente com o fato empírico. A base de dados utilizada nesse ensaio foi a listagem de médias por escola em 2010, abrangendo escolas em nível nacional. Como proxy para o tamanho da escola, adotamos o número de alunos prestantes ao ENEM naquele ano. Replicamos ainda o critério primário adotado pelo Inep, quanto à elegibilidade de uma escola: a instituição deve ter ao menos 10 alunos participantes de cada prova, no ano em questão, para a divulgação de suas respectivas médias esse threshold é o ponto de corte, estabelecido pelo Inep, como um dos mecanismos para conter o efeito do viés amostral sobre o ranking (outro mecanismo, adotado em alguns anos, é um fator de correção das médias segundo a taxa de comparecimento, para cada instituição). Para fins comparativos, foram criadas sete variações do ensaio. As três primeiras tinham o objetivo de produzir uma primeira impressão do comportamento das escolas, em diferentes níveis de agregação e de tamanho da base de dados:

19 19 a1. Média por escola, nacional média da prova objetiva a2. Média por escolas, estado de SP média da prova objetiva a3. Média por escolas, município de São Paulo média da prova objetiva Na sequência, criamos algumas variações com finalidades mais específicas. Por exemplo, medimos se a inclusão da prova de Redação (com 50% de peso em relação à média final, critério-padrão do Inep) causou impacto perceptível: a4. Médias por escola, nacional média entre provas objetiva e de redação Outra investigação específica repetiu as variações a1 (escala nacional) e a2 (escala estadual) acima, mas segmentando cada base de escolas em dois universos: públicas e particulares: públicas a5. Médias por escola, nacional média da prova objetiva: particulares X públicas a6. Médias por escola, estado de SP média da prova objetiva: particulares X Finalmente, criamos uma última variação para testar uma hipótese específica, prevista na literatura: além do impacto sobre os scores médios obtidos pelas escolas, o tamanho da instituição afeta também os changes diferenças em primeira ordem nesses scores de um ano para o outro? objetiva a7. Change em médias padronizadas por escolas, nacional média da prova Para gerar a listagem de changes, tomamos as listagens do ENEM referentes às médias por escola de 2008 e 2009 descartamos a base de 2010, pois os scores foram publicados sem os códigos regulares de cada escola, o que dificultou o cruzamento/pareamento dos valores (detalhes seguem na seção Dados ). As médias foram padronizadas para a análise (isto é, foi subtraída de cada valor a média do respectivo ano, e o resultado foi dividido pelo desviopadrão anual). Finalmente, os resultados foram subtraídos diretamente:

20 20 SCORE i = SCORE 2009, i SCORE 2008, i, onde i indica uma determinada escola. a1 a a7). Os resultados seguem na seção Resultados e Discussão (diagramas de dispersão de B. ATENUAMENTO TEMPORAL DO RUÍDO ESTATÍSTICO Após avaliar os resultados da primeira série de testes, de viés mais qualitativo e estático, iniciamos uma segunda fase do experimento. A sugestão inicial é que as escolas de menor porte são sensíveis não somente a uma distribuição mais ampla de scores, como também a maiores oscilações nesses scores (ou seja, existe uma tendência à maior flutuação tanto em nível quanto em primeiras diferenças para as escolas pequenas). Kane e Staiger (2002) sugerem que, sobre uma medida de performance escolar como o ENEM, médias por escola, incidem simultaneamente duas ordens de fatores. Os FATORES PERSISTENTES estão geralmente sob controle da instituição (como composição do corpo docente, currículo adotado e condições de infraestrutura); são relativamente estáveis de uma medição para outra e sofrem declínio temporal lento por exemplo, a troca de professores da equipe, as alterações curriculares e a depreciação natural da infraestrutura escolar são fenômenos que, geralmente, ocorrem de modo gradual. Os FATORES NÃO-PERSISTENTES estão geralmente fora do controle da instituição e, portanto, não podem ser repetidos regularmente a cada medição. Podem ter natureza amostral (como uma coorte de alunos de rendimento muito acima, ou muito abaixo do comum) ou natureza eventual (como uma condição climática extrema, ou uma escavadeira em operação no dia da prova). Como dificilmente se repetem de um ano para outro, são altamente voláteis, tendo impacto apenas no curto prazo e, portanto, tendem a sofrer uma rápida atenuação temporal. A intuição dos primeiros experimentos sugeriu que, quanto à interferência de fatores não-persistentes, as escolas de menor porte são mais sensíveis isto é, vulneráveis a oscilações de curto prazo que as escolas de grande porte. Essas impressões foram refinadas no experimento seguinte, que tentou efetuar medidas dinâmicas dos componentes persistentes

21 21 e transitórios que incidem sobre avaliações de performance. O princípio básico da análise é que os efeitos persistentes (mais duradouros) sofrem uma atenuação lenta, enquanto os efeitos não-persistentes (mais transitórios, mais voláteis) sofrem uma atenuação rápida. Em nosso modelo, pressupusemos que seu efeito se dissipa totalmente, um período depois. Partimos da base de dados referente ao quinquênio 2006~2010, que abrangia as séries temporais completas para escolas do estado de São Paulo (a construção de todas as séries usadas nesse artigo é descrita na seção Dados I. Base de Dados Geral ). Nessa base de dados, padronizamos os scores ano a ano e calculamos a correlação entre cada listagem anual gerada e o ano-base, Essas correlações foram em seguida plotadas em um gráfico, tendo como a outra variável a distância temporal o lag entre o ano de medição e o ano-base. A intenção era avaliar se a correlação, em relação a um ano fixo de referência, tendia a decrescer com o tempo (um atenuamento temporal, conforme previsto pela literatura). Os objetivos secundários eram avaliar se a correlação realmente sofreria uma queda mais acentuada no primeiro período que nos seguintes e, se possível, criar condições para uma estimativa das magnitudes relativas dos decaimentos de curto prazo e de longo prazo. Como no ensaio original, efetuamos a análise para escolas de diferentes tamanhos (1ª, 3ª e 5ª segmentações a 20%, ou quintis), ordenadas segundo o número de alunos prestantes em Pareceu-nos prudente incluir um segundo critério de segmentação, tendo em vista a heterogeneidade revelada nos gráficos de dispersão anteriores: realizar as análises em separado para escolas públicas e particulares. Os resultados obtidos são descritos na seção Resultados e Discussão (gráficos de linhas b2, tabela b1). C. DECOMPOSIÇÃO FINAL DA VARIABILIDADE DOS SCORES Kane e Staiger (2002) aprofundam a comparação entre escolas de pequeno e de grande porte e sugerem uma abordagem estatística simples, a fim de decompor a variação dos scores médios por escola (de um ano para outro) em fontes persistentes e não-persistentes. Replicamos essa análise para o ano-base de 2006, com vistas a identificar, isolar e estimar quantitativamente os efeitos das duas fontes distintas de volatilidade (uma de longo prazo e outra de curto prazo), sobre a performance escolar medida via ENEM. Um segundo nível de detalhe na análise também permitiu isolar, dentro da variância total associada ao componente

22 volátil (não-persistente), a fração decorrente da pura variância amostral (decorrente da variabilidade intra-escolar das notas, ou seja, entre notas de alunos de uma mesma escola). A importância dessa decomposição para o contexto de análise é simples: a divulgação das médias por escola pelo MEC permite comparações de desempenho entre escolas pelo público interessado (geralmente, atestando e atribuindo maior qualidade de ensino a esta escola ou àquela). Entretanto, essa prática pode implicar um efeito colateral usualmente negligenciado, ao transmitir uma falsa impressão de que, em determinada instituição de ensino, o desempenho dos alunos daquela instituição é homogêneo. Assim, a ideia dessa parte final do ensaio é estimar, em relação aos diferentes desempenhos entre escolas de uma mesma categoria (porte e rede de ensino), se essas diferenças de performance tendem a persistir de um ano para outro (ou se tendem a desaparecer no período seguinte); sofisticando o método, tentamos estimar também qual o impacto da diversidade de desempenhos dentro de uma mesma instituição sobre a variabilidade total de resultados obtidos pelas escolas de cada categoria. Algebricamente, a hipótese central dessa abordagem é que a variância total dos scores 2 entre escolas, y, depende de três contribuições: y persistente amostral resíduo 2 não persistente, onde cada componente da equação acima é calculado em separado: 2 A variância total dos scores entre escolas, y, foi calculada diretamente a partir dos scores individuais das escolas no quintil considerado. Pode ser chamada variância inter-escolar. O componente da variância associado ao efeito persistente foi calculado como. ( / ), onde ρ 1 é a correlação com a série de scores, defasada 2 2 persistente y 1 persistente em um período em relação ao ano-base de 2006, e persistente é uma estimativa da correlação serial de primeira ordem no componente persistente, estimada como a média de ( k 1 / k), para k = 1 a 3. Podemos interpretar persistente como o componente proporcional médio que não sofre decaimento temporal nos três períodos finais, e

23 23 ( / ) como um estimador de tamanho relativo (em porcentagem) desse 1 persistente componente persistente dentro da variância total no período inicial. O componente da variância total decorrente de pura variância amostral foi estimado como a média entre as variâncias amostrais de cada escola, calculadas em separado 2 2 i para cada instituição (, onde amostral, i n i 2 i é a variância intra-escolar, isto é, a variância entre as notas de cada aluno usadas na composição do score médio de determinada escola, e n i é a quantidade de notas usadas na composição dessa média). Esse componente é um dos elementos de natureza volátil (não-persistente) e precisou ser inteiramente construído a partir dos microdados do ENEM de 2006 (detalhes sobre sua manipulação seguem na seção Dados II. Microdados do ENEM 2006 ). O componente associado aos demais fatores não-persistentes, como o resíduo nessa equação. 2 resíduo, foi calculado Optamos por replicar a técnica original dos autores, efetuando o cálculo descrito acima para o primeiro, o terceiro e o último quintis do conjunto de escolas (ordenadas segundo o número de alunos prestantes na prova de 2006). A intenção era ilustrar mais uma vez que, quanto menor o porte da escola, maior é o efeito relativo das flutuações estatísticas de curto prazo sobre os scores finais, e sustentar esse fato com uma breve análise quantitativa. Além de repetir o procedimento descrito acima para cada quintil relevante, optamos por executá-lo separadamente sobre os universos de escolas públicas e escolas privadas, diante dos comportamentos dissonantes sugeridos nas análises anteriores. Os resultados são descritos na seção Resultados e Discussão e sintetizados nos gráficos de barras c1 e c Dados I. BASE DE DADOS GERAL Esse ensaio (e a maioria dos próximos) utilizou uma mesma base de dados, resultante do tratamento e da consolidação dos resultados finais das edições do ENEM de 2006 a 2010

24 24 ( Médias por Escola ). Essas planilhas são emitidas oficialmente pelo Inep/MEC e distribuídas aos canais de imprensa para divulgação e consulta pública. Especificamente, para as edições de 2008, 2009 e 2010 do exame, obtivemos as listagens de médias por escola, ano a ano (essas três listagens foram disponibilizadas, respectivamente, pelo site do jornal O Globo, pelo site de notícias G1 e pela assessoria de imprensa do jornal Folha de São Paulo ). Para períodos anteriores, dada a pequena disponibilidade dessas listagens, optamos por replicar as listagens oficiais referentes às edições do ENEM de 2006 e 2007, reproduzindo a exata metodologia do Inep sobre os microdados pertinentes (disponíveis no site do órgão). Esse procedimento, entretanto, foi efetuado apenas para as escolas do estado de São Paulo. A partir dessa coleção de cinco listagens, foi gerada uma planilha definitiva, pareando os dados disponíveis a cada ano para uma mesma escola (aqui identificadas pelo código da escola), de modo que, ao final do processo, estivessem as informações disponíveis para cada escola ordenadas segundo vetores. Optamos por eliminar da base de dados de determinado ano as escolas que, naquele ano, não atendessem à condição de participação absoluta mínima de 10 alunos em cada prova critério primário de elegibilidade adotado pelo Inep para publicação. O segundo critério de elegibilidade (taxa de participação relativa mínima de 2% dos matriculados) não foi aplicado nessa base de dados, pelo efeito marginal comparativamente baixo, após a adoção do critério primário de corte. Também foram previamente suprimidas do banco de dados as informações relativas a escolas em modalidades minoritárias, como EJA (Ensino de Jovens e Adultos), EMT (Ensino Médio Técnico-Profissionalizante) e categorias mistas, quando essa discriminação estava disponível. Os resultados desse estudo são, portanto, baseados exclusivamente em escolas de Ensino Médio Regular (EMR), a categoria mais frequente em todas as listagens usadas. entradas: Ao final do tratamento, cada escola passou a ser descrita por um vetor com 31 A. ENTRADAS DE IDENTIFICAÇÃO DA ESCOLA: Nome da Escola Unidade da Federação Município Modalidade (restrita a Ensino Médio Regular )

25 25 Rede ( Pública ou Particular ) Localização ( Urbana ou Rural ) B. ENTRADAS DE RESULTADOS (ano a ano, de 2006 a 2010) Número de Participantes na Prova Objetiva Número de Participantes na Prova de Redação Média geral da Escola na Prova Objetiva Média geral da Escola na Prova de Redação Média Geral Final da Escola (calculada como a média simples entre as médias geral na prova objetiva e geral na prova de redação ) Um procedimento adotado na manipulação da base de dados merece atenção: diferente dos demais anos, a listagem oficial disponibilizada pelo Inep para o ano de 2010 não constava de código da escola. A alternativa encontrada foi criar um rótulo indexador (um label ) formado pela combinação [ NOME DA ESCOLA + UNIDADE DA FEDERAÇÃO ] para cada escola pré-existente nas bases de dados de 2006 a 2009; e comparar esse indexador com labels análogos criados para a listagem de Somente nos casos de identidade perfeita entre dois labels os dados referentes a 2010 foram incorporados à base de dados; nos demais casos, foram descartados. Consideramos mínima a ocorrência de escolas diferentes com um mesmo label (isto é, escolas com nomes iguais em um mesmo estado). Esse procedimento reconheceu escolas em nível nacional, permitindo um aproveitamento, ao menos parcial, dos dados de Porém, para outras escolas, isso não foi possível; esse último conjunto de dados foi sumariamente desconsiderado naqueles ensaios que envolveram os scores de A base de dados definitiva arregimentou escolas nacionalmente distribuídas, pareadas totalmente ou parcialmente para o período 2006~2010. Seguem algumas estatísticas gerais sobre a disponibilidade de dados na base final: séries temporais completas para o quinquênio 2006~2010: escolas series temporais completas para o quadriênio 2006~2009: escolas séries temporais completas para o quadriênio 2007~2010: escolas séries temporais completas para o triênio 2007~2009: escolas séries temporais completas para o triênio 2008~2010: escolas séries temporais completas para o biênio 2008~2009: escolas

26 26 Essa mesma base de dados de scores, com adaptações simples, gerou as séries de diferenças em primeira ordem (chamados frequentemente de changes ), usadas em alguns ensaios. Optamos por operar sempre com changes padronizados, para permitir comparabilidade. Nesses casos, as listagens anuais de scores foram padronizadas para cada ano, usando como parâmetros a média e o desvio-padrão de cada listagem (naturalmente, obtidos dentre as escolas com scores disponíveis naquele ano). II. MICRODADOS DO ENEM 2006 Para o cálculo de variâncias intra-escolares, usadas na etapa C do ensaio, recorremos aos microdados do ENEM O arquivo original, em formato ASCII, foi lido vetor a vetor e convertido em uma listagem com os seguintes dados por entrada (filtros indicados por asteriscos): aluno de ensino médio regular ou de ensino para jovens e adultos (*EMR), código da escola (*código declarado e válido), unidade da federação (*SP), município, dependência administrativa, presença à prova objetiva (*sim), média obtida na prova objetiva, presença à prova de redação, nota obtida na prova de redação (os filtros empregados para leitura, se acionados, foram indicados por asteriscos). Para as escolas com 10 ou mais alunos na prova objetiva, calculamos a média escolar e a variância entre as notas que compuseram cada média (para todos os candidatos de uma mesma instituição). Finalmente, cada entrada foi organizada na listagem definitiva constando de: código da escola, média dos alunos na parte objetiva, variância intra-escolar entre notas da parte objetiva, número de alunos prestantes Resultados e Discussão A. EVIDÊNCIAS QUALITATIVAS DE VARIAÇÃO AMOSTRAL Os gráficos de dispersão de score médio X número de alunos prestantes, para cada instituição, foram construídos a partir das médias por escola, prova objetiva do ENEM, ranking de O objetivo era avaliar se esses scores continham indícios de erros de medida. Para fins comparativos, replicamos o experimento para três níveis diferentes de agregação (nacional, estadual, municipal); os resultados seguem nos scatterplots a1, a2 e a3.

27 27 gráfico a1: médias por escola, nacional, prova objetiva ( escolas) gráfico a2: médias por escola, estado de SP, prova objetiva (4.603 escolas) gráfico a3: médias por escola, município de São Paulo, prova objetiva (895 escolas) A primeira impressão foi que as distribuições seguiram a tendência qualitativa prevista pela literatura: escolas de pequeno porte estão associadas a distribuições mais amplas e a scores extremos, enquanto as escolas de grande porte exibem scores centralizados, tendendo para seu desempenho histórico. Kane & Staiger (2002) sugerem que esse comportamento ilustra a importância da variação amostral (uma das fontes de erros de medida) em avaliações de aplicação pontual, como a prova do ENEM. A explicação estatística sugerida é que escolas com menor número de alunos apresentam maior vulnerabilidade à variação amostral por exemplo, com poucos alunos matriculados, uma coorte de desempenho excepcionalmente bom (o que os professores informalmente chamariam de boa safra anual ) ou excepcionalmente ruim pode impactar severamente na média final atingida por aquela instituição no ENEM daquele ano. Nos gráficos acima, notamos que tanto a escola de melhor desempenho quanto a de pior desempenho são sempre escolas com menos de 100 alunos essa é uma evidência empírica a favor dessa explicação estatística, apesar de certamente haver explicações de outras natureza que também poderiam justificar essa correlação (como o possível fato pedagógico de escolas com poucos alunos, principalmente particulares, alegarem maior atenção individual ao aluno, o que supostamente produziria melhores resultados, ou o possível fato econômico de escolas de baixa performance terem menor demanda por servicos e, consequentemente, menos matrículas). Entretanto, o mérito do modelo estatístico está em fornecer uma explicação geral e ampla para o comportamento das escolas: segundo essa proposta, em amostras pequenas de alunos, qualquer fator que interfira no seu desempenho (seja ao longo do ano letivo, seja no dia de aplicação da prova) terá efeito agravado; à medida que as escolas aumentam de porte,

28 28 verifica-se uma fuga em relação a esses extremos de desempenho, decorrente da redução no componente amostral do erro de medida, e aumenta a propensão da escola a acusar melhor seu nível real (e histórico) de desempenho. Uma forma simples de avaliar se essa dispersão é, ao menos em parte, devida a erros de medida, associados a menor variação amostral, é adicionar um novo critério de avaliação aos já aplicados. Abaixo, reproduzimos a dispersão para a base de dados nacional, médias da prova objetiva, e comparamos com a dispersão equivalente, após a inclusão da prova de redação como critério de avaliação (simulando o critério-padrão de componentes e pesos adotado pelo Inep 50% para a média das provas objetivas, 50% para a redação). gráfico a1: médias por escola, nacional, prova objetiva ( escolas) gráfico a4: médias por escola, nacional, média entre prova objetiva e redação ( escolas) A comparação entre os dois diagramas revelou que a incorporação da nota de redação à medida contribuiu, ao menos visualmente, para atenuar o efeito da variação amostral (e aumentar o efeito de convergência esperado para escolas de grande porte). De fato, a inclusão de cada novo critério de avaliação sobre um mesmo universo de alunos (naturalmente, medindo novas habilidades) deve impactar principalmente sobre escolas que estão atreladas a scores probabilisticamente instáveis, isto é, viesados em relação ao desempenho escolar real da instituição (não-observável) e fragilmente sustentados por uma situação viabilizada apenas pela variação amostral. Uma característica particular das dispersões produzidas até então chamou a atenção, por destoar do ensaio original com escolas americanas a ocorrência visível e persistente de dois picos de convergência: um mais alto e menos saliente, e um mais baixo e denso.

29 29 Ambos estão bem visiveis, por exemplo, no gráfico a3, mas a literatura previa a ocorrência de apenas um. Isso sugeriu que, à medida que as escolas aumentam de porte, ao menos no caso brasileiro, coexistiriam dois processos distintos de convergência. Aparentemente, havia um importante critério de segmentação que fora ingnorado nos ensaios anteriores. A opção que nos pareceu mais óbvia foi repetir o procedimento, mas separando as escolas dos universos privado e público. A reconstrução dos gráficos pareceu eliminar a dicotomia, permitindo a identificação de duas realidades bastante distintas nas bases de dados: os gráficos à esquerda representam as dispersões de escolas particulares; os gráficos à direita representam as dispersões de escolas públicas (gráficos superiores, base de dados nacional; gráficos inferiores, base de dados paulista). gráfico a5, particulares: médias por escola, nacional média da prova objetiva (5.167 escolas) gráfico a5, públicas: médias por escola, nacional média da prova objetiva ( escolas)

30 30 gráfico a6, particulares: médias por escola, estado de SP média da prova objetiva (1.363 escolas) gráfico a6, públicas: médias por escola, estado de SP média da prova objetiva (3.240 escolas) Em termos comparativos, temos que os gráficos de escolas particulares revelam instituições menos numerosas e distribuídas de modo mais heterogêneo, mas com rendimentos médios notoriamente superiores, em relação às escolas públicas. Para essas, temos nuvens mais densas (ou seja, maior número de instituições, com scores mais próximos), com distribuições de scores mais homogêneas, e homogeneamente mais baixas, que no caso das particulares. Essa separação é tão definida no caso brasileiro que, em alguns dos ensaios subsequentes, optamos por realizar testes em separado para cada um desses dois universos. No presente ensaio, essa separação permitiu identificar com mais clareza a tendência sugerida nos anteriores: a maior amplitude de resultados associada a escolas de pequeno porte, bem como, para escolas de porte crescente, uma tendência de convergência à média geral dos candidatos. Esse resultado é importante por ser condizente com o comportamento esperado do efeito de variação amostral; assim, nos fornece um primeiro indício da incidência de erros de medida sobre o desempenho escolar. A despeito dessa tendência estatística, também foi possível mapear visualmente a existência de algumas exceções a essa regra, em ambos os grupos: há escolas de grande porte, públicas e privadas, com desempenho bastante acima da média geral de seus respectivos universos. Por outro lado, são menos frequentes as escolas de grande porte com desempenho muito abaixo da média. Esse fato pode sugerir a eficácia de algum tipo de mecanismo de seleção (ou via concorrência de mercado, no sentido de banir escolas particulares de

31 31 desempenhos baixos antes que elas cresçam, ou via órgãos públicos, no sentido de fiscalizar e intervir em escolas de qualidade notoriamente ruim). É importante destacar também a ocorrência de algumas ilhas de excelência no contexto das escolas públicas, instituições de porte intermediário com desempenhos médios compatíveis com os das melhores escolas privadas. Em um gráfico de dispersão final, condensamos novamente as escolas públicas e particulares em um banco único e efetuamos uma medida não em nível, como as anteriores, mas em diferenças padronizadas em primeira ordem (changes). gráfico a7: change em médias padronizadas por escolas, nacional média da prova objetiva, período 2008~2009 (8.511 escolas) Esse último gráfico indicou que escolas com poucos alunos estão sujeitas não somente a scores mais extremos, mas também a flutuações de curto prazo mais intensas nesses scores. Ou seja, há indícios de que, na medição do desempenho de grande parte das escolas de pequeno porte, existe uma porção substancial dessa medida potencialmente comprometida com a volatilidade. Se esse for o caso, parte dessa medida tenderia a desaparecer no período seguinte e, quanto menor a escola, maior o erro potencialmente incorporado a essa medida. As escolas de grande porte, por outro lado, tenderiam a exibir mais estabilidade nessas medidas de desempenho, com changes de menor magnitude entre um ano e outro (observe que a média em changes é algo próximo de zero, que é para onde convergem as diferenças em primeiro nível associadas a essas escolas).

32 32 B. ATENUAMENTO TEMPORAL DO RUÍDO ESTATÍSTICO A presença de dois componentes (um persistente, outro não-persistente) foi inicialmente testada por meio de uma análise da correlação seriada nos scores, a partir da base de escolas paulistas. Segundo nossa hipótese teórica, o componente não-persistente, mais volátil, sofreria dissipação completa até a próxima medida. Como ilustração, reproduzimos os resultados obtidos para o quintil central de escolas públicas (os resultados para os demais quintis de escolas públicas e para as escolas particulares seguem no Anexo, gráficos b1 a b6). gráfico b2: Correlação entre scores, escolas públicas (3º. quintil) A tabela à esquerda registra a correlação simples (de Pearson) obtida nos scores padronizados de cada ano a partir de 2007, sempre em relação ano ano-base de Foi possível identificar claramente o padrão de decaimento previsto pelo ensaio original no primeiro lag, um decaimento rápido na correlação entre as notas; nos períodos subsequentes, um decaimento mais regular e menos acentuado. Segundo Kane & Staiger (2002), os resultados do primeiro período de medição do desempenho escolar (score de 2006) sofrem incidência simultânea de dois fatores de decaimento, que se manifestam conjuntamente após o primeiro lag temporal: um fator volátil, de curto prazo e rápida dissipação (no nosso modelo, supusemos que ele se dissipa completamente até a próxima edição do ENEM, um ano depois) e um fator contínuo de decaimento, de atenuação lenta, associado à mudança paulatina nos fatores de natureza persistente (troca natural de corpo docente ou mudanças curriculares graduais). No gráfico em questão, a magnitude desse segundo tipo de decaimento foi muito menor que a magnitude do primeiro tipo, mas o ensaio original prevê que essa discrepância tende a se reverter à medida que as escolas aumentam de porte, pois, em escolas maiores, o erro de medida associado à

33 33 variação da amostra de um ano para outro tende progressivamente a zero (gráfico a7). Em outras palavras, escolas com mais alunos tendem a apresentar uma série de autocorrelação temporal mais linear e estável (conforme ilustram os gráficos b3 e b6 do Apêndice A). Na prática, esse decaimento lento e contínuo na correlação foi estimado como uma média simples do decaimento nos últimos três lags do período: em cada um dos três lags finais, calculamos a persistência percentual na correlação de um período para o outro (isto equivale a um modelo log-linear, onde se ajusta uma reta média, a partir das três observações finais, em direção ao intercepto). Os detalhes algébricos envolvidos constam na seção Metodologia. Essa estimação foi calculada separadamente para o primeiro, o terceiro e o quinto quintis das populações de escolas paulistas públicas. O procedimento foi repetido para as escolas particulares e o resultado segue na tabela b1 abaixo. As porcentagens a seguir são estimativas do componente persistente da medida ainda no primeiro período (antes ainda da incidência das atenuações de curto e de longo prazo). Tabela b1. Estimativa do componente persistente médio nos desempenhos escolares. ESCOLAS PÚBLICAS ESCOLAS PRIVADAS pequeno porte (1º. quintil) 39,4% 62,6% médio porte (3º. quintil) 67,0% 82,4% grande porte (5º. quintil) 84,1% 90,5% Existem duas direções de análise comparativa entre os dados apresentados. Quanto ao porte das escolas, obtivemos uma confirmação dos resultados, até então qualitativos, dos diagramas de dispersão construídos no início do ensaio: escolas de menor porte apresentam scores proporcionalmente mais voláteis, isto é, a magnitude do componente persistente nas medidas de desempenho realizadas é proporcionalmente menor. Por outro lado, à medida que aumenta o porte da escola (em direção ao 5º. quintil), a fração associada ao componente persistente das medidas de performance aumenta de 39,4% para 84,1%, em média, para escolas públicas; e aumenta de 62,6% para 90,5%, em média, para escolas particulares. Essa amenização do fator de decaimento de curto prazo é uma evidência em favor da redução da variação amostral ano a ano, esperada para escolas grandes. Como comentário adicional, notou-se que as escolas do quintil inferior também apresentam

34 34 comportamentos mais erráticos da correlação serial, com curvas menos comportadas em relação à previsão teórica (vide Apêndice, gráficos b2 a b6). A comparação entre os dois universos sugere, entretanto, persistências médias maiores para escolas particulares que para públicas. Uma possível explicação é que as escolas particulares apresentam características mais estáveis de um ano para outro, como currículos mais bem definidos, corpo docente com menor rotatividade, metas de longo prazo e/ou práticas pedagógicas mais consolidadas (menos voláteis). Entretanto, Kane & Staiger alertam para o fato de que, como não se efetua nessa abordagem de análise nenhum controle para características dos alunos prestantes, é também possível que essa maior persistência associada a escolas particulares seja simplesmente o reflexo, ao longo do tempo, de uma maior estabilidade nas características da população que alimenta essas escolas (e não uma consequência intencional de práticas de ensino). Um comentário final diz respeito ao comportamento incomum verificado no gráfico b4, para a correlação serial em lag 4, quando ocorreu uma queda muito acentuada e inesperada. Provavelmente (ou ao menos em parte), trata-se de uma anomalia estatística, decorrente principalmente do baixo tamanho da sub-amostra em questão (43 escolas). O aumento acentuado em correlação no período seguinte (lag 5), igualmente inesperado, sustenta essa hipótese, sugerindo uma correção casual dos dados em direção à sua tendência natural (retorno à média). Parte dessa queda abrupta provavelmente se deve à mudança metodológica por que passou o ENEM na prova de 2009, quando o Inep passou a adotar a Teoria de Resposta ao Item (TRI) em substituição à Teoria Clássica dos Testes (TCT). Notamos que esse efeito transitório manifesta-se também na forma de um aumento pequeno mas igualmente inesperado na série equivalente para escolas públicas (gráfico b2). O fato de que ambas essas flutuações de curto prazo tenham despontado nas segmentações de quantis inferiores sustenta a tese de que escolas de pequeno porte têm maior sensibilidade/vulnerabilidade a esse tipo de anomalia. C. DECOMPOSIÇÃO FINAL DA VARIABILIDADE DOS SCORES As estimativas do tamanho do componente persistente para cada uma das seis categorias analisadas (escolas de pequeno, médio e grande portes; públicas e privadas) serviram de base para a etapa final desse ensaio. Foi necessário efetuar mais dois cálculos para cada categoria: variância inter-escolar de scores (a partir das listagens do ENEM, médias

35 35 por escola) e estimativas para a variância amostral intra-escolar média (a partir dos microdados do ENEM 2006), nas condições algébricas detalhadas na seção Metodologia. A separação final dos 3 componentes da variância dos scores (ENEM 2006, médias por escola) segue: Gráfico c1. Decomposição da variabilidade de scores (médias por escola), escolas públicas Gráfico c2. Decomposição da variabilidade de scores (médias por escola), escolas particulares ESCOLAS PÚBLICAS: 1º. QUINTIL 3º. QUINTIL 5º. QUINTIL FRAÇÃO PERSISTENTE DA VARIÂNCIA 39,44% 66,99% 84,07% NÃO-PERSISTENTE (AMOSTRAL) 46,12% 21,43% 2,17% NÃO-PERSISTENTE (OUTROS) 14,44% 11,58% 13,75% ESCOLAS PARTICULARES: 1º. QUINTIL 3º. QUINTIL 5º. QUINTIL FRAÇÃO PERSISTENTE DA VARIÂNCIA 62,57% 82,43% 90,51% NÃO-PERSISTENTE (AMOSTRAL) 32,61% 16,61% 0,51% NÃO-PERSISTENTE (OUTROS) 4,82% 0,96% 8,98% As decomposições feitas permitem algumas conclusões. Em primeiro lugar, temos uma ilustração, agora quantitativa, da relação entre o porte da escola e a volatilidade nas medidas de performance do ENEM. Os resultados das primeiras abordagens haviam já sugerido que as escolas de menor porte apresentariam maior vulnerabilidade a erros de medida, pelo menor tamanho da amostra. Assim, teriam maior

36 36 vulnerabilidade a flutuações de curto prazo e, consequente, estariam sujeitas a medidas relativamente mais voláteis de performance. As decomposições acima confirmam essas impressões: em um caso extremo, o de escolas públicas de pequeno porte, quando se avalia o espectro de notas atribuídas às escolas, mais de 60% da variabilidade (diferenças de performance) é não-persistente, ou seja, tende a dissipar no período seguinte. Em outras palavras, quando comparamos duas notas atribuídas a duas escolas dessa mesma categoria, devemos ter em mente que mais da metade da diferença que aparentemente existe entre elas é ilusória e transitória. Nas escolas particulares de pequeno porte, esse componente transitório é menor, mas ainda responde por quase 40% da variabilidade entre notas da categoria. À medida que as escolas aumentam de porte, ocorre um processo de consolidação das notas, isto é, o componente persistente da variabilidade entre notas (aquele que tende a se manter até a medição do próximo ano) aumenta de participação lembramos mais uma vez que Kane & Staiger (2002) sugerem que grande parte desse efeito persistente provavelmente se deve a características estáveis das populações que regularmente alimentam as escolas (já que esse experimento não executa controle para essas características), e não necessariamente à manutenção de práticas escolares. Mesmo nas escolas de grande porte, o componente transitório atinge cifras de quase 15% e quase 10% (nas escolas públicas e particulares, respectivamente). A presença desse componente volátil deve ser levada em conta quando os scores da prova do ENEM são usados como parâmetro ou critérios de decisão: exemplos são programas governamentais que atribuem bonificações e/ou verbas por metas de desempenho e colocação, ou pais decidindo em que escola matricular seus filhos. De acordo com a categoria em que a escola se situa, pode haver grande contaminação da medida de desempenho divulgada (como as médias por escola ) por flutuações estatísticas de curto prazo, que tenderão a volatilizar ou reverter, nas próximas medições. Uma segunda questão crítica que as decomposições acima revelam diz respeito à variabilidade amostral, ou seja, à variação de desempenhos de alunos dentro de uma mesma escola. A divulgação de listagens de médias por escola tende a destacar as diferenças de notas entre as instituições (variância inter-escolar). Essa opção usualmente tem como efeito colateral negligenciar as diferenças de notas entre alunos de uma mesma escola (variância intra-escolar): a falsa impressão é que, dentro de cada instituição, o desempenho dos alunos é praticamente homogêneo. Apesar desse ser realmente o caso de algumas escolas particulares

37 37 de grande porte, nas demais categorias de escolas particulares (e em todas as categorias estudadas de escolas públicas) a variância intra-escolar de notas indica diferenças consideráveis de desempenhos entre um bom e um mau aluno dentro da mesma instituição. No caso extremo das escolas particulares de pequeno porte, quase 90% do componente não-persistente da diferença de desempenhos entre instituições (aquele componente que tende a volatilizar dentro de um ano) é decorrente de diferentes graus de desempenho entre alunos de uma mesma escola. Esse ensaio ilustra algumas distorções que rankings unificados de média por escola, como o ranking do ENEM, podem propagar: o comportamento das escolas ali representadas pode ser radicalmente diferente, de acordo com a categoria em que a escola se enquadra (pública ou particular, pequeno ou grande porte). No ranking divulgado após o exame de 2010, por exemplo, houve o cuidado de segmentar as escolas por taxa de participação (como forma de amenizar a questão do viés amostral), mas ao menos duas fontes de potencial distorção substancialmente mais importantes porte da escola e variância intra-escolar continuaram ignoradas.

38 38 Capítulo 4. EVIDÊNCIA DE RUÍDO ESTATÍSTICO Uma das sugestões do ensaio anterior é que eventos de natureza casual são continuamente incorporados ao desempenho dos candidatos no ENEM e, sistematicamente, retransmitidos aos rankings escolares finais. Se esse for o caso, esses são fatores esporádicos e ocasionais, de repetição improvável no ano seguinte; assim sendo, seu efeito seria pontual e tenderia a se reverter na próxima medição da performance escolar. Indícios de retorno à média podem ser, portanto, boas evidências de ruído aleatório incidindo nas medidas feitas via ENEM. Eventos dessa natureza incluem condições climáticas extremas no dia da prova, desconforto severo decorrente de um canteiro de obras em operação próximo ao local do exame, uma coorte de alunos excepcionalmente boa ou ruim em determinado ano, a presença de um aluno particularmente perturbador em um ano letivo ou qualquer outra situação fora do comum que possa ter impacto sobre o desempenho de uma fração significativa dos candidatos. Assim, nesse segundo experimento, testamos uma outra abordagem quantitativa para encontrar evidências de retorno à média (mean-reversion) nas séries temporais de desempenhos registrados pelo Inep Metodologia Reproduzimos um procedimento originalmente empregado por Dichev (1999), na avaliação de rankings de MBAs nos EUA, mas agora sobre a base de dados do ENEM para o período trianual 2008~2010, com escolas (a composição dessa base de dados é detalhada no capítulo anterior, Dados Base de Dados Geral ). Foram tomados os scores médios por escola para as edições de 2008, 2009 e 2010 e as listagens em cada ano foram padronizadas (subtraindo de cada score a média anual e dividindo o resultado pelo desvio-padrão respectivo). Finalmente, subtraímos cada duas observações consecutivas e geramos duas séries pareadas de diferenças: DIFF1 i = SCORE 2009,i SCORE 2008,i DIFF2 i = SCORE 2010,i SCORE 2009,i, onde i identifica uma escola.

39 39 A avaliação quanto à ocorrência de retorno à média foi feita por três medidas: d1. o percentual de pares consecutivos com produto negativo (ou seja, aqueles pares formados por uma diferença positiva imediatamente seguida por uma diferença negativa, ou formados por uma diferença negativa imediatamente seguida por uma diferença positiva); d2. o sinal e o valor do coeficiente associado à autocorrelação serial em primeira ordem. d3. o sinal e o valor do coeficiente associado a uma processo autorregressivo de primeira ordem, segundo um critério de Mínimos Quadrados Ordinários, no intuito de avaliar se as diferenças em um ano (DIFF1) carregam poder explicativo quanto às diferenças no ano seguinte (DIFF2). Os resultados seguem na próxima seção Resultados e Discussão Realizamos três medidas de persistência/transitoriedade nessas diferenças em primeira ordem: pareamento de sinais, autocorrelação e simulação de processo autorregressivo de primeira ordem. A análise estatística do pareamento de sinais foi baseada em scores (três para cada escola da base de dados) registrados entre 2008 e 2010, resultando na seguinte distribuição: Tabela d1. Manutenção de sinal X inversão de sinal em diferenças pareadas de primeira ordem. mudança POSITIVA seguida por mudança POSITIVA: ocorrências (17,5%) mudança POSITIVA seguida por mudança NEGATIVA: ocorrências (32,9%) mudança NEGATIVA seguida por mudança POSITIVA: ocorrências (32,0%) mudança NEGATIVA seguida por mudança NEGATIVA: ocorrências (17,6%) Fonte: dados trabalhados pelos autores. Em suma, as situações de inversão de sinais representaram 64,9% das ocorrências, contra 35,1% de manutenção de sinais. Essa evidência sugere que a maioria das mudanças

40 40 (ganhos ou perdas) no score padronizado de um ano para o outro são revertidas, total ou parcialmente, no período seguinte. Esse é um forte indício de retorno à média, o que, por extensão, sugere que as medições realizadas são continuamente contaminadas por ruído estatístico. Uma análise das correlações simples de Pearson apontou coeficiente de 0,4667 (média das correlações entre changes, no universo de escolas paulistas). Segundo Kane & Staiger (2002), valores próximos de 0,5 (que seria a correlação esperada caso os scores fossem gerados por um processo completamente aleatório e sem memória, como um ruído branco ) sugerem a forte presença de um componente aleatório na medida. Dichev (1999) ainda aponta que o sinal negativo indica a tendência de retorno à média ( reversibility ) nas séries temporais observadas para o universo de escolas, e que esse sinal registra a natureza oscilatória da medida empregada. Se a hipótese de retorno à média for correta, também podemos esperar que as diferenças entre os scores de 2009 e 2008 carregassem algum poder explicativo sobre as diferenças entre os scores de 2010 e 2009, para cada uma mesma instituição. Assim, efetuamos uma regressão entre as séries DIFF2 e DIFF1, segundo um critério de Mínimos Quadrados Ordinários, na expectativa de medir a magnitude do efeito do change de um ano sobre o change do próximo ano (algebricamente, o processo correspondente é DIFF2 = α. DIFF1 + ε). Obtivemos um coeficiente α = 0,469571, muito significativo (estatística de teste t = 48,69089), e um R 2 = 0, Mais uma vez, o sinal negativo indica que mudanças em um ano tendem a uma poderosa reversão no ano seguinte, para o conjunto de escolas. Obviamente, isso não quer dizer que investimentos feitos na escola (por exemplo, pelos seus dirigentes), visando a um aprimoramento duradouro, serão integralmente revertidos no próximo período. Mas sugere fortemente que o ruído estatístico pode corresponder a uma fração expressiva dos scores registrados ano a ano. No caso de medidas envolvendo variações interanuais, como changes, esse problema se agrava por dois motivos: o componente medido será proporcionalmente menor (afinal, o change é usualmente parte da medida do score final), e erros incidirão sobre ambas as medidas, o score do ano inicial e o score do ano final (ainda que os erros tendam a se anular, em uma janela temporal suficientemente ampla). A conclusão é que quando se observam medidas de performance escolar baseadas em diferenças de score (como metas de crescimento entre uma medição e outra) deve-se ter em mente que parte expressiva das medidas empregadas está comprometida com um componente volátil e transitório. Esse conhecimento é importante quando se pretende desenhar de modo

41 eficiente, por exemplo, uma política de incentivos baseada em desempenhos de alunos em provas, seja na gestão de instituições públicas, seja na gestão de instituições particulares. 41

42 42 Capítulo 5. ESTABILIDADE INTERANUAL DOS RANKINGS Nos ensaios anteriores, voltamos nossa atenção para os scores médios obtidos pelas escolas no ENEM, tentando identificar alguns fatores que contribuam para que essas medidas de desempenho estejam associadas à maior estabilidade (persistência) ou instabilidade (volatilidade). Esses scores médios são usualmente publicados pelos canais de imprensa, por ocasião da divulgação dos resultados pelo Inep/MEC. Entretanto, é provável que a informação mais interessante e de maior impacto entre o público seja a posição que esta ou aquela instituição atingiu nos rankings. Sugerimos duas explicações para esse fato: a interpretação de uma posição (digamos, terceira ou quarta posição) exige menos abstração que a interpretação de um score médio (como 705 pontos ou 645,5 pontos ); e a questão de ser uma informação mais fácil de reter e de lembrar. Assim, nesses últimos experimentos, mantivemos a proposta anterior de medir a propensão dos rankings à estabilidade ou instabilidade, mas demos enfoque maior à questão das posições produzidas pelo ranqueamento. Nossa primeira abordagem nesse sentido baseou-se na construção de um pequeno conjunto de matrizes de Markov, a fim de compararmos seus comportamentos. O objetivo, ao recorrermos a essas matrizes de estado, era investigar a dinâmica de transição intertemporal entre categorias escolares (quantis), no ranking de médias por escola. Essa abordagem se justifica, pois, nessas matrizes, cada elemento a ij registra a proporção de escolas inicialmente pertencentes ao i-ésimo quantil da distribuição que, no período final, migraram para o j-ésimo quantil (naturalmente, cada elemento é um número decimal entre 0 e 1). Em termos estatísticos, essas proporções empíricas são estimadores, por máxima verossimilhança, da probabilidade de transição do estado (categoria) i para o estado (categoria) j. Por exemplo, os elementos da diagonal principal (onde i = j) representam as proporções de instituições que permaneceram em seus respectivos quantis ao longo do tempo. Assim, o comportamento da diagonal principal pode dar uma primeira medida da estabilidade intertemporal do ranking. As diagonais semi-principais (onde i = j + 1 ou i = j 1) também contêm informação nesse sentido, pois indicam escolas que caíram ou subiram apenas uma categoria (por exemplo, passaram do 4º. decil da distribuição para o 3º., indicando um deslocamento suave de categoria e, portanto, incorporando um grau pequeno de instabilidade ao ranking). Por outro lado, as demais posições da matriz (onde i e j são discrepantes) acusam

43 43 saltos maiores de categoria e estão associadas a transições bruscas de posição (por exemplo, uma escola que caia do 2º. decil para o 8º., ou suba do 9º. para o 3º., entre duas edições diferentes do ENEM). Quanto mais distante da diagonal principal se situa o elemento na matriz, mais radical é a migração de categoria; isso pode ser interpretado como mais instabilidade incorporada ao ranking em questão Metodologia Iniciamos com três ensaios para o período 2008~2009: e1. Evolução anual de escolas, Brasil. e2. Evolução anual de escolas, estado de São Paulo. e3. Evolução anual de escolas, município de São Paulo. A intenção dessa primeira aproximação era avaliar padrões gerais no comportamento das matrizes de transição, além de checar se esses padrões eram sensíveis a níveis de agregação diferentes. Em uma segunda investigação, com alvo melhor definido, decompusemos a matriz para o município de São Paulo (ensaio e3) para comparar escolas públicas e particulares, a fim de identificar diferenças na dinâmica de ambos os universos: e4. Evolução anual de escolas particulares X públicas, município de São Paulo. Nosso próximo objetivo era avaliar a dinâmica de médio prazo. Assim, repetimos o último procedimento para uma janela de tempo mais ampla: e5. Evolução no médio prazo de escolas particulares X públicas, município de São Paulo, para o quadriênio 2006~2009. Como referência para reconstrução dos rankings, os ensaios acima utilizaram os scores médios na parte objetiva da prova (testes com alternativas). Essa opção é fundamentada na maior objetividade implícita ao processo de correção nesse tipo de avaliação (em comparação à prova de redação, que tende a incorporar algum grau de subjetividade pelos corretores).

44 44 Entretanto, o critério oficial de ranqueamento adotado pelo Inep não é esse, mas a média entre esses dois componentes da prova, com iguais pesos (ou seja, 50% para média das provas objetivas, 50% para a redação). Esse parâmetro misto é que é comumente adotado pelo Inep para divulgação à imprensa e para veiculação ao público geral; assim, optamos por reproduzir o ensaio e5 acima, agora ranqueando as escolas particulares segundo esse critério. e6. Evolução no médio prazo de escolas particulares, município de São Paulo, para o quadriênio 2006~2009, média geral entre parte objetiva e redação. A ideia desse último ensaio é avaliar se, em um intervalo de três anos (simulando o lapso temporal entre a decisão de cursar determinada escola no ensino médio e a conclusão desse nível na instituição escolhida), as escolas tendem a manter-se em seus respectivos quantis ou não. Como ilustração, uma informação pertinente seria contabilizar quantas das escolas inclusas no primeiro decil em 2006 ( top 10% ) permaneciam nessa categoria em 2009, três anos depois. Em termos metodológicos, esses ensaios envolveram três discussões subjacentes. A primeira diz respeito ao tamanho dos quantis a serem usados. A análise via matrizes de transição de Markov envolve necessariamente uma discussão sobre qual a segmentação mais adequada; em nosso caso, optamos pela segmentação a 10% decis, mas essa decisão, longe de ser um consenso ou padrão técnico, sempre incorpora alguma arbitrariedade ( adhoc fashion ) e diferentes opções por tamanho de segmentação podem levar a conclusões diferentes. Para contornar essa limitação, refizemos alguns ensaios estratégicos dentre os listados acima, usando segmentações a 5% e a 20% (respectivamente, vintis e quintis), para avaliar se as conclusões obtidas eram robustas nesse sentido. A segunda discussão envolve os rankings usados no ensaio. Para a construção das matrizes citadas acima, foram usadas as séries temporais descritas no capítulo 3 ( Dados I. Base de Dados Geral ), com os scores médios por escola pareados ano a ano (2006~2009). Aqui, cabe uma nota sobre o procedimento empregado: após identificarmos as escolas presentes ao longo de toda a série temporal, os rankings foram recalculados ano a ano (ou seja, não se trata de uma republicação dos rankings oficiais divulgados pelo MEC, mas de uma reconstrução a partir deles). Esse procedimento foi necessário porque, se não eliminássemos das listagens anuais as escolas que se movem para dentro e para fora do ranking ao longo dos anos, existiria o risco do ranking tornar-se descontínuo, levando os quantis originalmente publicados a perderem a uniformidade, em termos de tamanho. Essa

45 45 não-uniformidade nos tamanhos dos quantis teria, como efeito final, a descalibração e a corrupção das matrizes de transição de estado. Um terceiro cuidado foi manter nas bases de dados apenas quantidades de escolas múltiplas de 10. Essa medida visava a garantir que os decis sempre contivessem o mesmo número de escolas, evitando eventuais problemas de arredondamento decorrentes de discretização (condição exigida na abordagem de Markov). Para tanto, após a triagem inicial, as bases de dados foram truncadas até o múltiplo de 10 mais próximo, de modo a viabilizar o tratamento via Markov, mas com perda mínima de observações. Em todos os casos, na falta de um critério definitivo, optamos por eliminar, quando necessário, a(s) escola(s) de pior(es) desempenho(s) na avaliação mais recente da série temporal. Analogamente, nos ensaios gerados com segmentação a 5% (vintis), a base de dados foi truncada até o múltiplo de 20 mais próximo, segundo o mesmo critério. Os resultados gerados nessa análise seguem na seção seguinte Resultados e Discussão Os primeiros ensaios foram realizados com as escolas agregadas em nível nacional (Brasil), estadual (SP) e municipal (São Paulo), para o período 2008~2009. Para fins comparativos, reproduzimos as matrizes geradas para as escolas brasileiras e paulistanas (a matriz gerada para a base de dados paulista produziu resultados similares e consta no Apêndice B). Matriz e1. Evolução anual de escolas, nível nacional.

46 46 Matriz e3. Evolução anual de escolas, município de São Paulo. Inicialmente, a análise das diagonais principais em todos os casos revela um padrão notável: escolas localizadas nas pontas das distribuições têm maior propensão a permanecerem em seus decis originais (ou sofrerem deslocamentos pequenos de categoria, para cima ou para baixo). Isso quer dizer que, ao menos na transição anual avaliada nesse ensaio, escolas excepcionalmente boas tenderam a permanecer no topo (e, simetricamente, escolas excepcionalmente ruins tenderam a permanecer na base da distribuição). Esse achado é ainda mais surpreendente se levarmos em conta que foi justamente nessa transição de 2008 para 2009 que o Inep adotou o TRI como nova metodologia, o que poderia gerar grande transitoriedade nas camadas. Aparentemente, o bom rendimento das escolas de ponta não dependeu da métrica empregada para avaliar os alunos (e, indiretamente, as escolas). Alguns fatores que podem explicar esse fenômeno de divergência de performance (no sentido de projetar as escolas de elite continuamente para cima, a despeito do efeito algo homogeneizante da flutuação aleatória) seriam (i) estabilidade das populações que abastecem regularmente essas escolas, (ii) investimentos anteriores, persistentes, com efeitos duradouros e já consolidados na qualidade escolar, feitos por essas escolas, e (iii) circularidade entre sucesso concorrencial e reinvestimentos: escolas de sucesso poderiam, por exemplo, captar alunos melhores, ou no caso das particulares mobilizar mais recursos financeiros na forma de reinvestimentos contínuos em qualidade e desempenho. Analogamente, para a ponta inferior da distribuição valeria um pensamento equivalente, segundo o qual escolas cronicamente mal avaliadas se defrontariam contra um processo espiral e contínuo de queda de qualidade; em outras palavras, enfrentariam maior resistência para conseguirem recuperar más performances passadas e subir de categoria. Entretanto, excetuando esses extremos da distribuição, a maior parte das escolas posiciona-se ao longo das categorias intermediárias, e, por esse motivo, estão potencialmente

47 47 sujeitas a deslocamentos mais radicais de estrato. Essa maior volatilidade relaciona-se à maior fluidez nas categorias de transição: na área mais central das matrizes acima, os valores na diagonal principal são relativamente pequenos, indicando maior propensão ao espalhamento entre decis de um ano para outro. Um exemplo é o caso, na amostra nacional, das escolas originalmente pertencentes ao 2º decil da distribuição: um ano depois, elas estavam espalhadas por praticamente todas as categorias, inclusive a última. Esse fato é compatível com os indícios de instabilidade e ruído sugeridos nos ensaios anteriores. Provavelmente, a natureza discreta da abordagem via matrizes de Markov contribuiu para amenizar a impressão de volatilidade, sugerindo um grau de instabilidade menor que o real: para que uma escola configure uma troca de categoria nessas matrizes (acumulando massa numérica fora da diagonal principal), é usualmente necessária uma escalada ou uma queda acentuada ao longo de várias posições no ranking (com segmentação a 10%, uma categoria compreende 74 posições no ranking municipal e posições no ranking nacional). Além disso, o próprio ranqueamento pode mascarar uma instabilidade nos desempenhos, por outras limitações: se todas as escolas da amostra sofrerem uma mudança brusca, mas em um mesmo sentido, de um ano para outro digamos, uma queda acentuada (mas uniforme) de desempenho, os rankings permaneceriam exatamente os mesmos, de modo que a abordagem via matrizes de Markov não acusaria nenhuma alteração. Outra limitação conhecida dessa abordagem é o impacto que a escolha do tamanho das categorias (quantis) pode ter nas conclusões finais; essa definição é geralmente arbitrária. Um modo simples de avaliar se as interpretações produzidas são consistentes é replicar a análise optando por outras segmentações. Assim, refizemos os ensaios usando segmentações a 20% (quintis) e a 5% (vintis); constatamos que nossas primeiras conclusões continuaram válidas. Reproduzimos a matriz a 5% (escala nacional) para fazer algumas comparações e digressões, com respeito às primeiras células de cada matriz (destacadas em amarelo).

48 48 Matriz e1(a). Evolução anual de escolas, município de São Paulo, segmentação a 10%. Matriz e1(b). Evolução anual de escolas, município de São Paulo, segmentação a 5%. Na primeira matriz (categorias a 10%), a célula D1D1 (cujo valor é 0.815) corresponde às quatro primeiras células da segunda matriz (V1V1, V1V2, V2V2 e V2V1), ou seja, escolas que pertenciam ao 1º. vintil da distribuição (os Top5%) que permaneceram nesses Top5% ou caíram para o 2º vintil (os próximos 5%), ou escolas que pertenciam ao 2º.

49 49 vintil (os próximos 5%) e permaneceram nessa categoria, ou subiram para o 1º. vintil (os Top5%). Essa decomposição permite analisar melhor a microdinâmica dos quantis e encontrar nova evidência a favor de nossa conclusão acima. Na segunda matriz, cada vintil comporta 5% das escolas da distribuição nacional (portanto, 758 escolas). Das 758 escolas consideradas as Top5% em 2008 (o primeiro vintil), 72.3% permaneceram nessa categoria um ano depois, enquanto 22.7% caíram para o segundo vintil. Combinando essas estatísticas, temos que 72.3% % = 95% das escolas do primeiro vintil permaneciam entre os Top10% (primeiro decil) em Em relação ao segundo vintil (também com 758 escolas), 21.2% subiram para o primeiro vintil, enquanto 46.7% permaneciam nessa categoria um ano depois. Combinando essas estatísticas, temos que 21.2% % = 67.9% das escolas do segundo vintil permaneciam no primeiro decil em Entretanto, retornando à primeira matriz, toda essa movimentação passaria despercebida, pois a segmentação é mais grosseira: o que se revela é somente uma estatística de 81.5% de persistência (naturalmente, esse valor é a média simples entre os 95% e os 67.9% gerados acima). Em suma, a segmentação das matrizes em uma escala menor permite uma investigação mais profunda da microdinâmica envolvendo transições entre quantis (enquanto as segmentações incorporarem um número suficientemente alto de observações); nesse caso, o que encontramos foi uma depuração ainda maior da proporção de escolas Top que mantêm essa condição na medida seguinte. Essa é uma evidência em favor de nossa interpretação de que, nas pontas da distribuição, existe relativamente maior estabilidade em termos de posição (o mesmo padrão foi encontrado no outro extremo da distribuição as escolas de desempenho persistentemente baixo, mas com proporções de menor magnitude). Um ponto que pode conduzir a leituras errôneas é a opção de avaliar o comportamento de todas as escolas do município de São Paulo ranqueadas em uma base de dados unificada. Como nossos ensaios anteriores indicaram comportamentos bastante discrepantes entre os subconjuntos de escolas públicas e particulares, repetimos a análise anterior (e3), após dividir a base de dados nessas duas categorias.

50 50 Matrizes e4. Evolução anual de escolas particulares X públicas, município de São Paulo. A separação das escolas em públicas e particulares confirma nossas leituras anteriores, mas permite agora identificar uma diferença na dinâmica dos dois universos: todos os elementos da diagonal principal são maiores na segunda matriz (escolas particulares) que na primeira (escolas públicas). Ao mesmo tempo, nas posições triangulares da segunda matriz, os elementos são nulos, ou comparativamente pequenos. O fato do universo de escolas particulares ser menor (apenas 220 escolas, contra 510 instituições públicas) acarreta um menor tamanho dos decis, de modo que seria sensato esperar por uma maior transitoriedade para uma escola pública migrar de um decil para o outro, seria necessário subir (ou cair) em média 22 posições (contra 51 posições no caso das escolas públicas). Entretanto, as matrizes acima revelaram exatamente o oposto: maior estabilidade na base de dados menor (escolas particulares). Uma explicação possível é o fato das escolas públicas apresentarem desempenhos mais homogêneos em scores (conforme sugerido pelos histogramas montados no primeiro experimento). Ou seja, haveria um continuum mais bem preenchido entre os scores no

51 51 universo de escolas públicas, e, ao longo do ranking, a separação entre uma posição e outra pode ser estatisticamente menos significativa em comparação à separação entre duas escolas privadas, no ranking análogo. Naquele primeiro experimento, já havia sido sugerido que as escolas particulares são menos numerosas e com desempenho mais heterogêneo, o que reforça a interpretação de que, de modo geral, o ranking funciona melhor para elas, pois a separação de desempenhos entre duas escolas privadas de posições consecutivas seria mais bem definida. Adicionalmente, essa menor mobilidade entre decis no universo de escolas particulares pode envolver outra explicação. Podemos conjecturar que a pressão de mercado, decorrente de um ambiente concorrencial, gere incentivos diferentes para esse grupo de escolas. Uma boa posição no ranking do ENEM pode servir de gatilho para um círculo virtuoso, no sentido de que escolas privadas de boa performance seriam recompensadas pelo mercado já no curto prazo, com maior demanda e maior disponibilidade de recursos (mais capital e maior oferta de alunos e profissionais de qualidade). Esses fatores são fundamentais para que a escola possa reinvestir em práticas escolares que produzam efeitos positivos, e principalmente persistentes, sobre a performance escolar futura. Em um ambiente de accountability fraca como o ranking do ENEM onde órgãos oficiais não intervêm diretamente sobre as escolas, mas por meio da divulgação pública de seus desempenhos os usuários/consumidores desempenham um papel central na regulação do sistema. Em suma, escolas particulares de boa performance teriam acesso crescente a mais recursos, essenciais para mantê-las na ponta superior; escolas particulares de performance insatisfatória, com menor acesso a esses recursos, sofreriam pressões constantes por reformas ou fechamento e tenderiam a manter-se na ponta inferior. Essa interpretação é consistente com a situação verificada para escolas públicas, onde a ausência/debilidade de pressões dinâmicas e permanentes por alta performance poderia acarretar uma distribuição mais equitativa e menos criteriosa (nesse sentido) dos recursos disponíveis o que teria como efeito final uma maior fluidez entre as categorias. Essa teoria é ainda reforçada pelo fato de que o ENEM é ainda uma avaliação de adesão voluntária, cujo resultado tem impacto muito maior sobre o aluno (o candidato) do que sobre a escola do qual ele é oriundo. Assim, a ausência de uma política de sanções (por exemplo, na forma de escalonamento diferenciado de verbas) pelos órgãos oficiais sobre as escolas públicas relegaria o incentivo por bom desempenho aos próprios alunos, em detrimento de consequências sobre os gestores das escolas.

52 52 Se essa hipótese for correta, no caso da escola pública, a introdução de políticas amplas de sanções por desempenho poderia gerar incentivos similares aos incentivos de um mercado concorrencial. Numa segunda etapa do ensaio, repetimos o procedimento anterior, mas expandindo a janela temporal para um período de 3 anos (as matrizes reconstruídas para o período 2006~2009 seguem no Apêndice B). A comparação das matrizes no curto e no médio prazo forneceu mais uma evidência em favor da maior estabilidade da matriz associada às escolas particulares. Em ambas as matrizes, a ampliação da janela de tempo (de um ano para três) teve como efeito um incremento generalizado na transição entre decis, mas esse efeito é comparativamente mais sensível no universo de escolas públicas. Em um último ensaio, tentamos simular as consequências da decisão de um pai de aluno que escolha em que escola (particular, no município de São Paulo) matricular seu filho no 1º. ano do Ensino Médio, usando estritamente o ranking do ENEM como critério. Nessa última análise, portanto, adotamos o critério-padrão do Inep no ranking de médias por escola: pesos de 50% para o desempenho na parte objetiva e 50% para o desempenho na redação. A matriz gerada está apresentada a seguir. Matriz e6. Evolução no médio prazo de escolas particulares, município de São Paulo, para o quadriênio 2006~2009, segundo o critério do Inep (média geral entre parte objetiva e redação) Combinando as análises anteriores com os resultados do primeiro experimento ( Decomposição da Volatilidade dos Scores ), temos a existência sugerida de quatro padrões de comportamento na distribuição de escolas particulares: escolas de desempenho

53 53 persistentemente alto (decil superior, D1), escolas de desempenho persistentemente baixo (decil inferior, D10), e as demais seriam ou escolas de desempenho persistentemente mediano (sugeridas naquele primeiro ensaio como escolas de grande porte ) ou escolas de desempenho volátil (sugeridas naquele primeiro ensaio como escolas de pequeno porte ). Retomando agora a matriz do ensaio anterior (Apêndice B, Matriz e5b) para escolas particulares, se o único critério pertinente fosse o ranking do ENEM de 2006, um pai provavelmente matricularia seu filho, no início de 2007, no 1º. ano do ensino médio de alguma instituição do 1º. decil dessa matriz. Três anos depois, ao final de 2009 (ano projetado para conclusão dessa escolaridade) haveria uma chance de 68% dessa instituição permanecer no topo, uma chance de 20% dela cair para o 2º. decil e uma chance de 12% dela cair para o 3º. decil. Em nossa análise, essa escola poderia ser enquadrada na categoria de desempenho persistentemente alto. Entretanto, quando refazemos a análise usando a matriz desse ensaio (replicando o critério adotado pelo Inep), a mesma decisão teria efeitos bastante distintos: há somente 28% de chance da escola permanecer no topo, 24% de chance de queda para o 2º. decil, 20% de chance de queda para o 3º. decil, e não-desprezíveis 28% de chance da instituição posicionarse, 3 anos depois, em algum estrato entre o 4º. e o 9º.. Esse dado é ainda mais surpreendente se levarmos em conta que, no universo de escolas públicas paulistanas, a propensão média à mudança de categorias é ainda maior. Não se pretende aqui contestar o critério de pesos adotado pelo Inep (fundamentando e respaldado por critérios de outras ordens, principalmente pedagógica). Entretanto, a situação acima ilustra como o desconhecimento das metodologias envolvidas no cálculo de rankings, combinada com uma divulgação superficial e simplista dos resultados finais, pode gerar resultados adversos em decisões importantes. Existe virtualmente um sem-número de medidas possíveis de rendimento escolar e a construção de um ranking sempre exigirá a adoção de um desses critérios como único (ou prevalente). Em um ambiente onde as sanções não partem de um órgão central regulador, o bom funcionamento do sistema depende fundamentalmente dos usuários finais e de sua capacidade de produzir interpretações adequadas a partir das informações que lhes são disponibilizadas. Naturalmente, isso envolve não somente acesso aos rankings publicados, mas também à compreensão dos mecanismos e critérios subjacentes a eles, para que sejam estabelecidos equilíbrios eficientes de mercado.

54 54 Capítulo 6. PROPOSTA DE UM RANKING DE MUNICÍPIOS BASEADO EM VALOR ADICIONADO O ranqueamento de escolas segundo desempenhos exige a adoção de algum critério de medida desse desempenho. No caso do ranking de médias por escola do ENEM, o critério é o score médio de seus alunos em uma prova padronizada; assim, esse é um ranking baseado em uma medida de desempenho absoluto. Apesar de ser o critério mais difundido de medida de rendimento escolar provavelmente, pela sua simplicidade, o desempenho absoluto não é a única medição possível; e a eleição dele como critério exclusivo de avaliação da qualidade de ensino certamente tem implicado críticas de diferentes ordens. Assim, em um último experimento, tentamos avaliar a sensibilidade do ranking do ENEM a uma mudança no critério de medição. Nós aplicamos uma metodologia, originalmente proposta por Yunker (2004), sobre as escolas públicas paulistas, a fim de construirmos dois rankings baseados não em scores absolutos, mas em scores relativos chamados na literatura de valor agregado ou valor adicionado. Essa métrica foi desenvolvida a fim de corrigir uma distorção inerente a medidas de performance absoluta: escolas que recebem melhores inputs de alunos têm acesso a uma vantagem automática, em relação às demais instituições. Fernandes & Gremaud (2009) ilustram o caso por meio das escolas que recebem alunos carentes, com deficiências culturais previamente acumuladas mesmo que a escola realize um trabalho de excelência, uma medição de desempenho absoluto pode registrar um nível insatisfatório de performance. Afinal, nesse tipo de medida incidem não somente o esforço da instituição em si, mas também fatores fora do controle dela como o background familiar (o efeito-família ), o histórico escolar prévio e as habilidades inatas dos alunos, além do próprio erro aleatório. Assim, índices absolutos de desempenho incorporam, por definição, algum grau de controvérsia nos incentivos gerados, como recompensas ou punições que, frente a essas condições nãoisonômicas de competição, podem ser consideradas injustas (por exemplo, por dirigentes de escolas de menor prestígio, em um mercado concorrencial, ou por defensores de políticas de inclusão escolar). Em termos operacionais, essas medidas de valor adicionado esbarram em algumas complicações técnicas, como a menor magnitude das variáveis medidas (o que compromete

55 55 sua precisão), além da necessidade de ajustar estimativas confiáveis do nível esperado de proficiência dos alunos. Entretanto, o mérito dessa abordagem é prover uma alternativa, teórica e metodologicamente fundamentada, aos rankings tradicionais. Conforme salientam Hanushek & Raymond (2002), a existência de alternativas é crucial em sistemas de medida de desempenho, pois elas viabilizam formas diferentes de incentivos e podem induzir os agentes do processo (gestores, professores e alunos) a uma gama maior de ações e efeitos. Estimar os níveis esperados (projetados) de proficiência dos alunos de uma instituição pode ser feito por diversos modos, mas o mais comum na literatura baseia-se em exercer algum tipo de controle estatístico para as características do público representativo daquela escola. Segundo a abordagem de valor adicionado, o desempenho final de cada aluno em uma medida de desempenho absoluto é uma combinação de dois fatores distintos: a contribuição de fatores exógenos à escola (como histórico escolar prévio ou o efeito-família, usualmente mapeado a partir de características socioeconômicas do aluno) e a contribuição provida pelos fatores endógenos à escola (o efeito-escola, que nesse ensaio pode ser interpretado como o resíduo, ou seja, a diferença entre o desempenho empiricamente observado e o desempenho previsto por um modelo econométrico de controle para aquelas características). Assim, nossos objetivos nesse último ensaio foram (i) construir um ranking de score adicionado e (ii) comparar esse novo ranking com a versão convencional, baseada em score absoluto. Em suma, nós pretendíamos avaliar qual o impacto desse novo critério de medida de desempenho escolar sobre a estabilidade do ranking tradicional do ENEM. Para efetuar a análise, criamos um ranking de médias por município (escolas públicas do estado de SP). A ilustração aqui é avaliar se os municípios bem posicionados no ranking usual também estariam bem posicionados em um ranking de valor adicionado ou seja, testar se aqueles municípios cujos alunos obtiveram melhores notas no ENEM atingiram esses resultados porque receberam alunos mais proficientes ou, por outro lado, porque realmente adicionaram mais desempenho a eles durante o ensino médio Metodologia Elegemos o ENEM 2008, médias por escola, como referência de ranking de valor absoluto. Essa listagem foi reconstruída a partir dos respectivos microdados e compilada na forma de um ranking de desempenhos de escolas paulistas, posteriormente agregadas em

56 56 municípios (adotando como peso para o score médio de cada escola o número de alunos daquela escola participantes do ENEM naquele ano). O resultado segue no Apêndice C Ranking de Municípios (SP), Valor Absoluto. Para fins ilustrativos, reproduzimos o primeiro, o quarto, o sétimo e o décimo decis da distribuição decrescente de notas. Optamos por eliminar dessa análise as escolas particulares e as escolas de ensino médio para adultos (EJA), uma vez que adotamos, como uma das principais variáveis de controle para a qualidade dos ingressantes em cada escola (isto é, para seus níveis prévios de proficiência), os desempenhos médios de cada instituição na Prova Brasil de 2005, aplicada a alunos da 8ª. série da rede pública. É importante lembrar que essa adoção do desempenho médio da escola na 8ª. série como variável explicativa introduz distorções de cunho metodológico, pois, em cada instituição, o conjunto de alunos que realizou a Prova Brasil (2005) não necessariamente foi o mesmo que prestou o ENEM (2008) nesses 3 anos de defasagem, alguns alunos podem ter entrado e/ou saído da instituição, outros podem ter atrasado a conclusão do curso por motivos diversos, ou abandonado os estudos. Essa questão de pareamento imperfeito é agravada tendo em vista o conhecido fato do ENEM ser uma prova de participação voluntária. Entretanto, desconsideramos esse efeito de turnover de alunos; optamos também por ignorar a questão da amostragem, ainda que certamente essas simplificações de procedimento tendam a incorporar distorções nos resultados. Um cuidado fundamental foi manter como unidades de observação apenas as escolas que, dentro do universo já restrito acima, mantivessem turmas tanto de ensino fundamental como de ensino médio; outro cuidado foi garantir que todas as variáveis supostamente relevantes para a construção do modelo fossem testadas contra níveis progressivamente severos de significância estatística. A seguir, o experimento foi desenvolvido em três etapas. A. AJUSTE DO MODELO ECONOMÉTRICO A etapa chave no cálculo de valores adicionados é a estimação de uma função de previsão de desempenhos, que tenta generalizar o comportamento das escolas observadas. Essa função estabelece valores projetados de desempenho para cada escola (ou município), ao mesmo tempo em que exerce o controle estatístico sobre as variáveis fora do controle das escolas (ou municípios).

57 57 Iniciamos a construção desse modelo econométrico levantando um amplo conjunto com 41 variáveis-insumo, associadas ao efeito família e aos antecedentes escolares (isto é, a parcela do score final fora do controle da escola). Essas variáveis foram selecionadas a partir do questionário socioeconômico do ENEM 2008 e tabuladas a partir dos microdados pertinentes. Outra fonte foram os resultados da Prova Brasil Uma descrição detalhada consta na seção Dados Controles para Background Familiar e Antecedentes Escolares, e um resumo dessa descrição no Apêndice D Variáveis de Controle para Background Familiar e Condições Socioeconômicas. A seguir, por meio de regressões usando Mínimos Quadrados Ordinários, efetuamos três etapas sucessivas de triagem, impondo critérios gradualmente restritivos de significância estatística sobre as variáveis-insumo: numa primeira fase, eliminamos aquelas não significativas a 10%; numa segunda fase, aquelas não significativas a 1%; numa terceira fase, a 0,1%. Finalmente, o conjunto de coeficientes das 15 variáveis sobreviventes permitiu estabelecer a equação a ser usada na estimação/previsão dos valores esperados para cada instituição (um target a ser atingido por cada escola, dadas suas características; ou seja, o valor projetado pelo modelo econométrico para cada escola, a partir das características socioeconômicas de seu público). Os resultados seguem na seção Resultados e Discussão. B. CONSTRUÇÃO DO RANKING DE VALOR ADICIONADO (VERSÃO 1) Após a estimação da função de previsão de desempenhos, as características idiossincráticas de cada instituição foram introduzidas na equação. Para cada escola, o modelo retornou um valor projetado, controlado para essas características. A diferença entre o valor empírico (observado) e o valor projetado (esperado) foi computada como o valor adicionado para cada instituição. Algebricamente: ˆ = y yˆ VA ( valor observado valor esperado ) i i i i i i, onde i indica uma escola. Vale lembrar que, nessa abordagem, não se interpreta essa discrepância como o usual erro associado a cada observação ( resíduo ), mas como a própria medida de interesse (o

58 58 score atingido por determinada escola, a despeito do efeito família e demais fatores fora do controle da instituição de ensino). Os resultados foram então agregados para cada município (mais uma vez ponderando a performance média de cada escola pelo número de alunos da instituição participantes do ENEM em 2008). A base de dados final incluiu escolas, distribuídas em 491 municípios paulistas (eliminamos da base de dados as escolas que não declararam taxas de reprovação válidas). O ranking de valor adicionado foi então finalmente estabelecido. Os resultados obtidos seguem na seção Resultados e Discussão. C. CONSTRUÇÃO DO RANKING DE VALOR ADICIONADO (VERSÃO 2) Em uma segunda etapa desse experimento, tentamos aprofundar a análise anterior. O critério usado no ranqueamento anterior pode ser chamado de valor adicionado institucional, pois visa a estimar, em termos quantitativos, a contribuição de determinada instituição de ensino ao desempenho médio de seus alunos, na forma de seus recursos em sentido amplo (corpo docente, currículo, instalações e infraestrutura, por exemplo). Em termos metodológicos, essa medida é obtida controlando-se o desempenho final apenas para a qualidade do aluno ingressante (isto é, o background familiar médio e os antecedentes escolares, como níveis iniciais de proficiência). Uma abordagem mais específica busca a estimação, mais restrita, da contribuição do corpo docente ao desempenho final dos alunos. Esse critério de ranqueamento é chamado valor adicionado instrucional e é calculado exercendo controle não apenas para a qualidade do aluno ingressante, mas também para outras variáveis-insumo aquelas sob controle da escola (pelo menos teoricamente), mas fora do controle do corpo docente (uma boa ilustração são instalações e infra-estrutura, como existência de biblioteca, quantidade de funcionários por aluno, tamanho das turmas e oferta de computadores). Os dados foram levantados a partir do Censo Escolar de 2008; detalhes sobre sua manipulação seguem na seção Dados II. Controles para Infraestrutura Escolar. Usamos a mesma metodologia usada na etapa A do ensaio: sobre o modelo já consolidado anteriormente (com 15 variáveis relevantes), adicionamos outras 16 variáveis, sobre as quais impusemos restrições crescentes quanto à significância estatística e gradualmente depuramos a especificação algébrica do modelo: a 25%, a 5% e a 2% (como as variáveis de infraestrutura escolar à disposição tinham poder explicativo muito inferior às

59 59 variáveis de background familiar, fomos obrigados a uma maior permissividade nos critérios de corte). Com a equação devidamente ajustada, recalculamos os desempenhos esperados para cada escola e computamos a nova diferença entre os scores empíricos (observados) e os previstos (projetados pelo modelo). Novamente, os scores foram agregados por município. O segundo ranking de valor adicionado instrucional foi construído; os resultados dessa última etapa da análise seguem na seção Resultados e Discussão Dados I. CONTROLES PARA BACKGROUND FAMILIAR E ANTECEDENTES ESCOLARES Os dados referentes às variáveis-insumo usadas na calibração do modelo econométrico foram extraídos e manipulados a partir dos microdados do ENEM 2008 (com exceção do número de alunos no 3º. ano e das variáveis de controle para níveis prévios de Proficiência, para alunos de 8ª. série essas informações foram obtidas a partir dos resultados da Prova Brasil/Saeb de 2005). Inicialmente, foram extraídos os vetores descritivos dos candidatos do ENEM 2008, filtrados segundo cinco critérios (filtros indicados por asteriscos): ano de conclusão do curso (*2008), modalidade de ensino médio (*EMR, ensino médio regular), código da escola (*não-vazio), unidade da federação da escola (*SP ou não-declarado), participação na prova objetiva (*sim). Os microdados foram agregados para as escolas paulistas que constavam do relatório final da Prova Brasil/Saeb 2005, filtradas ainda por quatro critérios: unidade da federação (*SP), número de participantes do ENEM 2008 (*mínimo de 10), dependência administrativa (*estadual), modalidade da escola (*exclusivamente EMR), gerando uma base de trabalho final com escolas. As variáveis com suposto poder explicativo foram então agrupadas em quatro categorias: Características Familiares e Indicadores de Renda, Antecedentes Escolares e Níveis Prévios de Proficiência, Importância Atribuída ao ENEM e Indicadores de Trabalho. O conjunto Características Familiares e Indicadores de Renda tenta captar a incidência de condições socioeconômicas (esse conjunto é frequentemente chamado

60 60 background familiar). Incluímos duas variáveis de controle para minorias étnicas: o percentual de alunos autodeclarados Pardos e o percentual de alunos autodeclarados Pretos. Os sinais esperados para ambas as variáveis são negativos, como é comum em ensaios similares da literatura. Nesse conjunto, existem ainda seis variáveis descrevendo as porcentagens médias de pais e mães de aluno segundo níveis crescentes de escolaridade Fundamental 2 (8ª série, antigo Ginásio ) completo ou incompleto, Ensino Médio (antigo Colegial ) completo ou incompleto, e Ensino Superior completo ou incompleto. Esperamos sinais positivos para todas as variáveis. Com relação à renda familiar, foram consideradas três variáveis que descrevem os percentuais de alunos cujas famílias têm renda mensal superior a 1 SM, superior a 2 SM e superior a 5 SM; os sinais esperados são também positivos nesse caso. Quanto ao patrimônio acumulado, adicionamos 8 variáveis ao modelo: percentual de alunos cujas famílias têm 2 TVs, ou mais de 2 TVs, têm geladeira, têm 1 carro, ou mais de 1 carro, têm 1 celular, ou mais de 1 celular, têm acesso doméstico a computador, têm acesso doméstico à internet, têm acesso doméstico a TV a cabo, além do percentual de alunos que residem em imóvel próprio. Como supostamente há alta correlação entre elas, não esperamos que todas gerem coeficientes significativos, mas o sinal aguardado em cada coeficiente é positivo. O próximo conjunto, Antecedentes Escolares e Níveis Prévios de Proficiência, tenta mapear a qualidade média do aluno ingressante em cada instituição: duas variáveis registram os percentuais de alunos que declararam ter cursado os níveis de ensinos fundamental e médio em escolas particulares (total ou parcialmente); os sinais esperados são positivos. Por outro lado, esperamos sinais negativos nas variáveis que acusam os percentuais de alunos que concluíram esses níveis de ensino em prazo(s) acima do ideal (isto é, ensino fundamental em mais de 8 anos e/ou ensino médio em mais de 3 anos). Finalmente, para tentar captar a contribuição de fontes alternativas de informação, adicionamos ao modelo variáveis que registram os percentuais de alunos que declararam ter frequentado cursinho preparatório, ou têm o hábito de ler jornais regularmente. Naturalmente, os sinais esperados são positivos para esses últimos coeficientes. Em Níveis Iniciais de Proficiência, tentamos captar a proficiência geral dos alunos ingressantes na instituição de ensino médio. Incluímos os índices de desempenho médio obtidos pela escola, ao final do ensino fundamental (8ª. série), nas provas do Saeb 2005 de Matemática e Língua Portuguesa. Logicamente, esperamos que os sinais de ambos os coeficientes sejam positivos.

61 61 O conjunto Importância Atribuída ao ENEM tenta captar a importância relativa que os alunos da escola atrelam ao ENEM. Inclui como variáveis o porcentual de alunos concluintes do ensino médio que efetivamente prestaram o ENEM naquele ano (sinal esperado positivo) e o percentual de alunos concluintes que declararam prestar o ENEM com vistas ao vestibular (esperamos que essa intenção definida, ao prestar o exame, gere sinais positivos no coeficiente). No conjunto final, Indicadores de Trabalho, tentamos captar o efeito exercido pelo trabalho durante o ensino médio. Incluímos os percentuais de alunos que declararam ter trabalhado mais de um ano e mais de dois anos, ao longo dos três anos de ensino médio, e percentuais similares que registram o tamanho médio das jornadas de trabalho (mais de 10, mais de 20, mais de 30 e mais de 40 horas semanais). Finalmente, as duas últimas variáveis descrevem os percentuais de alunos da escola que declararam trabalhar para sustentar a família ou para sustento próprio. Aqui, o sinal esperado para os coeficientes é ambíguo, pois o trabalho, apesar de competir com o estudo no tocante a tempo e atenção do aluno, também sabidamente pode gerar mais maturidade e foco nos estudos, o que teria efeitos positivos no rendimento. No Apêndice D, incluímos um resumo das variáveis usadas nessa etapa, bem como um dicionário dos labels adotados nesse ensaio para essas variáveis. II. CONTROLES PARA INFRAESTRUTURA ESCOLAR Os dados referentes às variáveis-insumo usadas na estimação do segundo modelo econométrico foram extraídos e manipulados dos resultados do Censo Escolar 2008, para cada uma das escolas da base de dados (filtrada segundo: estado de SP, EMR, rede pública, com ao menos 10 participantes no ENEM 2008). Inicialmente, pré-selecionamos 35 potenciais regressores com potencial explicativo, mas eliminamos 19 deles de início, pois apresentavam variabilidade extremamente pequena entre as escolas da base de dados. As variáveis-insumo restantes foram agrupadas em 4 categorias. Na categoria Infraestrutura Física, incluímos instalações de rede de esgoto [EsgotoRede], laboratórios de informática [LabInfo] e/ou de ciências [LabCiencias], sala de atendimento pedagógico [AtendEduc], quadra [Quadra], biblioteca [Biblio], sanitários adaptados para deficientes [SanitarioDef] e vias adaptadas para deficientes [AcessoDef]. Em

62 62 todas elas, o sinal esperado nos coeficientes era positivo, pois todos em tese agregam melhores condições de uso e, indiretamente, talvez de aprendizado. Na categoria Porte da Escola, incluímos o total de alunos matriculados no 3º ano [Matric], bem como a quantidade [SalasUso] e percentual [Ocupacao] de salas em uso na instituição. Aqui, o sinal é ambíguo: nas duas primeiras variáveis, um sinal positivo poderia indicar que escolas fisicamente maiores atraem melhores alunos, estimulam positivamente a concorrência ou geram sinergia de aprendizado entre os alunos (enquanto um sinal negativo indicaria o oposto); na segunda variável, um sinal negativo indicaria que escolas funcionando em condições próximas da lotação máxima apresentam queda na qualidade do estudo (enquanto um sinal positivo indicaria o oposto). Na categoria Equipamentos, entraram a existência de antena parabólica [Parabolica], copiadora [Copiadora], retroprojetor [Retroproj] e a razão entre o número de computadores existentes na escola e o número de alunos no 3º. ano [RazaoCompAluno]. Em todas as variáveis, o sinal esperado é positivo, pois essas variáveis descrevem fatores de produção. A categoria Diversos inclui a média de funcionários por aluno [RazaoFuncAluno] e a taxa média de aprovação [TxAprov2007] ao longo do ensino Fundamental 2 (5ª. a 8ª. série). Como não dispúnhamos das taxas de aprovação ao longo do ensino Médio em 2008 (1º. ao 3º. ano), optamos por esses valores como uma alternativa, imperfeitamente correlacionada, na medida em que podem sinalizar uma política de tolerância ou rigor característica da escola. Os sinais esperados nas variáveis são respectivamente positivo e negativo, pois entendemos que uma escola de rendimento ideal opere com fartura de funcionários e seriedade na aplicação de provas e de sanções decorrentes desses resultados Resultados e Discussão A. AJUSTE DO MODELO ECONOMÉTRICO A primeira fase do experimento envolveu a estruturação do modelo econométrico que permitiu, posteriormente, estimar os targets de desempenho (valor esperado ou projetado) para cada instituição. Rodamos o score médio de cada escola da base de dados (2.684 escolas) contra o conjunto de 41 variáveis com suposto poder explicativo (mais um intercepto), impondo limites gradualmente restritivos de significância (resultados seguem no Apêndice E). Ao final

63 63 das três fases de triagem, foram acolhidas 15 variáveis relevantes e rejeitadas as outras 26, devido ao baixo poder explicativo dessas (Apêndice F). Nesse estágio, verificamos a adequação dos sinais dos coeficientes gerados, em relação a nossas expectativas. Ambas as características étnicas sugeridas exibiram alto poder explicativo: percentual de alunos autodeclarados pardos e percentual de alunos autodeclarados negros. Os sinais negativos dos coeficientes estão de acordo com o que é usual na literatura e conferem com nossa impressão. No caso do nível de instrução dos pais, cremos que o efeito relativo de algumas das variáveis rejeitadas foi ofuscado pelo efeito, muito mais impactante, de outras variáveis na mesma categoria por exemplo, o fato da mãe ter cursado nível médio mostrou-se muito mais determinante para a performance escolar do(a) filho(a) que o fato dela ter concluído a 8ª. série. A influência positiva da mãe nessa medida de rendimento prevaleceu sobre qualquer influência do pai nesse sentido; esse resultado também é comum na literatura. Conforme nossa expectativa, os sinais dos coeficientes das variáveis relevantes eram positivos (mãe com nível médio de instrução e, com menor significância, pai com nível superior). A maior renda familiar também contribui, e positivamente, para o desempenho no ENEM, especialmente o percentual de alunos com rendas familiares maiores que 2 SM (e, com menor significância, maior que 5 SM). No caso de alguns indicadores de patrimônio, confirmamos que a posse de alguns bens/serviços mais disseminados, como televisão, geladeira e celulares, não têm impacto significativo na performance medida. Entretanto, alguns itens que supostamente poderiam contribuir para o estudo domiciliar, como acesso a automóvel(is) e à Internet também se mostraram pouco relevantes. Entre os fatores sugeridos como impactantes, destacaram-se o acesso doméstico a computador(es) e o fato da casa ser própria esses último, entretanto, com sinal de coeficiente negativo, não consistente com o que esperávamos. Não encontramos uma explicação satisfatória para o sinal negativo nessa dummy. Segundo a regressão, outros indicadores de patrimônio contribuiriam negativamente para a performance escolar (como é o caso de TV por assinatura, celulares e de dois ou mais carros na residência); apesar de ser razoável imaginar que o uso excessivo desses itens possa realmente levar a queda na performance escolar, salientamos que esses coeficientes não mostraram significância estatística. Quanto aos antecedentes escolares, os sinais confirmaram nossas previsões. Dentre as variáveis relevantes, figuraram ter cursado o ensino fundamental total ou parcialmente em escola particular (sinal positivo), ter concluído algum nível de ensino (fundamental e/ou

64 64 médio) acima do prazo ideal (sinal negativo para ambos) e o desempenho médios dos alunos da escola três anos antes, ao fim da 8ª série, em Matemática e em Língua Portuguesa (positivo para ambos, esse último com menor significância estatística). Sobre a importância atribuída à prova do ENEM, a taxa de participação dos alunos da escola na prova não adquiriu suficiente significância, mas o sinal positivo é condizente com nossa previsão cremos que essa variável pode indicar a importância média, creditada ao ENEM, pelo público que regularmente abastece cada escola (ou seja, pode ser uma característica da população que alimenta a escola). Entretanto, o percentual de alunos prestantes que o fizeram alegando intenção de ingressar no nível superior contribuiu negativamente para a performance dos alunos, contrariando nossas expectativas e indicando outras finalidades, não-identificadas, quanto ao motivo de prestar o exame. Quanto aos indicadores de trabalho, interpretamos que nossas impressões iniciais foram confirmadas: o trabalho em nível moderado (mais de 1 ano ao longo do ensino médio, até 10 ou 20 horas por semana e para sustento próprio) colaboraria para um bom rendimento na prova (lembramos que a proposta do ENEM prioriza cobrar habilidades, em detrimento de exigir conteúdos puramente teóricos); o trabalho em nível intenso (mais de 2 anos ao longo do ensino médio, até 30 ou 40 horas por semana e para sustentar ou complementar a renda da família) prejudicaria o rendimento do aluno. A versão final da regressão incluiu 15 variáveis (Apêndice F), todas significativas a 0,1%, e com um poder explicativo combinado (R 2 ) de 55,5%. B. CONSTRUÇÃO DO RANKING DE VALOR ADICIONADO (VERSÃO 1) A análise comparativa entre os resultados usando os critérios de valor absoluto e de valor adicionado pode ser feita tanto nas variáveis contínuas (score absoluto, score projetado, score adicionado), quanto na variável discreta (posições no ranking). Na análise das variáveis contínuas, plotamos inicialmente os scores observados contra os scores adicionados (gráfico 1f). Uma correlação de 0,7797 sugeriu que os municípios com altos desempenhos absolutos, grosso modo, também foram os que mais adicionaram desempenho a seus alunos. Simetricamente, os que apresentaram baixa performance absoluta responderam geralmente com menores scores adicionados. A sugestão é que a adoção de um critério de valor adicionado, em lugar de um critério de valor absoluto, pode realmente corrigir algumas distorções: algumas escolas em que professores, gestores e alunos teoricamente empenharam mais esforço (atingindo maiores níveis de valor adicionado)

65 65 não foram devidamente identificadas em avaliações tradicionais, baseadas em score absoluto. Entretanto, como regra geral, a correlação obtida relativamente alta sugeriu que municípios com índices elevados de desempenho absoluto prevaleceram porque, de fato, adicionam mais performance a esses alunos ao longo do ensino médio, e não apenas porque haviam captado melhores inputs (isto é, alunos potencialmente mais proficientes). Gráfico 1f. Scores Observados X Scores Adicionados Gráfico 2f. Scores Observados X Scores Projetados Aqui, a questão amostral parecia mais uma vez ser relevante: nove dos dez municípios mais bem posicionados quanto ao critério score absoluto foram representados municípios com menos de 50 alunos na prova do ENEM (Apêndice C). Entretanto, ao refazermos a análise impondo limites mínimos de 50 e de 100 alunos participantes por município, obtivemos qualitativamente os mesmos resultados, de modo que optamos por manter a base de dados íntegra nos próximos ensaios. Outro comentário pertinente diz respeito às instituições com desempenho adicionado negativo. A interpretação descuidada pode sugerir que essas escolas descontaram desempenho de seus alunos, ou seja, que os alunos perderam performance por frequentá-las. Entretanto, devemos ter em mente que os coeficientes da função de previsão de desempenho foram calibrados nessa abordagem por Mínimos Quadrados Ordinários (OLS), e uma das hipóteses clássicas (sobre os resíduos) característica desse modelo é que os resíduos têm soma nula. Ora, nesse modelo, o resíduo é interpretado como o próprio valor adicionado; assim, haverá inevitavelmente a porção de instituições associadas a valores adicionados positivos, bem como a porção de instituições associadas a valores adicionados negativos (ainda que, em uma situação hipotética, todas as escolas consideradas adicionem performance a seus alunos).

66 66 Em outras palavras, por uma questão de equilíbrio algébrico, para que algumas escolas exibam valores adicionados positivos, outras terão que exibir valores adicionados negativos. O gráfico de dispersão 2f representa a relação entre scores observados (empíricos) e scores projetados (previstos). Uma regressão simples (OLS) calculada sobre as séries de valores desse gráfico indicou um R 2 de 84%. Caso tivéssemos efetuado a regressão ainda ao nível da unidade de observação original (escolas), deveríamos esperar por 55,5%, que era o valor obtido quando estimamos o modelo econométrico para previsão de valores esperados (etapa A do experimento). Afinal, estaríamos mais uma vez avaliando quanto da variabilidade entres os scores empíricos ( y ) é explicada pela variabilidade no conjunto de regressores ( ŷ ) levantados naquela fase inicial do experimento (naturalmente, como efetuamos uma agregação em nível municipal, esse valor foi desvirtuado). Analogamente, para o gráfico de valores adicionados (gráfico 1f), o R 2 corresponderia aos outros 44,5%, pois a variável dependente do modelo (valor adicionado) corresponde à porção não-explicada pelo conjunto de regressores, nesse tipo de abordagem. Essa digressão é providencial, pois, como ilustra Dichev (1999), há uma relação entre magnitude do R 2 e estabilidade entre os dois rankings: a qualidade do modelo econométrico de previsão de desempenho, que calibramos no início do experimento, é crucial para um maior ou menor fitting entre as séries de scores observados e scores projetados. A explicação teórica é que, quanto maior o R 2 do modelo inicial, maior é o componente explicado da variabilidade de desempenhos escolares, e menor é, portanto, o tamanho relativo do componente não-explicado, em relação à medida empírica de desempenho. Pois bem, em um modelo de valor adicionado, o tamanho relativo do componente não-explicado é interpretado como a própria variável de interesse, pois indica o quanto a performance escolar destoa, para mais ou para menos, da performance esperada para a escola (estimada a partir das suas variáveis médias socioeconômicas e demais fatores fora do controle da escola). Por extensão, modelos com maiores R 2 implicarão menores medidas de valor adicionado, que, quando forem comparadas, exibirão menor variabilidade entre si; a consequência final será maior instabilidade nos rankings. Uma outra forma de interpretar essa relação segue: em modelos com R 2 relativamente baixos, ocorrerá grande similitude entre os scores e os scores adicionados (fração nãoexplicada dos scores). Assim, pode-se esperar também por grande similitude entre os rankings de valor absoluto e os rankings de valor adicionado; o efeito final é a alta estabilidade nesses rankings.

67 67 Nosso modelo inicial registrou um poder explicativo de 55,5%, um R 2 mediano. A correlação entre as séries de scores absolutos e adicionados sugeriu um grau moderadamente alto de estabilidade entre os scores. A análise feita na variável discreta (posição no ranking), por outro lado, seguiu em direção oposta, exibindo alta transitoriedade com a mudança de critério. Gráfico 3f. Posições (critério absoluto) X Posições (critério adicionado) Gráfico 4f. Posições (critério absoluto) X Score observado Gráfico 5f. Posições (critério absoluto) X Score adicionado Gráfico 6f. Posições (critério absoluto) X Variação no ranking No gráfico 3f, plotamos a posição no ranking de scores absolutos contra a posição no ranking de scores adicionados. A instabilidade é tão maior, em relação à dispersão anterior (scores), que pode ser inferida mesmo visualmente. Ou seja, o pareamento a partir das posições no ranking revelou maior transitoriedade em comparação ao pareamento a partir dos scores atingidos (relativamente estáveis). Além disso, o gráfico sugeriu que as pontas da distribuição apresentam maior estabilidade relativa que o meio : as escolas bem posicionadas segundo um dos critérios apresentaram predisposição a estarem também bem posicionadas segundo o outro. Essa tese é sustentada pela maior densidade relativa de

68 68 observações nas nuvens de pontos concentradas nas extremidades (inferior esquerda e superior direita) do gráfico. Apesar da forte semelhança desses resultados com o ensaio de Markov do Capítulo 5, devemos manter em mente que esses dois experimentos finais avaliam critérios distintos de estabilidade (nas matrizes de Markov, o que avaliava era a estabilidade ao longo do tempo; aqui, o que se avaliava era a estabilidade ao longo de uma mudança de critério de desempenho). Fato é que essa persistência nas pontas apresentou um rápido decaimento, à medida que caminhamos para a porção mediana da distribuição, onde ocorre uma nuvem bastante dispersa. Essa dispersão central sugere transições mais longas, em termos de posição no ranking. A análise dos gráficos seguintes sugeriu explicações para esse comportamento. A leitura do gráfico 4f indica que, nas pontas, existia uma separação mais bem definida entre scores de posições consecutivas (há um rápido decaimento dos scores observados); nas posições medianas, o decaimento lento acusou um continuum mais bem preenchido de scores, ou seja, uma separação mais tênue entre duas posições consecutivas do ranking. Assim, apesar de relacionada a scores adicionados comparativamente baixos (gráfico 5f), essa região está mais sujeita a oscilações mais radicais: mesmo um ganho de baixa magnitude pode promover um salto de várias posições (gráfico 6f). O gráfico 5f também confirmou outras duas impressões anteriores, que resumem nossas conclusões: (i) o padrão predominantemente decrescente da curva atestou que municípios bem (mal) posicionados em um ranking de desempenhos absolutos também adicionaram mais (menos) desempenho aos seus candidatos, ao longo do ensino médio, e (ii) esse efeito é mais intenso nos extremos da distribuição. C. CONSTRUÇÃO DO RANKING DE VALOR ADICIONADO (VERSÃO 2) A inclusão das novas variáveis (controle para infraestrutura escolar) agregou muito pouco poder explicativo ao modelo já estabelecido (Apêndice G). À exceção de duas variáveis (existência de copiadora na escola e taxa de aprovação em 2007), nenhuma das outras variáveis potencialmente relevantes exibiu coeficientes estatisticamente significativos.

69 69 Por outro lado, praticamente todos os sinais de coeficientes conferiram com nossas expectativas, mesmo a graus bastante permissivos de significância. A seguir, refizemos os cálculos dos valores esperados após esse controle (ligeiramente) mais completo, computamos os valores esperados para cada escola e criamos um terceiro ranking de desempenho municipal. Os resultados seguem resumidos nos Apêndices G e H, mas o que ocorreu foi praticamente a manutenção do ranking anterior. Esse resultado era esperado após a análise da seção anterior (valor adicionado institucional) e a constatação de que as variáveis inclusas tinham baixo poder explicativo por si. Uma explicação consistente para essa baixa significância é a reduzida variabilidade entre as características descritivas da infraestrutura de cada escola na base de dados em questão, praticamente todas as escolas (públicas, estado de SP) exibiam características muito similares: por exemplo, quase 92% tinha retroprojetor, quase 97% tinha quadra e mais de 86%, instalação de antena parabólica. Nas demais variáveis constantes nos microdados do Censo Escolar, figuravam então variáveis com distribuição muito uniforme entre escolas ou variáveis com distribuição mais heterogênea, mas com baixo poder explicativo (como número de salas ). De qualquer modo, essa situação, se frustrou nossos planos de estabelecer um ranking de valor adicionado instrucional, ao menos serviu para confirmar e ilustrar a lógica desse tipo de abordagem: com baixo poder explicativo adicionado, o componente explicado dos desempenhos tendeu a ser pequeno, e a fração não-explicada (o valor adicionado), comparativamente grande. Assim, verificamos grande similitude entre os scores com e sem controle e alta estabilidade na transição de um ranking para outro (gráficos 7f e 8f). Gráfico 7f. Score (valor adicionado institucional) X Score (valor adicionado instrucional) Gráfico 8f. Posições (critério absoluto) X Posições (critério adicionado)

70 70 Os modelos de valor adicionado instrucional visam a permitir comparações mais isonômicas de desempenho entre equipes docentes de diferentes instituições e, ao menos em tese, fornecem critérios mais adequados para a concessão de bônus por rendimento e produção a grupos de professores. Entretanto, segundo lembra Dichev (1999), é frequente que a adoção desse tipo de métrica seja inviabilizada na prática: quando descontamos de uma medida de performance absoluta um valor estimado (após o controle estatístico para fatores fora do escopo da escola) e sobre essa medida, já reduzida, descontamos um segundo valor estimado (após o controle estatístico para fatores sob controle da escola, mas fora do controle do corpo docente), a medida de interesse final exibe geralmente uma magnitude muito reduzida diante dos erros de medida (inerentes a qualquer medida de desempenho). Em outras palavras, a separação entre os desempenhos das equipes docentes de duas escolas distintas tende a não ser suficientemente nítida, e os rankings usualmente perdem seu significado. Nesse sentido, a prospecção de variáveis com poder explicativo efetivo sobre a variabilidade de desempenhos escolares é uma etapa-chave do processo. Figlio & Loeb (2011) são incisivos no fato de que, em se tratando de medidas de performance escolar, nunca existirá um critério definitivo de avaliação todas medidas incorporam algum tipo de limitação, mas cada tipo diferente de critério adotado induzirá a incentivos diferentes aos agentes envolvidos no processo. Em nosso ensaio, por exemplo, a correlação imperfeita entre os rankings abre espaço para distorções, ou seja, escolas bem posicionadas em um ranking e mal posicionadas em outro (principalmente na primeira parte do experimento, após o controle para background familiar). Numa situação hipotética de concessão de bônus por performance, por exemplo, algumas escolas que provavelmente não atingiriam metas exigentes em um sistema de desempenho absoluto poderiam ser laureadas em um sistema de desempenho adicionado. Essa situação ilustra como a definição objetiva de critérios de medição de performance pode acionar mecanismos diferentes de estímulo (ou desestímulo) aos agentes e conduzir a resultados substancialmente diversos na economia. O conhecimento e a compreensão desse tipo de dinâmica podem ser estrategicamente usados pelos decisores em políticas públicas de educação, no sentido de desenhar, ou readequar, os mecanismos de incentivo à disposição, quando se visa ao incremento geral de performance de um sistema escolar.

71 71 Capítulo 7. CONCLUSÕES Os ensaios visavam a identificar empiricamente e testar algumas fontes de distorção estatística que afetam o ranking do ENEM de médias por escola. Em termos estatísticos, a fonte primária de tais distorções são erros de medida, que são continuamente e sistematicamente incorporados aos scores (e, em última análise, retransmitidos aos rankings). Esses erros podem vir das mais variadas fontes, mas os mais comuns são a variação amostral (o fato de que, a cada edição da prova, determinada escola é representada por uma coorte diferente e aleatória de seus alunos) e flutuações de curto prazo (ruído). Cada uma dessas fontes de erro tende a neutralizar-se com o passar do tempo. Esses erros não afetam as escolas de modo uniforme, já que escolas de grande porte (isto é, com muitos participantes ao ENEM e, portanto, muitas observações estatísticas) tendem a sentir menos esse efeito. Os rankings são, portanto, mais confiáveis na comparação entre escolas grandes que entre pequenas. Em relação à rede de ensino, são mais confiáveis comparando escolas particulares que escolas públicas, pela separação mais bem definida entre duas posições consecutivas e pela maior estabilidade desses rankings ao longo do tempo. Encontramos ainda fortes evidências de que os extremos da distribuição se comportam de modo distinto em relação ao resto, por apresentarem estabilidade temporal relativamente alta. Escolas top exibem tendência de ocuparem novamente posições top na próxima avaliação, e escolas cronicamente ruins tendem simetricamente a permanecerem no extremo inferior do ranking. Quanto à mudança de critério de valor absoluto para valor adicionado, concluímos que os municípios paulistas mais bem posicionados em um ranking tenderam a figurar também no outro, sugerindo que escolas de alta (baixa) performance atingiram esses resultados por adicionarem mais (menos) a seus alunos ao longo do ensino médio.

72 72 Referências ANDRADE, Eduardo C. Rankings em educação: tipos, problemas, informações e mudanças. São Paulo, Insper Working Paper, WPE 198/2009. DICHEV, Ilia. How Good Are Business School Rankings? The Journal of Business, Chicago, Vol. 72, No. 2 (April 1999), pp FERNANDES, Reynaldo; GREMAUD, Amaury. Qualidade da Educação: Avaliação, Indicadores e Metas. In: VELOSO, F.; PESSOA, S.; GIAMBIAGI, F.; HENRIQUES, R. (Org.). Educação Básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, pp FIGLIO, David; LOEB, Susanna. School Accountability. In: HANUSHEK, Eric A.; MACHIN, Steven; WOESSMANN, Ludger (editores): Handbooks in Economics, Vol. 3, The Netherlands: North-Holland, pp HANUSHEK, Eric A.; RAYMOND, Margaret E. Lessons about the Design of State Accountability Systems. In: Taking Account of Accountability: Assessing Policy and Politics. Harvard University KANE, Thomas J.; STAIGER, Douglas O. The Promise and Pitfalls of Using Imprecise School Accountability Measures. Journal of Economic Perspectives, Vol. 16, No. 4 (Fall 2002), pp YUNKER, James A. The Dubious Utility of the Value-added Concept in Higher Education: the Case of Accounting. Economics of Education Review, Macomb: Elsevier, Vol. 24, pp , 2005.

73 73 Apêndices APÊNDICE A ATENUAÇÃO TEMPORAL DA CORRELAÇÃO ENTRE SCORES Gráfico b1: Correlação entre scores, escolas públicas (1o. quintil) Gráfico b2: Correlação entre scores, escolas públicas (3º. quintil) Gráfico b3: Correlação entre scores, escolas públicas (5o. quintil) Gráfico b4: Correlação entre scores, escolas particulares (1o. quintil) Gráfico b5: Correlação entre scores, escolas particulares (3o. quintil) Gráfico b6: Correlação entre scores, escolas particulares (5o. quintil)

74 74 APÊNDICE B MATRIZES DE MARKOV Matriz e2. Evolução anual de escolas, estado de São Paulo. Matrizes e5(a) e e5(b). Evolução no médio prazo de escolas particulares X públicas, município de São Paulo.

75 75 APÊNDICE C RANKING DE MUNICÍPIOS (SP) VALOR ABSOLUTO 1º. decil e 4º. decil

76 76 APÊNDICE C RANKING DE MUNICÍPIOS (SP) VALOR ABSOLUTO (continuação) 7º decil e 10º decil

77 77 APÊNDICE D VARIÁVEIS DE CONTROLE PARA BACKGROUND FAMILIAR E CONDIÇÕES SOCIOECONÔMICAS Características Familiares e Indicadores de Renda Percentual de alunos da escola autodeclarados Pardos [Pardos] Percentual de alunos da escola autodeclarados Pretos [Pretos] Percentual de alunos cujo pai tem nível de escolaridade Fundamental2 ou maior (8ª série, antigo Ginásio, completo ou incompleto), Médio ou maior (antigo Colegial, completo ou incompleto) e Superior (completo, incompleto ou pós-graduação) [respectivamente PaiEnsFund2, PaiEnsMed, PaiEnsSup] Percentual de alunos cuja mãe tem nível de escolaridade Fundamental2 ou maior (8ª série, antigo Ginásio, completo ou incompleto), Médio ou maior (antigo Colegial, completo ou incompleto) e Superior (completo, incompleto ou pós-graduação) [respectivamente, MaeEnsFund2, MaeEnsMed, MaeEnsSup] Percentual de Alunos com Renda Familiar superior a 1 SM [Renda1] Percentual de Alunos com Renda Familiar superior a 2 SM [Renda2] Percentual de Alunos com Renda Familiar superior a 5 SM [Renda5] Percentual de alunos com 2 ou mais de 2 TVs em casa [respectivamente, Tv2 e Tv3] Percentual de alunos com geladeira em casa [Geladeira] Percentual de alunos com 1 carro ou mais de 1 carro em casa [respectivamente, Auto1 e Auto2] Percentual de alunos com 1 celular ou mais de 1 celular em casa [respectivamente, Celular1 e Celular2] Percentual de alunos com ao menos um computador em casa [Computador] Percentual de alunos com acesso à Internet em casa [Internet] Percentual de alunos com acesso à TV por assinatura em casa [TvCabo] Percentual de alunos que residem em casa própria [CasaPropria] Antecedentes Escolares e Níveis Prévios de Proficiência Percentual de alunos que declararam ter cursado o Ensino Fundamental, parcialmente ou totalmente, em escola particular [FudamentPartic] Percentual de alunos que declararam ter cursado o Ensino Médio, parcialmente ou totalmente, em escola particular [MedioPartic] Percentual de alunos que declararam ter cursado o Ensino Médio em 4 anos ou mais [Medio4] Percentual de alunos que declararam ter cursado o Ensino Fundamental em 9 anos ou mais [Fundam9] Percentual de alunos que declararam ter frequentado cursinho preparatório [Cursinho] Percentual de alunos que declararam ler jornal frequentemente [JornalSempre] Percentual de alunos que declararam ler jornal frequentemente [JornalAsVezes] Médias da escola na Prova Brasil/SAEB, 2005, em Matemática [ScoreMat05] e Língua Portuguesa [ScoreLP05] Importância Atribuída ao ENEM (tenta capta a importância relativa, atribuída pelos alunos da instituição, ao ENEM) Percentual de matriculados no 3º ano que prestaram o ENEM em 2008 [TxPart] Percentual de alunos que declararam ter prestado o ENEM com vistas ao vestibular [EnemVestibular] Indicadores de Trabalho Percentual de alunos da escola que declararam ter trabalhado, durante o Ensino Médio, mais de 1 ano e mais de 2 anos [respectivamente Trabalho1A e Trabalho2A] Percentual de alunos da escola que declararam ter trabalhado, durante o Ensino Médio, mais de 10 horas semanais, mais de 20 horas semanais, mais de 30 horas semanais e mais de 40 horas semanais [respectivamente Trabalha10H, Trabalha20H, Trabalha30H e Trabalha40H] Percentual de alunos da escola que declararam ter trabalhado, durante o Ensino Médio, para Sustento de Dependentes/Complementação de Renda Familiar e para Sustento Próprio [respectivamente, SustentFamilia e AutoSustent]

78 78 APÊNDICE E REGRESSÕES PARA AJUSTE DO MODELO ECONOMÉTRICO Especificação A (41 variáveis) Especificação B (29 variáveis) Especificação C (22 variáveis) > Intercepto C *** *** *** > Características Familiares e Indicadores de Renda Pardos *** *** *** Pretos ** *** *** PaiEnsFund PaiEnsMed * PaiEnsSup ** ** ** MaeEnsFund MaeEnsMed *** *** *** MaeEnsSup Renda Renda *** *** *** Renda ** *** ** Tv * * Tv Geladeira * * Auto Auto * * Celular * * Celular ** ** * Computador * *** *** Internet TvCabo * * CasaPropria *** *** *** > Antecedentes Escolares e Níveis Prévios de Proficiência FudamentPartic *** *** *** MedioPartic Medio4A ** ** *** Fundam9A *** *** *** Cursinho JornalSempre JornalAsVezes ScoreMat *** *** *** ScoreLP ** ** ** > Importância Atribuída ao ENEM TxPart ** ** ** EnemVestibular *** *** *** > Indicadores de Trabalho Trabalho1A * * Trabalho2A *** *** ** Trabalha10h *** *** *** Trabalha20h Trabalha30h * *** *** Trabalha40h SustentaFamilia *** *** *** AutoSustenta *** *** *** R R 2 Ajustado Para cada regressor, seguem COEFICIENTE e P-VALOR (*) Significativo a 10%, (**) Significativo a 1%, (***) Significativo a 0.1%

79 79 APÊNDICE F MODELO ECONOMÉTRICO FINAL Especificação D (15 variáveis) Dependent Variable: OBJ08MICRODADOS Method: Least Squares Sample: Variable Coefficient Std. Error t-statistic Prob. C PARDOS PRETOS MAEENSMED RENDA COMPUTADOR CASAPROPRIA FUNDAMENTPARTIC MEDIO FUNDAMENT SCOREMAT ENEMVESTIBULAR TRABALHA10H TRABALHA30H SUSTENTAFAMILIA AUTOSUSTENTA R-squared Adjusted R-squared FUNÇÃO ESTIMADORA DE VALOR ESPERADO ValorEsperado = * PARDOS * PRETOS * MAEENSMED * RENDA * COMPUTADOR * CASAPROPRIA * FUNDAMENTPARTIC * MEDIO * FUNDAMENT * SCOREMAT * ENEMVESTIBULAR * TRABALHA10H * TRABALHA30H * SUSTENTAFAMILIA * AUTOSUSTENTA

80 80 APÊNDICE G REGRESSÕES PARA AJUSTE DO MODELO ECONOMÉTRICO 2 Especificação E (31 variáveis) Especificação F (20 variáveis) Especificação G (17 variáveis) > Intercepto C *** *** *** > Regressores de Controle, Fase 1 Pardos *** *** *** Pretos ** *** *** MaeEnsMed *** *** *** Renda *** *** *** Computador *** *** *** CasaPropria *** *** *** FudamentPartic *** *** *** Medio4A *** *** *** Fundam9A *** *** *** ScoreMat *** *** *** EnemVestibular *** *** *** Trabalha10h *** *** *** Trabalha30h *** *** *** SustentaFamilia *** *** *** AutoSustenta *** *** *** > InfraEstrutura Física EsgotoRede LabInfo LabCiencias * AtendEducacional * * Quadra * Biblio SanitarioDef > Porte da Escola Matric SalasUso * * Ocupação > Equipamentos Parabolica Copiadora *** *** *** Retroprojetor RazaoCompAlunoTotal > Diversos RazaoFuncAluno TxAprov ** ** *** R R 2 Ajustado Para cada regressor, seguem COEFICIENTE e P-VALOR (*) Significativo a 25%, (**) Significativo a 5%, (***) Significativo a 2%

81 81 APÊNDICE H MODELO ECONOMÉTRICO FINAL 2 (17 variáveis) Especificação G (17 variáveis) Dependent Variable: OBJ08MICRODADOS Method: Least Squares Sample: Variable Coefficient Std. Error t-statistic Prob. C PARDOS PRETOS MAEENSMED RENDA COMPUTADOR CASAPROPRIA FUNDAMENTPARTIC MEDIO FUNDAMENT SCOREMAT ENEMVESTIBULAR TRABALHA10H TRABALHA30H SUSTENTAFAMILIA AUTOSUSTENTA TXAPROV COPIADORA R-squared Adjusted R-squared FUNÇÃO ESTIMADORA DE VALOR ESPERADO (2) ValorEsperado (2) = * PARDOS * PRETOS * MAEENSMED * RENDA * COMPUTADOR * CASAPROPRIA * FUNDAMENTPARTIC * MEDIO * FUNDAMENT * SCOREMAT * ENEMVESTIBULAR * TRABALHA10H * TRABALHA30H * SUSTENTAFAMILIA * AUTOSUSTENTA * TXAPROV * COPIADORA

82 82 APÊNDICE H RANKING DE MUNICÍPIOS (SP) VALORES ADICIONADOS 1º. decil

83 83 APÊNDICE H RANKING DE MUNICÍPIOS (SP) VALORES ADICIONADOS (continuação) 4º. decil

84 84 APÊNDICE H RANKING DE MUNICÍPIOS (SP) VALORES ADICIONADOS (continuação) 7º. decil

85 85 APÊNDICE H RANKING DE MUNICÍPIOS (SP) VALORES ADICIONADOS (continuação) 10º. decil