ISEP - ÍNDICE DE SHARPE ESCOLAR A PARTIR DA PROVA BRASIL: CRIAÇÃO E ESTUDO

Transcrição

1 ISEP - ÍNDICE DE SHARPE ESCOLAR A PARTIR DA PROVA BRASIL: CRIAÇÃO E ESTUDO Roberta Montello Amaral (UNIFESO) amaralroberta@yahoo.com.br Crado em 1990, o Saeb é um sstema de avalação do MEC que, junto à Prova Brasl, gera uma base de dados que contempla toda a rede públca de ensno fundamental, 5º a 9º anos, área urbana. A partr do estudo dos dados gerados por este ssttema para os anos de 2005 e 2007, foram avaladas as escolas muncpas de ensno fundamental de Teresópols. O objetvo deste estudo fo nferr sobre a evolução do desempenho da educação fundamental, II segmento, e propor seu acompanhamento através de ndcador alternatvo ao IDEB, o Índce de Sharpe Escolar (ISEP). Ao fnal da nvestgação o que se observou, para as dferentes dmensões contempladas, fo um resultado bem dvergente entre as apurações do IDEB e do ISEP. O ISEP se mostrou um ndcador mas dnâmco e mas poderoso, no sentdo de avalar mas o desempenho escolar de forma mas ndvdualzada. Portanto, sugere-se fortemente que seja levado em consderação nas avalações futuras de desempenho escolar das dversas escolas brasleras. Palavras-chaves: Educação, Saeb, Prova Brasl

2 1. Introdução Com o ntuto de melhorar a qualdade do ensno no Brasl, em 24 de abrl de 2007 o Mnstéro da Educação (MEC) lançou o Plano de Desenvolvmento da Educação (PDE). Juntando-se os compromssos estabelecdos no PDE com as propostas do programa de Aceleração do Crescmento (PAC), onde, segundo Savan (2009) cada mnstéro tera que ndcar as ações que se enquadraram no referdo programa, o MEC nseru na proposta do PDE o cálculo e acompanhamento do Índce de Desenvolvmento da Educação Básca (IDEB), o que acabou resultando no aperfeçoamento do Sstema Naconal de Avalação da Educação Básca (Saeb). Conforme explctado no própro ste do MEC, o Saeb é um sstema de avalação naconal com o objetvo de avalar o sstema educaconal em curso no Brasl. Sua mplementação data do níco da década de 90, tendo sdo reestruturado anda na mesma década para que fosse possível a comparação temporal dos desempenhos obtdos. Trata-se de uma prova de Língua Portuguesa com foco em letura e Matemátca com foco na resolução de problemas, que abrange os alunos do 5º ao 9º ano do ensno fundamental e 3º ano do ensno médo. Sua realzação é a cada 2 anos, tendo a sua últma aplcação sdo feta no ano de Destaca-se que esta avalação abrange tanto escolas públcas quanto prvadas e alunos de área urbana e rural. Para complementar os resultados do Saeb, fo crada a Prova Brasl, em 2005, que permte avalar cada muncípo e escola partcpante. Sua aplcação é mas restrta, pos abrange somente estudantes do ensno fundamental (5º a 9º anos) que estejam matrculados na rede públca da área urbana. Assm, nvestgar os resultados do Saeb e da Prova Brasl pode ser um meo de entender o estágo evolutvo da educação fundamental, especalmente das escolas públcas. Este trabalho se propõe a fazer um estudo sobre a base de dados produzda pela aplcação do Saeb e da Prova Brasl. De forma pragmátca, pretende-se estudar os resultados alcançados por todas as escolas de ensno fundamental, 2º segmento, da rede públca muncpal de Teresópols, no estado do Ro de Janero. Para que o objetvo traçado seja alcançado, este trabalho está dvddo em quatro seções além desta ntrodução. A prmera seção, PDE e Saeb, faz um resumo do que são o Plano de Desenvolvmento da Educação e de seu prncpal nstrumento de avalação aplcado pelo Governo Federal, para que o letor entenda as meddas que estão sob julgamento neste estudo. A segunda seção faz uma síntese da metodologa aplcada, onde há uma descrção da base de dados consderada e um breve relato das meddas que foram consderadas. A seção segunte trata da apresentação efetva dos resultados encontrados a partr da metodologa descrta. Por fm, a seção 5 apresenta as conclusões deste estudo, suas mplcações, sugestões de polítcas públcas e trabalhos futuros ndcados. 2. PDE e Saeb Não é novdade que educação e desenvolvmento camnham juntos. No entanto, conforme aponta VIANNA (2009), Até o século XX pouco se fez pela educação, mas ao longo deste, o sstema educaconal deu saltos, com destaque para o ensno superor, com ampla oferta de vagas, não sendo corresponddo no ensno básco, o que, nevtavelmente, também bloqueou o avanço do superor. A expansão sgnfcatva do ensno básco ocorreu a partr dos anos 1990, mas anda com o desafo não só quanttatvo, mas prncpalmente em relação à qualdade e eqüdade. (p.27) 2

3 Hoje, a educação, no Brasl, é consderada um dreto fundamental garantdo pela Consttução. Isto é de grande mportânca, pos, conforme apontam dversos estudos, só será possível melhorar a desgualdade econômco fnancera quando o nvestmento neste segmento for prorzado: No Brasl, a mportânca da educação em explcar o alto nível de desgualdade vem sendo apontada desde Langon. De acordo com Ferrera e Veloso (2005), o aumento substancal da desgualdade da renda braslera, acentuado a partr da década de 1960, trouxe à tona um debate na tentatva de explcar sua orgem: Fshlow-Langon. A prmera corrente, defendda por Carlos Langon, é a de que a desgualdade estara assocada a fatores estruturas relaconados ao processo de desenvolvmento econômco e a educação como prncpal determnante da dstrbução de renda. A desgualdade dervada da dferencação da produtvdade adoção de novas tecnologas que se reflete no mercado va dferencação de saláro, benefca, portanto, os trabalhadores mas qualfcados, nserdos na nova planta captal-ntensva. Sgnfca dzer que a desgualdade, como vsto anterormente, é resultado de altas taxas de retorno à educação e na dstrbução da educação. Assm, elevar a qualdade de mão de obra tera mpactos mas sgnfcatvos sobre a taxa de crescmento e ao mesmo tempo reduzra a desgualdade de renda. (...) A segunda corrente enfatzava o papel da polítca econômca (polítcas públcas repressvas) e, partcularmente as regras salaras, através de mecansmos nsttuconas do mercado de trabalho, além de outras polítcas benefcando grupos de renda mas elevada, embora não gnorasse a mportânca da educação. No entanto, trabalhos posterores ratfcaram o mpacto das característcas natas e/ou adqurdas prevamente à nserção do ndvíduo no mercado de trabalho, gerando elevação da taxa de retorno à educação para os trabalhadores mas qualfcados. (VIANNA, 2009, pp.43-44) Pela Consttução atual, conforme o artgo 14, prevê-se a provação, em le, de plano naconal de educação, com duração pluranual, com o objetvo de artcular e desenvolver o ensno dos dferentes níves e ntegrar as ações do poder públco. (Savan, 2009, p. 26). Atendendo a esta dretrz, hoje a Educação, no Brasl, está prorzada conforme o Plano de Desenvolvmento da Educação (PDE), lançado em 24 de abrl de 2007, pelo Mnstéro da Educação (MEC). De acordo com Savan (2009), este plano fo recebdo postvamente por tratar de questões relatvas à qualdade do ensno. O PDE fo saudado como um plano que, fnalmente, estara dsposto a enfrentar esse problema. (op. ct., p.1) Conforme dscorre o autor, juntando-se a necessdade de agregar qualdade a este setor ao lançamento do Programa de Aceleração do Crescmento (PAC), o MEC, como partcpante do conjunto de Mnstéros que deveram fazer parte da concepção do PAC, lançou o IDEB. A proposta do mnstéro era juntar o ndcador às demas ações já em curso ou em fase de mplementação. Os supostos objetvos desta ação do MEC foram explctados no lvro O plano de desenvolvmento da educação: razões, prncípos e programas, lançado em outubro de 2007 e apeldado de Lvro sobre o PDE. Conforme aponta Savan (2009, p.16): Na prmera parte procura-se apresentar a concepção de educação que nsprou o PDE. Para sso, enunca-se uma vsão sstêmca de educação que permtra superar a vsão fragmentára caracterzada por cnco oposções ndevdas (...) A prmera delas opõe educação básca e educação superor. Proclamando a prordade da educação básca (...). A segunda oposção encravou-se no nteror da mesma educação básca ao colocar foco no ensno fundamental em detrmento da educação nfantl e do ensno médo. Esse descudo com as outras etapas da educação básca acabou por resultar também no enfraquecmento do ensno fundamental (...). No entendmento do MEC, o PDE, pela vsão sstêmca que o caracterza, vem colocar-se como antídoto a essas falsas oposções, procurando enfocar a educação em todo o terrtóro da nação, consderando, com o mesmo cudado e atenção, cada uma de suas partes, do barro ao país, em seu conjunto, dando efetvdade ao prncípo consttuconal do regme de colaboração. O Saeb, um sstema de avalação ponero na Amérca Latna, fo crado em 1990 com a 3

4 função de orentar polítcas públcas no sentdo de melhorar a qualdade da educação. A partr de 1995 adquru um papel central e estratégco no montoramento do sstema educaconal, ao buscar oferecer nformações para subsdar o aperfeçoamento de programas e projetos já em desenvolvmento e a adoção de novas ntervenções para a promoção de maor eqüdade e efetvdade dos sstemas de ensno. Além dsso, passou a ser o termômetro da qualdade do aprendzado naconal, comparando o desenvolvmento de habldades e competêncas báscas entre anos e entre as séres escolares nvestgadas, 4ª e 8ª séres do ensno fundamental e 3º ano do ensno médo. (PACHECO & ARAUJO, s.d.) Este sstema vem sendo sstematcamente melhorado, no sentdo de atender com mas efcênca à sua prncpal fnaldade: melhorar a qualdade do ensno. Segundo Albernaz a dsponblzação dos mcro-dados do Saeb tornou possível, pela prmera vez no Brasl, a nvestgação dos determnantes de uma medda de desempenho escolar baseada em rendmentos de alunos em testes padronzados de conhecmento. (2002, p. 3) Com sentdo de amplar a qualdade das nformações dsponíves, fo crado o IDEB, cujo cálculo é feto a cada dos anos pelo Insttuto Naconal de Estudos e Pesqusas Educaconas Aníso Texera (INEP). Seu valor é apurado a partr das notas obtdas na Prova Brasl e das nformações coletados pelo Censo Escolar da Educação Básca (Educacenso), crado para ser uma radografa detalhada do sstema educaconal braslero. O Ideb é resultado do produto entre o desempenho e do rendmento escolar (ou o nverso do tempo médo de conclusão de uma sére) então ele pode ser nterpretado da segunte manera: para uma escola A cuja méda padronzada da Prova Brasl, 4ª sére, é 5,0 e o tempo médo de conclusão de cada sére é de 2 anos, a rede/escola terá o Ideb gual a 5,0 multplcado por 1/2, ou seja, Ideb = 2,5. Já uma escola B com méda padronzada da Prova Brasl, 4ª sére, gual a 5,0 e tempo médo para conclusão gual a 1 ano, terá Ideb = 5,0.(MEC, s.d.) Segundo defnção do própro MEC, O IDEB fo desenvolvdo para ser um ndcador que sntetza nformações de desempenho em exames padronzados com nformações sobre rendmento escolar (taxa méda de aprovação dos estudantes na etapa de ensno). O que confere caráter dferencado ao IDEB é a tentatva de agr sobre o problema da qualdade do ensno mnstrado nas escolas de educação básca, buscando resolvê-lo. (Savan, 2009, p.31) Assm, não restam dúvdas de que a cração de ndcadores de qualdade da educação é o prmero passo para traçarmos um camnho que garanta maor desenvolvmento e melhora das desgualdades socas. No entanto, a sua correta construção, análse e nterpretação também são fundamentas para que se possam traçar polítcas públcas mas efcentes para fornecer respostas mas rápdas à socedade. 3. Metodologa Este trabalho está pautado, bascamente, em cma do estudo dos resultados apresentados pelo cálculo do IDEB e aplcações da Prova Brasl. Assm, pode-se caracterzá-lo como um estudo quanttatvo a partr de uma base montada com os própros dados do Mnstéro da Educação. Os dados foram coletados através do ste do própro mnstéro da educação ( Com os dados brutos montou-se uma planlha em Excel, a partr da qual se pode fazer o tratamento de dados ao qual este trabalho se propõe. Foram coletadas e tabuladas todas as nformações dsponíves a partr dos resultados das Provas Brasl aplcadas nos anos de 2005 e 2007, para todas as escolas muncpas dsponblzadas, para o ensno 4

5 fundamental, I e II segmentos. Os dados dsponíves para o ano de 2005 são: percentual de aprovação, percentual de reprovação, percentual de abandono, méda de horas-aula, percentual de docentes com ensno superor, dstorção de dade do aluno, freqüênca relatva por ntervalo de nota de português e matemátca. Os dados lstados para 2007 são: percentual de aprovação, IDEB, méda de horas-aula, percentual de docentes com ensno superor, dstorção de dade do aluno, freqüênca relatva por ntervalo de nota de português e matemátca. Foram, ao todo, coletadas nformações de 31 escolas em 2005 e 35 em 2007, dstrbuídas conforme a Tabela 1: Nível Fundamental I Fundamental II 5 4 Fundamental I e II 3 5 Fonte: autor Total Tabela 1: Número de Escolas Consderadas Com a base de dados montada, fo realzado um estudo estatístco dos dados hstórcos, o que permtu, com o uso de ferramentas de séres temporas, fazer nferêncas sobre o hstórco e avalar a efcáca da medda atualmente usada para acompanhamento da educação no Brasl. De forma prátca, ncalmente, com os dados de freqüênca relatva de alunos dsponblzados para os dferentes ntervalos de notas das matéras português e matemátca, usando-se o cálculo de méda e desvo-padrão para dados agrupados (para maores detalhes, ver TOLEDO e OVALLE, 1985), calcularam-se os valores observados destas meddas para os dos anos de dados dsponíves. De posse dos resultados, calculou-se a medda denomnada Índce de Sharpe Escolar (ISE): Onde: ISE j : refere-se ao ISE da escola para a matéra j; j: é a méda artmétca das notas de j; j : é o desvo-padrão das notas de j; j: refere-se à matéra português ou matemátca. Em fnanças costuma-se ter um problema de apresentação semelhante. Trata-se da escolha daquela cartera de atvos com a melhor relação entre rsco e retorno dos nvestmentos dsponíves. Lmtar o atvo de determnado nvestdor dante de tantas opções exstentes só é possível quando se avala, relatvamente, rentabldade méda (retorno) e o desvo-padrão da rentabldade (rsco) dos dferentes atvos. Para tanto, um dos ndcadores de maor utlzação para comparação de resultados de cartera ou fundos compostos por atvos de renda varável é o índce de Sharpe: Onde: IS p (Rp Rf ) p 5

6 IS p índce de Sharpe para a cartera ou fundo p; R p : retorno médo da cartera ou fundo p; R f ; retorno da renda fxa; p :desvo-padrão do retorno da cartera ou fundo p. Este quocente também é chamado de medda de retorno excedente por varabldade, ou anda recompensa por varabldade. (ELTON et al., 2004) Na prátca, mutas avalações retram do cálculo a parcela referente à renda fxa; neste caso, trata-se de trabalhar com o nverso do coefcente de varação (CV), medda defnda pela estatístca e aplcável a qualquer varável aleatóra, seja ela fnancera ou não. Onde: CV: coefcente de varação da varável ; j: é a méda artmétca das notas de j; j : é o desvo-padrão das notas de j. O ISE, então, pode ser defndo como uma espéce de índce de Sharpe para a educação e fo calculado, separadamente, para as dscplnas matemátca e português. Depos, fo calculado o Índce de Sharpe Escolar a Partr da Prova Brasl (ISEP) que consste em fazer a méda artmétca entre o ISE de português e o ISE de matemátca: Por fm, utlzaram-se técncas de estatístca para avalação da base de dados. Incalmente calculou-se o coefcente de correlação de Pearson ( ) entre o índce proposto (ISEP) e o índce vgente (IDEB): Onde: ( X ( X X )( Y Y) =1, 2, 3,..., n 2 2 X ) ( Y Y) X e Y são os valores observados das varáves que se deseja correlaconar; são, respectvamente, as médas de X e Y; n: tamanho da amostra. Adconalmente, ncorporou-se a avalação de regressões lneares múltplas e smples conforme o método de mínmos quadrados ordnáros (MQO). Este método consste em calcular, a partr de dados hstórcos, os coefcentes de uma equação lnear utlzando-se o crtéro de mnmzação dos erros (dferença entre valor observado e valor calculado = u ) ao quadrado. Assm, estma-se uma equação do tpo: Y = X X n X n + u Matematcamente, a estmatva dos coefcentes é dada pela segunte gualdade (em formato matrcal): = (X X) -1 X Y 6

7 Conforme GUJARATI (2000), o modelo separa-se em duas parcelas: Assm, mostra-se que ( Y Y) ˆ ( X X ) 2 uˆ SQ REG Y Yˆ uˆ. SQ ERRO SQ Onde u ˆ 2 = SQ ERRO, sendo esta a parcela dos erros que não pode ser explcada pelo modelo. Às estmatvas de pode-se assocar um erro de prevsão que, se comparado à própra estmatva, fornece o valor de stat t, uma estatístca que por ser padronzada, compara-se a um valor tabelado, levando-se à sugestão de que o modelo é estatstcamente váldo (os s são estatstcamente dferentes de zero quando a stat t calculada supera a stat t de referênca tabelada). Foram avalados o total de SQ ERRO e as dversas stats t calculadas para se delnear uma relação entre o IDEB e o ISEP com os demas tens nformados no relatóro dvulgado pelo MEC. O objetvo fo averguar que ndcador guardara melhor relação com o que se deseja avalar. 4. Resultados Encontrados Nesta seção são apresentados os resultados encontrados para o ISEP comparatvamente ao IDEB. Para tanto, serão nvestgadas as nformações dsponíves para os anos de 2005 e 2007, bem como alguns aspectos relatvos à educação do ensno fundamental, I segmento, conforme necessdade de maor quantdade de dados que corroborem o nosso ponto de vsta. A base de dados do trabalho gerou os resultados para o cálculo de ISEP apresentados na Tabela 2: PORTUGUÊS MATEMÁTCA ESCOLA MÉDIA DESVIO- IS MÉDIA DESVIO- ISEP IS PADRÃO PADRÃO CENTRO EDUC ROSE DALMASO 239,58 46,23 5,18 241,40 52,13 4,63 4,91 EM MANOEL DA S MEDEIROS SOBRINHO 231,91 44,28 5,24 244,05 48,93 4,99 5,11 CENTRO EDUC N S DE FATIMA 265,54 40,84 6,50 275,24 41,38 6,65 6,58 CENTRO EDUC BEATRIZ SILVA 226,36 39,77 5,69 246,44 36,30 6,79 6,24 CENTRO EUC ROGER MALHARDES 251,15 41,04 6,12 256,57 48,11 5,33 5,73 CENTRO EDUCACIONAL HELENA PAULA TAVARES 234,65 49,54 4,74 244,56 45,81 5,34 5,04 EM SAKURA 230,72 48,41 4,77 234,29 46,17 5,07 4,92 EM GINDA BLOCH 275,17 40,62 6,77 264,41 48,33 5,47 6,12 EM PROFESSOR PAULO FREIRE 234,41 45,60 5,14 238,57 39,71 6,01 5,57 Fonte: autor Tabela 2: Valor do ISEP apurado ª sére (9º ano) É nteressante observar como estes valores estão relaconados ao própro IDEB. Esta nformação é mportante, pos, se o seu cálculo gerar o mesmo resultado encontrado para o IDEB, então sto sgnfca que a metodologa não gerou ganhos quanto a uma dferente dscrmnação e a um dferente rankeamento das escolas. Uma medda que é capaz de nos fornecer o grau de relação lnear entre as varáves é o coefcente de correlação. O coefcente de correlação com maor utlzação, quando se trata de estudar varáves quanttatvas é o coefcente de correlação de Pearson ( ). O coefcente de correlação fornece uma medda de quão lnear é a relação entre as varáves. Seu valor, demonstra-se matematcamente, sempre estará entre -1 e 1. O módulo de, caso esteja próxmo a 1, ndca que a relação é pratcamente lnear e, caso contráro, que as varáves não apresentam relação lnear. No caso de varáves perfetamente correlaconadas, = 1; no caso de varáves ndependentes = 0. O snal do coefcente de correlação ndca se as varáves são postva ou negatvamente relaconadas ( > 0 e < 0, respectvamente). TOTAL 7

8 Para o estudo em questão, calculou-se o coefcente de correlação entre o IDEB e o ISEP. O valor encontrado fo de 0,40, ndcando uma baxa relação lnear entre os índces. Assm, magna-se que a ordenação pelo ISEP fornecerá resultados dferentes dos encontrados pelo IDEB. De fato, os resultados demonstram sso: ORDEM RANKING PELO IDEB: IDEB RANKING PELO ISEP: ISEP 1. EM GINDA BLOCH 4,40 CENTRO EDUC N S DE FATIMA 6,58 2. CENTRO EDUC N S DE FATIMA 4,30 CENTRO EDUC BEATRIZ SILVA 6,24 3. CENTRO EDUC ROSE DALMASO 4,20 EM GINDA BLOCH 6,12 4. CENTRO EUC ROGER MALHARDES 3,80 CENTRO EUC ROGER MALHARDES 5,73 5. CENTRO EDUCACIONAL HELENA PAULA TAVARES 3,60 EM PROFESSOR PAULO FREIRE 5,57 6. CENTRO EDUC BEATRIZ SILVA 3,30 EM MANOEL DA S MEDEIROS SOBRINHO 5,11 7. EM SAKURA 3,10 CENTRO EDUCACIONAL HELENA PAULA TAVARES 5,04 8. EM MANOEL DA S MEDEIROS SOBRINHO 3,00 EM SAKURA 4,92 9. EM PROFESSOR PAULO FREIRE 2,90 CENTRO EDUC ROSE DALMASO 4,91 Fonte: autor Tabela 3: Ordenação pelo IDEB vs. Ordenação pelo ISEP A análse da Tabela 3 ndca que há grandes dferenças entre se olhar o rankeamento segundo o crtéro atual desenvolvdo pelo Governo Federal, e segundo o crtéro sugerdo neste trabalho. A prmera colocada pelo IDEB se transforma na 3ª pelo ISEP. A 2ª colocada segundo o ISEP, aparece em 6º lugar pelo IDEB. A 3ª colocada segundo o IDEB ca para a últma colocação pelo ISEP. Assm, fca evdente que as duas metodologas produzem resultados dferentes. Mas gerar resultados dferentes não mplca em fornecer um resultado melhor. Com a ntenção de averguar se a metodologa de cálculo aqu proposta ndca uma avalação mas efcente quanto à qualdade do ensno públco, resolveu-se verfcar como se comporta cada um dos ndcadores, em relação aos prncpas índces dvulgados para cada escola. O relatóro do Saeb, dsponível por escola pelo ste nforma alguns ndcadores, a saber: alunos partcpantes da Prova Brasl, percentual de aprovação, IDEB, méda de horas-aula, percentual de docentes com ensno superor, dstorção de dade do aluno, freqüênca relatva por ntervalo de nota de português e matemátca. Os dados são dsponblzados para a 4ª sére (5º ano) e 8ª sére (9º ano). Para averguar a mportânca destes ndcadores no cálculo do IDEB e o ISEP, resolveu-se utlzar a metodologa de estmação de parâmetros de regressão lnear múltpla, conforme o método de mínmos quadrados ordnáros (MQO). Para evtar possíves problemas de heterocedastcdade, fo aplcado logartmo neperano aos dados. A base de dados ncal, composta pelos ndcadores lstados para as 9 escolas do Muncípo é consderada nsufcente, quando se trata da utlzação de um modelo de regressão lnear, sendo recomendável trabalhar com, pelo menos, 30 observações. No entanto, dspunha-se, também, da base de dados dos resultados referentes às escolas de educação fundamental, I segmento (cujo térmno acontece na 4ª sére, atual 5º ano). Para que a base de dados pudesse servr como uma proxy, fo nvestgado o coefcente de correlação entre ISEP e IDEB. O valor encontrado para o I segmento fo de 0,37, valor bem próxmo ao do II segmento, sugerndo que os resultados, neste caso, devem fornecer valores bem parecdos. Assm, rodou-se a segunte equação ncal: ISEP = * AP + 2 * DI + 3 * MHA + 4 * DS + 5 * AA + E testou-se o mesmo modelo substtundo-se o ISEP pelo IDEB: IDEB = * AP + 2 * DI + 3 * MHA + 4 * DS + 5 * AA + 8

9 Onde: XXXI ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO ISEP refere-se ao logartmo do ISEP da escola ; IDEB refere-se ao logartmo do IDEB da escola ; AP refere-se ao logartmo do número de alunos partcpantes da escola ; DI refere-se ao logartmo do número de dstorção-dade da escola ; MHA refere-se ao logartmo do número médo de horas-aula da escola ; DS refere-se ao logartmo do percentual de docentes com ensno superor da escola ; AA refere-se ao logartmo percentual de alunos aprovados da escola ; : refere-se ao erro de estmação. Para a regressão com ISEP, nenhuma das varáves mostrou-se sgnfcatva, ndcando que nenhum destes ndcadores explca o comportamento do ISEP encontrado. ISEP IDEB Varável Dependente Coefcente Stat t Varável Dependente Coefcente Stat t AP -0,070-1,136 AP -0,041-1,008 DI 0,063 0,464 DI -0,037-0,409 MHA -0,357-0,669 MHA 0,025 0,070 DS -0,009-0,098 DS -0,059-1,003 AA 0,543 0,894 AA 1,545 3,861 R 2 0,106 R 2 0,591 AP -0,067-1,227 AP -0,040-1,066 DI 0,061 0,463 DI -0,037-0,432 MHA -0,369-0,725 DS -0,058-1,034 AA 0,528 0,917 AA 1,540 3,994 R 2 0,106 R 2 0,591 AP -0,065-1,209 AP -0,042-1,139 MHA -0,394-0,791 DS -0,061-1,125 AA 0,355 0,822 AA 1,648 5,719 R 2 0,098 R 2 0,588 AP -0,076-1,475 AP -0,027-0,785 AA 0,384 0,898 AA 1,594 5,583 R 2 0,076 R 2 0,568 AP -0,054-1,197 AA 1,488 5,951 R 2 0,049 R 2 0,558 Fonte: autor Tabela 4: Resultados das Regressões com ISEP e IDEB 2007 Ensno Fundamental I segmento Para a regressão do IDEB, apenas a varável AA mostrou-se representatva. O grau de determnação encontrado para esta varável fo de 0,56, consderado bastante elevado, em se tratando de uma únca varável que explca o comportamento de outra. Possvelmente, o percentual de aprovados substtu alguma outra varável, com a qual ela mantém forte correlação. Pelo estudo da metodologa de cálculo do IDEB, acredta-se que, neste caso, o percentual de aprovação esteja substtundo a varável tempo médo de conclusão da sére, apresentada na seção 2 deste artgo. Com estes resultados fca claro, conforme proposta do própro IDEB, que este cálculo nfluenca, em muto, os resultados fnas do ndcador. 9

10 Isto nos faz pensar se esta relação, tão elevada, não podera estar repercutndo na escolha entre aprovar e reprovar dos docentes, uma vez que a smples aprovação do aluno gera melhor desempenho, segundo o ndcador calculado pelo Mnstéro da Educação. Os resultados efetvos do ISEP comprovam que a aprovação dos alunos pode estar correlaconada de forma fraca com um desempenho unforme da turma, demonstrado pelo teste F da regressão de ISEP que sugere que, estatstcamente, não exste relação entre ele e qualquer uma das varáves apresentadas na análse do MEC. Outra observação mportante, que demonstra a urgênca de se avalar outro ndcador no lugar do IDEB, é o estudo do seu grau de correlação lnear com a méda das notas de português e matemátca apuradas. Para o I segmento, = 0,88 e, para o II segmento, vez, há que se destacar a semelhança dos valores encontrados. Este elevado grau de correlação ndca que a méda também nfluenca muto fortemente o cálculo do IDEB, o que não ocorre com o ISEP. É um forte ndcatvo de que apenas a méda nfluenca o IDEB, o que mplca na nobservânca da dstrbução dos alunos em torno da méda. Assm, a exstênca de poucos alunos muto fortes pode compensar a de alunos muto fracos, sem que o ndcador seja contamnado com uma possível heterogenedade de alunos. O ISEP, por sua vez, ncorpora o conceto de desvo-padrão, o que garante que extremos postvos ou negatvos, certamente, nfluencarão, de modo negatvo, o ndcador meddo. Uma dmensão mportante que mereceu ser nvestgada é a evolução do ndcador proposto. O cálculo referente a apenas uma aplcação de prova, ou a um ano específco, é capaz de fornecer apenas uma fotografa de um determnado momento. Mas a avalação evolutva, mutas vezes, traz outros aspectos mportantes. Neste caso, dspõe-se de apenas dos anos de observação. Não é bastante se qusermos usar ferramentas estatístcas para comprovar algumas mpressões, mas certamente já pode fornecer alguns ndícos de tendênca CEDAL ABACATINHO CENSF CEBES CERON CEHPT SAKURA GINDA BLOCH Fgura 1: ISEP II segmento Teresópols 2005 e 2007 O que nos parece, com a análse destes dos anos, é que não exste uma unformdade entre as oto escolas acompanhadas (a 9ª escola de nossa amostra fo excluída deste acompanhamento por só conter dados referentes a 2007). Três escolas apresentaram melhora de performance (CENSF, CEBES e Gnda Bloch) e as demas tveram perda de rendmento. Destaca-se que 10

11 os ganhos, em termos nomnas, de crescmento do ISEP, representaram cerca de 50% das perdas médas nomnas. Este é um forte ndíco de falta de unformdade, de modo que se recomenda que as polítcas públcas, com relação à educação de Teresópols, sejam revstas, em prol de um desenvolvmento mas unforme. Adconalmente, vale à pena destacar que as três escolas ctadas como tendo melhorado conforme apuração do ISEP foram as três prmeras colocadas segundo o novo rankeamento proposto. Desta forma, acredta-se que o ISEP tenha a capacdade de resposta mas rápda às mudanças do que o IDEB que, provavelmente, já na próxma medção, acredta-se, deve gerar resultados de ordenação mas smlares aos do ISEP de Sob esta ótca, o ISEP tera a propredade de ser mas dnâmco e, portanto, destacar problemas a serem corrgdos de forma mas rápda do que o atual ndcador do MEC. Além dsso, este tpo de avalação não pode ser feta a partr do IDEB, uma vez que, no ste do MEC, só está dsponblzado o valor deste ndcador para o ano de 2007, mpedndo que esta mesma análse seja realzada. Por fm, uma vez que a base de dados está dsponível, amplou-se o cálculo do ISEP também para as escolas de ensno fundamental, I segmento, de Teresópols. Comparando-se a ordenação encontrada a partr do IDEB com a obtda a partr do ISEP, chega-a conclusões bastante nteressantes. O que se pode notar é que a ordenação é bastante dferente. Para ratfcar esta mpressão, é possível calcular o coefcente de correlação de Spearman. Esta medda leva em consderação os postos, as posções, para as varáves observadas. De modo semelhante ao coefcente de correlação de Pearson, se não houver mudança no ordenamento, seu valor é equvalente a 1. Neste caso, o coefcente observado fo equvalente a 0,43, ndcando que a relação entre os ndcadores é realmente baxa e, portanto, o ISEP forneceu uma ordenação relatvamente dferencada. É nteressante avalar, também, como fo a evolução, segundo o ndcador atual e o proposto, entre o desempenho das cranças de I e II segmentos. Das escolas avaladas, apenas cnco oferecem o ensno em ambos os segmentos: CEDAL, Abacatnho, CENSF, CEBES e CERON. Grafcamente a evolução fo a segunte: CEDAL ABACATINHO CENSF CEBES CERON 5º ANO 9º ANO Fgura 2: IDEB Varação entre I e II segmentos Teresópols 2007 Neste caso apenas uma escola apresenta evolução: o CEBES. A avalação pelo ISEP fornece outras mpressões: 11

12 CEDAL ABACATINHO CENSF CEBES CERON 5º ANO 9º ANO Fgura 3: ISEP Varação entre I e II segmentos Teresópols 2007 Neste caso, uma escola manteve o ndcador entre os segmentos, mas todas as demas ndcaram melhora. Isto ocorre porque, em geral, as meddas de dspersão observadas pratcamente se mantveram (o desvo padrão sofre pouca alteração entre o I e II segmentos), mas as médas de notas subram, como era de se esperar. Assm, o CV das escolas tende a melhorar com o tempo. Este tpo de avalação, onde se espera um certo crescmento com o tempo, certamente é mas estmulante ao corpo docente que percebe, com mas clareza, a evolução e o ganho de conhecmento dos dscentes. Destaca-se que na únca escola onde o ndcador ISEP se manteve, o que se verfca é que tanto as médas quanto os desvos cresceram, de modo que o CV fcasse constante, ndcando que os alunos, em méda, melhoraram, mas perderam unformdade de desempenho. 5. Conclusões Na ntrodução deste trabalho fo apresentado o seu objetvo: fazer um estudo sobre a base de dados produzda pela aplcação do Saeb e da Prova Brasl para o ensno fundamental, 2º segmento, do Muncípo de Teresópols, no estado do Ro de Janero. Este objetvo fo plenamente atngdo, com a sugestão de mplantação do cálculo do ISEP. O ISEP, nsprado no índce de Sharpe, usualmente nvestgado quando se deseja realzar nvestmentos no mercado de captas, e na medda estatístca denomnada coefcente de varação, é, na verdade, uma méda da relação entre a nota méda das provas de português e matemátca e o desvo-padrão (medda de como estas notas estão espalhadas, dspersas) das mesmas. A observação do ISEP ndcou que seu cálculo é mas nteressante do que o atualmente apurado pelo IDEB, porque ndca se os alunos estão adqurndo conhecmento de modo mas unforme; desestmula polítcas que promovam aprovação do aluno para apenas melhorar o desempenho da escola; responde mas rapdamente a mudanças de desempenho, de modo que proporcona mas agldade para correções de rumo de polítcas educaconas; fornece uma ordenação bastante dferente à do IDEB e, portanto, sugere prordades dferentes (e, ao que parece, mas consstente); apura um ndcador que tende a apresentar crescmento entre I e II segmentos, certamente um estímulo maor ao corpo docente que percebe, mas claramente, a evolução de seus alunos. Assm, o ISEP parece ser uma ferramenta de análse mas poderosa do que o IDEB para ser observado quando se deseja avalar os resultados e traçar os objetvos das polítcas públcas, voltadas para melhora da qualdade do ensno. O ISEP, no entanto, parece ser capaz de 12

13 ndcar em que escolas, dentro de cada muncípo, as defcêncas são maores, apontando prordades de atuação dos governos muncpas. Comparatvamente ao ndcador atualmente avalado pelo MEC, o ISEP parece ndcar, de forma mas efcente, defcêncas que precsam ser contornadas se qusermos melhorar a qualdade da educação. No entanto, este estudo de caso basea-se apenas nas escolas de ensno fundamental da rede públca muncpal de Teresópols, sendo este um estudo nsufcente para que se possam generalzar, com relatva segurança, os resultados aqu encontrados. Assm, recomenda-se estender este estudo para outros muncípos brasleros de modo a comprovar a sua real efcáca e, numa etapa posteror, ndcar-se a efetva substtução do IDEB como ndcador de qualdade da educação. Adconalmente, recomenda-se que cada governo muncpal procure avalar este ndcador para suas escolas a fm de, ndvdualmente, propor soluções mas efcazes no sentdo de amplar o dreto à educação de qualdade à população de baxa renda. Somente com meddas deste tpo será possível reduzr a dstânca entre o ensno públco e prvado e garantr aos segmentos de ensno médo e superor a recepção de alunos mas preparados. Referêncas ALBERNAZ A.; et al.. Qualdade e eqüdade na educação fundamental braslera Texto para Dscussão nº 455. Ro de Janero: Departamento de Economa PUC, AMARAL, R. M., A Avalação de Resultados no Setor Públco: Teora e Aplcação Prátca no estado do Ro de Janero, TCE-RJ, BRASIL-MEC. O Plano de Desenvolvmento da Educação: razões, prncípos e programas. Brasíla, MEC, s/d. BUSSAB, W. de O.; MORETTIN, P. A.; Estatístca Básca. São Paulo: Edtora Sarava, a edção, 3a tragem. ELTON, E.J.; GRUBER, M.; BROWN, S.J. & GOETZMANN, W.N. Moderna Teora de Carteras e Análse de Investmentos. São Paulo: Atlas, GUJARATI, D.N.; Econometra Básca. São Paulo: Makron Books, ª edção. PACHECO, E.; ARAÚJO, C. H.; Pesqusa Naconal Qualdade da Educação: a escola públca na opnão dos pas, s.d.. SAVIANI, D.. PDE Plano de Desenvolvmento da Educação: Análse Crítca da Polítca do MEC. Campnas, SP: Autores Assocados, Educacão Braslera: Estrutura e Sstema. 10ª edção. Campnas, SP: Autores Assocados, 2008 SECRETARIA DE DESENVOLVIMENTO; Estatístcas, Incentvos Fscas, s.d.. Dsponível em: Acesso em: 15/09/2010. TOLEDO, G. L.; OVALLE, I.; Estatístca Básca. São Paulo: Atlas, ª edção. VIANNA, E. M. G., Impacto do Nível Socoeconômco Sobre o Desempenho Escolar do Ensno Médo no Brasl, Dssertação de Mestrado: Unversdade Cânddo Mendes UCAM, Ro de Janero, out/2009. VILLELA, M., Todos pela Educação de Qualdade. SP: Folha de S. Paulo, 6 set. Opnão, p.a