GOVERNADOR DO ESTADO DO ESPÍRITO SANTO JOSÉ RENATO CASAGRANDE VICE- GOVERNADOR DO ESTADO DO ESPÍRITO SANTO GIVALDO VIEIRA DA SILVA

ISSN 2237-8324

ISSN 2237-8324

GOVERNADOR DO ESTADO DO ESPÍRITO SANTO JOSÉ RENATO CASAGRANDE VICE- GOVERNADOR DO ESTADO DO ESPÍRITO SANTO GIVALDO VIEIRA DA SILVA SECRETÁRIO DO ESTADO DA EDUCAÇÃO KLINGER MARCOS BARBOSA ALVES SUBSECRETÁRIA DE ESTADO DE PLANEJAMENTO E AVALIAÇÃO CARMEM LUCIA PRATA GERENTE DE INFORMAÇÃO E AVALIAÇÃO EDUCACIONAL EDUARDO MALINI SUBGERÊNCIA DE AVALIAÇÃO EDUCACIONAL FABÍOLA MOTA SODRÉ (SUBGERENTE) CLAUDIA LOPES DE VARGAS DENISE MORAES E SILVA GLORIETE CARNIELLI SILVIA MARIA PIRES DE CARVALHO LEITE SUBGERÊNCIA DE ESTATÍSTICA EDUCACIONAL DENISE PEREIRA DA SILVA (SUBGERENTE) ELZIMAR SOBRAL SCARAMUSSA REGINA HELENA SCHAFFELN XIMENES TATIANA LEÃO LEITE TOSTES

Apresentação KLINGER MARCOS BARBOSA ALVES

Estar atento ao desempenho dos estudantes capixabas é uma preocupação constante desta Secretaria de Estado da Educação e para que isso se concretize torna-se necessário modernizar e democratizar as ações públicas já implementadas. Caros EDUCADORES, Contamos atualmente com uma poderosa ferramenta de avaliação educacional, o PAEBES - Programa de Avaliação da Educação Básica do Espírito Santo, que tem como objetivo diagnosticar o desempenho dos alunos e subsidiar as políticas públicas do estado na melhoria do processo das aprendizagens desses alunos das redes públicas de ensino (estadual e municipais) e escolas particulares participantes. Constitui-se hoje o mais amplo instrumento de medição externa da qualidade do desenvolvimento de habilidades e competências dos estudantes e um dos mais sofisticados programa de avaliação em larga escala do nosso País. Esta semente plantada no ano 2000 produz reflexos positivos nos resultados da proficiência média dos alunos através da apropriação, e do uso da informação por toda comunidade educativa, possibilitando assim, a criação de novas estratégias na escola e fortalecendo o compromisso de ofertar para crianças e adolescentes uma educação de qualidade, voltada para o crescimento do aluno. Os alunos dos 1º, 2º e 3º anos do EF foram avaliados pelo PAEBES ALFA nas disciplinas de Língua Portuguesa (leitura e escrita) e Matemática. Já os de 4ª série/5º ano, 8ª série/9º ano EF e 3ª série do EM fizeram teste de Língua Portuguesa e Matemática. O PAEBES, buscando aprimorar cada vez mais o seu sistema de avaliação, inova acrescentando outras áreas de conhecimento. Em 2012 foi a vez de História e Geografia para a 8ª série/9º ano e 3ª série do EM e em 2013, aplicação de testes de Ciências da Natureza para essas mesmas séries. Ao todo foram avaliados no ano de 2013 aproximadamente 250 mil alunos das séries/anos mencionados, abrangendo toda a rede estadual, 96% da rede municipal de educação e 20 % das escolas particulares. Esperamos que os gestores e os educadores das instituições de ensino do nosso Estado recebam os resultados do PAEBES e utilizem essa valiosa ferramenta como instrumento para promoção de ações eficazes, resultando em uma aprendizagem mais significativa àqueles que têm direito a educação.

Sumário 1Experiência em foco Avaliação em larga escala: subsídio para a melhoria da qualidade da educação 2A importância da página 14 gestão escolar e o desempenho estudantil página 10 página 16

34 Experiência em foco página 23 Padrões de Desempenho página 25 Os resultados da avaliação página 27

Avaliação em larga escala: subsídio para a melhoria da qualidade da educação

Rede Municipal PAEBES 2013 11 A melhoria da qualidade da educação oferecida por nossas escolas, em todo o país, se tornou um compromisso assumido pela União, estados, municípios e por toda a sociedade, acolhendo a responsabilidade conjunta pela aprendizagem de todos os estudantes. No centro deste compromisso, a avaliação educacional em larga escala se apresenta como um instrumento fundamental para o acompanhamento deste processo de melhoria. A serviço da consolidação e da garantia de um direito fundamental de todo estudante, o direito de aprender, a organização de sistemas de avaliação das redes de ensino fornece aos gestores informações indispensáveis para que políticas públicas educacionais efetivas sejam planejadas e executadas. Com isso, ações têm lugar a partir de um diagnóstico seguro do desempenho dos estudantes em relação a conteúdos essenciais da Educação Básica. Não há educação sem metas. Cada professor, gestor escolar, coordenador pedagógico, estudantes e familiares estabelecem para si uma meta a ser perseguida. A meta brasileira é a elevação dos padrões de qualidade do ensino que oferecemos aos nossos estudantes. Reconhecendo as dificuldades deste processo, cabe à gestão das redes de ensino fazer seu papel: garantir os instrumentos que, concretizando a oferta de um ensino de qualidade, sejam capazes de avaliar as melhorias ao longo do tempo, apontando as lacunas que ainda estão por preencher e os elementos que precisam ser mantidos ou aprimorados. unidade escolar, a avaliação educacional intenta fornecer ao gestor um diagnóstico completo de sua rede, dando-lhe o suporte necessário para que suas decisões estejam ancoradas nas necessidades reais das escolas. Identificando as dificuldades que os afetam, os gestores são capazes de direcionar seus esforços para a resolução daquelas, objetivando, sempre, uma educação equânime e de qualidade. O Programa de Avaliação da Educação Básica do Espírito Santo (PAEBES), ao avaliar o desempenho dos estudantes atendidos pela rede pública de ensino, reforça seu compromisso com a melhoria da qualidade da educação do estado, compartilhando os resultados com toda a sociedade capixaba, e convidando-a a fazer parte, junto com todos os professores, diretores, funcionários das escolas, e todos aqueles envolvidos com a educação, deste enorme esforço de mobilização. Para que este esforço seja empreendido, a presente Revista apresenta os resultados de desempenho dos estudantes, para todo o projeto, bem como para cada SRE avaliada, mapeando as escolas segundo suas práticas pedagógicas, além de fornecer outras análises complementares. Reunindo informações sobre os problemas enfrentados pelas escolas, como as desigualdades sociais que as perpassam, assim como as deficiências enfrentadas internamente por cada

12 PAEBES 2013 Revista do Sistema de Avaliação Trajetória Desde o ano de sua criação, em 2000, o Programa de Avaliação da Educação Básica do Espírito Santo tem buscado fomentar mudanças na educação oferecida pelo estado, vislumbrando a oferta de um ensino de qualidade. Em 2013 os estudantes das escolas estaduais, municipais e Escolas Particulares Participantes (EPP) do estado foram avaliados nas áreas do conhecimento de Língua Portuguesa, Matemática, Ciências e Ciências da Natureza (Biologia, Física e Química). O Programa avaliou estudantes da 4ª série/5 ano e 8ª série/9º ano do Ensino Fundamental e da 3ª série do Ensino Médio. A seguir, a linha do tempo expõe a trajetória do PAEBES, de acordo com os anos, o número de estudantes, as disciplinas e as etapas de escolaridade avaliadas. 106.830 estudantes avaliados séries avaliadas: 4ª Série/5º Ano, 8ª Série/9º Ano do Ensino Fundamental e 1ª Série do Ensino Médio disciplinas envolvidas: Língua Portuguesa e Matemática 2009 2008 2010 14.446 estudantes avaliados série avaliada: 1ª Série do Ensino Médio disciplinas envolvidas: Língua Portuguesa e Matemática 83.471 estudantes avaliados séries avaliadas: 4ª Série/5º Ano, 8ª Série/9º Ano do Ensino Fundamental e 1ª, 3ª Séries do Ensino Médio disciplinas envolvidas: Língua Portuguesa e Matemática

Rede Municipal PAEBES 2013 13 114.254 estudantes avaliados séries avaliadas: 4ª Série/5º Ano, 8ª Série/9º Ano do Ensino Fundamental e 1ª, 3ª Séries do Ensino Médio disciplinas envolvidas: Língua Portuguesa, Matemática, Biologia, Física e Química 93.922 estudantes avaliados séries avaliadas: 4ª Série/5º Ano, 8ª Série/9º Ano do Ensino Fundamental e 3ª Série, 3º, 4º Anos do Ensino Médio disciplinas envolvidas: Língua Portuguesa, Matemática, Biologia, Física, Química e Ciências (Ensino Fundamental) 2011 2013 2012 106.525 estudantes avaliados séries avaliadas: 4ª Série/5º Ano, 8ª Série/9º Ano do Ensino Fundamental e 2ª, 3ª Séries do Ensino Médio disciplinas envolvidas: Língua Portuguesa, Matemática, Geografia e História

14 PAEBES 2013 Revista do Sistema de Avaliação Experiência em foco APROXIMANDO REALIDADES: AVALIAÇÃO COMO AÇÃO ESTRATÉGICA Carmem Lúcia Prata, subsecretária de Estado de Planejamento e Avaliação - Carmem Lúcia Prata recentemente se tornou Subsecretária de Estado de Planejamento e Avaliação, trazendo propostas concretas de mudança de pensamento. Com formação em Pedagogia, ela é Mestre em Educação e Especialista em Tecnologia Educacional e Planejamento Educacional. De acordo com Carmen, o processo avaliativo deve ser utilizado como ferramenta estratégica. São informações que possibilitam as correções de rumos necessários à eficácia das políticas voltadas para o desenvolvimento da aprendizagem dos estudantes. Quando ocorre a apropriação dos resultados, acredita a coordenadora, a avaliação em larga escala promove um conhecimento mais consistente das redes de ensino e oferece subsídios para o aprimoramento da gestão da educação. Em geral, há uma preocupação a respeito dos resultados e uma dificuldade, em algumas escolas, na leitura e no uso dos dados para o planejamento estratégico. É preciso continuar orientando as escolas sobre o uso dos resultados das avaliações como mecanismo de planejamento das ações educativas. Na visão da pedagoga, os indicadores de desempenho recolhidos através do sistema devem servir de base para tomada de decisões, tanto no âmbito da escola quanto nas demais esferas do sistema educacional. E a lista de possibilidades de trabalho é grande: reorientação das Diretrizes Pedagógicas; definição de cursos necessários à formação continuada dos profissionais da educação; implantação de projetos, visando aprimorar a aprendizagem dos estudantes; e enriquecimento dos processos avaliativos. A avaliação pode ser encarada também como uma ação formativa, possibilitando ao grupo de professores, pedagogos e gestor a comparação dos resultados obtidos pelos estudantes durante seu percurso escolar e a reflexão acerca dos objetivos e práticas desenvolvidas pela escola durante o período letivo, completa. Carmen destaca, ainda, que os resultados das avaliações têm aproximado as famílias das escolas. Isso efetiva, em algumas instituições, uma relação mais produtiva entre esses dois atores. Mas, ressalta que o sistema só tem efetividade desde que subsidie as informações necessárias para a definição do planejamento estratégico (do órgão central, das Superintendências e escolas) no tempo e forma adequados.

Rede Municipal PAEBES 2013 15 Participar da avaliação com responsabilidade é fator essencial para a obtenção de um resultado mais aproximado da condição real de aprendizagem, segundo a subsecretária. Para isso, ela propôs uma série de ações, que, estrategicamente, inclui a divulgação. Os resultados são apresentados em seminário para toda a comunidade educacional, incluindo os municípios parceiros e sociedade em geral. Os dados são divulgados na web e em formato impresso, por meio de revistas. Após esse período, também está prevista a realização de oficinas nas Superintendências e nas escolas. Não podemos esquecer que a avaliação traz um recorte daquilo que se propõe de formação na escola e isso vai além dos conteúdos, simplesmente. Para Carmen, o monitoramento permite uma reflexão sobre a realidade educacional e, portanto, redireciona o olhar para dentro da escola como um todo, assim como para as políticas definidas e implantadas em toda a rede de ensino. Um desempenho ruim dos estudantes, por exemplo, deve ser visto como um alerta e ser motivo para uma imediata intervenção pedagógica, enfatiza, dizendo que, ao mesmo tempo, é preciso verificar se as condições físicas das escolas são adequadas, se a formação oferecida aos professores oportuniza conhecimento, aplicação de novas práticas de ensino e revisão dos processos avaliativos, se os projetos e programas implantados para aquele público atendem de fato às necessidades de aprendizagem, entre outros fatores que influenciam o processo de ensino-aprendizagem. As avaliações nos trazem dados que precisam provocar mudanças na forma de pensar e agir de todos os integrantes do sistema. Em função desse pensamento, a coordenação tem proposto formações específicas para as áreas que apresentam necessidade de maior investimento na aprendizagem, como Matemática, Língua Portuguesa e Ciências. Ela conta que também houve investimento na formação de pedagogos, gestores escolares, e na elaboração de diretrizes, visando tornar mais efetivo o assessoramento pedagógico nas escolas.

A importância da gestão escolar e o desempenho estudantil

Rede Municipal PAEBES 2013 17 Apresentação Do ponto de vista administrativo, informações sintéticas são de grande relevância para conhecer o sistema escolar. É necessário um esforço de conversão das características reais do sistema de ensino para conferir-lhe um caráter de especificidade e objetividade típico da perspectiva de macroanálise, facilitando conhecer o sistema como um todo. A elaboração, implementação e efetivação de políticas educacionais dependem de informações dessa natureza. Por exemplo, para entender algumas dimensões dessa realidade, podemos contar com indicadores simples, como a taxa de aprovação das escolas em cada série e nível de ensino; para outras dimensões, como a noção de clima escolar, precisamos de diversas informações para construir uma medida capaz de expressar de algum modo suas características. A partir daí, podemos traçar ações e estratégias para intervir na realidade escolar e melhorar a eficiência do sistema. O texto a seguir tem como objetivo sintetizar um grande conjunto de informações das escolas em índices. As Superintendências Regionais de Ensino percebem com facilidade a importância de informações sintéticas para a gestão das escolas sob sua responsabilidade. Por essa razão, disponibilizaremos, no site do projeto, como resultado da análise apresentada aqui, os dados das escolas por Superintendência Regional de Ensino, com as principais informações mobilizadas a partir dos questionários contextuais. As escolas participantes do Programa de Avaliação da Educação Básica do Espírito Santo também terão acesso ao texto, publicado na revista que lhes é destinada, e aos seus dados, que serão disponibilizados no site do projeto, com a intenção de que essas análises e reflexões possam contribuir para o desafio de tornar favoráveis à qualidade da educação de todos os elementos que a escola é capaz de mobilizar. Eficácia escolar: desafio de gestão As escolas são espaços que promovem interações entre diversos agentes. Nelas atuam expectativas, perspectivas e visões sobre seus rumos, suas funções, suas melhores práticas e sobre os melhores métodos para construir um ambiente de promoção da educação, baseada em valores mais ou menos compartilhados ou compreendidos pela comunidade escolar. No contexto da discussão sobre a promoção da qualidade e da equidade nos sistemas educacionais, a conjunção desses fatores deve sempre visar ao desenvolvimento da aprendizagem para todos os estudantes. O processo de ensino-aprendizagem é mediado por diversos fatores, já amplamente estudados pelas ciências sociais. Grande parte dos trabalhos se preocupa em destacar a forte influência que os fatores extraescolares têm sobre os resultados dos estudantes dentro das escolas. Nosso foco será diferente: enfatizamos a importância do clima escolar, das disposições e práticas de gestão, e das disposições e práticas pedagógicas. A consideração dos fatores extraescolares servirá apenas para guiar comparações mais adequadas sobre os diferentes fatores intraescolares. Afinal de contas, são os contextos administrativos e pedagógicos das instituições escolares em que podemos interferir de maneira mais objetiva. Torna-se, então, fundamental verificar em quais circunstâncias encontramos resultados escolares mais eficazes. Os resultados a seguir são uma síntese de estudos mais amplos realizados pelos pesquisadores do CAEd/UFJF. A intenção é dialogar com aspectos práticos da gestão escolar, partindo de considerações gerais para elementos específicos, de maneira a possibilitar reflexões direcionadas à melhoria do sistema de ensino.

18 PAEBES 2013 Revista do Sistema de Avaliação A realidade escolar em números As formas de mensurar as características das escolas associadas ao sucesso escolar variam amplamente. Sob a perspectiva das avaliações em larga escala, podemos mensurar tanto os resultados das escolas quanto os fatores internos e externos associados ao desempenho dos estudantes. Boas reflexões nascem da consideração simultânea entre: 1) as características externas dos estudantes relacionadas ao desempenho, como um controle para comparar contextos semelhantes; 2) as características administrativas e pedagógicas das escolas capazes de modificar os resultados; e 3) uma boa medida de desempenho das instituições, associada às finalidades do ensino e à noção de sucesso escolar. Para o trabalho que desenvolvemos a seguir, utilizamos como controle das características externas dos estudantes o Índice Socioeconômico dos mesmos (ISE), elaborado a partir de suas respostas ao questionário contextual. Como síntese dos aspectos administrativos e pedagógicos relevantes das escolas, construímos, com diferentes fontes de informação, três índices, que envolvem a percepção de todos os envolvidos, quando pertinente: 1. Um índice sobre a percepção da convivência e das práticas escolares de uma maneira geral; 2. Um índice sobre as disposições e práticas pedagógicas dos professores (que chamamos de Índice da Dimensão Pedagógica IDP); e seguir, uma breve explicação de cada uma dessas variáveis antes de demonstrarmos os resultados encontrados. O ISE nos fornece uma medida comparativa para as condições de vida dos estudantes avaliados, considerando não só aspectos econômicos, mas também alguns aspectos sociais e culturais, e fornecendo uma rica medida de controle para fatores externos classicamente associados ao desempenho escolar. Para evidenciar como tais condições afetam as escolas, após a elaboração das médias, criamos duas categorias: escolas com valores baixos e médios 1 de ISE; e escolas com valores mais altos para o ISE. Essas categorias serão usadas nas comparações feitas adiante. O Índice de Clima Escolar ICE Um melhor desempenho dos estudantes depende também da capacidade das instituições escolares em gerar um ambiente acadêmico adequado para o desenvolvimento do conhecimento curricular. Uma forma de mensuração para tanto é captar a percepção dos agentes envolvidos no ambiente escolar sobre aspectos como convivência, cuidado, disciplina, exigência acadêmica, interesse e motivação, organização e segurança dentro da escola. Com essas respostas, foi construído o Índice de Clima Escolar (ICE). Esse índice traduz em números as opiniões em questão e sua média é considerada aqui como a medida do clima da instituição. Para evidenciar 3. Um índice sobre suas próprias disposições e práticas de gestão escolar (Índice da Dimensão de Gestão IDG). Como medida da eficácia, utilizamos o percentual de estudantes nos padrões Proficiente ou Avançado dentro das escolas, em todas as etapas avaliadas. A 1 As categorias dos índices são chamadas de médio ou baixo e alto por conta dos procedimentos utilizados na formulação dos mesmos. Num primeiro momento, foram construídas três categorias (baixo, médio e alto). De maneira a explicitar com maior ênfase os resultados atingidos pelos índices, optou-se por agregar as categorias médio e baixo, isolando, com isso, a categoria alto. Assim, inserem-se na categoria alto apenas aquelas unidades que atingiram os requisitos para tanto, localizando-se dentre os 20% superiores em relação a cada índice.

Rede Municipal PAEBES 2013 19 as diferenças proporcionadas por essa variável, também criamos duas categorias: escolas com valores baixos e médios; e escolas com valores mais altos para o ICE. Basicamente, a categoria de valores mais altos abrange 43,0% das escolas do sistema com os maiores valores de ICE. A tabela a seguir mostra a média do percentual de estudantes nos padrões de desempenho Proficiente ou Avançado, segundo as categorias criadas para o ICE das escolas do estado do Espírito Santo. Média e desvio-padrão do percentual de estudantes nos padrões Proficiente ou Avançado, segundo categoria do ICE do Paebes 2012 ICE MÉDIO OU BAIXO ICE ALTO Média 27,7 43,0 Desvio-Padrão 21,6 31,2 N de escolas 759 1140 O Índice da Dimensão Pedagógica IDP Esperamos que fatores como a atuação dos professores estejam mais diretamente relacionados ao processo de aprendizagem dos estudantes. Pensando desse modo, criamos também um índice a respeito da atuação e disposição pedagógica dos professores, segundo a percepção dos estudantes. O índice da dimensão pedagógica também foi construído a partir de afirmações sobre o comportamento dos professores relacionados à assiduidade, clareza, abertura para esclarecer dúvidas e ouvir a opinião dos estudantes, persistência ao ensinar para todos, correção do dever de casa e uso de material didático. Também criamos duas categorias para esse índice: escolas com valores baixos e médios; e escolas com valores mais altos para o IDP. Na categoria de valores mais altos encontramos 38,9% das escolas do sistema com os maiores valores de IDP. A tabela a seguir mostra que, nas escolas do estado do Espírito Santo, o sucesso escolar para o grupo com alto IDP difere em 16,8 pontos percentuais das escolas com baixo IDP. Média e desvio-padrão do percentual de estudantes nos padrões Proficiente ou Avançado, segundo categoria do IDP do Paebes 2012 IDP MÉDIO OU BAIXO Média 22,1 38,9 Desvio-Padrão 20,6 29,2 IDP ALTO N de escolas 224 1674 O Índice da Dimensão de Gestão IDG O índice da dimensão de gestão foi elaborado com a concordância ou discordância dos envolvidos sobre afirmações com relação à sua própria atitude e comportamento ante a centralização ou descentralização da gestão escolar (incluindo ou não a participação do conselho escolar), a prestação de contas da gestão para a comunidade escolar, além de diversas dimensões da capacidade discricionária e de iniciativa do gestor frente a imprevistos e esferas superiores de decisão. A média desse índice corresponde à percepção de elementos positivos sobre as atitudes e disposições dos gestores da escola quanto a aspectos de gestão. Na categoria de valores mais altos encontramos aproximadamente 35,8% das escolas do sistema com os maiores valores de IDG. A tabela a seguir mostra alguma diferença de sucesso escolar entre os grupos com alto e médio ou baixo IDG para as escolas do estado do Espírito Santo (10,1 pontos percentuais, aproximadamente). Média e desvio-padrão do percentual de estudantes nos padrões Proficiente ou Avançado, segundo categoria do IDG do Paebes 2012 IDG MÉDIO OU BAIXO IDG ALTO Média 25,7 35,8 Desvio-Padrão 20,1 26,1 N de escolas 284 1273

20 PAEBES 2013 Revista do Sistema de Avaliação RESULTADOS Sejamos sistemáticos: vamos avaliar um cenário de cada vez. Em primeiro lugar, é indispensável considerarmos as características socioeconômicas dos estudantes dentro das escolas para não beneficiarmos aquelas que recebem estudantes em condições socialmente favoráveis e penalizarmos escolas que recebem estudantes em condições socialmente desfavoráveis. Então, em todos os cenários a seguir, iremos sempre distinguir, dentre as escolas da rede pública do Espírito Santo, aquelas com alto nível de ISE das demais. conseguem ser maiores do que os observados para as escolas com ISE considerado alto, o que chama atenção. Para as escolas do grupo de ISE alto, aquelas identificadas com uma gestão favorável (alto IDG) possuem 2,8 pontos percentuais a mais de estudantes nos padrões Proficiente ou Avançado do que aquelas nas mesmas condições de ISE, mas com uma gestão considerada desfavorável (IDG médio ou baixo). Associação entre o IDG e o percentual de estudantes nos padrões Proficiente ou Avançado em escolas com ICE médio ou baixo, controlada a média do ISE dos estudantes na escola Porque nossa ênfase de análise recai sobre os possíveis impactos de diferentes posturas de gestão escolar, a outra variável que também estará sempre presente em nossos gráficos será aquela que separa as escolas com um índice da dimensão de gestão (IDG) alto daquelas com um IDG médio ou baixo. Para simplificar, precisamos comparar a importância da gestão diante de dois cenários: em escolas com diferentes condições de clima escolar (ICE); e em escolas com diferentes condições na dimensão pedagógica (IDP). A finalidade do estudo permanece a mesma: verificar se existem diferenças de sucesso entre as escolas diante de diferentes posturas de gestão, sucesso esse medido pelo percentual de estudantes com valor de proficiência dentro dos padrões Proficiente ou Avançado. As condições do Índice de Clima Escolar (ICE) O gráfico a seguir compara apenas as escolas identificadas pelo ICE como em baixo ou médio valor. Em outras palavras, estamos vendo apenas as escolas com clima escolar desfavorável. Dentro deste grupo, comparamos os gestores segundo o índice da dimensão de gestão, IDG. Observamos que, para as escolas com ISE desfavorável, as diferenças na postura de gestão afetam bastante o indicador de sucesso da escola (4,0 pontos percentuais de diferença). Esses percentuais Consideremos agora apenas as escolas com valores altos no Índice de Clima Escolar. O cenário muda: esperamos que as médias do percentual de estudantes nos padrões Proficiente ou Avançado sejam maiores, porque encontramos nessas escolas um clima mais favorável para o desenvolvimento de posturas e práticas de ensino mais eficazes. Mas o padrão observado anteriormente em parte se altera. O gráfico a seguir mostra que, para as escolas com clima escolar favorável, mas com ISE desfavorável, as diferenças na postura de gestão conseguem afetar nosso indicador de sucesso, sendo o percentual de IDG médio ou baixo menor que o de IDG alto em 9,6 pontos percentuais. Em média, temos 30,4% de estudantes nos padrões Proficiente ou Avançado quando os diretores apresentam uma gestão desfavorável (IDG baixo ou médio), e 40,0% quando apresentam uma gestão considerada boa (IDG alto). Isso mostra que, para as escolas de ISE mais baixo, as práticas de gestão não conseguem ultrapassar a barreira da situação socioeconômica dos estudantes.

Rede Municipal PAEBES 2013 21 Nas escolas de ISE alto, a diferença segue no mesmo sentido, mas com menor intensidade: para aquelas com gestores na categoria de IDG médio ou baixo, a média do percentual de estudantes nos padrões Proficiente ou Avançado é de 38,7%; para escolas cujos gestores estão na categoria de IDG alto, essa média é de 41,2%; uma diferença de aproximadamente 2,5 pontos percentuais. Esses resultados indicam que, nas escolas de clima escolar mais alto, as práticas de gestão também têm surtido efeito. Associação entre o IDG e o percentual de estudantes nos padrões Proficiente ou Avançado em escolas com ICE alto, controlada a média do ISE dos estudantes na escola alto): diferença de 7,8 pontos percentuais. Apesar de contrariar as expectativas, pode-se dizer que o percentual de estudantes que ocupa os níveis de proficiência proficiente ou avançado é relativamente alto. Já para as escolas no grupo de ISE alto, os percentuais são menores e o modelo se comporta de maneira a não valorizar as práticas de gestão: a média do percentual é de 19,9% quando as escolas apresentam uma gestão desfavorável (IDG médio ou baixo); e de 18,1% quando apresentam uma melhor gestão (IDG alto). Uma diferença de 1,8 pontos percentuais a mais de estudantes nos padrões Proficiente ou Avançado em favor das escolas com gestão considerada pior. Isso pode se explicar em função de o ISE alto ser o diferencial nesses casos, sendo a gestão escolar ainda ineficiente na modificação dos efeitos extraescolares ou pelo efeito negativo das práticas pedagógicas. Associação entre o IDG e o percentual de estudantes nos padrões Proficiente ou Avançado em escolas com IDP médio ou baixo, controlada a média do ISE dos estudantes na escola As condições do Índice da Dimensão Pedagógica (IDP) Os novos cenários a serem avaliados dizem respeito agora às diferenças na dimensão pedagógica das escolas. O gráfico a seguir compara apenas as escolas identificadas pelo IDP com valor baixo ou médio. Ou seja, estamos tratando das escolas em que os estudantes, diretores e professores avaliaram desfavoravelmente as atitudes e disposições dos professores e dos diretores em relação ao ensino realizado em sala de aula. Observamos que, para as escolas com ISE médio ou baixo, as diferenças na postura de gestão conseguem afetar o sucesso escolar, repetindo o fenômeno observado para as boas práticas de gestão. Para o grupo de escolas com ISE desfavorável, a média no percentual de estudantes nos padrões Proficiente ou Avançado é de 20,7% para o grupo de escolas com gestão desfavorável (IDG médio ou baixo); e 28,5% para o grupo com gestão considerada melhor (IDG Mas também existe o cenário em que as escolas foram identificadas como possuindo um alto índice da dimensão pedagógica. Quer dizer, escolas em que os atores envolvidos identificaram nos responsáveis pelas práticas pedagógicas uma tendência a apresentar atitudes e disposições positivas em relação ao ensino em sala de aula. Nesse grupo de escolas, esperamos, obviamente, um sucesso maior porque o corpo docente tende a adotar posturas e práticas mais favoráveis ao ensino. No gráfico a seguir, observa-se alguma diferença na média do percentual de estudantes nos padrões

22 PAEBES 2013 Revista do Sistema de Avaliação Proficiente ou Avançado quando comparamos os grupos de escola por tipos de gestão, para aquelas em condições desfavoráveis de ISE. Quando o índice de prática de gestão é baixo, temos 26,7% de estudantes em estágios mais avançados. Quando o índice é alto, temos 36,8%. Isso mostra que, em escolas que se encontram com práticas pedagógicas boas, há maior impacto das práticas de gestão. A diferença se mantém quando observamos os grupos de ISE alto. Ou seja, mais uma vez o impacto de boas práticas, ante as práticas consideradas piores é alto: quando as escolas estão associadas à gestão desfavorável, a média do percentual de estudantes nos padrões Proficiente ou Avançado é de 29,6%; para escolas cujos gestores estão na categoria de IDG alto, ou com boa gestão, essa média é de 37,4%; uma diferença de 7,7 pontos percentuais. Associação entre o IDG e o percentual de estudantes nos padrões Proficiente ou Avançado em escolas com IDP alto, controlada a média do ISE dos estudantes na escola educacional capixaba, principalmente quando consideramos escolas com Índice Socioeconômico alto. Nas escolas de ISE mais baixo, essas relações se mantêm fortes, diminuindo, em parte, os efeitos do ISE. O desafio, então, é incorporar ao cotidiano da gestão escolar, não somente os elementos favoráveis ao desempenho dos estudantes (melhores condições de clima escolar, de políticas e práticas pedagógicas positivas, bem como políticas e práticas de gestão favoráveis), mas uma forma de como esses elementos podem mitigar os fatores externos à escola. Nossos dados não permitem afirmações peremptórias, mas indicam caminhos bastante associados entre os elementos destacados. Os resultados aqui apresentados se prestam a insumos para reflexão de todos os envolvidos na gestão educacional capixaba. Espera-se, com isso, gerar elementos para discussão e sinalizações para ações e políticas que resultem efetivas. CONSIDERAÇÕES FINAIS Em coerência com as análises que respeitam a complexidade e os paradoxos intrínsecos ao sistema educacional brasileiro, observamos nos resultados das escolas da rede estadual do Espírito Santo fatores positivos e negativos. Os resultados aqui apresentados parecem apontar para o impacto positivo que as práticas de gestão e, principalmente, como apontam os dados, que as práticas pedagógicas têm sobre a situação

Rede Municipal PAEBES 2013 23 Experiência em foco A BUSCA PELA EDUCAÇÃO INTEGRAL Mardel Borges Colombi Sebim, Superintendente da SRE Nova Venécia - A formação educacional é a base para a construção de cidadãos críticos e conscientes de seus direitos e deveres. A gestora regional Mardel Borges Colombi Sebim acredita firmemente nesse propósito. Tal crença fez dela pedagoga, com habilitação em Supervisão Escolar. Atualmente cursa especialização em Ensino Médio Integrado à Educação Profissional Técnica de Nível Médio e em Inspeção Escolar. Acredito que é através da educação que evoluímos como seres humanos. O papel do professor é fundamental: mudamos o pensamento, o comportamento e a atitude dos seres humanos, pois vivemos em uma sociedade mergulhada numa rede complexa de situações, que exige uma diversidade de informações que dependem da intervenção escolar, declara a gestora. Trilhando os rumos da educação há 22 anos, Mardel já passou por diversas funções. De regente de classe à superintendente regional, a educadora conhece de perto os desafios da escola. Para ela, o cotidiano profissional exige a construção de um ensino e educação de qualidade, que integre e desenvolva todas as dimensões do ser humano, nos aspectos sociais, econômicos, políticos e culturais. É tarefa do educador, ainda, garantir a qualidade da educação, promovendo a aprendizagem e a permanência dos estudantes no âmbito escolar. A educação oportuniza as mais diversas formas de expressão e construção do conhecimento. Mas, os docentes não estão preparados para enfrentar a diversidade e os problemas sociais que se refletem na sala de aula, pondera. Mardel admite que educar não é tarefa fácil: é preciso estar aberto ao novo e, principalmente, disposto a se reeducar e a repensar a educação. Nosso dever é garantir novos modelos de educação, dentro dos trabalhos que já desenvolvemos dentro da escola. Podemos buscar novas formas de trabalhar a complexidade e verificar se o direito de aprender está verdadeiramente garantido a todos. Em sua prática, a gestora

24 PAEBES 2013 Revista do Sistema de Avaliação trabalha em um sentido amplo, entendendo que educar é fazer o indivíduo sair de dentro de si e integrar-se com a sociedade na qual está inserido. Isso já é bastante trabalho para quem gere nove municípios, abrangendo 47 escolas estaduais, com aproximadamente 1.070 professores e 12.500 estudantes. Mas Mardel não se acomoda e reconhece na avaliação externa um instrumento para garantir a equidade na educação. Isso é importante para que todos os envolvidos no processo educativo possam refletir a partir dos resultados obtidos, repensando suas práticas e implementando estratégias para enfrentar as dificuldades detectadas. Em sua regional, a gestora incentiva a apropriação dos resultados obtidos no sistema avaliativo a partir de oficinas e reuniões, envolvendo diretores, professores, técnicos da Superintendência Regional de Ensino e toda a comunidade escolar. Quando se socializa os resultados com os demais profissionais da escola, todos pensam e elaboram propostas para a melhoria da qualidade de ensino e resultados, afirma. Mardel conta, ainda, que a regional faz o acompanhamento pedagógico dos encontros de estudos dos professores, por área de conhecimento, através de seus planejamentos. Algumas intervenções já foram pensadas, após a divulgação dos resultados das avaliações. Organizamos oficinas para o realinhamento dos planos de ensino com os professores de Língua Portuguesa e Matemática, visando à retomada dos conteúdos que não tinham sido plenamente assimilados pelos estudantes, conforme os descritores da avaliação apresentados nas matrizes de referência. Outra ação proposta é a aplicação de simulados da avaliação do PAEBES para os estudantes do Ensino Médio, além da realização de feiras científicas, mostras culturais e projetos de leitura e letramento. Essa é a forma que a educadora encontrou para garantir, sempre, o repensar sobre o processo de ensino-aprendizagem, de forma que se possa sair do campo da utopia e concretizar as ideias no plano real.

Padrões de Desempenho Para serem mais bem compreendidos e ganharem importância do ponto de vista pedagógico, os resultados de desempenho, obtidos através da avaliação, são organizados em Padrões de Desempenho. Os Padrões representam a medida de alcance dos objetivos educacionais considerados como essenciais, e estabelecidos a partir da MATRIZ DE REFERÊNCIA que dá suporte aos testes de proficiência. Além disso, os Padrões estabelecem as metas de desempenho a serem alcançadas pelos estudantes. A medida de desempenho dos estudantes nas habilidades avaliadas pelos testes recebe o nome de Proficiência e é organizada em uma escala, para fins analíticos. Em cada Padrão, COMPETÊNCIAS E HABILIDADES cognitivas são desenvolvidas pelos estudantes, podendo ser localizadas, todas elas, em pontos da ESCALA DE PROFICIÊNCIA.

26 PAEBES 2013 Revista do Sistema de Avaliação Matriz de Referência A Matriz de Referência é formada por um conjunto de habilidades que tem como fonte as diretrizes curriculares do estado e é ela que dá suporte ao teste. As habilidades são selecionadas com base em sua importância curricular, por serem consideradas essenciais para determinada etapa de escolaridade avaliada, e por sua adequação ao formato do teste, por serem passíveis de medição por testes padronizados de desempenho. Competências e Habilidades As competências são grupos de habilidades que, em conjunto, contribuem para a obtenção de determinado resultado cognitivo, ao passo que as habilidades são entendidas como a capacidade de saber fazer algo. Escala de Proficiência A Escala de Proficiência tem como intuito principal permitir que os resultados dos testes sejam traduzidos em diagnósticos qualitativos acerca do desempenho escolar. Através dela, o professor pode orientar seu trabalho pedagógico no que diz respeito às competências que já foram desenvolvidas pelos estudantes, bem como ao grau em que o foram, permitindo visualizar os resultados a partir de uma espécie de régua, com valores ordenados e categorizados. Padrões de Desempenho Estudantil Os resultados de proficiência foram agrupados em quatro Padrões de Desempenho Abaixo do Básico Básico Proficiente Avançado Tais Padrões permitem uma interpretação pedagógica das habilidades desenvolvidas pelos estudantes, possibilitando localizá-los em níveis de desempenho dentro de cada Padrão. Por meio dos Padrões, é possível analisar os aspectos cognitivos que demarcam os percentuais de estudantes situados nos diferentes níveis de desempenho, bem como a diferença de aprendizagem entre eles, refletindo a distância existente entre aqueles que apresentam um maior grau de desenvolvimento nas habilidades avaliadas e aqueles que apresentam menores graus de desenvolvimento nas referidas habilidades, permitindo se pensar em ações e políticas educacionais destinadas à promoção da equidade. Os níveis de proficiência compreendidos em cada um dos Padrões de Desempenho para as diferentes etapas de escolaridade avaliadas são descritos mais detalhadamente nas Revistas Pedagógicas desta coleção.

Os resultados da avaliação Nesta seção, são apresentados os resultados alcançados pelos estudantes na avaliação em larga escala do PAEBES

28 PAEBES 2013 Revista do Sistema de Avaliação Resultados de participação e proficiência média por Município Os dados apresentados a seguir se referem às Redes Municipais e fornecem informações para o PAEBES, como um todo. O mapa do estado se encontra dividido por municípios, apresentando, através dos diferentes tons de verde, o Padrão de Desempenho correspondente à média de proficiência que cada um dos municípios alcançou em cada etapa de escolaridade e área de conhecimento avaliada.

Rede Municipal PAEBES 2013 29 Língua Portuguesa - 4ª Série / 5º Ano do Ensino Fundamental Mucurici Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Água Doce do Norte Ecoporanga Barra de São Francisco Vila Pavão Ponto Belo Nova Venécia Montanha Boa Esperança Pinheiros Pedro Canário São Mateus Conceição da Barra RESULTADO GERAL Proficiência Média 197,0 Mantenópolis Alto Rio Novo Águia Branca Pancas São Gabriel da Palha São Domingos do Norte Governador Lindenberg Vila Valério Rio Bananal Sooretama Jaguaré Padrão de Desempenho BÁSICO Marilândia Linhares Estudantes avaliados 30.103 Baixo Guandu Colatina % de Participação 86,6 Itaguaçu São Roque do Canaã João Neiva Aracruz Laranja da Terra Santa Teresa Ibiraçu Itarana Fundão Ibitirama Irupi Ibatiba Iúna Muniz Freire Brejetuba Conceição do Castelo Afonso Cláudio Venda Nova do Imigrante Santa Maria de Jetibá Domingos Martins Marechal Floriano Santa Leopoldina Cariacica Viana Vila Velha Serra Vitória Dores do Rio Preto Divino de São Lourenço Guaçuí Alegre Jerônimo Monteiro Castelo Cachoeiro de Itapemirim Vargem Alta Alfredo Chaves Iconha Rio Novo do Sul Piúma Anchieta Guarapari São José do Calçado Muqui Atílio Vivácqua Itapemirim Bom Jesus do Norte Apiacá Mimoso do Sul Presidente Kennedy Marataízes

30 PAEBES 2013 Revista do Sistema de Avaliação Língua Portuguesa - 8ª Série / 9º Ano do Ensino Fundamental Mucurici Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Água Doce do Norte Ecoporanga Barra de São Francisco Vila Pavão Ponto Belo Nova Venécia Montanha Boa Esperança Pinheiros Pedro Canário São Mateus Conceição da Barra RESULTADO GERAL Proficiência Média 249,0 Mantenópolis Alto Rio Novo Águia Branca Pancas São Gabriel da Palha São Domingos do Norte Governador Lindenberg Vila Valério Rio Bananal Sooretama Jaguaré Padrão de Desempenho BÁSICO Marilândia Linhares Estudantes avaliados 17.477 Baixo Guandu Colatina % de Participação 81,2 Itaguaçu São Roque do Canaã João Neiva Aracruz Laranja da Terra Santa Teresa Ibiraçu Itarana Fundão Ibitirama Irupi Ibatiba Iúna Muniz Freire Brejetuba Conceição do Castelo Afonso Cláudio Venda Nova do Imigrante Santa Maria de Jetibá Domingos Martins Marechal Floriano Santa Leopoldina Cariacica Viana Vila Velha Serra Vitória Dores do Rio Preto Divino de São Lourenço Guaçuí Alegre Jerônimo Monteiro Castelo Cachoeiro de Itapemirim Vargem Alta Alfredo Chaves Iconha Rio Novo do Sul Piúma Anchieta Guarapari São José do Calçado Muqui Atílio Vivácqua Itapemirim Bom Jesus do Norte Apiacá Mimoso do Sul Presidente Kennedy Marataízes

Rede Municipal PAEBES 2013 31 Matemática - 4ª Série / 5º Ano do Ensino Fundamental Mucurici Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Água Doce do Norte Ecoporanga Barra de São Francisco Vila Pavão Ponto Belo Nova Venécia Montanha Boa Esperança Pinheiros Pedro Canário São Mateus Conceição da Barra RESULTADO GERAL Proficiência Média 216,3 Mantenópolis Alto Rio Novo Águia Branca Pancas São Gabriel da Palha São Domingos do Norte Governador Lindenberg Vila Valério Rio Bananal Sooretama Jaguaré Padrão de Desempenho BÁSICO Marilândia Linhares Estudantes avaliados 30.111 Baixo Guandu Colatina % de Participação 86,6 Itaguaçu São Roque do Canaã João Neiva Aracruz Laranja da Terra Santa Teresa Ibiraçu Itarana Fundão Ibitirama Irupi Ibatiba Iúna Muniz Freire Brejetuba Conceição do Castelo Afonso Cláudio Venda Nova do Imigrante Santa Maria de Jetibá Domingos Martins Marechal Floriano Santa Leopoldina Cariacica Viana Vila Velha Serra Vitória Dores do Rio Preto Divino de São Lourenço Guaçuí Alegre Jerônimo Monteiro Castelo Cachoeiro de Itapemirim Vargem Alta Alfredo Chaves Iconha Rio Novo do Sul Piúma Anchieta Guarapari São José do Calçado Muqui Atílio Vivácqua Itapemirim Bom Jesus do Norte Apiacá Mimoso do Sul Presidente Kennedy Marataízes

32 PAEBES 2013 Revista do Sistema de Avaliação Matemática - 8ª Série / 9º Ano do Ensino Fundamental Mucurici Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Água Doce do Norte Ecoporanga Barra de São Francisco Vila Pavão Ponto Belo Nova Venécia Montanha Boa Esperança Pinheiros Pedro Canário São Mateus Conceição da Barra RESULTADO GERAL Proficiência Média 257,7 Mantenópolis Alto Rio Novo Águia Branca Pancas São Gabriel da Palha São Domingos do Norte Governador Lindenberg Vila Valério Rio Bananal Sooretama Jaguaré Padrão de Desempenho BÁSICO Marilândia Linhares Estudantes avaliados 17.476 Baixo Guandu Colatina % de Participação 81,2 Itaguaçu São Roque do Canaã João Neiva Aracruz Laranja da Terra Santa Teresa Ibiraçu Itarana Fundão Ibitirama Irupi Ibatiba Iúna Muniz Freire Brejetuba Conceição do Castelo Afonso Cláudio Venda Nova do Imigrante Santa Maria de Jetibá Domingos Martins Marechal Floriano Santa Leopoldina Cariacica Viana Vila Velha Serra Vitória Dores do Rio Preto Divino de São Lourenço Guaçuí Alegre Jerônimo Monteiro Castelo Cachoeiro de Itapemirim Vargem Alta Alfredo Chaves Iconha Rio Novo do Sul Piúma Anchieta Guarapari São José do Calçado Muqui Atílio Vivácqua Itapemirim Bom Jesus do Norte Apiacá Mimoso do Sul Presidente Kennedy Marataízes

Rede Municipal PAEBES 2013 33 Ciências da Natureza - 8ª Série / 9º Ano do Ensino Fundamental Mucurici Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Água Doce do Norte Ecoporanga Barra de São Francisco Vila Pavão Ponto Belo Nova Venécia Montanha Boa Esperança Pinheiros Pedro Canário São Mateus Conceição da Barra RESULTADO GERAL Proficiência Média 247,3 Mantenópolis Alto Rio Novo Águia Branca Pancas São Gabriel da Palha São Domingos do Norte Governador Lindenberg Vila Valério Rio Bananal Sooretama Jaguaré Padrão de Desempenho BÁSICO Marilândia Linhares Estudantes avaliados 17.179 Baixo Guandu Colatina % de Participação 80,0 Itaguaçu São Roque do Canaã João Neiva Aracruz Laranja da Terra Santa Teresa Ibiraçu Itarana Fundão Ibitirama Irupi Ibatiba Iúna Muniz Freire Brejetuba Conceição do Castelo Afonso Cláudio Venda Nova do Imigrante Santa Maria de Jetibá Domingos Martins Marechal Floriano Santa Leopoldina Cariacica Viana Vila Velha Serra Vitória Dores do Rio Preto Divino de São Lourenço Guaçuí Alegre Jerônimo Monteiro Castelo Cachoeiro de Itapemirim Vargem Alta Alfredo Chaves Iconha Rio Novo do Sul Piúma Anchieta Guarapari São José do Calçado Muqui Atílio Vivácqua Itapemirim Bom Jesus do Norte Apiacá Mimoso do Sul Presidente Kennedy Marataízes

34 PAEBES 2013 Revista do Sistema de Avaliação 4ª Série do Ensino Médio Integrado Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Língua Portuguesa RESULTADO GERAL Proficiência Média 256,1 Padrão de Desempenho BÁSICO Barra de São Francisco Estudantes avaliados 25 % de Participação 96,2 Matemática RESULTADO GERAL Proficiência Média 265,0 Padrão de Desempenho ABAIXO DO BÁSICO Barra de São Francisco Estudantes avaliados 25 % de Participação 96,2 Biologia RESULTADO GERAL Proficiência Média 227,9 Padrão de Desempenho ABAIXO DO BÁSICO Barra de São Francisco Estudantes avaliados 25 % de Participação 96,2

Rede Municipal PAEBES 2013 35 4ª Série do Ensino Médio Integrado Abaixo do Básico Básico Proficiente Avançado Município não avaliado nesta etapa Física RESULTADO GERAL Proficiência Média 226,8 Padrão de Desempenho ABAIXO DO BÁSICO Barra de São Francisco Estudantes avaliados 25 % de Participação 96,2 Química RESULTADO GERAL Proficiência Média 235,6 Padrão de Desempenho ABAIXO DO BÁSICO Barra de São Francisco Estudantes avaliados 25 % de Participação 96,2

REITOR DA UNIVERSIDADE FEDERAL DE JUIZ DE FORA HENRIQUE DUQUE DE MIRANDA CHAVES FILHO COORDENAÇÃO GERAL DO CAEd LINA KÁTIA MESQUITA DE OLIVEIRA COORDENAÇÃO TÉCNICA DO PROJETO MANUEL FERNANDO PALÁCIOS DA CUNHA E MELO COORDENAÇÃO DA UNIDADE DE PESQUISA TUFI MACHADO SOARES COORDENAÇÃO DE ANÁLISES E PUBLICAÇÕES WAGNER SILVEIRA REZENDE COORDENAÇÃO DE INSTRUMENTOS DE AVALIAÇÃO RENATO CARNAÚBA MACEDO COORDENAÇÃO DE MEDIDAS EDUCACIONAIS WELLINGTON SILVA COORDENAÇÃO DE OPERAÇÕES DE AVALIAÇÃO RAFAEL DE OLIVEIRA COORDENAÇÃO DE PROCESSAMENTO DE DOCUMENTOS BENITO DELAGE COORDENAÇÃO DE DESIGN DA COMUNICAÇÃO HENRIQUE DE ABREU OLIVEIRA BEDETTI COORDENADORA DE PESQUISA E DESENVOLVIMENTO EM DESIGN EDNA REZENDE S. DE ALCÂNTARA

Ficha catalográfica ESPÍRITO SANTO. Secretaria de Estado da Educação. PAEBES 2013/ Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd. v. 3 (jan./dez. 2013), Juiz de Fora, 2013 Anual. Conteúdo: Revista do Sistema de Avaliação - Rede Municipal. ISSN 2237-8324 CDU 373.3+373.5:371.26(05)