Revista Contextual: fatores associados ao desempenho PAEBES. Volume IV. Ensinos Fundamental e Médio Língua Portuguesa e Matemática

Transcrição

1

2

3 Revista Contextual: fatores associados ao desempenho PAEBES Volume IV Ensinos Fundamental e Médio Língua Portuguesa e Matemática

4

5 Governador do Estado do Espírito Santo José Renato Casagrande Vice- Governador do Estado do Espírito Santo Givaldo Vieira da Silva Secretário do Estado da Educação Klinger Marcos Barbosa Alves Subsecretária de Estado de Planejamento e Avaliação Mércia Maria de Oliveira Pimentel Lemos Gerente de Informação e Avaliação Educacional Aline Elisa Cotta D`Ávila Subgerência de Avaliação Educacional Maria Adelaide Tâmara Alves (Subgerente) Denise Moraes e Silva Gloriete Carnielli Marilda Surlo Graciotti Silvia Maria Pires de Carvalho Leite Subgerência de Estatística Educacional Denise Pereira da Silva (Subgerente) Alisson Rodrigues Vitorino Elzimar Sobral Scaramussa Juliana Barbatti Barcellos

6 Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora Coordenação Geral Lina Kátia Mesquita Oliveira Coordenação Técnica Manuel Fernando Palácios da Cunha e Melo Coordenação de Pesquisa Tufi Machado Soares Coordenação de Análise e Divulgação de Resultados Anderson Córdova Pena Coordenação de Instrumentos de Avaliação Verônica Mendes Vieira Coordenação de Medidas Estatísticas Wellington Silva Coordenação de Produção Visual Hamilton Ferreira Equipe de Medidas Estatísticas Ailton Fonseca Galvão Clayton Valle Leonardo Azevedo Pampanelli Lucas Priscila Gregório Bernardo Roberta de Oliveira Fávero Equipe de Análise e Divulgação de Resultados Alexandre Luiz de Oliveira Serpa Andreza Cristina Moreira da Silva Basso Astrid Sarmento Cosac Camila Fonseca de Oliveira Carolina de Lima Gouvêa Carolina Ferreira Rodrigues Daniel Aguiar de Leighton Brooke Daniel Araújo Vignoli João Paulo Costa Vasconcelos Juliana Frizzoni Candian Júlio Sérgio da Silva Jr. Leonardo Augusto Campos Michelle Sobreiro Pires Rodrigo Coutinho Corrêa Rogério Amorim Gomes Tatiana Casali Ribeiro Wagner Silveira Rezende Equipe de Língua Portuguesa Hilda Aparecida Linhares da Silva Micarello (Coord.) Josiane Toledo Ferreira Silva (Coord.) Adriana de Lourdes Ferreira de Andrade Ana Letícia Duin Tavares Déa Lucia Campos Pernambuco Edmon Neto de Oliveira Maika Som Machado Rachel Garcia Finamore Equipe de Matemática Tatiane Gonçalves Moraes (Coord.) Bruno Rinco Dutra Pereira Denise Mansoldo Salazar Mariângela de Assumpção de Castro Pablo Rafael de Oliveira Carlos Equipe de Editoração Bruno Carnaúba Clarissa Aguiar Eduardo Castro Henrique Bedetti Marcela Zaghetto Raul Furiatti Moreira Vinícius Peixoto Revisão Luís Antônio Fajardo Pontes Editoração Luiza Procópio Sarrapio Equipe de Instrumentos de Avaliação Cristiano Lopes da silva Janine Reis Ferreira Mayra da Silva Moreira

7 Sumário Caro educador 7 Introdução 8 Seção 1 Avaliação contextual: o que avaliar e por quê? Os questionários contextuais O que estamos medindo? 12 Seção 2 Os resultados do PAEBES 2010 impacto dos fatores extra e intraescolares 13 Fatores associados ao desempenho escolar Fatores extraescolares Condição socioeconômica Raça e sexo Fatores intraescolares A organização e a gestão da escola A infraestrutura da escola O clima acadêmico Qualificação e motivação do corpo docente Ênfase pedagógica e defasagem idade-série O desempenho esperado e o obtido 25 Anexo Os resultados de sua escola 27

8

9 PAEBES 9 Caro educador, Você encontra os resultados da Edição do PAEBES 2010 em uma coleção de quatro volumes que apresenta informações fundamentais para a consolidação de uma escola capaz de fazer a diferença na vida de seus alunos. A Coleção PAEBES PAEBES: Revista do Programa de Avaliação Apresenta o PAEBES e o PAEBES ALFA, sua abrangência, as Matrizes de Referência, a composição dos testes e sua metodologia de análise. 2Revista do Gestor Oferece informações gerais da participação dos alunos na avaliação e os resultados de proficiência alcançados pelos alunos no âmbito do estado, regionais, municípios e escolas. 3Revista do Educador Informa a proficiência média alcançada pela escola, tendo por foco a análise pedagógica e qualitativa dos resultados dos alunos na área de conhecimento avaliada. Destaca-se a interpretação da Escala de Proficiência, que apresenta as competências e habilidades desenvolvidas pelos alunos situados em cada nível de proficiência e padrões de desempenho. 4Revista Contextual: fatores associados ao desempenho Analisa os fatores intra e extraescolares que interferem no desempenho dos alunos com base nos dados coletados pelos questionários aplicados aos próprios alunos, professores e diretores. Este é o material que você tem em mãos. O objetivo maior com o trabalho de divulgação e apropriação dos resultados, iniciado com a Coleção PAEBES 2010, é possibilitar a discussão dos resultados alcançados, tanto pelos gestores dos sistemas públicos quanto pelos profissionais das escolas, com a finalidade de contribuir para elaboração de políticas públicas e de práticas pedagógicas mais eficazes.

10 10 Revista Contextual Introdução Esta é a quarta publicação referente ao Programa de Avaliação da Educação Básica do Espírito Santo (PAEBES) de 2010, que trata de seus resultados gerais e por escola e, ao mesmo tempo, oferece uma série de discussões que auxiliarão na interpretação e na compreensão dos dados obtidos a partir das avaliações. Como mencionado em volumes anteriores, participaram da edição 2010 do PAEBES alunos da 1ª série/ 1º ano, 2ª série/ 2º ano e 3º ano do Ensino Fundamental da rede estadual, e das redes municipais e escolas particulares que optaram por aderir ao programa; a 4ª série/ 5º ano e 8ª série/ 9º ano do Ensino Fundamental da rede estadual e das escolas particulares que optaram por aderir ao programa; e 1ª série e 3ª série do Ensino Médio da rede estadual e das escolas particulares que optaram por aderir ao programa. Entretanto, são analisados aqui os resultados da 4ª série/ 5º ano e 8ª série/ 9º ano do Ensino Fundamental e da 1ª série e 3ª série do Ensino Médio da rede estadual. As escolas particulares participantes, não eram representativas da rede e foram, portanto, excluídas dessa análise. Neste sentido, esta revista se estrutura em duas seções e um anexo. Na primeira seção, apresentamos a avaliação contextual, informando sobre seu conteúdo, suas características, seus objetivos e sua importância. Trazemos também uma discussão mais precisa sobre a eficácia escolar, seu conceito e suas características; além disso, apresentamos os fatores intra e extraescolares que afetam o desempenho dos estudantes, bem como a relação existente entre eles. Na segunda seção, apresentamos os resultados do PAEBES 2010, trazendo a exposição dos dados, assim como sua interpretação, analisando os efeitos de cada fator intra e extraescolar em sua especificidade. Por fim, no anexo, apresentamos os resultados por escola, discutindo a proficiência média de cada instituição escolar, assim como a apresentação dos índices de cada escola comparados com a média do estado. A análise aqui realizada levou em consideração cerca de alunos e professores, distribuídos em 420 escolas, por todo o estado. Para fins de análise, não foram consideradas as escolas com menos de 10 alunos. Esses números não invalidam os totais (de alunos, professores e gestores) divulgados nos boletins anteriores, e sua diferença em relação aos valores apresentados nesses boletins se deve a problemas de cunho logístico e metodológico, tais como a ausência de respostas aos questionários contextuais e a não devolução, por parte das escolas, dos instrumentos de pesquisa.

11 PAEBES 11 Tabela 1 Abrangência da Avaliação do PAEBES 2010 Número de alunos e escolas Testes Questionários contextuais Escolas Alunos Vale ressaltar, neste ponto, a diferença entre os números dos testes e dos questionários contextuais respondidos. A diferença é de mais de respondentes. Ou seja, um número significativo de alunos que realizaram os testes não responderam ao questionário contextual. Como veremos mais à frente, os questionários contextuais colhem informações importantíssimas sobre os fatores que estão associados ao desempenho dos alunos, sejam eles internos ou externos à escola. São essas informações que nos permitem interpretar melhor os resultados dos testes de proficiência para, a partir disso, compreender melhor o que pode ser feito na tentativa de melhorar o desempenho dos estudantes. Nesse sentido, e diante dos números apresentados pela Tabela 1, exposta acima, é relevante que os respondentes dos testes sejam incentivados a responder também os questionários contextuais. Assim, nossas análises sobre os resultados se tornam mais substanciosas, o que beneficia, por sua vez, a apropriação dos resultados pelas escolas.

12 12 Revista Contextual 1 Seção Avaliação contextual: o que avaliar e por quê? Nesta seção Você encontrará: Os questionários contextuais. O que estamos medindo? O objetivo é: esclarecer ao profissional que receberá os resultados a complexidade dos processos de avaliação, explicando por que é importante levar em consideração fatores outros, além daqueles relacionados ao processo de ensino-aprendizagem em sala de aula, o conceito, as características e a importância da eficácia escolar, ou efeito escola, apontando para a superação da falta de expectativa em relação à escola, quando diante de indicadores sociais desfavoráveis.

13 PAEBES Os questionários contextuais Os questionários contextuais objetivam produzir uma compreensão mais ampla do processo educacional. No intuito de investigar a fundo todos os fatores que podem influenciar o desempenho dos alunos, esses questionários avaliam aspectos mais amplos do desempenho, para além da mensuração das habilidades cognitivas. Eles buscam compreender de que forma fatores como a condição socioeconômica do aluno, o nível de escolaridade dos pais, a atuação do professor em sala de aula, o empenho do diretor e uma série de outras questões afetam o desempenho do aluno, medido pelos testes. A relação entre os questionários contextuais e os testes é de complementaridade. As informações obtidas através dos testes nos fornecem um panorama do desempenho do aluno que, a partir do acréscimo das informações obtidas com os questionários contextuais, nos possibilita uma compreensão mais substancial. Nesse sentido, através dos questionários contextuais, é possível coletar dados que auxiliem os profissionais da educação a selecionar prioridades relativas à implementação de ações de intervenção escolar. Os questionários contextuais, portanto, adquirem importância na medida em que são instrumentos que fornecem informações muito valiosas para a interpretação dos dados obtidos através dos testes e para o entendimento dos fatores que influenciam o desempenho do aluno e a medida da eficácia da escola. Em sua ausência, a precisão da análise sobre estes aspectos, desempenho e eficácia, fica comprometida, pois somente o resultado dos testes, e seu enquadramento em escalas de proficiência, não é suficiente para uma compreensão mais ampla do fenômeno escolar. De maneira geral, os questionários contextuais envolvem três grandes atores envolvidos no processo educacional no interior da escola (sem desconsiderar, entretanto, a existência de outros): o aluno, o professor e o diretor. Para cada um desses atores sociais, foi desenvolvido um questionário próprio, que busca identificar as características econômicas, sociais, culturais e de atuação na vida escolar cotidiana, a fim de se compreender, substancialmente, o perfil de cada um deles. Seguem as principais questões tratadas em cada um dos questionários: Questionário do Aluno: este questionário busca colher informações sobre o perfil social e econômico dos estudantes, assim como sobre seus hábitos de estudo e suas atitudes em relação às disciplinas, à escola, aos professores e aos diretores. Desse modo, avaliamos, por exemplo, a distorção idadesérie, com que frequência os professores passam tarefas de casa e com que frequência os alunos participam de atividades de reforço. Questionário do Professor: neste questionário, são colhidas informações sobre o perfil social e econômico dos professores, bem como sobre questões referentes à sua experiência profissional, práticas e atitudes relacionadas ao ambiente escolar e aos alunos. Para tanto, procuramos averiguar, por exemplo, com que frequência o professor utiliza recursos pedagógicos, como computador, internet, livros e revistas, em seu cotidiano escolar. Questionário do Diretor: através deste questionário, buscamos obter informações sobre o perfil social e econômico do diretor, sua experiência profissional, práticas e atitudes relacionadas ao ambiente escolar, à comunidade e aos alunos. Para tanto, procuramos averiguar, por exemplo, se o diretor se candidataria novamente ao cargo que ocupa; além disso, obter também informações que têm a escola como unidade de análise, como o fato da escola contar ou não com parceiros externos, como ONGs, empresas, associações, etc.

14 14 Revista Contextual 1.2. O que estamos medindo? O que buscamos analisar com a conjugação entre os resultados obtidos pelos alunos nos testes e as informações colhidas a partir dos questionários contextuais é a eficácia escolar, ou o efeito escola. Mas, o que é isso, afinal? Um dos possíveis e dos mais empregados sentidos de eficácia escolar corresponde ao impacto que a escola, pelas suas próprias características, exerce sobre o desempenho de seus alunos. Dessa forma, a eficácia escolar relaciona-se à capacidade que a escola tem de contrabalançar os efeitos negativos das características que o aluno possui, antes mesmo de entrar na escola, por meio de ações que envolvem uma série de elementos, tanto administrativos quanto pedagógicos. Em outras palavras, a eficácia escolar é fruto da redução dos impactos negativos, para o desempenho escolar, dos fatores extraescolares (portanto, não controlados pelas instituições escolares), a partir da incidência dos efeitos positivos gerados por fatores intraescolares (esses ao alcance da intervenção da escola). Ao mensurar a influência que a escola tem sobre o desempenho dos estudantes, os índices de eficácia escolar nos ajudam a rechaçar uma interpretação derrotista da realidade escolar, qual seja, a de que estudantes oriundos de classes sociais menos favorecidas têm um destino social traçado de antemão pela sua origem, fazendo com que a escola possa fazer muito pouco no que tange às possibilidades escolares e profissionais de seus discentes. É preciso ressaltar que os fatores extra e intraescolares não têm, em absoluto, efeitos positivos ou negativos sobre o desempenho. Isso quer dizer que tais fatores, dependendo de uma série de circunstâncias, podem ter efeito no sentido de aumentar ou diminuir o desempenho, ou seja, os fatores extraescolares nem sempre exercem um efeito negativo sobre o desempenho, assim como não é sempre que os fatores intraescolares exercem um efeito positivo. É nesse ponto que o entendimento da eficácia escolar se torna tão importante. Quando o efeito positivo dos fatores intraescolares supera o efeito negativo exercido pelos fatores extraescolares, estamos diante de um quadro de eficácia escolar. Quais são, então, os fatores intraescolares associados à eficácia escolar? Podemos destacar cinco grandes categorias de fatores que estão associadas à eficácia escolar: a organização e a gestão da escola, a infraestrutura, o clima acadêmico no interior da escola, a formação e a motivação do corpo docente, e o enfoque pedagógico adotado pela escola. Embora a mensuração da eficácia escolar seja um procedimento técnico-científico que exija um elevado nível de elaboração conceitual e metodológica, as complexidades a isso inerentes não podem obstaculizar sua pesquisa, seu estudo e seu entendimento. A eficácia escolar merece uma compreensão substantiva, pois reforça a ideia de que a escola pode fazer a diferença na trajetória de seus alunos, escapando a um trágico determinismo social. A seguir, trataremos de cada um dos dois tipos de fatores aqui tematizados (intra e extraescolares), apresentando e analisando os resultados da avaliação para cada um deles. Comecemos pelos resultados relacionados aos fatores extraescolares.

15 PAEBES 15 2 Seção Os resultados do PAEBES 2010 Impacto dos fatores extra e intraescolares Nesta seção Você encontrará: Fatores associados ao desempenho escolar. Fatores extraescolares. Fatores intraescolares. O desempenho esperado e o obtido. O objetivo é: que os profissionais tenham em mãos os resultados do PAEBES 2010, acompanhados da explicação quanto a estes resultados. Assim, tais resultados podem sair da mera descrição para servirem de orientação para a efetivação de práticas pedagógicas e administrativas que possam aumentar a eficácia escolar.

16 16 Revista Contextual Fatores associados ao desempenho escolar Como dissemos, existe uma série de fatores e situações que causam impacto no aprendizado do aluno. Muitos desses fatores não podem ser medidos diretamente e, para captálos, procuramos, através de alguns indicadores, criar medidas que possam expressá-los. Aqui faremos uma apresentação conceitual e metodológica dos fatores que são importantes para a compreensão do desempenho escolar dos alunos, através de uma descrição simples de como os índices que expressam alguns desses fatores foram construídos a partir das informações disponíveis. Além disso, apresentaremos os resultados das duas metodologias que usamos para compreender a relação entre os fatores intra e extraescolares e o desempenho dos alunos da rede estadual do Espírito Santo, metodologias essas comuns na análise desse tipo de dados (sobre alunos alocados em escolas): a estimação de um modelo multinível, que permite considerar adequadamente a influência de diversos fatores sobre o desempenho, respeitando os níveis a que eles pertencem (por exemplo, a atuação do diretor é uma característica da escola como um todo, que afeta o desempenho do aluno, mas não é uma característica do aluno e, portanto, deve estar no nível da escola, permitindo verificar seu efeito na proficiência da escola); e uma comparação entre valores esperados e observados para as escolas consideradas na análise. Utilizamos as informações fornecidas pelos alunos, professores e diretores das escolas. Os resultados do primeiro tipo de análise estão apresentados ao fim da descrição de cada fator considerado. Ao final desta seção descrevemos uma análise comparativa entre os valores esperados e observados para as escolas da rede estadual do Espírito Santo. Quadro 1 Alguns fatores contextuais e desempenho em Língua Portuguesa 1 Nível do aluno Nível da escola Língua Portuguesa Ensino Fundamental Ensino Médio 4ª série/5º ano 8ª série/9º ano 1ª série 3ª série Intercepto 1 192,62 234,14 244,14 261,87 Nível socioeconômico Sexo (referência: feminino) Raça/cor (referência: não branco) Defasagem Índice de dedicação do professor opinião do aluno Índice de disciplina opinião do aluno * * Nível socioeconômico (média da escola) Índice de atuação do diretor opinião do professor * * Índice de problemas com o corpo docente * Formação do diretor * * 1 Intercepto é o valor médio esperado para a proficiência quando todas as variáveis envolvidas no modelo estimado forem zero. Como não existem valores reais iguais a zero para a maior parte das variáveis utilizadas nos modelos apresentados nos quadros 1 e 2, os valores do intercepto não têm interpretação substantiva, apenas estatística.

17 PAEBES 17 Quadro 2 Alguns fatores contextuais e desempenho em Matemática Nível do aluno Nível da escola Matemática Ensino Fundamental Ensino Médio 4ª série/5º ano 8ª série/9º ano 1ª série 3ª série Intercepto 210,20 257,35 264,62 282,94 Nível socioeconômico Sexo (referência: feminino) Raça/cor (referência: não branco) Defasagem Índice de dedicação do professor opinião do aluno Índice de disciplina opinião do aluno Nível socioeconômico (média da escola) Índice de atuação do diretor opinião do professor * * Índice de problemas com o corpo docente * Formação do diretor * * Com os quadros 1 e 2, pretendemos apresentar quais fatores impactam no desempenho dos alunos em Língua Portuguesa e Matemática e qual o tipo de impacto exercido, se positivo ou negativo. Além das disciplinas, os quadros trazem referências a cada uma das séries avaliadas. Para facilitar a compreensão sobre o impacto exercido, utilizamos setas e asteriscos. As setas em azul indicam que o fator em questão impacta positivamente no desempenho avaliado. Ao contrário, as setas em vermelho impactam negativamente. Os asteriscos, por sua vez, indicam que o fator em questão não afetou significativamente o desempenho, seja positiva ou negativamente, de modo que não se usam setas nesse caso. Para a construção dos quadros, optamos por não apresentar os valores específicos do impacto de cada um dos fatores levados em consideração. Essa decisão foi tomada em função de dois aspectos principais. O primeiro deles diz respeito ao modelo utilizado para a realização das análises estatísticas. Se outro modelo, que não aquele do qual nos valemos, fosse utilizado para gerar os resultados, pequenas variações poderiam ocorrer entre os valores. Além disso, acreditamos que a indicação do efeito gerado pelo fator sobre o desempenho, se positivo ou negativo, atinge os objetivos que pretendemos com a construção desta tabela, ou seja, que ela seja um instrumento didático capaz de apresentar quais fatores impactam sobre o desempenho, e quais o fazem positiva ou negativamente.

18 18 Revista Contextual 2.1. Fatores extraescolares Quais são, então, os principais fatores externos à instituição escolar, mas que influenciam os alunos em seu desempenho? Aqui trataremos de três fatores extraescolares em específico, não por serem os únicos, e sim pelo grande impacto que exercem sobre o desempenho dos alunos: a condição socioeconômica das famílias, a raça e o sexo dos alunos Condição socioeconômica A condição socioeconômica é composta por uma série de elementos que influenciam na vida social e escolar do aluno. Ela é indicada através do índice socioeconômico (ISE), que é construído a partir da escolaridade dos pais dos estudantes e da posse de bens materiais específicos. O ISE fornece informações fundamentais para a compreensão do desempenho do aluno e também da escola (vale notar que o índice socioeconômico foi calculado no nível dos alunos e seus efeitos investigados no nível do aluno e da escola). A escolaridade dos pais é um fator muito influente na medida do desempenho, relacionando-se com as atitudes por eles tomadas e influenciando o desenvolvimento de comportamentos e atitudes dos filhos. A escolaridade dos pais se vincula ao consumo cultural que os filhos podem desenvolver, ao hábito de leitura, à disciplina e ao comportamento dentro e fora de sala de aula, ao contato recente com tecnologias e recursos educacionais diferenciados, entre outros fatores. Além disso, tal escolaridade vincula-se também ao comportamento dos pais diante da escolaridade dos filhos, como a exigência de dedicação e o comprometimento com a escola, o incentivo à leitura, o acompanhamento dos deveres de casa, a auxílio com as dúvidas que os estudantes possam ter com as lições, entre outros elementos. Assim, em teoria, o aumento da escolaridade dos pais tende a se refletir na melhoria do desempenho de seus filhos. Outro elemento componente do ISE é a posse de determinados bens materiais. Esses são tratados como indicativos de situações e condições sociais específicas que, por sua vez, têm impacto no desempenho dos estudantes. A posse de bens, como aparelhos de televisão, geladeira, automóvel e a presença, em casa, de banheiro, indicativo de acesso a uma forma mínina de saneamento, são elementos que podem se associar e, de modo geral, se associam, ao desempenho dos alunos. A presença desses bens, como se pode imaginar, não interfere diretamente no desempenho do aluno em sala de aula, ou seja, o fato do aluno ter geladeira em casa não significa que ele, por conta disso, terá um desempenho melhor em matemática, por exemplo, ou que aprenda melhor do que aqueles que não têm. No entanto, a presença desses fatores é indicativa da condição social e econômica do aluno e de sua família. Além disso, essa condição social, indicada pela posse de tais bens, cria uma série de situações, como a estabilidade familiar, o desenvolvimento de um ambiente em casa que favoreça a aprendizagem, a dedicação de tempo para estudo e para lazer, além de outros elementos que estarão,sim, relacionados ao desempenho do aluno. Para a interpretação dos resultados relativos ao índice socioeconômico nos dados do PAEBES 2010, foi construída uma escala, cujos valores variam de 1 a 10, sendo que a média foi 5,7. Observamos que o impacto que a condição socioeconômica pode ter sobre o desempenho médio das escolas varia de acordo com a etapa de escolaridade e com a disciplina avaliada. Sendo assim, no que tange à Língua Portuguesa, o aluno que, hipoteticamente, ocupa a posição máxima da escala, representada pelo valor 10, teria até 35 pontos a mais na escala de proficiência, para as séries avaliadas do Ensino Fundamental, e até 30 pontos a mais, para as séries do Ensino Médio avaliadas. Em relação à Matemática, nas séries do Ensino Fundamental aqui consideradas, esse valor pode chegar a 52 pontos a mais na escala de proficiência, ao passo que, nas séries do Ensino Médio, o valor pode atingir até 24 pontos a mais.

19 PAEBES 19 O índice socioeconômico, como uma medida indicadora das condições de origem familiar dos alunos, é, portanto, uma variável fora do controle da escola, que possui uma associação com o desempenho. Por sua vez, isso significa que alunos em piores condições sociais e econômicas têm um desempenho esperado menor que os alunos em melhores condições. O mesmo se aplica ao índice socioeconômico médio da escola: as escolas que concentram alunos em melhores condições sociais tendem a ter maiores desempenhos médios do que aquelas onde se concentram alunos em piores condições. Em geral, a escola não escolhe a origem social de seu público, por isso é fundamental que a escola se preocupe em mobilizar sua capacidade de fazer com que essas condições não sejam prejudiciais aos alunos Raça e sexo A tabela a seguir revela que a maioria (63,6%) dos alunos respondentes se declarou pardo ou negro (não branco), ao passo que os demais 30,0% se declararam brancos. Gráfico 1 Distribuição dos estudantes por raça Raça ou cor 4,2% 2,2% 15,0% 30,0% Branco Pardo Negro Amarelo Indígena 48,6% Vale notar que, embora o gráfico 1 traga informações sobre diversas classificações de raça ou cor da pele, em nossa análise, utilizamos tão-somente uma distinção entre brancos e não brancos. Apesar dessa distinção não estar expressamente representada pelo gráfico, sua leitura pode ser inferida a partir dele. A razão de ser do estabelecimento dessa distinção entre brancos e não-brancos leva em consideração sua relevância sociológica. Do ponto de vista sociológico, as diferenças entre brancos e não brancos (incluindo aqui pardos e negros) são mais acentuadas do que as distinções entre, por exemplo, índios e brancos. Isso não significa também que não existam distinções entre pardos e negros. Elas existem, de fato, mas são menores do que as distinções que existem entre os brancos e esses dois grupos tomados em conjunto. Segundo vasta e consagrada teoria sociológica, o fosso social entre brancos e não-brancos é maior do que qualquer outra distinção de cunho racial. A presente avaliação comprova essa concepção teórica, o que justifica nosso posicionamento em desenvolver a análise baseada na referida distinção. O gráfico, a seguir, que informa sobre a distribuição por sexo dos estudantes envolvidos com o PAEBES 2010, mostra que a maioria deles é formada por integrantes do sexo feminino (53,9%).

20 20 Revista Contextual Gráfico 2 Distribuição dos estudantes por sexo PAEBES % 50% 53,9% 40% 46,1% 30% 20% 10% 0% Masculino Feminino A mesma distribuição ocorre quando consideramos cada etapa avaliada, exceto para a 4ª série/5º ano, onde a maioria dos alunos considerados é do sexo masculino. Gráfico 3 Distribuição dos estudantes por sexo em cada etapa avaliada PAEBES % 60% 50% 40% 30% 51,1% 48,9% 52,9% 53,1% 47,1% 46,9% 41,8% 58,2% 20% 10% 0% 4ª série/5º ano EF 8ª série/9º ano EF 1ª série EM 3ª série EM Masculino Feminino

21 PAEBES 21 As análises que realizamos detectaram associações significativas entre o desempenho escolar e estas variáveis: a raça (neste caso, autodeclarada) e o sexo do aluno. Nesse caso específico, constatou-se que os alunos que se declaram não brancos têm, em média, um desempenho menor do que os alunos que se declaram brancos, ainda que se controle a análise pelas demais variáveis de interesse, como o ISE e o sexo. De maneira análoga, o sexo apresenta também uma associação significativa com o desempenho do aluno, que varia de acordo com a disciplina considerada. Sendo assim, há diferença de desempenho entre integrantes do sexo feminino e do masculino em Língua Portuguesa e em Matemática. Em Língua Portuguesa, o desempenho médio obtido pelas alunas é significativamente mais alto do que o obtido pelos alunos. Quanto ao desempenho experimentado pelos estudantes nos testes de Matemática, o que se observa é um fenômeno contrário ao observado em Língua Portuguesa. Nessa disciplina, o desempenho médio apresentado pelas alunas é significativamente mais baixo do que aquele apresentado pelos alunos. É muito importante ressaltar, quando se trata de avaliar os impactos que fatores como raça e sexo exercem sobre o desempenho escolar, que, na verdade, esta análise precisa ser vista em termos de associação, e não necessariamente de causalidade. Por exemplo, um aluno não tem o desempenho maior por ser branco, em virtude desse fato ser tomado em si. A questão gira em torno dos efeitos sociológicos que a raça, historicamente, exerce sobre uma ampla gama de outros aspectos sociais, como o desempenho, a inserção no mercado de trabalho e as relações sociais de maneira geral. O mesmo pode ser aplicado ao sexo. As mulheres não têm menor capacidade de compreensão das habilidades exigidas pela Matemática do que os homens, só pelo fato de serem mulheres. A explicação para essa diferença, mais uma vez, está em outros fatores sociológicos, que não o sexo em si.

22 22 Revista Contextual 2.2. Fatores intraescolares Quais os fatores possibilitam avaliar uma escala como eficaz? Em outras palavras, em que a escola deve se concentrar a fim de produzir efeitos que sejam capazes de fazer frente às influências oriundas da situação socioeconômica dos alunos? Considerando a eficácia escolar, trataremos, aqui, cinco grandes conjuntos de fatores intraescolares, mencionados anteriormente A organização e a gestão da escola Dos diretores envolvidos com o PAEBES 2010, 83,9% dos entrevistados possuem nível superior de escolaridade na área de Educação (Pedagogia, Licenciatura ou Normal Superior), ao passo que os outros 16,1% declararam possuir outro tipo de formação, seja superior ou não. Em média, a formação superior do gestor impacta positiva e significativamente no desempenho médio da escola, variando de acordo com a série e com a disciplina. Quanto à Língua Portuguesa, o efeito positivo é percebido na 8ª série/9º ano do Ensino Fundamental e na 1ª série do Ensino Médio. Já no que diz respeito à Matemática, o efeito é percebido nas duas séries do Ensino Médio avaliadas. A organização e a gestão da escola exercem uma influência considerável no poder da escola de afetar o desempenho de seus estudantes. A dedicação que os profissionais da escola têm no efetivo cumprimento de suas funções é um fator preponderante para o bom desempenho educacional. Nessa categoria de fatores, é importante destacar o papel do diretor. A eficácia escolar se vincula ao comportamento do diretor no exercício de sua função. Um diretor reconhecido como líder, por parte dos professores que compõem o quadro docente da escola, assim como pelos funcionários da escola, exerce uma influência positiva e mais acentuada no desempenho de seus estudantes. Da mesma maneira, quanto ao tipo de liderança administrativa exercida, escolas que apresentam diretores que exercem uma gestão mais democrática, aberta à participação de outros atores envolvidos no processo educacional e escolar, como os próprios professores e funcionários, os estudantes e a comunidade em que se insere a escola, são capazes de reduzir o impacto que a condição socioeconômica do estudante exerce sobre o seu desempenho. No que tange à atuação do diretor, o índice que a mede em diversas áreas da vida escolar, na opinião dos professores, reúne as seguintes variáveis: O diretor dessa escola: mostra-se comprometido com a melhoria da escola; estimula o desenvolvimento de atividades inovadoras; respeita os professores; motiva os professores para o trabalho em sala de aula; destina mais atenção a questões relacionadas à aprendizagem dos alunos; tem confiança na qualificação dos professores; estabelece altos padrões de ensino; motiva os professores a implementarem o que eles aprenderam em cursos de desenvolvimento profissional; monitora ativamente a qualidade do ensino nesta escola. Para cada item do questionário, as variáveis foram categorizadas em: Discordo. Concordo. Concordo totalmente. Diante disso, quanto maior a concordância com as afirmações a respeito da atuação do diretor em determinado aspecto, maior o valor do índice.

23 PAEBES 23 Entre as variáveis consideradas, todas tiveram um impacto muito similar na produção do índice, mas cabe destacar duas: a concordância dos professores com a atuação do diretor no estímulo ao desenvolvimento de atividades inovadoras e a motivação dos professores a implementarem o que eles aprenderam em cursos de desenvolvimento profissional. A atuação do diretor na percepção dos professores tem um efeito positivo sobre o desempenho médio da escola, conforme mensurado pelo PAEBES 2010, sendo significativo nas séries iniciais de cada segmento avaliado. Para facilitar a interpretação do índice de avaliação da atuação do gestor por parte do corpo docente, criou-se, como se disse, uma escala com valores de 1 a 10. Para o PAEBES 2010, a média foi de 8,2, ou seja, os professores, em geral, avaliam positivamente a atuação dos gestores no estado A infraestrutura da escola A infraestrutura é outro elemento fundamental para que a escola seja eficaz no cumprimento de suas funções. A conservação da estrutura física da escola, o saneamento, a limpeza dos espaços escolares, a disponibilidade de equipamentos são fatores importantes para a manutenção de um ambiente escolar propício à aprendizagem, como veremos a seguir. Além disso, a disponibilidade de equipamentos e serviços, como computadores, televisores, aparelhos de DVD, acesso à internet, acesso a uma biblioteca, acesso a filmes educativos, acesso a material didático e escolar, favorece as possibilidades de diversificação do ensino e contribue para o desenvolvimento de um processo educativo mais completo. A infraestrutura escolar, portanto, tem um efeito positivo sobre o desempenho dos estudantes. Contudo, é preciso ressaltar que a mera existência de uma estrutura predial adequada, assim como a mera disponibilidade de recursos e equipamentos não têm, por si só, nenhum efeito sobre o desempenho estudantil. É preciso, pois, que tais recursos sejam, de fato, utilizados para que suas possibilidades sejam efetivadas. Caso contrário, serão apenas objetos destituídos de qualquer efeito pedagógico O clima acadêmico O clima acadêmico na escola envolve uma série de fatores, atitudes, ações e comportamentos, por parte dos professores, gestores e dos próprios estudantes, que estão associados ao desempenho escolar: o comportamento do professor em sala de aula, sua forma de conduzir a aula, de dar espaço à participação dos alunos, a maneira como exige disciplina, sua presença, a exigência com os deveres de casa e sua correção em sala de aula. Nesse sentido, analisamos a percepção sobre a dedicação do professor e o nível de disciplina exigido por ele, na concepção de seus alunos, e consideramos também os problemas com o corpo docente, no nível da escola. O índice de problemas com o corpo docente diz respeito ao clima vivido na escola, e as variáveis consideradas na sua construção foram: Neste ano, ocorreu nesta escola: inexistência de professores para algumas disciplinas ou séries? frequente falta dos professores? falta de empenho dos professores? alta rotatividade do corpo docente? As categorias de respostas eram: Ocorreu e foi um problema grave. Ocorreu, mas não foi um problema grave. Não ocorreu. As categorias foram codificadas de forma que, quanto maior o valor do índice, menor o nível de problema com o corpo docente. Esse índice teve uma associação significativamente negativa com o desempenho médio da escola, ou seja, quanto menos problemas identificados pelo diretor com o corpo docente, maior o desempenho médio da escola, embora os resultados só tenham se mostrado significativos a partir da 8ª série/9º ano.

24 24 Revista Contextual Uma escala com valores de 1 a 10 foi criada para fins interpretativos no que tange ao índice de percepção de problemas com o corpo docente, por parte dos gestores. A média obtida foi de 6,8, o que quer dizer que, de modo geral, para o estado do Espírito Santo, os gestores não enfrentam constantemente problemas que consideram graves em relação ao professorado. O índice que mensura como os alunos percebem a disciplina na sala de aula foi composto pela associação entre as seguintes variáveis: Com que frequência: o(a) seu(sua) professor(a) precisa esperar muito tempo até que os alunos façam silêncio? há barulho e desordem na aula? os alunos saem da aula antes do término? As variáveis foram categorizadas pela escala: Frequentemente. Às vezes. Raramente. Nunca. A disposição da escala foi orientada de modo que, quanto maior o valor do índice, maior a percepção de um clima disciplinado em sala de aula por parte do aluno. Esse índice também é um fator intraescolar que exerce um efeito positivo sobre o desempenho: quanto maior a percepção de disciplina, melhor tende a ser, em média, o desempenho dos alunos. Nesse caso, a existência de barulho e desordem na sala de aula é que teve um maior peso na composição do índice. Os resultados das análises demonstram que essa variável é mais importante para o desempenho em Matemática do que em Língua Portuguesa. O ambiente disciplinado tem um efeito positivo para o desempenho médio de todas as turmas consideradas em Matemática, enquanto que, para Língua Portuguesa, o efeito é significativo apenas para a 4ª série/5º ano do Ensino Fundamental e para a 1ª série do Ensino Médio. Para fins didáticos e interpretativos, a partir do índice para a percepção da disciplina existente em sala de aula por parte dos alunos, foi elaborada uma escala, com seus valores variando entre 1 e 10. A média referente a esse fator, no PAEBES 2010, foi de 4,6, ou seja, de modo geral e com alguma frequência, os alunos percebem problemas com disciplina em sala de aula Qualificação e motivação do corpo docente Um corpo docente qualificado e motivado também exerce influência sobre o desempenho dos alunos, constituindo-se como um fator a ser considerado para a eficácia escolar. Em teoria, o efeito deste fator é significativo quanto à eficácia. A qualificação profissional sugere um maior preparo do professor para o exercício de suas funções. Vale ressaltar que, para construção desta revista, não incluímos nenhuma análise acerca da qualificação e motivação do corpo docente por questões de cunho metodológico, pelo enfoque que foi dado nesta revista e por ausência de literaturas consolidadas sobre o tema Ênfase pedagógica e defasagem idade-série A ênfase pedagógica é outro fator que exerce influência sobre a eficácia escolar. O tipo de metodologia utilizada pelo professor, sua abordagem em sala de aula, a forma como encara o estudante, a maneira de conduzir o processo de ensino e aprendizagem, as concepções de ensino que ele sustenta e aplica, entre outros, são fatores que estão vinculados à variação no desempenho dos estudantes. Entretanto, é importante enfatizar que, ao se investigar a influência da ênfase pedagógica na eficácia escolar, não se quer julgar como mais ou menos eficiente qualquer concepção pedagógica de ensino e aprendizagem que o professor adote. A escolha de qual concepção aplicar varia de acordo com uma série de aspectos,

25 PAEBES 25 tais como o perfil dos estudantes reunidos em uma mesma sala de aula, a proposta e os objetivos da escola, bem como as próprias concepções educacionais do professor. Assim, tal escolha pode ser mais ou menos adequada, levando-se em consideração esses dados circunstanciais. Além disso, aspectos como a política que a escola adota, e também o professor, no que tange a seus critérios de reprovação, são fatores que podem influenciar no desempenho dos alunos. Nesse ponto, merece destaque a questão da defasagem idade-série por parte do aluno. Em tese, quanto mais defasado o aluno se encontra em relação à série que condiz com a sua idade, menor será o seu desempenho escolar. As análises dos resultados das escolas que participaram do PAEBES 2010 mostram que os alunos em defasagem (não levamos em consideração qual seria o total do atraso, apenas se ele existia ou não) têm menor desempenho médio que os alunos que não sofreram atraso. Isso se deveria não só às reprovações dentro do sistema escolar, mas também à entrada tardia na escola. E os efeitos dessa defasagem são tão mais negativos quanto mais avançada é a série considerada, chegando a mais de 27 pontos a menos na proficiência em Matemática na 3ª série do Ensino Médio. O gráfico a seguir detalha as taxas de defasagem idade-série de acordo com as séries consideradas: 4ª série/5º ano e 8ª série/9º ano do Ensino Fundamental e 1ª série e 3ª série do Ensino Médio. O que se nota, a partir do gráfico, é que a distribuição dos alunos, quando se considera o atraso, é semelhante, apesar da variação da série. Quanto à 4ª série do Ensino Fundamental, 83,1% dos alunos se encontram sem atraso. Esse número é de 82,9% para a 8ª série do Ensino Fundamental, 80,2% para a 1ª série do Ensino Médio, e 84,7% para a 3ª série do Ensino Médio. Gráfico 4 Defasagem idade/série PAEBES 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 83,1% 82,9% 80,2% Atraso 4ª série/5º ano EF 16,9% 17,1% 19,8% Atraso 8ª série/9º ano EF 84,7% 15,3% Atraso 1ª série EM Atraso 3ª série EM Sem atraso Em situação de atraso O índice do envolvimento do professor nas atividades em sala de aula e no dia a dia escolar, na visão dos alunos, foi criado a partir de suas respostas às seguintes questões: Com que frequência o(a) professor(a): exige que os alunos estudem e prestem atenção nas aulas? mostra interesse no aprendizado de todos os alunos? está disponível para esclarecer as dúvidas dos outros alunos? dá as notas de maneira justa?

26 26 Revista Contextual As alternativas de resposta a esses itens compunham uma escala de quatro pontos: Frequentemente. Às vezes. Raramente. Nunca. Quanto maior o valor do índice, mais os alunos percebem o professor como positivamente envolvido e dedicado à boa prática das atividades escolares. Esse índice de dedicação do professor é um importante fator intraescolar que tem uma associação positiva com o desempenho: quanto mais o aluno percebe o envolvimento e a preocupação do professor com o seu aprendizado, melhor o desempenho esperado. Como são muitos os itens considerados na composição do índice, vale destacar a variável que mais impacto exerceu sobre o índice de dedicação do diretor: o quanto o professor se mostra interessado no aprendizado dos alunos. Quanto mais esses percebem o interesse do professor, maior, em média, será o seu desempenho. Nas análises levadas a cabo para esse conjunto de dados, o envolvimento do professor se mostrou uma condição importante para o melhor desempenho dos alunos. Em todas as séries avaliadas e nas duas disciplinas consideradas, quanto mais os alunos percebem o envolvimento do professor, melhor é o seu desempenho médio. Vale observar que isso é ainda mais importante nas séries iniciais do percurso escolar. Para facilitar a interpretação dos dados, esses foram transpostos para uma escala, que varia de 1 a 10, representativa da opinião que os alunos têm sobre a dedicação e o envolvimento do professor. A média para o PAEBES 2010 foi de 9,1, o que indica que, em geral, os professores têm sido bem avaliados, no que tange à sua dedicação, por parte dos alunos.

27 PAEBES O desempenho esperado e o obtido Para avaliar qual a potencialidade da escola no que tange à melhoria do desempenho de seus alunos, analisamos a diferença entre o desempenho esperado para cada escola, levando em conta algumas de suas características como seu desempenho em uma avaliação anterior, as condições sociais de seus alunos e suas características administrativas e pedagógicas e o desempenho observado para a mesma escola, a partir da aplicação do teste. Para essa avaliação do PAEBES 2010, além dos dados sobre a proficiência de Língua Portuguesa e Matemática, estavam disponíveis também informações sobre a condição socioeconômica dos alunos e informações sobre os fatores intraescolares. De posse dessas informações, foi possível elaborar um modelo estatístico capaz de analisar de forma substancial as relações entre essas características da escola e seu desempenho médio. Para essa análise, no caso de Língua Portuguesa, foram consideradas as seguintes variáveis: a proficiência média da escola no PAEBES 2009 e o índice socioeconômico médio dos alunos, seu grau de envolvimento e a disciplina em sala de aula no PAEBES No caso de Matemática, foram incluídas as variáveis: a proficiência média de 2009 e a percepção dos alunos a respeito do envolvimento dos professores e da disciplina exigida por esses no PAEBES O objetivo desse estudo em particular foi comparar o desempenho médio esperado para as escolas levando-se em consideração essas informações disponíveis e sabidamente influentes no desempenho escolar com a proficiência média obtida na última avaliação. A finalidade desse procedimento era observar se, em geral, as escolas da rede estadual do Espírito Santo encontram-se nos níveis de proficiência esperados ou superiores, dadas as características de desempenho pregresso e pedagógico-administrativas da escola. Esta análise não tem a finalidade de determinar qual o desempenho médio desejado para cada escola, e sim de considerar um conjunto de características que permitem estimar, com a devida segurança, qual seria o desempenho médio dito esperado. O sentido de esperado não é o de almejado ou desejado, mas, sim, diz respeito a uma condição de maior probabilidade estatística de ocorrência. Além disso, nunca é possível considerar todas as características que afetam o desempenho médio de cada escola e, por isso, não é possível prever, em absoluto, sua proficiência. O modelo estatístico empregado nesta análise permitiu estimar a proficiência média mais provável para uma escola, considerando-se algumas de suas características, para compará-la com a proficiência de fato obtida por tal escola no último teste. Por isso, esta análise não faz referência ao nível adequado de proficiência para cada escola. Para facilitar a interpretação dos resultados, concebemos da seguinte forma as diferenças entre a proficiência média esperada e a proficiência média observada da escola: suponha que a proficiência média de uma determinada escola seja de 180 pontos na escala de Matemática e que isso corresponda ao 8º nível de desempenho dessa escala. No entanto, digamos que, dadas as características dessa escola e o seu desempenho médio no teste anterior, a proficiência média esperada para essa escola era de 160, o que corresponde ao nível 7. Com isso, concluise que essa escola encontra-se um nível acima do que seria esperado com base em suas características consideradas na análise. Da mesma forma, pode ocorrer o fato de alguma escola vir a se situar em um nível abaixo do esperado. Esta análise não aponta, portanto, diferenças dentro dos níveis, que têm intervalos de 25 pontos nas escalas de Língua Portuguesa e Matemática Para mais informações sobre os níveis que compõem a escala de Língua Portuguesa e Matemática, consultar o Volume III da Coleção PAEBES 2010 em

28 28 Revista Contextual Os resultados encontrados na análise revelam que a grande maioria das escolas, tanto no que tange à Língua Portuguesa, quanto no que tange à Matemática, estão no nível esperado de desempenho médio. Para Língua Portuguesa, 19,7% das escolas para as quais existem as informações consideradas estão pelo menos um nível acima do esperado pelas suas características e desempenho médio anterior, sendo que a maioria se encontra em, exatamente, um nível acima (15,7%). No nível esperado, há 68,4% das escolas. Aquém do nível esperado, estão 15,5% dessas escolas, sendo que 14,5% estão em apenas um nível abaixo. Para Matemática, o resultado segue uma distribuição semelhante: 17,3% das escolas consideradas estão a pelo menos um nível acima do esperado. Desse total, 13,3% ocupam um nível acima do esperado. No nível esperado, encontram-se 70,4% das escolas e, nos níveis abaixo do esperado, há 19,4% das escolas. Gráfico 5 Diferenças entre os níveis observados e esperados para as escolas PAEBES % 70% 60% 50% 40% 30% 20% 68,4% 70,4% 10% 0% 14,5% 15,4% 15,7% 13,3% 0,0% 0,2% 1,0% 0,2% 0,2% 0,2% 0,2% 0,2% Língua Portuguesa Matemática É importante ressaltar, no que tange a este ponto, que a noção de esperado não está vinculada aos padrões estabelecidos pela escala de proficiência do PAEBES O desempenho esperado para a escola não foi pensado com base nestes padrões e os resultados das revistas anteriores, que apresentam a distribuição dos alunos de acordo com esses padrões e sua interpretação, devem ser considerados. Além disso, cumpre reforçar que, quando uma escola se encontra dentro do esperado para ela, tendo em vista suas características sociais, não quer dizer que ela esteja dentro daquilo que ela deva fazer para que o desempenho de seus alunos seja melhorado. Ao contrário, quando uma escola se encontra dentro do esperado para ela, significa que ela não está em um quadro de eficácia escolar. É quando a escola vai além do esperado, obtendo um desempenho médio acima daquele previsto diante de suas condições sociais, que ela se torna eficaz.

29 PAEBES 29 A nexo Os resultados de sua escola Até aqui, discutimos os fatores extraescolares e intraescolares que influenciam o desempenho dos estudantes. Além disso, fornecemos definições desses fatores e esclarecimentos sobre o que estamos procurando mensurar com o PAEBES Contudo, por se tratar de uma revista dedicada a cada escola em específico, é necessário apresentar os resultados de sua escola, no que diz respeito aos fatores anteriormente considerados. Para realizar essa importante função, qual seja, a divulgação dos resultados de cada escola, organizamos o presente anexo, apresentando os resultados para cada fator considerado e sua comparação com a média obtida pelo programa PAEBES em todo o estado. Com isso, reforçamos, nosso objetivo não é o de criar um ranqueamento das escolas envolvidas com o projeto, mas tão somente o de tratar os dados de forma comparativa, no intuito de fornecer uma leitura ampla sobre cada escola, de acordo com o desempenho nas disciplinas avaliadas e também com suas características escolares e socioeconômicas.

30

31

32