PROGRAMA DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA DO ESPÍRITO SANTO. PAEBES-Alfa. Revista do Gestor REDE MUNICIPAL

Transcrição

1 PROGRAMA DE AVALIAÇÃO DA EDUCAÇÃO BÁSICA DO ESPÍRITO SANTO PAEBES-Alfa 2009 Revista do Gestor REDE MUNICIPAL

2

3 Governador do Estado do Espírito Santo Paulo Cesar Hartung Gomes Vice-governador do Estado do Espírito Santo Ricardo de Rezende Ferraço Secretário do Estado da Educação Haroldo Corrêa Rocha Subsecretária de Estado de Planejamento e Avaliação Mércia Maria de Oliveira Pimentel Lemos Subsecretária de Educação Básica e Profissional Adriana Sperandio Gerente de Informação e Avaliação Educacional Aline Elisa Cotta D`Ávila Equipe Técnica Maria Adelaide Tâmara Alves (Subgerente) Denise Moraes e Silva Gloriete Carnielli Maria José Amorim Marilda Surlo Graciotti Silvia Maria Pires de Carvalho Leite EQUIPE CEALE Equipe de Elaboração da Revista do Gestor - PAEBES-ALFA / 2009 Gladys Rocha Kely Cristina Nogueira Souto Maria José Francisco de Souza Neiva Costa Toneli Raquel Márcia Fontes Martins Coordenação do CEALE Francisca Izabel Pereira Maciel Maria Lucia Castanheira

4 Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora Coordenação Geral Lina Kátia Mesquita Oliveira Coordenação de Planejamento e Controle Manuel Fernando Palácios da Cunha e Melo Coordenação de Pesquisa Tufi Machado Soares Coordenação de Análise e Divulgação de Resultados Anderson Córdova Pena Coordenação de Instrumentos de Avaliação Verônica Mendes Vieira Coordenação de Medidas Estatísticas Wellington Silva Coordenação de Produção Visual Hamilton Ferreira Equipe de Medidas Estatísticas Ailton Fonseca Galvão Clayton Vale Rafael Oliveira Equipe de Análise e Divulgação dos Resultados Ana Paula Gomes de Souza Camila Fonseca Oliveira Carolina de Lima Gouvêa Daniel Aguiar de Leighton Brooke Fernanda dos Santos Rocha Gláucia Fialho Fonseca João Paulo Costa Vasconcelos Júlio Sérgio da Silva Jr. Leonardo Augusto Campos Matheus Lacerda Michele Sobreiro Pires Roberta Furtado Costa Rogério Amorim Gomes Tatiana Casali Ribeiro Equipe de editoração Bruno Carnaúba Clarissa Aguiar Eduardo Castro Henrique Bedetti Marcela Zaghetto Marcelo Reis Raul Furiatti Moreira Vinicius Peixoto

5 Sumário Apresentação Introdução Seção 1: Considerações Gerais Avaliação no estado do Espírito Santo. A estrutura dessa Avaliação As etapas de construção dos testes A Matriz de Referência A Escala de Proficiência Seção 2: Dados de Participação no PAEBES 2009 Dados Gerais da Participação Seção 3: Alfabetização: Resultados Gerais Médias e Desvios-padrão: entendendo as estatísticas básicas Seção 4: Resultados das Escolas Os seus resultados

6 6 Revista do Gestor

7 PAEBES-Alfa 7 Apresentação Caro(a) Educador(a), É com satisfação que a Secretaria da Educação apresenta os resultados de mais um ciclo do Programa de Avaliação Básica do Espírito Santo (PAEBES-Alfa), realizado no final de 2009 com todos os alunos do 1ª série/ano do Ensino Fundamental dos 76 municípios do Espírito Santo. A avaliação externa do PAEBES-Alfa, primeira onda, cujos resultados são objeto desta revista, tem a finalidade de identificar o nível de leitura e escrita em que se encontram os alunos do 1ª série/ano do Ensino Fundamental. Conhecer a situação atual de nossos alunos e identificar suas dificuldades de aprendizagem é condição imprescindível para que possamos tomar as medidas capazes de garantir que todas as crianças capixabas conquistem, pelo domínio da leitura e da escrita, as habilidades necessárias para seguir aprendendo ao longo de toda sua vida escolar. Esta revista tem o objetivo de divulgar, junto aos gestores de cada escola, os resultados de desempenho dos seus alunos, reafirmando o compromisso da SEDU na produção do diagnóstico da alfabetização no âmbito do estado, do município e da escola, com informações de cada turma e de cada aluno. Contamos com o efetivo trabalho de todos da escola como principais protagonistas na condução de um processo que garanta o sucesso na alfabetização de cada uma de nossas crianças. Que as melhorias conquistadas até aqui possam fortalecer nosso ânimo e reafirmar nosso compromisso de garantir, a cada aluno capixaba, seu direito de aprender. Haroldo Corrêa Rocha Secretário do Estado da Educação

8 8 Revista do Gestor Introdução Avaliar a qualidade do sistema educacional do estado do Espírito Santo. Com essa proposta, a Secretaria da Educação estruturou o Programa de Avaliação da Educação Básica do Espírito Santo, o PAEBES, que, em parceria com o Centro de Políticas Públicas e Avaliação da Educação da Faculdade de Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF), realiza testes para diagnosticar o desempenho dos estudantes da Rede Pública de ensino. O PAEBES é, pois, um programa de avaliação em larga escala que possibilita aos gestores, professores e a toda a comunidade escolar conhecer o sistema educacional do Estado. A partir dos resultados alcançados pelos estudantes, em conjunto com as informações referentes às taxas de aprovação, repetência e abandono, informadas pelo Censo Escolar, as instâncias gestoras poderão elaborar políticas públicas que tornem as redes de ensino mais eficazes. Além disso, eles permitirão que as escolas pensem alternativas pedagógicas ajustadas às necessidades e às situações que fazem parte da realidade de cada aluno. Essas duas frentes de ação, em conjunto, serão capazes de dinamizar os processos de ensino e aprendizagem do estado e, dessa forma, impulsionar a educação a patamares de qualidade mais avançados.

9 PAEBES-Alfa 9 O ato de tornar público os resultados da avaliação permite que a Secretaria da Educação e as Secretarias Municipais possam trabalhar, para que mudanças nas práticas pedagógicas tornem o ensino e a aprendizagem eficaz, procurando, sempre, elevar o nível educacional dos estudantes de todo o estado. Esta Revista do Gestor divide-se em quatro seções. A primeira apresenta o PAEBES-Alfa, com abordagens sobre sua concepção e diretrizes. Ainda nessa seção, são discutidas, também, a Matriz de Referência de Avaliação da Alfabetização, utilizada no teste de 2009 elaborada pelo Centro de alfabetização, leitura e escrita - CEALE, além da Escala de Proficiência que embasou as análises dos resultados dos testes dos estudantes do estado. É importante que sejam compreendidas todas as competências e habilidades ligadas a cada descritor da matriz, para que os resultados alcançados pelos estudantes avaliados sejam devidamente compreendidos. A segunda seção apresenta os dados de participação de estudantes. A terceira seção, com os resultados gerais e regionais, traz tabelas e gráficos com as médias de proficiência dos alunos do 1º ano do Ensino Fundamental em Língua Portuguesa. Já na última seção, são mostrados os resultados do município e das escolas, com médias de proficiência, percentuais de estudantes em cada categoria e o número de participantes em cada município e em cada escola.

10 10 Revista do Gestor Seção 1 Considerações Gerais

11 PAEBES-Alfa 11 Avaliação no Estado do Espírito Santo PAEBES OPAEBES foi instituído pela Secretaria de Educação do Estado do Espírito Santo (SEDU- ES) no ano de 2000, com o objetivo de avaliar, de modo permanente e contínuo, o sistema de ensino. Esse Programa visa diagnosticar o desempenho dos alunos em diferentes áreas do conhecimento e níveis de escolaridade, bem como subsidiar a implementação, a reformulação e o monitoramento de políticas educacionais, contribuindo, dessa forma, para a melhoria da qualidade da educação no Estado. O PAEBES teve como marco inicial, naquele ano, a avaliação das classes de 2ª série do Ensino Fundamental, com uma amostra de alunos, distribuídos em 700 turmas de 500 escolas em todo o Estado. O seu objetivo foi diagnosticar estágios de aprendizagem desses alunos em Alfabetização, Leitura, Escrita e Matemática, gerando informações para subsidiar a ação alfabetizadora na Rede Estadual de Ensino. No ano de 2004, foi avaliado o desempenho dos alunos da 4ª e 8ª séries do Ensino Fundamental e da 1ª série do Ensino Médio (em um total de alunos, de turmas de 617 escolas) nas disciplinas de Língua Portuguesa, Matemática, Física, Química e Biologia. Além do instrumento de avaliação, foram aplicados questionários aos alunos, professores e diretores, a fim de identificar fatores que interferem no desempenho dos alunos. O PAEBES retomou e ampliou, em 2008, a Avaliação Diagnóstica da Alfabetização, recentemente intitulada PAEBES/Alfa, em turmas de 1ª e 2ª séries/ anos do Ensino Fundamental. Essa avaliação passou a integrar o Programa Ler, Escrever e Contar, implementado pela Secretaria de Estado de Educação do Espírito Santo. A Avaliação Diagnóstica da Alfabetização teve duas ondas de aplicação em 2008

12 12 Revista do Gestor e, em 2009, o PAEBES/Alfa passa a abranger, também, a 3º ano de escolaridade. Serão aplicados, em novembro de 2009 (2ª Onda), questionários junto a professores com objetivo de coletar dados que auxiliem os profissionais de educação em suas ações na escola. Em 2010, além da aplicação de questionários, será incluída nos testes cognitivos a área de Matemática. Além da Avaliação da Alfabetização, o PAEBES realizou, ainda em 2008, a avaliação das turmas da 1ª série do Ensino Médio, com aplicação de provas nas disciplinas de Língua Portuguesa e Matemática. Em 2009, esse desenho se amplia, com avaliações na 4ª série/ 5º ano, 8ª série/ 9º ano e no Ensino Médio. Tais avaliações, externas à escola e em larga escala, possibilitam um acompanhamento do desempenho dos alunos, de modo a consolidar esse Programa no Estado, tendo em vista a obtenção de informações que possibilitem a constituição de um mapeamento da situação do ensino que fomentem ações de formação continuada, de (re)definições de metas, planejamentos e intervenções pedagógicas, visando à ampliação do aprendizado dos alunos. Este documento trata da Avaliação da Alfabetização realizada em outubro de Para saber mais sobre características e objetivos de uma variação em larga escala, consulte a Revista do Educador. Objetivos do PAEBES-ALFA Esta proposta de avaliação tem como principal objetivo diagnosticar o ensino por meio da identificação de estágios de aprendizagem dos alunos em processo de alfabetização. Tem, ainda, como objetivos específicos: obter resultados do ensino do Estado do Espírito Santo, o que inclui, também, a possibilidade de ter acesso a dados referentes a uma região/ município/ escola/ turma/ aluno; possibilitar a construção de escala de Proficiência das séries/anos iniciais do Ensino Fundamental, visando aferir o estágio atual da alfabetização no Estado; diagnosticar estágios de aprendizagem dos alunos das séries/anos iniciais do Ensino Fundamental; subsidiar ações de melhoria no sistema de ensino, na área de alfabetização, a partir da análise dos estágios de aprendizagem; fornecer às escolas e aos professores informações sobre os conhecimentos demonstrados pelos alunos, com o propósito de subsidiar a prática e a formação docente, tendo como referência dois aspectos fundamentais: o que os alunos sabem e o que se espera que eles saibam; subsidiar a formulação de uma política pública que vise à formação docente e à elaboração de propostas curriculares para os processos de ensino e de aprendizagem em alfabetização, leitura e escrita.

13 PAEBES-Alfa 13 Aestrutura dessa avaliação Cadernos de Prova (ou testes) A avaliação, na primeira onda de 2009 aplicada apenas junto a alunos da 1ª série/ano, foi composta por oito cadernos aplicados sendo que foi aplicado um mesmo caderno em cada turma. Cada caderno de prova apresentou 24 itens (ou questões), divididos em quatro blocos e cinco itens: fáceis, médios e difíceis. Esse agrupamento visou contemplar desde habilidades mais simples da alfabetização, como distinguir letras de outros sinais gráficos, até habilidades mais complexas, como ler um pequeno texto, recuperando seu significado. Houve predomínio de itens de múltipla escolha, havendo também itens abertos de escrita. Itens A avaliação apresentou os seguintes tipos de itens: itens de múltipla escolha, com um conjunto de 4 opções para o aluno selecionar uma resposta, que deveria ser marcada na própria prova; itens abertos, nos quais o aluno deveria responder a proposições relacionadas à escrita, sendo que: os itens de escrita de palavras enfatizaram vocábulos compostos por sílabas complexas (CVC, CCV e outras estruturas); os itens de escrita de frases abrangeram duas propostas: a escrita de frases ditadas e a elaboração de frases a partir da observação de uma cena impressa em preto e branco e com enunciado que solicitava ao aluno escrever o que estava ocorrendo naquela cena. A partir desse enunciado lido pelo aplicador/ professor, frases ou pequenos textos poderiam ser escritos.

14 14 Revista do Gestor As estapas de construção dos testes A construção dos testes compreendeu duas etapas: a elaboração da Matriz de Referência e a produção de itens. A primeira etapa da construção dos testes foi a revisão da Matriz de Avaliação, ou Matriz de Referência. Tanto a Matriz de Ensino como a de Avaliação são recortes feitos a partir de um conjunto maior de conhecimentos existentes, em que são descritas habilidades relativas à alfabetização, leitura e escrita. Essa Matriz foi elaborada a partir da seleção de habilidades presentes em parâmetros nacionais e tendo em vista as atuais demandas em relação ao ensino da leitura e da escrita. Por essa razão, não se pode tomar a Matriz de Referência ou mesmo itens de avaliação como único ou principal parâmetro para o ensino. Uma Matriz de Ensino é sempre mais ampla do que uma Matriz de Avaliação, uma vez que não é possível compor uma prova com todos os conteúdos ensinados e/ ou presentes na Matriz de Ensino. Uma Matriz de Ensino constitui parte integrante do currículo e procura explicitar as habilidades a serem apreendidas pelos alunos num dado período de escolaridade. Para saber mais sobre a Matriz de Referência que orientou essa avaliação e sobre a seleção de conhecimentos e habilidades avaliados nos testes, veja a Revista do Educador. A G E F B CD

15 PAEBES-Alfa 15 Para esta avaliação, foi elaborada uma Matriz de Referência tomando como parâmetro os estudos atuais sobre o processo de alfabetização e letramento, que pressupõem possíveis competências que precisam ser desenvolvidas pelas crianças nos primeiros anos do Ensino Fundamental. Essa Matriz contempla três grandes dimensões do trabalho pedagógico, presentes na alfabetização e letramento, apresentadas sob o nome de tópicos: Aquisição do sistema da escrita Escrita Leitura/Compreensão Veja na Revista do Educador, a discussão detalhada sobre os conceitos de alfabetização e de letramento a que se refere este documento. Cada tópico é composto por descritores que detalham a habilidade (ou capacidade) focalizada em cada item que compõe a avaliação. Vale salientar que na Matriz são apresentadas desde habilidades iniciais (como direção e alinhamento da escrita) até habilidades mais complexas, como inferir uma informação em textos de modo que haja uma gradação de níveis de complexidade nos itens que compõem os testes. A Matriz de Referência de Avaliação da Alfabetização é formada por um conjunto de descritores agrupados em tópicos. Cada descritor, como o próprio nome indica, descreve uma habilidade. Ele explicita dois pontos básicos do que se pretende avaliar: o conteúdo programático e o nível de operação mental necessário para a aprendizagem.

16 16 Revista do Gestor T1. Aquisição do sistema da escrita D1 D2 D3 D4 D5 D6 D7 D8 D9 Reconhecer especificidades da linguagem escrita. Diferenciar letras de outros sinais gráficos Identificar letras do alfabeto Distinguir, como leitor, diferentes tipos de letras Reconhecer as direções e o alinhamento da escrita Reconhecer a palavra como unidade gráfica Identificar sons de sílabas em palavra(s) Identificar relações fonema/ grafema (som/letra) Ler palavras silenciosamente T2. Leitura/compreensão D10 D11 D12 Demonstrar conhecimentos sobre os usos sociais da ordem alfabética. Identificar gêneros textuais diversos Identificar finalidade de textos de diferentes gêneros e suportes Tabela 1 Matriz de Referência PAEBES ALFA Temas e seus Descritores 1ª série/ano, 2ª série/ano e 3º ano do Ensino Fundamental A criança deve demonstrar habilidade de distinguir escrita de desenho. O aluno precisa diferenciar letras de números e de símbolos. Solicita-se a ele que reconheça, por exemplo, um texto que circula socialmente ou uma sequência que apresenta somente letras, entre outros textos ou outras sequências que apresentam letras e números. O educando deve reconhecer letras do alfabeto apresentadas isoladamente ou no contexto de uma palavra. O educando deve identificar letras isoladas ou palavras escritas com diferentes tipos de letras: maiúscula, minúscula, cursiva, caixa alta e baixa. O alfabetizando, ao ter contato com um texto (contos, tirinhas, notícias, entre outros), deve identificar a direção formal da escrita: onde se inicia a leitura ou onde se localiza a última palavra do texto. Considerando a tarefa de registro escrito, espera-se que o aluno copie uma frase respeitando as direções da escrita (de cima para baixo, da esquerda para a direita), bem como use corretamente linhas, margens e reconheça o local adequado para iniciar a escrita numa folha. A criança precisa reconhecer o número de palavras que compõe um pequeno texto. Precisa também, ao observar uma palavra, ser capaz de identificar o número de vezes que ela se repete em um texto. Espera-se ainda, por exemplo, que palavras compostas por menos de três letras sejam identificadas como palavras. O alfabetizando precisa, ao ouvir a pronúncia de palavras (monossílabas, dissílabas, trissílabas, polissílabas; oxítonas, paroxítonas, proparoxítonas); com diferentes estruturas silábicas (CV, CCV, CVC, V, VC, etc.), identificar o número de sílabas que compõe uma palavra ou identificar sílabas inicial, medial e final de palavras. O educando deve, ao ouvir a pronúncia de palavras (monossílabas, dissílabas, trissílabas, polissílabas; oxítonas, paroxítonas, proparoxítonas); com diferentes estruturas silábicas (CV, CCV, CVC, V, VC, etc.), identificar a diferença de um fonema (som) entre palavras distintas. A criança deve ler palavras silenciosamente. A palavra apresentada é acompanhada de um desenho que a representa. Esse descritor apresenta palavras em um nível crescente de dificuldade em relação à estrutura silábica, ou seja, sílabas CV, CVC, CCV, V e palavras com ditongo. O aluno deve reconhecer a ordem alfabética tendo em vista seus usos sociais. É avaliado se ele identifica o local de inserção de um nome em uma lista ou agenda, por exemplo. Verifica-se, também, a capacidade de identificação do local correto de inserção de uma palavra, no dicionário, a partir da observação da primeira letra. O educando precisa reconhecer gêneros textuais que circulam na sociedade, mais familiares e menos familiares. Além da identificação do gênero, é de suma importância que a criança identifique a finalidade desses textos e seu suporte. Inicialmente são apresentados gêneros mais familiares, como listas, bilhetes, convites, receitas culinárias e, posteriormente outros menos familiares, como notícias, anúncios, textos publicitários, etc. Tais textos podem ser identificados a partir de seu modo de apresentação e/ou de seu tema/assunto e de seu suporte.

17 PAEBES-Alfa 17 D13 D14 D15 D16 D17 D18 D19 D20 D21 D22 D23 T3. Escrita D24 D25 Localizar informação explícita em frases/ textos Identificar elementos que constroem a narrativa Formular hipóteses Identificar assunto de um texto Inferir o sentido de uma palavra ou expressão Inferir informação implícita em textos diversos Identificar efeitos de humor ou ironia em textos diversos Identificar marcas linguísticas que evidenciam os interlocutores de um texto Estabelecer relações entre partes de um texto que contribuem para a sua continuidade Estabelecer relações lógicodiscursivas presentes no texto, em situação de uso da língua Identificar efeito de sentido decorrente do uso de sinais de pontuação ou recursos gráficos Escrever palavras Escrever frases/textos O aluno precisa demonstrar habilidades no processamento de leitura de um texto. Espera-se que ele possa identificar, no texto lido, informações que se apresentam explicitamente. Essa informação pode estar presente no início, no meio ou no fim do texto. O texto pode possuir diferentes extensões e graus de complexidade na estrutura dos períodos. Tais fatores podem interferir no processo de localização de informação. O educando precisa conhecer gêneros textuais que privilegiam a narrativa, tais como contos de fadas, contos modernos, fábulas, lendas. São avaliadas habilidades relacionadas à identificação de elementos da narrativa: lugar, espaço, tempo, personagens e suas ações. A criança precisa reconhecer o assunto de um texto a partir da observação de uma imagem e/ou da leitura de seu título. A criança deve demonstrar capacidade de compreensão global do texto. Ela precisa ser capaz de, após ler um texto, dizer do que ele trata. Ou seja, ser capaz de realizar um exercício de síntese, identificar o assunto que representa a idéia central do texto. O aluno precisa revelar capacidade de, a partir da leitura silenciosa e autônoma de um texto, inferir o sentido de uma palavra ou expressão menos frequente para crianças, em textos de temas e gêneros diversos. A criança deve realizar inferência, o que supõe que seja capaz de ir além do que está dito em um texto. Ou seja, ir além das informações explícitas, relacionando informações presentes em um texto (verbal ou verbal e não verbal) com seus conhecimentos prévios, a fim de produzir sentido para o que foi lido. O aluno deve ser capaz de perceber o humor e a ironia em textos verbais e não verbais como tirinha, charge e piada. A criança precisa identificar quem fala no texto ou para quem um texto é endereçado, tendo como referência aspectos como a seleção de palavras, emprego de gírias, grau de formalidade, etc. O aprendiz precisa reconhecer formas de substituição do referente (ou antecedente) no texto lido. Tal substituição pode ser feita por meio de pronomes, sinônimos, expressões nominais definidas, etc. A criança deve estabelecer relações de causa e consequência, de adição de informações, de contra-argumentação, de tempo e lugar marcadas no texto por meio de conjunções (aditiva, adversativa, temporal, causal) e advérbios (tempo, lugar). Ao ler um texto, a criança deve ser capaz de identificar efeitos de sentido decorrentes da utilização de letras maiúsculas e minúsculas, do uso de determinada pontuação e de outras notações gráficas como negrito, itálico, etc. O aluno necessita mostrar capacidade de escrever palavras (monossílabas, dissílabas, trissílabas, polissílabas; oxítonas, paroxítonas, proparoxítonas); com diferentes estruturas silábicas (CV, CCV, CVC, V, VC, etc.). O alfabetizando precisa escrever frases ou textos. A escrita de frases pode ser feita a partir da observação de uma imagem ou de um ditado. Já a escrita do texto pode ser feita com base na observação de uma seqüência de imagens e em gêneros mais familiares como a lista ou o bilhete, por exemplo.

18 18 Revista do Gestor Revisada a Matriz, iniciou-se a segunda etapa do processo de construção dos testes: a elaboração dos itens. Os itens foram elaborados tendo como referência os descritores apresentados na Matriz. Um mesmo descritor possibilita elaborar diferentes itens, a fim de verificar o que as crianças sabem. A partir da análise de respostas dadas por elas a um conjunto de itens, pretende-se verificar se estão sendo ensinadas as habilidades contempladas na Matriz e identificar estágios de aprendizagem dos alunos. O processo de elaboração de itens contou com a participação de um grupo de professoras da Rede Estadual e de Redes Municipais selecionados pela SEDU-ES, tendo em vista um perfil definido em conjunto com o Ceale 2. O Ceale é o Centro de Alfabetização, Leitura e Escrita, da Faculdade de Educação da Universidade Federal de Minas Gerais. A produção de itens foi precedida de uma Oficina de Elaboração de Itens, coordenada pela Equipe de Avaliação do Ceale, dirigida às professoras selecionadas e à Equipe de Avaliação da SEDU-ES. Essa Oficina foi realizada no Espírito Santo e teve a duração de 16 horas. Após a realização da Oficina, ficou a cargo das professoras a elaboração de parte dos itens dos testes, que foram enviados para a SEDU-ES e, posteriormente, para o Ceale, onde foram revisados e selecionados para compor os testes. Depois dessa revisão, os itens foram submetidos a uma Banca de Validação de Itens, composta por pesquisadores, especialistas em avaliação, alfabetização, leitura e escrita do Ceale e por dois representantes da Secretaria de Estado do Espírito Santo. Para padronizar o processo de aplicação dos testes a fim de garantir a fidedignidade dos dados, foram elaborados Manuais de Aplicação e realizados encontros entre as equipes do Ceale, da SEDU-ES e das Redes Municipais que participaram da avaliação. Os representantes da SEDU-ES e das secretarias municipais, por sua vez, realizaram encontros com os diretores das escolas envolvidas e com professores responsáveis pela aplicação. A aplicação dos testes O teste foi aplicado em alunos de 1ª série/ano do Ensino Fundamental de oito ou de nove anos. A aplicação contou com um professor-aplicador em cada turma. Houve situações em que apenas os enunciados foram lidos para os alunos. Isso ocorreu em função da faixa etária das crianças, da apresentação de itens com diferentes níveis de dificuldade e do fato de não ser possível pressupor que, em turmas de alfabetização, todos os alunos sejam leitores. Em outras situações, enunciados e alternativas foram lidos pelo professoraplicador e houve, ainda, casos em que a criança deveria responder ao item sem nenhum tipo de intervenção por parte do aplicador. Por esse motivo, havia dois tipos de cadernos de prova: o Caderno do Aplicador e o Caderno do Aluno. Em ambos os cadernos, cada item foi apresentado em uma página, mas as instruções, no caso de leitura parcial do item por parte do aplicador, apareceram somente no Caderno do Aplicador. Também em função da faixa etária das crianças, foram utilizados cartazes correspondentes a cada item da prova, a fim de que os alunos tivessem condições mais adequadas de localizar os itens e de respondê-los.

19 PAEBES-Alfa 19 A correção dos testes Os testes foram corrigidos por professores e estudantes universitários, com acompanhamento do CAEd e apoio do Ceale. Durante a correção, notadamente nos dois primeiros dias, foram realizados ajustes nas chaves de correção dos itens abertos, visando a sua maior adequação aos dados empíricos que se configuravam. Essas chaves constituem instrumentos que apresentam os critérios que permitem a padronização da correção dos itens abertos, aqui denominados politômicos. Na Revista do Educador, são apresentadas mais informações sobre itens politômicos. Análise das respostas das crianças avaliadas A partir da análise do desempenho dos alunos nas Avaliações Diagnósticas da Alfabetização 1ª onda/ 2008 e 2009, foram identificados oito Níveis de Proficiência, os quais foram descritos, em termos das habilidades que os caracteriza. Os Níveis de Proficiência, juntamente com a Escala de proficiência em Leitura e Escrita e os Estágios de Aprendizagem dos alunos, são apresentados na Revista do Educador. Nela também são apresentadas algumas sugestões de ações que podem ser desenvolvidas em sala de aula a fim de ampliar as habilidades dos alunos. Os oito níveis de proficiência identificados foram estruturados em pontos de corte que demonstram 3 estágios de aprendizagem das crianças avaliadas na 1ª série/ano do Ensino Fundamental: baixo desempenho; desempenho intermediário; alto desempenho. Na tabela abaixo, são apresentados os três estágios de aprendizagem. Tabela 2 Estágios de aprendizagem Séries Estágios de aprendizagem Níveis de proficiência Proficiência 1ª Série / Ano Baixo Desempenho 1, 2, 3 Até 187,5 Desempenho Intermediário 4, 5, 6, 7 187,5 a 287,5 Alto Desempenho A partir do nível 8 Acima de 287,5

20 20 Revista do Gestor Como se pode notar pela análise da Tabela 2, cada estágio compreende determinados níveis de proficiência, ou seja, agrupa determinadas habilidades demonstradas pelos alunos nos testes. Vale lembrar que o detalhamento desses níveis e estágios pode ser encontrado na Revista do Educador. Na tabela a seguir, é possível verificar o percentual de alunos em cada um dos estágios de aprendizagem. Tabela 3 Percentual de alunos da Rede Pública em cada estágio de aprendizagem Estágios de aprendizagem Total Baixo Intemediário Alto 12,79% 43,43% 43,78% Como se pode notar na tabela, a maioria dos alunos avaliados, 43,78%, se encontra no alto desempenho; uma porção considerável de alunos, 43,43%, está no nível intermediário; sendo que a minoria, 12,79%, se apresenta no baixo desempenho. O fato de o número de alunos do baixo desempenho ser pequeno é positivo, contudo, o desafio que os resultados apresentados apontam é o deslocar os alunos do estágio intermediário para o alto e retirar os alunos do baixo desempenho. Adiante, sugestões de intervenções pedagógicas são dadas para contribuir nessa direção. Vejamos o seguinte gráfico que também permite visualizar os resultados apresentados na Tabela 3: Gráfico 1- Percentual de alunos da Rede Pública por estágio de aprendizagem Pública 43,78% 12,79% Baixo 43,43% Itemediário Alto Outro resultado importante a ser destacado é o que compara as duas ondas de aplicação de 2008 com esta primeira onda de aplicação de Para tanto, vejamos a tabela 4.

21 PAEBES-Alfa 21 Tabela 4 Média de proficiência da Rede Pública por onda de aplicação comparativo ¹ 1ª Onda - mês 05/2008 2ª Onda - mês 11/2008 1ª Onda - Mês 09/2009 Média Proficiência 213,08 274,95 273,00 Como se nota pela análise da Tabela 4, a média de proficiência da 1ª onda de aplicação deste ano, que foi de 273, foi consideravelmente superior à média de 213,08 da 1ª onda de 2008, com uma diferença de mais de 60 pontos. Quando comparada à média de proficiência da 2ª onda de 2008, que foi de 274,95, há uma maior proximidade, a diferença é de 1,95 pontos entre essas duas ondas de aplicação. Esse resultado é decorrente do fato de que a 1ª onda deste ano foi realizada no mês de setembro e não no mês de maio, como na 1ª onda do ano anterior, o que a aproxima da 2ª onda de 2008, que foi realizada em novembro. ¹ A proficiência média da 1ª onda/2008 corresponde à proficiência da Rede Estadual e de apenas cinco Rede Municipais participantes do Paebes.

22 22 Revista do Gestor A Escala de Proficiência A partir da análise do desempenho dos alunos nas Avaliações Diagnósticas da Alfabetização 1ª onda/ 2008 e 2009, foram identificados oito níveis de proficiência descritos a seguir, no Quadro 1, em termos das habilidades características de cada nível. Os oito níveis de proficiência identificados foram estruturados em pontos de corte que demonstram 3 estágios de aprendizagem das crianças avaliadas no 1º ano/série do Ensino Fundamental: baixo desempenho; desempenho intermediário; alto desempenho.

23 PAEBES-Alfa 23 Tabela 5 Escala de Proficiência em Leitura e Escrita PAEBES-Alfa 1ª. Onda 2009 NÍVEIS DE PROFICIÊNCIA DESCRIÇÃO (OS ALUNOS QUE SE ENCONTRAM NESTE NÍVEL DESENVOLVERAM AS HABILIDADES DE...) LEITURA ESCRITA Relacionar fonemas e grafemas (sons e letras) no início de palavras com apoio de imagem. Reconhecer palavras (dissílabas ou trissílabas) de padrão silábico CV, com apoio de imagem. Diferenciam letra de outros sinais gráficos no contexto de placas ou cartazes. Reconhecer letras do alfabeto quando a letra é apresentada isoladamente. Identificar letras do alfabeto. Reconhecer letras grafadas em diferentes padrões (maiúscula, minúscula, de imprensa, cursiva). Ler palavras com apoio de imagem. Respeitar as direções da escrita (esquerda/direita, cima/baixo) na utilização da folha do caderno numa cópia de frase isolada. Identificar a 1ª palavra de um texto. Reconhecer palavras escritas em diferentes padrões de letra. Diferenciar letras de números ou outros sinais gráficos. Identificar a primeira palavra de uma frase. Ler palavras oralmente silabando, com dificuldades na recuperação do sentido global da palavra lida. Identificar letras quando misturadas a outros símbolos gráficos (números, desenhos, sinais) no contexto de placas ou cartazes. Reconhecer letras do alfabeto quando é apresentada uma sequência de letras. Compreender palavras compostas exclusivamente por sílabas no padrão canônico, lidas silenciosamente. Estabelecer relação fonema/grafema considerando o som inicial de palavra dissílaba. Identificar sons de sílabas iniciais em palavras. Reconhecer letras ou palavras grafadas em diferentes padrões (maiúscula, minúscula). Ler palavras oralmente silabando, mas com recuperação do sentido global da palavra lida. Inserir uma palavra numa lista de palavras organizadas em ordem alfabética, desde que a palavra tenha como inicial uma das treze primeiras letras do alfabeto. Compreender palavras compostas por sílabas nos padrões canônico e não canônico, lidas silenciosamente. Contar sílabas de uma palavra. Identificar sílaba no início de palavra. Utilizar a página escrita da esquerda para a direita. Escrever palavras não plenamente legíveis em função de omissões, acréscimos ou trocas de letras. Escrever palavras não plenamente legíveis em função de omissões, acréscimos ou trocas de letras. Escrever frases a partir da leitura de imagens de uma cena, ainda que com problemas de segmentação, erros ortográficos e sem observar o uso de letra maiúscula e sinais de pontuação quando necessários.

24 24 Revista do Gestor NÍVEIS DE PROFICIÊNCIA DESCRIÇÃO (OS ALUNOS QUE SE ENCONTRAM NESTE NÍVEL DESENVOLVERAM AS HABILIDADES DE...) LEITURA ESCRITA Ler palavras compostas por diferentes padrões silábicos, recuperando sentido global da palavra lida. Localizar informações em frases curtas, lidas silenciosamente. Identificar sílaba no final de palavra. Identificar o gênero e/ou suporte de textos quando esses gêneros e suportes são familiares. Ler oralmente palavras com diferentes padrões silábicos, com recuperação do sentido global da palavra lida. Localizar informações em frases e/ou textos curtos, de gênero e tema familiares (parlendas, propagandas, curiosidades), lidos silenciosamente. Identificar letras quando misturadas a desenhos ou números que contribuem para o sentido de uma mensagem veiculada por palavras. Localizar, numa narrativa curta, informações sobre personagens. Inferir uma informação em texto que conjuga linguagem verbal e não verbal. Contar palavras de um texto curto, incluindo monossílabos átonos (artigos, preposições, etc.). Localizar informações em textos mais extensos e de gêneros variados (fragmentos de narrativas de curta e média extensão, notícias, anúncios publicitários). Identificar elementos de uma narrativa (personagens, ações de personagens, conflito gerador do enredo) em contos modernos. Localizar informação explícita em frase. Localizar, numa narrativa curta, informações sobre personagens. Escrever frases ditadas ou a partir da leitura de imagens de uma cena - ainda que com problemas de segmentação, erros ortográficos e sem observar o uso de letra maiúscula e sinais de pontuação quando necessários. Escrever palavras compostas por diferentes padrões silábicos, cometendo erros ortográficos que não comprometem a compreensão do que foi escrito. Escrever frases curtas (padrão sintático simples), compostas por palavras formadas por padrões silábicos diversos, ditadas pelo aplicador. Escrever frases curtas (padrão sintático simples), compostas por palavras formadas por padrões silábicos diversos, a partir da leitura de imagens de uma cena, ainda que com erros ortográficos ou sem utilizar os sinais de pontuação. Escrever um repertório mais amplo de palavras compostas por padrões silábicos variados, ainda que cometendo erros ortográficos que não comprometem a compreensão do que foi escrito. Escrever frases curtas (padrão sintático simples), compostas por palavras formadas por padrões silábicos diversos, a partir da leitura de imagens de uma cena, ainda que com erros ortográficos ou sem utilizar os sinais de pontuação.

25 PAEBES-Alfa 25 Seção 2 Dados de Participação no PAEBES 2009

26 26 Revista do Gestor DG Dados Gerais de Participação A tabela abaixo especifica o número previsto e efetivo de estudantes participantes do PAEBES-Alfa, 1ª onda Na avaliação externa, o percentual de participação foi de 81% da Rede Pública. Tabela 6 - Participação Rede Pública PREVISTO EFETIVO % 81,36%

27 PAEBES-Alfa 27 Seção 3 Alfabetização: Resultados Gerais

28 28 Revista do Gestor M Médias e desvios-padrão: entendendo as estatísticas básicas Os resultados apresentados neste boletim, muitas vezes, fazem menção à média e ao desviopadrão da proficiência alcançada por diferentes grupos de alunos no teste. Esses grupos de alunos podem variar bastante de tamanho, referindo-se, em alguns casos, a uma dada escola, a um município ou mesmo ao estado como um todo. A média e o desvio-padrão são usados com o propósito de resumir ou sintetizar resultados. Com eles, conseguimos informar, de maneira sucinta, como foi o desempenho geral de, digamos, um município, sem precisar ver as notas obtidas por cada um de seus estudantes, algo que seria quase sempre impraticável. Tanto a média quanto o desvio-padrão são, genericamente, chamados de estatísticas, o que, nesse caso, poderia ser entendido como medidas. Entretanto, há uma importante diferença de função entre essas duas medidas. O objetivo da média é determinar onde está o centro de um conjunto de valores, ou seja, nesse caso específico, a média corresponderia a uma única nota que resumiria o desempenho de todo um grupo específico de alunos. Por outro lado, o objetivo do desvio-padrão é determinar o grau com que os alunos de um mesmo grupo se assemelham ou se diferenciam entre si. Em outras palavras, como o próprio termo desvio sugere, o desviopadrão mede se um determinado grupo é mais homogêneo ou mais heterogêneo quanto a uma determinada variável. Médias maiores indicam que o desempenho geral do grupo de estudantes foi melhor, e desviospadrão menores indicam que o desempenho desses estudantes foi mais homogêneo. Esses dois resultados sintetizam um dos principais objetivos dos sistemas educacionais: aumentar a proficiência dos estudantes e, ao mesmo tempo, fazer com que o maior número possível de alunos se beneficiem desse progresso, de modo que se reduzam as distâncias entre os melhores e os piores resultados individuais. O seguinte exemplo destaca a importância e a interpretação da média e do desvio-padrão. Consideremos três escolas, aqui chamadas de A, B e C e, por simplicidade, suponhamos que cada uma delas possua somente três alunos avaliados. A tabela mostra, para cada escola, a nota obtida por cada um de seus alunos, bem como a média e o desvio-padrão desses alunos. A última coluna classifica a escola quanto à sua homogeneidade, ou seja, informa se os seus alunos variam pouco ou muito entre si quanto ao desempenho no teste.

29 PAEBES-Alfa 29 Escola Aluno 1 Aluno 2 Aluno 3 Média Desvio Padrão Características da Escola A Perfeitamente igualitária B Muito igualitária C Pouco igualitária

30 30 Revista do Gestor Para fins de ilustração, interpretemos o resultado de cada escola. Escola A: Observamos que os três alunos da escola A tiraram a mesma nota no teste: 200. A média é obtida somando-se todas essas notas e dividindo-se o resultado pelo número de alunos: média = ( )/3 = 600/3 = 200. Ou seja, nesse caso, a média da escola foi igual ao resultado alcançado por cada aluno. Por outro lado, o desvio-padrão mede, a grosso modo, a média com que as notas individuais se afastam da média da escola. Como ninguém está diferente da média da escola, a média desses desvios é zero. Com base nisso, dizemos que a escola comportou-se de um modo perfeitamente igualitário, já que todos os seus alunos obtiveram o mesmo resultado. Escola B: Os resultados obtidos pela escola B estão muito próximos dos resultados da Escola A. Percebemos também que a média continua a mesma de antes: 200, tendo sido calculada como ( )/3 = 600/3. Isso chama a atenção para um fato importante: dois grupos de resultados individuais diferentes podem ter médias iguais. Em termos de homogeneidade, os resultados da Escola B indicam pequenas variações em relação à média: houve um aluno que ficou um ponto abaixo dela (sua nota foi 199) e houve outro aluno que ficou um ponto acima (sua nota foi 201). Entre esses dois alunos que se afastaram da média, a média desses desvios foi de um ponto; este é exatamente o valor do desvio-padrão da escola. Como as variações em torno da média foram muito pequenas, podemos classificar essa escola como muito igualitária. Escola C: Neste caso, os extremos de desempenho foram mais acentuados, visto que um aluno obteve um resultado bastante inferior (150 pontos); e outro aluno, um resultado bastante superior (250 pontos). A média continua sendo de 200 pontos, algo que pode ser comprovado fazendo-se o mesmo tipo de cálculo apresentado anteriormente. Mais uma vez, isso reforça o importante fato de que a média nos informa como foi o resultado geral dos alunos, porém nada nos diz sobre como os resultados individuais encontram-se distribuídos. Entre os dois alunos que se afastaram da média de 200 pontos, um encontra-se 50 pontos abaixo dela, e outro encontra-se 50 pontos acima. Portanto, a média desses desvios vale 50 pontos, valor correspondente ao desviopadrão. Como o desvio-padrão foi elevado para essa escola, podemos classificá-la como pouco igualitária.

31 1º Ano do Ensino Fundamental - 1ª Onda Resultados gerais de desempenho do Estado PAEBES-Alfa 31 Esses dois gráficos apresentam as médias de proficiência do PAEBES-Alfa de 2008 (1ª e 2ª Ondas) e 2009 (1ª Onda) da rede pública de educação. Neste ano de 2009, a 1ª Onda foi aplicada no mês de setembro, por isso os resultados são muito parecidos com os da 2ª Onda de 2008.

32 32 Revista do Gestor Seção 4 Resultados das escolas: Alfabetização

33 PAEBES-Alfa 33 Os seus resultados A seguir, são fornecidas as estatísticas básicas da proficiência de todas as escolas que fazem parte do seu município. As informações sobre as escolas do seu município estão apresentadas por ordem alfabética. Os dados dividem-se em três grupos: média de proficiência, percentual dos padrões de desempenho e dados de participação. Na coluna, é apresentada a média do município seguido das médias das escolas. Padrão de Desempenho: esses dados indicam quais são os percentuais de estudantes da escola/ município que tiveram sua proficiência situada nas categorias Baixo, Intermadiário e Alto, conforme especificados anteriormente nesta revista. Por fim, são mostrados os dados de participação, indicando o número previsto de estudantes que fariam a prova, o número efetivo (ou seja, a quantidade de estudantes que, de fato, responderam o teste) e, finalmente, o percentual de participação, calculado a partir da razão entre o número efetivo e o previsto.

34

35

36