PAEBES. Revista do Programa de Avaliação. Volume I

Transcrição

1

2 PAEBES Revista do Programa de Avaliação Volume I

3

4 Governador do Estado do Espírito Santo José Renato Casagrande Vice- Governador do Estado do Espírito Santo Givaldo Vieira da Silva Secretário do Estado da Educação Klinger Marcos Barbosa Alves Subsecretária de Estado de Planejamento e Avaliação Mércia Maria de Oliveira Pimentel Lemos Gerente de Informação e Avaliação Educacional Aline Elisa Cotta D`Ávila Subgerência de Avaliação Educacional Maria Adelaide Tâmara Alves (Subgerente) Denise Moraes e Silva Gloriete Carnielli Marilda Surlo Graciotti Silvia Maria Pires de Carvalho Leite Subgerência de Estatística Educacional Denise Pereira da Silva (Subgerente) Alisson Rodrigues Vitorino Elzimar Sobral Scaramussa Juliana Barbatti Barcellos

5 Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora Coordenação Geral Lina Kátia Mesquita Oliveira Coordenação Técnica Manuel Fernando Palácios da Cunha e Melo Coordenação de Pesquisa Tufi Machado Soares Coordenação de Análise e Divulgação de Resultados Anderson Córdova Pena Coordenação de Instrumentos de Avaliação Verônica Mendes Vieira Coordenação de Medidas Estatísticas Wellington Silva Coordenação de Produção Visual Hamilton Ferreira Equipe de Medidas Estatísticas Ailton Fonseca Galvão Clayton Valle Priscila Gregório Bernardo Roberta de Oliveira Fávero Roberta Fernandes Vieira Equipe de Análise e Divulgação de Resultados Alexandre Luiz de Oliveira Serpa Andreza Cristina Moreira da Silva Basso Astrid Sarmento Cosac Camila Fonseca de Oliveira Carolina de Lima Gouvêa Carolina Ferreira Rodrigues Daniel Aguiar de Leighton Brooke Daniel Araújo Vignoli João Paulo Costa Vasconcelos Juliana Frizzoni Candian Júlio Sérgio da Silva Jr. Leonardo Augusto Campos Luís Antônio Fajardo Pontes Michelle Sobreiro Pires Rodrigo Coutinho Corrêa Rogério Amorim Gomes Tatiana Casali Ribeiro Wagner Silveira Rezende Equipe de Língua Portuguesa Hilda Aparecida Linhares da Silva Micarello (Coord.) Josiane Toledo Ferreira Silva (Coord.) Adriana de Lourdes Ferreira de Andrade Ana Letícia Duin Tavares Déa Lucia Campos Pernambuco Edmon Neto de Oliveira Maika Som Machado Rachel Garcia Finamore Equipe de Matemática Lina Kátia Mesquita Oliveira (Coord.) Bruno Rinco Dutra Pereira Denise Mansoldo Salazar Mariângela de Assumpção de Castro Pablo Rafael de Oliveira Carlos Tatiane Gonçalves de Moraes Equipe de Editoração Bruno Carnaúba Clarissa Aguiar Eduardo Castro Henrique Bedetti Marcela Zaguetto Raul Furiatti Moreira Vinícius Peixoto Fotografia Daniel Candian Equipe de apoio fotográfico - Instituto de Artes e Design - UFJF Frederico Lopes Rabelo Eduardo Garcia Editoração Luiza Procópio Sarrapio Bernardo Freire Gisele Sarrapio Marisa Sarrapio William Pereira Equipe de Instrumentos de Avaliação Cristiano Lopes da Silva Janine Reis Ferreira Mayra da Silva Moreira

6 Aos educadores do estado do Espírito Santo Caro(a) Educador(a), Estamos colocando em suas mãos os resultados do PAEBES 00 referentes às ª série / º ano, ª série / º ano, º ano, ª série / º ano e 8ª série / 9º ano do Ensino Fundamental das redes estadual, municipal e particular e ª e ª séries do Ensino Médio da rede estadual e particular. Esses resultados estão apresentados em um conjunto de (quatro) publicações que integram uma coleção, a Coleção do PAEBES/00, composta pelos documentos: Revista do Programa de Avaliação, Revista do Gestor, Revista do Educador e Revista Contextual: fatores associados ao desempenho. Nosso objetivo é auxiliá-lo na execução de seu trabalho, colaborando com o esforço diário de fazer com que todo o aluno conquiste as habilidades necessárias para tornar-se cidadão consciente do seu papel na sociedade. Os resultados foram analisados no contexto das discussões pedagógicas mais atuais e foram produzidos de modo a servir de referencial para o desenvolvimento do seu trabalho. Estamos certos que você educador fará uso desse importante instrumento nas discussões de interpretação pedagógica dos resultados da sua escola, na elaboração de projetos educativos para seus alunos, no planejamento diário de suas aulas, na análise do material didático utilizado e na reflexão sobre a prática educativa. Que as melhorias conquistadas até aqui possam fortalecer nosso ânimo e reafirmar nosso compromisso em prol da qualidade da educação capixaba. Klinger Marcos Barbosa Alves Secretário de Estado da Educação

7

8 Sumário Para começar nosso assunto... 9 Para que avaliar? O que é avaliado? Como se avalia? 0 E o trabalho continua... 7

9

10 PAEBES 9 Para começar nosso assunto... É preciso ter em mente que a avaliação é algo que sempre esteve presente em nossas escolas. Tradicionalmente, existem as avaliações realizadas em sala de aula a partir de exames como, por exemplo, provas abertas ou objetivas, observações, registros, portfólios, dentre outros instrumentos elaborados pelos próprios professores. Os resultados dessas avaliações internas oferecem um diagnóstico pedagógico do processo de ensino e de aprendizagem em nível da sala de aula e são, geralmente, utilizados para identificar os estudantes que possuem condições de avançar nas etapas de escolarização. A esses procedimentos tradicionais somam-se outros tipos de avaliação educacional, introduzidos no Brasil a partir da década de 990 com a iniciativa do Sistema Nacional de Avaliação da Educação Básica SAEB. Nestas avaliações, utilizam-se instrumentos chamados de testes de proficiência e também questionários contextuais aplicados aos estudantes, professores e diretores das unidades escolares, com o objetivo de oferecer à sociedade uma medida do desempenho escolar. Por avaliarem um grande número de estudantes e terem os instrumentos elaborados por pessoas de fora da escola, essas avaliações são chamadas de avaliações externas e de larga escala. Sabemos que, com o processo de universalização do acesso à educação já garantido no ensino fundamental nas escolas brasileiras, outras demandas têm sido postas à luz do dia, dentre elas a urgente necessidade de um sistema educacional com qualidade o bastante para promover o sucesso escolar de seus estudantes, aumentando-lhes as chances de conquistar uma vida melhor. Essa diretriz tem pautado os esforços das Unidades Federativas na criação de seus próprios programas de avaliação externa em larga escala. Esses programas se revestem de especial importância, pois produzem informações sobre o desempenho escolar que permitem a consolidação de ações mais efetivas no que se refere à qualidade das estratégias educativas, ao enfrentamento das desigualdades e, consequentemente, à promoção da equidade de oportunidades educacionais. Nesse contexto, o Espírito Santo desponta na vanguarda como um dos poucos estados brasileiros a ter, já consolidado, o seu Programa de Avaliação da Educação Básica, o PAEBES. O PAEBES e a sua vertente de avaliação da alfabetização, o PAEBES-Alfa, produzem informações para subsidiar os gestores públicos na tomada de decisões relativas a políticas educacionais voltadas para a equidade e para melhoria da qualidade do ensino. Outro ponto importante é o fato de ser realizado anualmente e incorporar metodologias que permitem a comparação de resultados entre suas edições, bem como entre escolas, municípios,

11 0 Revista do Programa de Avaliação regionais e entre a média nacional, possibilitando o acompanhamento da evolução do desempenho escolar ao longo do tempo. Os resultados do PAEBES, produzidos para cada escola, são de especial importância uma vez que possibilitam aos diretores, especialistas e professores utilizá-los para rever ou consolidar ações estabelecidas nos projetos políticos e pedagógicos, bem como a criação de indicadores educacionais para o estabelecimento de metas que visem à melhoria do ensino. O objetivo primordial é garantir o direito fundamental de todo estudante: o direito de aprender. Você encontra os resultados da Edição do PAEBES 00 em uma coleção de quatro volumes, que apresentam informações fundamentais para a edificação de uma escola capaz de fazer a diferença na vida de seus estudantes. Portanto, na Coleção PAEBES 00, iniciada neste primeiro volume, oferecemos informações capazes de embasar, com grande propriedade, o trabalho dos gestores e professores do estado do Espírito Santo na busca por uma educação com qualidade cada vez maior.

12 PAEBES A Coleção PAEBES 00 Este é o material que você tem em mãos. PAEBES: Revista do Programa de Avaliação Apresenta o PAEBES, sua abrangência, as Matrizes de Referência, a composição dos testes e sua metodologia de análise. Revista do Gestor: Estado, SRE, Município e Escola Oferece informações gerais da participação dos estudantes na avaliação e os resultados de proficiência alcançados pelos estudantes no âmbito do estado, redes de ensino, regionais, municípios e escolas. Revista do Educador Informa a proficiência média alcançada pela escola, tendo por foco a análise pedagógica e qualitativa dos resultados alcançados pelos estudantes na área de conhecimento avaliada. Destaca-se a interpretação da Escala de Proficiência, que apresenta as competências e habilidades desenvolvidas pelos estudantes situados em cada nível de proficiência e padrões de desempenho. Revista Contextual: fatores associados ao desempenho Analisa os fatores intra e extraescolares que interferem no desempenho dos estudantes com base nos dados coletados pelos questionários aplicados aos próprios estudantes, professores e diretores. O objetivo maior com o trabalho de divulgação e apropriação dos resultados, iniciado com a Coleção PAEBES 00, é possibilitar a discussão dos resultados alcançados, tanto pelos gestores dos sistemas públicos quanto pelos profissionais das escolas, com a finalidade de contribuir para elaboração de políticas públicas e de práticas pedagógicas mais eficazes.

13 Revista do Programa de Avaliação À Coleção PAEBES 00 soma-se uma série de outros canais de informação cujo objetivo é criar uma cultura de divulgação e apropriação de resultados em cada unidade escolar. Esses canais estão disponíveis no Portal da Avaliação. Os endereços são ou Neles você terá à sua disposição: Os kits de atividades e dinâmicas propostas ao longo dos volumes da Coleção PAEBES 00, essenciais para as ações de divulgação dos resultados em sua escola. O Guia de Elaboração de Itens, que apresenta passo a passo a metodologia de elaboração de itens para testes de proficiência. Os resultados de cada escola, município e regional disponíveis a todos os interessados. Um Fórum para troca de informações e debates com outros educadores de nosso estado e de vários outros pontos do país. O Cartaz com os resultados do PAEBES 00 para cada uma das escolas avaliadas no Espírito Santo.

14 PAEBES Para que avaliar? Nesta seção Você encontrará: O Programa de Avaliação da Educação Básica do Espírito Santo, o PAEBES. A trajetória do PAEBES. Os objetivos são: Apresentar a avaliação em larga escala como instrumento de melhoria da qualidade da educação. Conhecer o sistema de avaliação de nosso estado, sua estrutura, objetivos, e abrangência nas diferentes edições, desde sua criação. Atividade : Conhecendo o PAEBES.

15 Revista do Programa de Avaliação Para que avaliar? Para fazer a diferença, uma escola de educação básica deve ser capaz de promover o ensino e a aprendizagem com qualidade para todos. Nesse sentido, o primeiro efeito das avaliações da educação básica de larga escala é trazer à luz a situação dos estudantes avaliados e promover a equidade como um valor fundamental da educação democrática. Por isso costumamos dizer que avaliar a educação é testar a eficácia de um direito fundamental. O direito à educação não se resume à vaga na escola, ele só se realiza com o desenvolvimento daquelas habilidades e competências que asseguram ao estudante o ingresso no mundo da cultura e da cidadania. Para saber até que ponto a educação ofertada nas escolas se distancia, ou se aproxima do que é considerado uma educação que faz a diferença, é necessário avaliar o desempenho escolar e os fatores intra e extraescolares associados a esse desempenho em cada unidade escolar. Com essas informações, é possível implementar ações mais condizentes com a oferta de uma educação de qualidade e promoção da equidade de oportunidades educacionais. Avaliar para subsidiar políticas públicas educacionais e para detectar os pontos em que devem ser efetuadas as intervenções pedagógicas nas escolas. Avaliar para que a escola seja cada vez melhor. Nesta direção, o Programa de Avaliação da Educação Básica do Espírito Santo, o PAEBES, configura-se como uma importante política pública de avaliação da educação com o propósito único de melhorar a qualidade do ensino e da aprendizagem em nossas escolas. Com os dados gerados pelo PAEBES, é possível proporcionar um diagnóstico preciso e rico da educação ofertada nas escolas de nosso estado à sociedade e, especificamente, à comunidade escolar. Nas próximas páginas, você terá acesso aos objetivos do PAEBES e à sua linha do tempo, às Matrizes de Referência para Avaliação em Língua Portuguesa e Matemática, bem como à composição e análise dos testes aplicados. Essas seções visam a explicar o que é avaliado no PAEBES e como se efetiva esse programa de avaliação. Ao final de cada seção, é muito importante que você realize as atividades e dinâmicas propostas. Sua participação, assim como a de todos os envolvidos com a educação em nosso estado, é essencial para que se efetivem práticas pedagógicas baseadas no diagnóstico apresentado pelo PAEBES. Temos certeza de que, com sua colaboração, elevaremos os índices de educação de nosso estado a altos patamares, condizentes com as expectativas de uma educação de qualidade.

16 PAEBES O Programa de Avaliação da Educação Básica do Espírito Santo PAEBES Com o firme propósito de criar um sistema de ensino mais justo e inclusivo, no qual as chances de aprendizado sejam iguais para todos os estudantes, a Secretaria de Estado da Educação do Espírito Santo, SEDU, desenvolve, desde 000, o seu programa de avaliação da rede de educação pública, o Programa de Avaliação da Educação Básica do Espírito Santo PAEBES. O PAEBES é um Programa que visa a diagnosticar o desempenho dos estudantes em diferentes áreas do conhecimento e níveis de escolaridade, bem como a subsidiar a implementação, a (re)formulação e o monitoramento de políticas educacionais, contribuindo ativamente para a melhoria da qualidade da educação no estado. O objetivo é utilizar os resultados dessa avaliação como base para intervenções destinadas a garantir o direito do estudante a uma educação de qualidade. Desde que foi instituído, o PAEBES já avaliou milhares de estudantes em diferentes etapas de escolaridade da educação básica. Em 00, a Secretaria de Educação do Espírito Santo, em parceria com o Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora CAEd/UFJF, realizou a quinta edição do PAEBES. Na linha do tempo do PAEBES, apresentada a seguir, você pode ter uma ideia da abrangência desse programa de avaliação, conhecendo as etapas de escolaridade e os componentes curriculares avaliados desde a sua primeira edição.

17 6 Revista do Programa de Avaliação A Trajetória do PAEBES 009 PAEBES ALFA Avaliação de Língua Portuguesa Séries avaliadas ª, ª e ª séries do Ensino Fundamental PAEBES Língua Portuguesa (leitura) e Matemática Séries avaliadas ª série / º ano, 8ª série / 9º ano do Ensino Fundamental, ano do Ensino Médio Abrangência Aproximadamente 6.00 alunos da rede pública de ensino Participantes Alunos, professores e diretores Linha do tempo 000 Avaliação de Língua Portuguesa e de Matemática Séries avaliadas ª série do Ensino Fundamental Abrangência 0 turmas Participantes Alunos 00 Avaliação de Língua Portuguesa (leitura) e de Matemática Séries avaliadas ª e 8ª séries do Ensino Fundamental ano do Ensino Médio Física, Biologia e Química ano do Ensino Médio Abrangência Aproximadamente 7.0 alunos Participantes Alunos 008 PAEBES ALFA Avaliação de Língua Portuguesa Séries avaliadas ª e ª séries do Ensino Fundamental Abrangência Aproximadamente alunos de Alfabetização Participantes Alunos PAEBES Língua Portuguesa (leitura) e Matemática Séries avaliadas ano do Ensino Médio Abrangência Aproximadamente 9.60 alunos em 8 escolas Participantes Alunos 00 PAEBES ALFA Avaliação de Língua Portuguesa Séries avaliadas ª, ª e ª séries do Ensino Fundamental PAEBES Língua Portuguesa (leitura) e Matemática Séries avaliadas ª série / º ano, 8ª série / 9º ano do Ensino Fundamental, e º anos do Ensino Médio Abrangência Aproximadamente alunos da rede pública de ensino Participantes Alunos, professores e diretores Com as ações realizadas com base no diagnóstico do PAEBES ao longo de suas edições, estamos escrevendo um novo capítulo na história da educação do Espírito Santo. Como balizador de políticas públicas voltadas à melhoria da educação com equidade nas oportunidades educacionais, os resultados do PAEBES também estão sendo utilizados na composição do Indicador de Desenvolvimento das Escolas Estaduais do Espírito Santo, IDE, medida esta que, junto a outros indicadores, define o bônus do desempenho dos profissionais da educação.vejamos mais sobre esse indicador a seguir. IDE Indicador de Desenvolvimento da Escola O Indicador de Desenvolvimento da Escola IDE é calculado a partir de duas medidas produzidas para a escola: (a) o Indicador de Resultado da Escola IRE; e (b) o Indicador de Esforço da Escola IEE. Por meio da junção dessas duas medidas, o IDE nos permite estudar o desempenho dos alunos, mensurado através de proficiências obtidas em Língua Portuguesa e Matemática, juntamente com o esforço necessário para tal resultado, tendo em conta as características sociodemográficas e econômicas do alunado capixaba. Considerando que a legitimidade social de uma escola de educação básica depende do aprendizado de seus alunos, o IDE constitui, portanto, em uma tentativa de se criar um indicador de merecimento, para as escolas avaliadas, pelo qual pagamentos de gratificação por resultados podem ser repassados a todos os professores e funcionários. Para se calcular o IDE, as seguintes fórmulas foram utilizadas:

18 PAEBES 7 Indicador de Desenvolvimento por série IDE ano = IRE ano x IEE ano Indicador de Desenvolvimento da escola IDE escola = ano= (Matrículas ano x IDE ano ) ano= (Matrículas ano ) A escala do IDE varia, portanto, de 0 a valores superiores a 00 e, quanto maior a pontuação de uma escola, maior o merecimento da escola tendo em vista os resultados por ela produzidos e o esforço requerido. Além do valor bruto do IDE, o Indicador também pode ser representado em termos percentuais, onde o IDE de cada escola é dividido pelo maior IDE. O Indicador de Resultado da Escola IRE Tendo conhecimento do desempenho individual dos alunos para Língua Portuguesa e Matemática, a forma mais tradicional de se avaliar o desempenho das escolas é por meio da proficiência média de seus alunos e por meio da sua distribuição segundo os padrões de desempenho estipulados. Contudo, o uso de ambas as medidas, especialmente sob um sistema de gratificação por resultados, pode incorrer em erros. Tanto os resultados de proficiência de uma escola quanto a sua distribuição de alunos por padrão de desempenho podem se beneficiar da exclusão de alunos com baixo desempenho acadêmico. Dessa forma, o uso dessas medidas pode conferir falsa legitimidade à concentração de esforços para alunos com desempenho mais alto como forma de elevar os resultados da escola. Tais medidas não são têm efeitos sociais perversos acentuado desigualdades como vão contra a premissa das avaliações educacionais, de um ensino de maior qualidade para todos. Tendo isso em vista, o IRE apresenta uma síntese do desempenho da escola para cada série e disciplina avaliada. Seu cálculo envolve o percentual de alunos distribuídos em cada padrão de desempenho Abaixo do Básico; Básico; Proficiente; e Avançado e alunos ausentes no dia do teste. Diferentemente, portanto, de uma síntese simples dos resultados de desempenho, o indicador de resultados da escola considera todos os alunos da escola avaliada. Para o cálculo desse Indicador, pesos diferenciados foram atribuídos para cada padrão de desempenho e o percentual de alunos ausentes (ou alunos excluídos da avaliação). Os respectivos pesos foram escolhidos para captar a percepção intuitiva transmitida pelo adjetivo descrito de cada padrão normativo. O quadro a seguir demonstra os respectivos pesos considerados na construção do IRE do PAEBES e PABES Alfa. PAEBES º e 9º EF e º EM Abaixo Categoria Excluídos Básico Proficiente Avançado do Básico Escore PAEBES Alfa Categoria Excluídos Baixo Intermediário Alto Escore Com base nesses pesos estipulados, o IRE é calculado para cada série / ano avaliado, sendo possível gerar até indicadores de resultados para uma escola seis séries/anos avaliados nas disciplinas de Língua Portuguesa e Matemática. O resultado gerado para cada série representa a soma dos percentuais de alunos alocados em cada categoria considerada, multiplicado pelo seu respectivo peso, e dividido por 00. Veja o exemplo, a seguir, de como foi calculado o IRE para o ano do Ensino Fundamental de uma dada escola.

19 8 Revista do Programa de Avaliação Exemplo: Distribuição dos alunos por Categoria º ano EF, Escola Aprender Categoria Excluídos Abaixo do Básico Básico Proficiente Avançado % Multiplicando-se o percentual de alunos em cada categoria considerada, o indicador de Resultados da Escola é calculado através da seguinte fórmula: IRE ano = n categoria= (Escore categoria x Categoria n ) n categoria (Categorias n ) Em nosso exemplo temos, para o ano EF da Escola Aprender: IRE º an0 = [(0 0) + ( ) + (6 ) + (8 0) + (0 0)] =,0 00 Assim sendo, o IRE varia em uma escala de 0 a 0, sendo que escolas com valores acima de 7,0, ou seja, com uma grande proporção de alunos nos padrões Proficiente e Avançado, devem ser consideradas de muito bom desempenho. As escolas, portanto, utilizando-se desse Indicador, precisam retirar alunos dos padrões Abaixo do Básico e Básico e garantir a sua assiduidade necessidades de maior urgência em nosso cenário atual, para elevarem o seu desempenho. Os valores obtidos no Indicador de Resultado, além de comporem o cálculo IDE, indicam o patamar em que a escola se encontra, em termos do desempenho de seus alunos. Além disso, com o decorrer de futuras avaliações do PAEBES, as escolas poderão acompanhar a melhoria na qualidade de seu ensino, através do registro de diversas coortes de alunos ano a ano. O Indicador de Esforço da Escola Fatores externos à escola, como, por exemplo, a configuração psicológica, social, cultural e econômica das famílias de alunos, ou até características da vizinhança em que residem, são muito importantes para o entendimento da dinâmica do processo de ensino e de aprendizagem. As condições sociais dos alunos interferem no processo, onde diferentes condições podem tornar a obtenção do desempenho cognitivo mais ou menos fácil. Consequentemente, quando analisados os resultados das escolas, é necessário ponderá-los tendo em vista as condições dos alunos que a frequentam, ou seja, o esforço necessário por parte da escola para obter bons resultados. O Indicador de Esforço da Escola, portanto, configura uma tentativa de mensurar o grau de dificuldade pedagógica para uma escola ensinar seus alunos. Para tal, esse Indicador é baseado no Nível Socioeconômico (NSE) calculado para escolas. O ideal seria trabalhar uma medida que captasse toda a gama de fatores externos que influenciam o desempenho acadêmico, porém, como isso não e possível, o NSE é uma boa alternativa, uma proxy, para se caracterizar as escolas do Espírito Santo. Pesquisas na área da educação têm, exaustivamente, demonstrado que o desempenho escolar possui uma forte correlação com o nível socioeconômico dos alunos, onde diferenças no nível podem responder por até % da variação do desempenho entre jovens da mesma idade. Para se calcular o NSE, utilizamse as informações dos questionários contextuais de alunos. A agregação dos dados coletados nesses questionários é similar ao Critério Brasil, de poder de compra, e o indicador e construído utilizando o modelo estatístico da Teoria de Reposta ao Item. Para maior fidedignidade, os dados dos questionários contextuais do PAEBES também são complementados com um nível socioeconômico das escolas, calculado previamente para o Espírito Santo. Considerando o perfil dos alunos da Rede Pública do Espírito Santo, foi determinado que em uma escala

20 PAEBES 9 de 0 a 0, o NSE dessas escolas varia apenas entre os valores de 0 e. Desta forma, e reconhecido de que ha uma variação entre o nível dos alunos da Rede Publica, mas que valores altos de NSE são encontrados apenas para escolas particulares. Além do NSE das escolas, outro fator considerado para se calcular o IEE, foi a etapa de ensino em que se encontram os alunos. Operando sob a premissa de que, quanto mais tempo um aluno está inserido no sistema, quanto mais cristalizadas as dificuldades adquiridas ao longo de sua trajetória, mais difícil se torna o trabalho com esse aluno. Diferentes No quadro a seguir são demonstrados os pesos atribuídos a cada série, arbitrados segundo uma aproximação judiciosa do que seria o esforço associado a cada série. Série / Ano Peso atribuído Alfa ª série,0 Alfa ª série, º ano do Ensino Fundamental, 9º ano do Ensino Fundamental, º ano do Ensino Médio, O IEE é calculado para cada série / ano avaliado de cada escola, multiplicando o NSE dos seus alunos pelo respectivo peso da série. O Indicador de Esforço da escola como um todo, portanto, refletirá a composição de suas turmas nos diversos anos envolvidos. O PAEBES, como você viu, produz informações que devem subsidiar a implementação de políticas públicas voltadas à melhoria da educação e à igualdade de oportunidades bem como o processo de intervenção pedagógica nas escolas. Assim, avaliar significa diagnosticar a qualidade da educação ofertada nas unidades escolares, com a perspectiva de se adotarem medidas que contribuam para a garantia do direito de aprender. No entanto, para que possam ser criadas as oportunidades de intervenções pedagógicas, a partir da análise dos resultados do PAEBES, é necessário que a comunidade escolar tome conhecimento da importância e abrangência desse processo avaliativo. As atividades e dinâmicas apresentadas a seguir, e também as que você encontrará nos outros volumes da Coleção PAEBES 00, têm o propósito de contribuir para a efetividade do entendimento dos resultados da avaliação. Nossa meta com as atividades propostas na Coleção PAEBES 00 é multiplicar, nas escolas, os espaços de diálogo em torno do tema da avaliação externa, com vistas à utilização de seus resultados como terreno fértil para novas e criativas práticas pedagógicas. Atenção! Para a realização das atividades e dinâmicas propostas ao longo da Coleção PAEBES 00 você deverá baixar o kit com o material necessário no Portal da Avaliação no site Comunique no fórum suas experiências sobre as atividades realizadas em sua escola. Essa é uma ótima oportunidade de interação com outros educadores de várias regiões do Estado e do Brasil.

21 0 Revista do Programa de Avaliação Atividade Conhecendo o PAEBES Objetivos Material(ais) necessário(s) Pontos-Chave Promover uma discussão sobre a importância das avaliações em larga escala e as principais características do PAEBES. Folhas de papel ofício e material para anotação. Duas questões fundamentais devem ficar claras aos participantes. A primeira é que, nas avaliações externas, como o PAEBES, o que se avalia é o desempenho escolar. Além disso, é preciso chamar atenção para as inúmeras oportunidades de intervenção pedagógica que podem surgir das análises dos resultados da avaliação. Portanto, os dados do PAEBES devem fazer parte da proposta de melhoria da qualidade da educação ofertada pela escola. Realização Ao fazer a abertura da atividade, reafirme seus objetivos com o trabalho e a importância da Avaliação em Larga Escala como um instrumento eficaz para melhoria da educação no estado. Você pode iniciar a atividade fazendo uma avaliação diagnóstica acerca do entendimento dos participantes sobre a avaliação em larga escala. Para tanto, sugerimos começar com o seguinte questionamento: O PAEBES é um sistema de avaliação externa. Como ele é aplicado a um grande número de estudantes, dizemos que se trata de uma avaliação em larga escala. Ou seja, o PAEBES é uma avaliação externa em larga escala. Quais são as principais características do PAEBES? Peça aos participantes para escrever, em uma folha à parte, uma característica do PAEBES. Dê tempo para que escrevam e, em seguida, recolha o material. Então, misture todas as respostas e as distribua aos participantes. Cada pessoa ficará com uma resposta do colega e deverá lê-la, comentando a pertinência do que está escrito. As repetições devem ser eliminadas. Terminada essa primeira parte, você poderá introduzir os seguintes questionamentos: Quais são os objetivos do PAEBES? O que o PAEBES avaliou em sua edição de 00? Você acha que os resultados dessa avaliação podem ser utilizados para a melhoria da educação em nossa escola? Resumidamente, vá anotando as respostas dos participantes no quadro, para compor um painel de opiniões das pessoas acerca do PAEBES. Depois, debata com os participantes os principais tópicos, tendo como foco o ponto-chave dessa atividade. Ao término da discussão, pergunte sobre possíveis dúvidas e ouça as opiniões dos participantes. O que não for respondido imediatamente, você poderá anotar e, posteriormente, retornar com a resposta. Finalize essa atividade apresentando conclusões sobre os pontos levantados.

22 PAEBES O que é avaliado? Nesta seção Você encontrará: Os Elementos que compõem as Matrizes de Referência para Avaliação. A Avaliação de Língua Portuguesa. A Avaliação de Matemática. Os objetivos são: Reconhecer cada um dos elementos que compõem as Matrizes de Referência. Apresentar as Matrizes de Referência para Avaliação de Língua Portuguesa e Matemática com seus respectivos focos de avaliação. Atividade : As Matrizes de Referência para Avaliação do PAEBES-Alfa e do PAEBES.

23 Revista do Programa de Avaliação O que é avaliado? Nas avaliações em larga escala, as Matrizes de Referência para Avaliação apresentam o que é avaliado para cada área do conhecimento e etapa de escolaridade, informando as competências e habilidades esperadas, em diversos níveis de complexidade. As Matrizes de Referência para Avaliação são construídas a partir de estudos das propostas curriculares de ensino, sobre os currículos vigentes no país, além de pesquisas em livros didáticos e debates com educadores atuantes e especialistas em educação. A partir daí, são selecionadas habilidades passíveis de aferição por meio de testes padronizados de desempenho que sejam, ainda, relevantes e representativas de cada etapa de escolaridade. No Brasil, as primeiras Matrizes de Referência para Avaliação foram apresentadas pelo Sistema Nacional de Avaliação da Educação Básica SAEB. As Matrizes de Avaliação do SAEB vêm sendo utilizadas, desde então, como base fundamental para as avaliações realizadas pelos estados e municípios brasileiros que possuem seus próprios programas de avaliação em larga escala. As Matrizes de Referência para Avaliação do PAEBES também foram elaboradas tendo por base as habilidades presentes nas Matrizes do Sistema Nacional de Avaliação da Educação Básica SAEB. As matrizes de referência não esgotam o conteúdo a ser trabalhado em sala de aula e, portanto, não podem ser confundidas com propostas curriculares, estratégias de ensino ou diretrizes pedagógicas.

24 PAEBES Os Elementos que compõem as Matrizes de Referência para Avaliação As Matrizes de Referência para Avaliação são constituídas por descritores, agrupados em Tópicos, para Língua Portuguesa, e em Temas, para Matemática. Matriz de Referência Áreas de Conhecimento: Língua Portuguesa e Matemática Tópico/Tema Agrupamento de Descritores Descritor Avalia uma única habilidade Tópico/Tema: representa uma subdivisão de acordo com conteúdo, competências de área e habilidades. Nas Matrizes de Referência para Avaliação em Língua Portuguesa, os Tópicos são definidos a partir de duas diferentes perspectivas de interação do leitor com o texto: a perspectiva macrotextual, na qual a ênfase se coloca na estrutura textual no que tange à tipologia textual e aos gêneros discursivos, e a perspectiva microtextual, na qual se enfatizam os usos da língua e as relações estabelecidas dentro de um período ou entre períodos de um texto. Nas Matrizes de Referência para Avaliação em Matemática, os Temas são organizados a partir de blocos de conteúdos inerentes ao ensino da Matemática para a educação básica. Os Temas selecionados Espaço e Forma, Grandezas e Medidas, Números e Operações, Álgebra e Funções e Tratamento da Informação representam conteúdos com base nos quais são elaborados descritores que expressam habilidades em Matemática. Descritores: como o próprio nome sugere, constituem uma descrição das habilidades esperadas ao final de cada período escolar avaliado, em diferentes áreas do conhecimento. Estão agrupados em determinados Tópicos/Temas, nas Matrizes, em função da convergência entre eles, ou seja, por se referirem a habilidades que o estudante deve demonstrar em relação ao Tópico/Tema em questão. Originamse da associação entre os conteúdos curriculares e as operações mentais efetuadas, traduzidas nas habilidades expressas pelos estudantes. A partir dos descritores presentes nos Tópicos/Temas das Matrizes de Referência, são elaborados por educadores e especialistas das áreas de conhecimento avaliadas os itens dos testes. Os cadernos de testes para cada etapa de escolaridade são formados, então, por uma seleção de itens com assegurada qualidade técnica e pedagógica, que garantem a qualidade e fidedignidade do processo avaliativo realizado pelo PAEBES.

25 Revista do Programa de Avaliação Matriz Tema/Tópico Descritor Item Caderno de Testes do PAEBES MATRIZ DE REFERÊNCIA DE LÍNGUA PORTUGUESA PAEBES ª série / º ano do Ensino Fundamental I Procedimentos de leitura D0 Compreender frases ou partes que compõem um texto. D0 Localizar informações explícitas em um texto. D0 Inferir o sentido de uma palavra ou expressão. D0 Inferir uma informação implícita em um texto. D06 Identificar o tema de um texto. D Distinguir fato da opinião relativa a esse fato. II Implicações do suporte, do gênero e/ ou do enunciador na compreensão de textos D0 Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). D Identificar o gênero de textos variados. D Identificar a finalidade de textos de gêneros diferentes. III Relação entre textos Reconhecer diferentes formas de tratar uma informação na comparação de textos que D0 tratam do mesmo tema. IV Coerência e coesão no processamento de textos Estabelecer relações entre partes de um texto, identificando repetições ou substituições que D0 contribuem para a continuidade de um texto. D0 Identificar o conflito gerador de enredo e os elementos que constroem uma narrativa. D Estabelecer relação de causa/consequência entre partes e elementos do texto. D Estabelecer relações lógico-discursivas presentes no texto, marcadas por conjunções, advérbios, etc. V Relações entre recursos expressivos e efeitos de sentido D6 Identificar efeitos de ironia ou humor em textos variados. D7 Reconhecer o efeito de sentido decorrente do uso da pontuação e de outras notações. VI Variação linguística D Identificar marcas linguísticas que evidenciam o locutor e o interlocutor de um texto. I Procedimentos de leitura D0 Compreender frases ou partes que compõem um texto. D0 Localizar informações explícitas em um texto. D0 Inferir o sentido de uma palavra ou expressão. D0 Inferir uma informação implícita em um texto. D06 Identificar o tema de um texto. D Distinguir fato da opinião relativa a esse fato. D Identificar um tema ou o sentido global de um texto. (PAMA000AC) Na malha quadriculada abaixo, você vê o desenho cinza da pipa que Daniel fez. Utilizando o quadriculado da malha como unidade de medida, qual é a área dessa pipa? A) 6 quadradinhos. B) quadradinhos. C) 8 quadradinhos. D) quadradinhos. Agrupa as habilidades passíveis de avaliação em um teste de proficiência. Representa uma subdivisão de acordo com o conteúdo, competências e área de habilidade. Descreve cada uma das habilidades da Matriz. Avalia apenas uma única habilidade. Agrupa os itens selecionados para cada etapa de escolaridade e área do conhecimento avaliadas pelo PAEBES. É importante mencionar que a construção dos itens que compõem os testes cognitivos de Língua Portuguesa ou de Matemática é uma tarefa que requer um elevado grau de complexidade técnica e pedagógica e exige conhecimentos específicos quanto à formulação do enunciado, do comando preciso para a resposta e das opções de resposta. Essa técnica está detalhada no Guia de Elaboração de Itens, disponível no

26 PAEBES A Avaliação de Língua Portuguesa A concepção que orienta a avaliação em Língua Portuguesa é a de que a linguagem é uma forma de interação entre os falantes. É por meio de textos verbais e não verbais, orais ou escritos que essa interação se estabelece, razão pela qual o foco da avaliação em Língua Portuguesa coloca-se na atividade de leitura como forma de interação entre leitor e texto. Por conseguinte, são objeto de avaliação aquelas habilidades consideradas essenciais à formação de um leitor capaz de interagir satisfatoriamente com diferentes tipologias e gêneros textuais. O foco das Matrizes de Referência para Avaliação de Língua Portuguesa é a Leitura. Nas Matrizes, vários descritores se repetem em diferentes etapas de escolaridade. Isso acontece porque é necessário avaliar como se desenvolve uma mesma habilidade que apresenta diferentes níveis de dificuldade à medida que o estudante avança em seu processo de escolarização. Tomemos como exemplo a habilidade de Localizar informações explícitas em um texto, que aparece nas Matrizes de todas as etapas de escolaridade avaliadas. Espera-se que, ao término da ª série / º ano de escolarização, os estudantes sejam capazes de localizar informações em textos pouco extensos, com vocabulário simples e de temática familiar aos estudantes da faixa etária avaliada. No º ano do Ensino Médio, os estudantes já devem ser capazes de proceder à localização de informações em textos de qualquer extensão, com temáticas, tipologia e gêneros variados, o que indica outro nível de dificuldade de uma mesma habilidade. O que determina a avaliação de um descritor em diferentes níveis de dificuldade são os textos utilizados na redação dos itens e o tipo de tarefa solicitada aos estudantes. As habilidades em Língua Portuguesa, avaliadas em cada etapa de escolarização do PAEBES, você encontra nas Matrizes de Referência para Avaliação apresentadas a seguir. A G B

27 6 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA DE LÍNGUA PORTUGUESA PAEBES-ALFA º ao º ano/série do Ensino Fundamental Tópicos Competências Descritores T- Reconhecimento de convenções do sistema alfabético. T. Apropriação do sistema alfabético. T Usos sociais da leitura e da escrita. T- Leitura: compreensão, análise e avaliação. T Produção escrita. C. Identificação de letras do alfabeto. C. Uso adequado da página. C. Reconhecimento da palavra como unidade gráfica. C. Aquisição da consciência fonológica. C. Leitura de palavras, frases e pequenos textos. C6. Implicações do suporte e do gênero na compreensão de textos. C7. Localização de informações explícitas em textos. C8. Interpretação de informações implícitas em textos. C9. Coerência e coesão no processamento de textos C0. Avaliação do leitor em relação aos textos lidos. C. Escrita de palavras e frases. C. Produção de textos. D0 Produzir textos. D Reconhecer especificidades da linguagem escrita. D Identificar letras do alfabeto. D Diferenciar letras de outros sinais gráficos, como os números, sinais de pontuação ou de outros sistemas de representação. D Distinguir, como leitor, diferentes tipos de letras. D Reconhecer as direções e o alinhamento da escrita da língua portuguesa. D6 Compreender a função da segmentação de espaços em branco, na delimitação de palavras em textos escritos (consciência de palavras). D7 Identificar, ao ouvir uma palavra, o número de sílabas que ela contém (consciência silábica). D8 Identificar sílabas e sons (consciência silábica e consciência fonêmica). D9 Identificar relações fonema/grafema, som/letra (consciência fonêmica). D0 Ler palavras silenciosamente. D Ler frases e pequenos textos, localizando informações explícitas contidas neles. D Reconhecer os usos sociais da ordem alfabética. D Identificar suportes e gêneros textuais diversos. D Reconhecer a finalidade de gêneros diversos. D Localizar informações explícitas em textos de maior extensão ou em textos que apresentam dados. D6 Identificar elementos que constroem a narrativa. D7 Inferir informações implícitas em textos. D8 Identificar assunto de frases e textos. D9 Formular hipóteses. D0 Identificar efeitos de humor ou ironia em textos diversos. D Estabelecer relações lógico-discursivas presentes no texto. D Estabelecer relações de continuidade temática, a partir da recuperação de elementos da cadeia referencial do texto. D Identificar o efeito de sentido decorrente do uso de recursos gráficos, da pontuação, da seleção lexical e repetições. D Identificar marcas linguísticas que evidenciam o enunciador no discurso direto ou indireto. D Distinguir fato de opinião sobre o fato. D6 Identificar tese e argumentos. D7 Avaliar a adequação da linguagem usada à situação, sobretudo a eficiência de um texto ao seu objetivo ou finalidade. D8 Escrever palavras. D9 Escrever frases.

28 PAEBES 7 MATRIZ DE REFERÊNCIA DE LÍNGUA PORTUGUESA PAEBES ª série / º ano do Ensino Fundamental I Procedimentos de leitura D0 Compreender frases ou partes que compõem um texto. D0 Localizar informações explícitas em um texto. D0 Inferir o sentido de uma palavra ou expressão. D0 Inferir uma informação implícita em um texto. D06 Identificar o tema de um texto. D Distinguir fato da opinião relativa a esse fato. II Implicações do suporte, do gênero e/ ou do enunciador na compreensão de textos D0 Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). D Identificar o gênero de textos variados. D Identificar a finalidade de textos de gêneros diferentes. III Relação entre textos D0 Reconhecer diferentes formas de tratar uma informação na comparação de textos que tratam do mesmo tema. IV Coerência e coesão no processamento de textos D0 Estabelecer relações entre partes de um texto, identificando repetições ou substituições que contribuem para a continuidade de um texto. D0 Identificar o conflito gerador de enredo e os elementos que constroem uma narrativa. D Estabelecer relação de causa/consequência entre partes e elementos do texto. D Estabelecer relações lógico-discursivas presentes no texto, marcadas por conjunções, advérbios, etc. V Relações entre recursos expressivos e efeitos de sentido D6 Identificar efeitos de ironia ou humor em textos variados. D7 Reconhecer o efeito de sentido decorrente do uso da pontuação e de outras notações. VI Variação linguística D Identificar marcas linguísticas que evidenciam o locutor e o interlocutor de um texto.

29 8 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA DE LÍNGUA PORTUGUESA PAEBES 8ª série / 9º ano do Ensino Fundamental I Procedimentos de leitura D0 Localizar informações explícitas em um texto. D0 Inferir o sentido de uma palavra ou expressão. D0 Inferir uma informação implícita em um texto. D06 Identificar o tema de um texto. D Distinguir fato da opinião relativa a esse fato. II Implicações do suporte, do gênero e/ou do enunciador na compreensão de textos D0 Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). D Identificar o gênero de textos variados. D Identificar a finalidade de textos de gêneros diferentes. III Relação entre textos D0 Reconhecer diferentes formas de tratar uma informação na comparação de textos que tratam do mesmo tema. D Reconhecer posições distintas entre duas ou mais opiniões relativas ao mesmo fato ou ao mesmo tema. IV Coerência e coesão no processamento de textos D0 Estabelecer relações entre partes de um texto, identificando repetições ou substituições que contribuem para a continuidade de um texto. D07 Identificar a tese de um texto. D08 Estabelecer relação entre a tese e os argumentos oferecidos para sustentá-la. D09 Diferenciar as partes principais das secundárias em um texto. D0 Identificar o conflito gerador de enredo e os elementos que constroem uma narrativa. D Estabelecer relação de causa/consequência entre partes e elementos do texto. D Estabelecer relações lógico-discursivas presentes no texto, marcadas por conjunções, advérbios, etc. V Relações entre recursos expressivos e efeitos de sentido D6 Identificar efeitos de ironia ou humor em textos variados. D7 Reconhecer o efeito de sentido decorrente do uso da pontuação e de outras notações. D8 Reconhecer o efeito de sentido decorrente da escolha de uma determinada palavra ou expressão. D9 Reconhecer o efeito de sentido decorrente da exploração de recursos ortográficos, morfossintáticos. D Reconhecer o efeito de sentido decorrente da exploração de recursos estilísticos. VI Variação linguística D Identificar marcas linguísticas que evidenciam o locutor e o interlocutor de um texto.

30 PAEBES 9 MATRIZ DE REFERÊNCIA DE LÍNGUA PORTUGUESA PAEBES º ano do Ensino Médio I Procedimentos de leitura D0 Localizar informações explícitas em um texto. D0 Inferir o sentido de uma palavra ou expressão. D0 Inferir uma informação implícita em um texto. D06 Identificar o tema de um texto. D Distinguir fato da opinião relativa a esse fato. II Implicações do suporte, do gênero e/ou do enunciador na compreensão de textos D0 Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). D Identificar o gênero de textos variados. D Identificar a finalidade de textos de gêneros diferentes. III Relação entre textos D0 Reconhecer diferentes formas de tratar uma informação na comparação de textos que tratam do mesmo tema. D Reconhecer posições distintas entre duas ou mais opiniões relativas ao mesmo fato ou ao mesmo tema. IV Coerência e coesão no processamento de textos D0 Estabelecer relações entre partes de um texto, identificando repetições ou substituições que contribuem para a continuidade de um texto. D07 Identificar a tese de um texto. D08 Estabelecer relação entre a tese e os argumentos oferecidos para sustentá-la. D09 Diferenciar as partes principais das secundárias em um texto. D0 Identificar o conflito gerador de enredo e os elementos que constroem uma narrativa. D Estabelecer relação de causa/consequência entre partes e elementos do texto. D Estabelecer relações lógico-discursivas presentes no texto, marcadas por conjunções, advérbios, etc. V Relações entre recursos expressivos e efeitos de sentido D6 Identificar efeitos de ironia ou humor em textos variados. D7 Reconhecer o efeito de sentido decorrente do uso da pontuação e de outras notações. D8 Reconhecer o efeito de sentido decorrente da escolha de uma determinada palavra ou expressão. D9 Reconhecer o efeito de sentido decorrente da exploração de recursos ortográficos, morfossintáticos. D Reconhecer o efeito de sentido decorrente da exploração de recursos estilísticos. VI Variação linguística D Identificar marcas linguísticas que evidenciam o locutor e o interlocutor de um texto.

31 0 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA DE LÍNGUA PORTUGUESA PAEBES º ano do Ensino Médio I Procedimentos de leitura D0 Localizar informações explícitas em um texto. D0 Inferir o sentido de uma palavra ou expressão. D0 Inferir uma informação implícita em um texto. D06 Identificar o tema de um texto. D Distinguir fato da opinião relativa a esse fato. II Implicações do suporte, do gênero e/ou do enunciador na compreensão de textos D0 Interpretar texto com auxílio de material gráfico diverso (propagandas, quadrinhos, foto, etc.). D Identificar o gênero de textos variados. D Identificar a finalidade de textos de gêneros diferentes. III Relação entre textos D0 Reconhecer diferentes formas de tratar uma informação na comparação de textos que tratam do mesmo tema. D Reconhecer posições distintas entre duas ou mais opiniões relativas ao mesmo fato ou ao mesmo tema. IV Coerência e coesão no processamento de textos D0 Estabelecer relações entre partes de um texto, identificando repetições ou substituições que contribuem para a continuidade de um texto. D07 Identificar a tese de um texto. D08 Estabelecer relação entre a tese e os argumentos oferecidos para sustentá-la. D Reconhecer diferentes estratégias de argumentação. D09 Diferenciar as partes principais das secundárias em um texto. D0 Identificar o conflito gerador de enredo e os elementos que constroem uma narrativa. D Estabelecer relação de causa/consequência entre partes e elementos do texto. D Estabelecer relações lógico-discursivas presentes no texto, marcadas por conjunções, advérbios, etc. V Relações entre recursos expressivos e efeitos de sentido D6 Identificar efeitos de ironia ou humor em textos variados. D7 Reconhecer o efeito de sentido decorrente do uso da pontuação e de outras notações. D8 Reconhecer o efeito de sentido decorrente da escolha de uma determinada palavra ou expressão. D9 Reconhecer o efeito de sentido decorrente da exploração de recursos ortográficos, morfossintáticos. D Reconhecer o efeito de sentido decorrente da exploração de recursos estilísticos. VI Variação linguística D Identificar marcas linguísticas que evidenciam o locutor e o interlocutor de um texto.

32 PAEBES A Avaliação de Matemática As Matrizes de Referência para avaliação de Matemática têm como foco a habilidade de resolver problemas contextualizados. Os temas selecionados Espaço e Forma, Grandezas e Medidas, Números e Operações/Álgebra e Funções, e Tratamento da Informação reúnem descritores que expressam habilidades em Matemática a serem avaliadas a cada etapa de escolarização. São objeto de avaliação as habilidades que envolvem conceitos estruturadores da Matemática, como a identificação de regularidades, de relações e processos, em situações cotidianas, visando a uma abordagem mais contextualizada O foco das Matrizes de Referência para Avaliação de Matemática é a resolução de problemas. Os descritores considerados na elaboração de itens para avaliação foram construídos a partir de conteúdo curricular específico das etapas de escolaridades avaliadas e outros que se repetem em diferentes períodos de escolarização, mas com o nível de dificuldade compatível com as diferentes etapas de escolaridade. Tomemos como exemplo a habilidade de calcular área de uma figura plana. Nas séries/anos iniciais, o estudante calcula área apenas de figuras desenhadas em malha quadriculada. Ao término da 8ª série / 9º ano do Ensino Fundamental, espera-se que o estudante seja capaz de calcular área de qualquer figura plana. No º ano do Ensino Médio, os estudantes devem ser capazes de calcular área de sólidos. O que garante a avaliação nos níveis de dificuldades é o conhecimento do processo de composição e decomposição de figuras geométricas planas que se formam, por esse processo, em um plano bidimensional ou tridimensional, representado pela figura geométrica apresentada no item. Você encontra, nas matrizes de referência para avaliação em Matemática, apresentadas a seguir, as habilidades avaliadas em cada etapa de escolarização do PAEBES e, também, do PAEBES-Alfa. +

33 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA DE MATEMÁTICA PAEBES-Alfa º ao º ano/série do Ensino Fundamental TÓPICOS COMPETÊNCIAS DESCRITORES DETALHAMENTO DOS DESCRITORES T Reconhecimento de números e operações C. Mobilização de idéias, conceitos e estruturas relacionadas à construção do significado dos números e suas representações. C. Resolução de problemas por meio da adição ou da subtração D Associar a contagem de coleções de objetos à representação numérica das suas respectivas quantidades. D Associar o número ao seu nome. D Comparar ou ordenar quantidades pela contagem para identificar igualdade ou desigualdade numérica. D Comparar ou ordenar quantidades e números naturais. D- Reconhecer números ordinais e/ou indicadores de posição. D6- Resolver problemas que demandam as ações de juntar, separar, acrescentar e retirar, quantidades. D7- Calcular a adição e subtração de números naturais. D8- Resolver problemas que demandam as ações de comparar e completar quantidades. Contar agrupamentos de até 9 objetos dispostos: de forma organizada; de forma desorganizada; agrupados de em, de em e de em. Contar agrupamentos de até 0 objetos dispostos: de forma organizada; de forma desorganizada; agrupados de em, de em e de em. Reconhecer números naturais. Identificar um número lido pelo professor. Identificar um número escrito. Comparar quantidades de objetos organizados de forma a facilitar a contagem. Comparar quantidades de objetos apresentados desordenadamente de forma a não facilitar a contagem. Completar uma sequência de quantidades crescentes e/ou decrescente. Completar uma sequência de números naturais em ordem crescentes e/ou decrescente. Identificar uma sequência que apresenta ordenação crescente e/ou decrescente de quantidades. Identificar uma sequência de números naturais em ordem crescente e/ou decrescente. Resolver problemas simples de comparação numérica. Reconhecer números ordinais do º ao 9º. Reconhecer números ordinais do 0º ao 0º. Reconhecer o º ou o último elemento de uma determinada sequência, dada alguma referência. Realizar adição (sem reagrupamento), com apoio da imagem com parcelas até 0. Realizar subtração (sem reagrupamento), com apoio da imagem com minuendo até 0. Realizar adição (sem reagrupamento), sem apoio da imagem com parcelas até 0. Realizar subtração (sem reagrupamento), sem apoio da imagem com minuendo até 0. Calcular adição de dois ou mais números sem reserva (reagrupamento). Calcular adição de dois ou mais números com reserva (reagrupamento). Calcular subtração de dois ou mais números sem reagrupamento. Calcular subtração de dois ou mais números com reagrupamento. Resolver problemas simples que envolvam operações sem reagrupamentos, com números limitados até 0.

34 PAEBES MATRIZ DE REFERÊNCIA DE MATEMÁTICA PAEBES-Alfa º ao º ano/série do Ensino Fundamental TÓPICOS COMPETÊNCIAS DESCRITORES DETALHAMENTO DOS DESCRITORES T Reconhecimento de números e operações (continuação) T Domínio de noções de espaço e forma T Domínio de noçoes de grandezas e medidas C - Resolução de problemas por meio da aplicação das idéias que preparam para a multiplicação e a divisão. C. Identificação e localização de objetos ou personagens em representações planas do espaço. C.Reconhecimento das representações de figuras geométricas. C6. Identificação, comparação, relacionamento e ordenação de grandezas. D9- Resolver problemas que envolvam as idéias da multiplicação. D0- Resolver problemas que envolvam as idéias da divisão. D- Identificar a posição de um objeto ou personagem a partir de uma referência. D- Identificar figuras geométricas planas. D- Reconhecer as representações de figuras geométricas espaciais. D- Comparar e ordenar comprimento, altura e espessura. D- Identificar e relacionar cédulas e moedas. D6- Identificar, comparar, relacionar e ordenar tempo em diferentes sistemas de medida. Resolver situações que envolvam adição de parcelas iguais. Resolver situações que envolvam objetos organizados em disposição retangular. Resolver situações envolvendo a idéia de dobro. Repartir uma coleção de objetos em partes iguais. Identificar quantas vezes uma quantidade cabe em outra. (ex: para se fazer um bolo gastam-se ovos. Quantos bolos iguais a esse podemos fazer com 8 ovos?) Identificar situações envolvendo a idéia de metade. Identificar objeto, personagem ou local, dadas referências (representadas por outros objetos, pessoas ou locais), utilizando noções de: mais próximo/perto, mais distante/longe, entre, na frente de e atrás de. Associar, em um conjunto de figuras planas, as seguintes figuras com seus respectivos nomes: triângulos, quadrados, retângulos e círculos. Relacionar desenhos de objetos em vista frontal com figuras geométricas planas. Associar objetos do mundo físico a representações de alguns sólidos geométricos simples: cubo, paralelepípedo, esfera, cilindro, cone, pirâmide. Identificar situações envolvendo desenhos de objetos ou personagens para estabelecer comparativamente: o maior, o menor, igual, o mais alto, o mais baixo, o mais comprido o mais curto, o mais grosso, o mais fino. Inserir um objeto em uma sequência ordenada por comprimento. Identificar, entre caminhos apresentados, qual o mais curto. Identificar cédulas e moeda do sistema monetário brasileiro. Identificar trocas e diferentes formas para representar um mesmo valor. Identificar situações envolvendo sequências de eventos; intervalos de tempo, diferentes medidas de tempo (hora, dia, semana, mês, ano); diferentes instrumentos de medida de tempo (relógios analógicos e digitais, calendário). Reconhecer horas cheias e meia hora dadas em relógio digital e em relógio analógico. Identificar instrumentos de medida de tempo.

35 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA DE MATEMÁTICA PAEBES-Alfa º ao º ano/série do Ensino Fundamental TÓPICOS COMPETÊNCIAS DESCRITORES DETALHAMENTO DOS DESCRITORES T Identificação do tratamento da informação C7. Leitura e interpretação de dados em gráficos, quadros, tabelas e outros gêneros textuais. D7- Identificar informações apresentadas em listas, quadros e tabelas. Identificar informação em listas, quadros ou tabelas de uma entrada, com mais do que duas categorias. D8- Identificar Reconhecer no gráfico qual a maior/menor informações frequência. apresentadas em gráficos Localizar uma informação em um gráfico a partir de colunas. de determinada frequência. D9- Identificar informações relacionadas à Matemática, apresentadas em diferentes gêneros textuais. Localizar informações matemáticas em listas, convites, cartazes, receitas, etc.

36 PAEBES MATRIZ DE REFERÊNCIA PARA AVALIAÇÃO PAEBES Matemática ª série / º ano do Ensino Fundamental Tópico I Espaço e Forma D0 Identificar a localização/movimentação de objetos em mapas, croquis e outras representações gráficas. D0 Identificar propriedades comuns e diferenças entre poliedros e corpos redondos, relacionando figuras tridimensionais com suas planificações. D0 Identificar propriedades comuns e diferenças entre figuras bidimensionais pelo número de lados, pelos tipos de ângulos. D0 Identificar quadriláteros observando as posições relativas entre seus lados (paralelos,concorrentes, perpendiculares). D0 Reconhecer a conservação ou modificação de medidas dos lados, do perímetro, da área em ampliação e/ou redução de figuras poligonais usando malhas quadriculadas. Tópico II Grandezas e medidas D07 Resolver problemas significativos utilizando unidades de medida padronizadas como km/m/cm/mm, kg/g/mg, l/ml. D08 Estabelecer relações entre as unidades de medida de tempo. D09 Estabelecer relações entre o horário de início e término e/ou o intervalo da duração de um evento ou acontecimento. D0 Num problema, estabelecer trocas entre cédulas e moedas do sistema monetário brasileiro, em função de seus valores. D Resolver problema envolvendo o cálculo do perímetro de figuras planas, desenhadas em malhas quadriculadas. D Resolver problemas envolvendo o cálculo ou estimativa de áreas de figuras planas, desenhadas em malhas quadriculadas. Tópico III Números e Operações / Álgebra e Funções D Reconhecer e utilizar características do sistema de numeração decimal, tais como agrupamentos e trocas na base 0 e princípio do valor posicional. D Identificar a localização de números naturais na reta numérica. D Reconhecer a decomposição de números naturais nas suas diversas ordens. D6 Reconhecer a composição e a decomposição de números naturais em sua forma polinomial. D7 Calcular o resultado de uma adição ou subtração de números naturais. D8 Calcular o resultado de uma multiplicação ou divisão de números naturais. Resolver problema com números naturais, envolvendo diferentes significados da adição ou D9 subtração: juntar, alteração de um estado inicial (positiva ou negativa), comparação e mais de uma transformação (positiva ou negativa). Resolver problemas com números naturais, envolvendo diferentes significados da multiplicação D0 ou divisão: multiplicação comparativa, idéia de proporcionalidade, configuração retangular e combinatória. D Identificar diferentes representações de um mesmo número racional. D Resolver problemas utilizando a escrita decimal de cédulas e moedas do sistema monetário brasileiro. D Identificar fração como representação que pode estar associada a diferentes significados. D Resolver problemas com números racionais expressos na forma decimal envolvendo diferentes significados da adição ou subtração. D Resolver problema envolvendo noções de porcentagem (%, 0%, 00%). D6 Associar a escrita de um número no sistema de numeração indo-arábico com a escrita deste número no sistema de numeração romano. Tópico IV Tratamento da Informação D Ler informações e dados apresentados em tabelas. D Ler informações e dados apresentados em gráficos (particularmente em gráficos de colunas).

37 6 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA PARA AVALIAÇÃO PAEBES Matemática 8ª série / 9º ano do Ensino Fundamental Tópico I Espaço e Forma D0 Identificar a localização/movimentação de objeto em mapas, croquis e outras representações gráficas. D0 Identificar propriedades comuns e diferenças entre figuras bidimensionais e tridimensionais, relacionandoas com suas planificações. D0 Identificar propriedades de triângulos pela comparação de medidas de lados e ângulos. D0 Identificar relação entre quadriláteros por meio de suas propriedades. D0 Reconhecer a conservação ou modificação de medidas dos lados, do perímetro, da área em ampliação e/ou redução de figuras poligonais usando malhas quadriculadas. D06 Reconhecer ângulo como mudança de direção ou giros, identificando ângulos retos e não retos. D07 Reconhecer que as imagens de uma figura construída por uma transformação homotética são semelhantes, identificando propriedades e/ou medidas que se modificam ou não se alteram. D08 Resolver problema utilizando propriedades dos polígonos (soma de seus ângulos internos, número de diagonais, cálculo da medida de cada ângulo interno nos polígonos regulares). D09 Interpretar informações apresentadas por meio de coordenadas cartesianas. D0 Utilizar relações métricas do triângulo retângulo para resolver problemas significativos. D Reconhecer círculo/circunferência, seus elementos e algumas de suas relações. Tópico II Grandezas e medidas D Resolver problema envolvendo o cálculo de perímetro de figuras planas. D Resolver problemas envolvendo o cálculo de área de figuras planas. D Resolver problema envolvendo noções de volume. D Resolver problema utilizando relações entre diferentes unidades de medida. Tópico III Números e Operações / Álgebra e Funções D6 Identificar a localização de números inteiros na reta numérica. D7 Identificar a localização de números racionais na reta numérica. D8 Efetuar cálculos com números inteiros, envolvendo as operações (adição, subtração, multiplicação, divisão, potenciação). D9 Resolver problema com números naturais, envolvendo diferentes significados das operações (adição, subtração, multiplicação, divisão, potenciação). D0 Resolver problema com números inteiros envolvendo as operações (adição, subtração, multiplicação, divisão, potenciação). D Reconhecer as diferentes representações de um número racional. D Identificar fração como representação que pode estar associada a diferentes significados. D Identificar frações equivalentes. D Reconhecer as representações decimais dos números racionais como uma extensão do sistema de numeração decimal, identificando a existência de ordens como décimos, centésimos e milésimos. D Efetuar cálculos que envolvam operações com números racionais (adição, subtração, multiplicação, divisão, potenciação). D6 Resolver problema com números racionais envolvendo as operações (adição, subtração, multiplicação, divisão, potenciação). D7 Efetuar cálculos simples com valores aproximados de radicais. D8 Resolver problema que envolva porcentagem. D9 Resolver problema que envolva variação proporcional, direta ou inversa, entre grandezas. D0 Calcular o valor numérico de uma expressão algébrica. D Resolver problema que envolva equações do º e/ ou º graus. D Identificar a expressão algébrica que expressa uma regularidade observada em seqüências de números ou figuras (padrões). D Identificar uma equação ou inequação do º grau que expressa um problema. D Identificar um sistema de equações do º grau que expressa um problema. Tópico IV Tratamento da Informação D6 Resolver problema envolvendo informações apresentadas em tabelas e/ou gráficos. D7 Associar informações apresentadas em listas e/ou tabelas simples aos gráficos que as representam e viceversa.

38 PAEBES 7 MATRIZ DE REFERÊNCIA PARA AVALIAÇÃO PAEBES Matemática º ano do Ensino Médio Tópico I Espaço e Forma D06 Identificar a localização de pontos no plano cartesiano. D07 Interpretar geometricamente os coeficientes da equação de uma reta. D08 Identificar a equação de uma reta apresentada a partir de dois pontos dados ou um ponto e sua inclinação. Tópico II Grandezas e medidas D0 Resolver problema utilizando relações entre diferentes unidades de medida. D Resolver problema envolvendo o cálculo de perímetro de figuras planas. D Resolver problema envolvendo o cálculo de área de figuras planas. D Resolver problema envolvendo noções de volume. Tópico III Números e Operações / Álgebra e Funções D Identificar a localização de números reais na reta numérica D7 Resolver problema envolvendo equação do º grau. D9 Resolver problema envolvendo uma função do º grau. D0 Analisar crescimento/decrescimento, zeros de funções reais apresentadas em gráficos. D Identificar o gráfico que representa uma situação descrita em um texto. D Reconhecer o gráfico de uma função polinomial de º grau por meio de seus coeficientes. D Relacionar as representações algébricas e gráficas da função do º grau. D6 Resolver problemas que envolvam os valores de máximo ou de mínimo de uma função polinomial do º grau. D7 Relacionar as raízes de um polinômio com sua decomposição em fatores do º grau. D9 Relacionar as representações algébricas e gráficas da função do º grau. Tópico IV Tratamento da Informação D Resolver problema envolvendo informações apresentadas em tabelas e/ou gráficos. D Associar informações apresentadas em listas e/ou tabelas aos gráficos que as representam e vice-versa.

39 8 Revista do Programa de Avaliação MATRIZ DE REFERÊNCIA PARA AVALIAÇÃO PAEBES Matemática º ano do Ensino Médio Tópico I Espaço e Forma D0 Identificar triângulos semelhantes mediante o reconhecimento de relações de proporcionalidade. D0 Relacionar diferentes poliedros ou corpos redondos com suas planificações ou vistas. D0 Identificar a relação entre o número de vértices, faces e/ou arestas de poliedros expressa em um problema. D0 Reconhecer aplicações das relações métricas do triângulo retângulo em um problema que envolva figuras planas ou espaciais. D0 Resolver problema que envolva razões trigonométricas no triângulo retângulo (seno, cosseno,tangente). D06 Identificar a localização de pontos no plano cartesiano. D07 interpretar geometricamente os coeficientes da equação de uma reta. D08 Identificar a equação de uma reta apresentada a partir de dois pontos dados ou de um ponto e sua inclinação. D09 Relacionar a determinação do ponto de intersecção de duas ou mais retas com a resolução de um sistema de equações com duas incógnitas. D0 Relacionar as representações algébricas e gráficas de uma circunferência. Tópico II Grandezas e medidas D Resolver problema envolvendo o cálculo de perímetro de figuras planas. D Resolver problema envolvendo o cálculo de área de figuras planas. D Resolver problema envolvendo a área total e/ou volume de um sólido. Tópico III Números e Operações / Álgebra e Funções D Resolver problema que envolva porcentagem. D Resolver problema que envolva variação proporcional, direta ou inversa, entre grandezas. D7 Resolver problema envolvendo equação do º grau. D8 Reconhecer expressão algébrica que representa uma função a partir de uma tabela. D9 Resolver problema envolvendo uma função do º grau. D0 Analisar crescimento/decrescimento, zeros de funções reais apresentadas em gráficos. D Identificar o gráfico que representa uma situação descrita em um texto. D Resolver problema envolvendo P.A./P.G. D Relacionar as representações algébricas e gráficas da função do º grau. D6 Resolver problemas que envolvam os pontos de máximo ou de mínimo de uma função do º grau. D7 Identificar gráficos de funções trigonométricas (seno, cosseno, tangente) reconhecendo suas propriedades. D8 Desolver problema envolvendo sistema linear. D9 Resolver problema de contagem utilizando o princípio multiplicativo ou noções de permutação simples, arranjo simples ou combinação simples. D0 Resolver problema envolvendo o cálculo da probabilidade de um evento. Tópico IV Tratamento da Informação D Resolver problemas envolvendo dados apresentadas em tabelas e/ou gráficos. D Associar dados apresentados em listas e/ou tabelas simples aos gráficos que as representam e vice-versa.

40 PAEBES 9 Atividade As Matrizes de Referência para Avaliação do PAEBES Objetivos Material(ais) necessário(s) Analisar os descritores da Matriz de Referência que norteiam a elaboração dos itens que compõem os testes de Língua Portuguesa e Matemática do PAEBES. Kit Dinâmica da Matriz, disponível no Portal da Avaliação. Nesse kit estão os descritores, tópicos e itens necessários para a atividade. Pontos-Chave Deve ficar claro para os participantes o significado da habilidade presente na matriz. Devese enfatizar que as habilidades presentes nas matrizes de referência do PAEBES não são balizadoras para a prática pedagógica da sala de aula. * Para efetuar download do kit da Dinâmica da Matriz, acesse o Portal da Avaliação pelo Realização Forme dois grupos. O primeiro grupo com os professores de Língua Portuguesa, e o segundo com os de Matemática. Os coordenadores pedagógicos, educadores de apoio e professores de outras disciplinas poderão escolher o grupo cuja área do conhecimento lhes for mais atrativa. Em seguida, dê início a essa atividade com os seguintes direcionamentos: Distribua os tópicos e temas das matrizes em pontos diferentes da sala. Lembre-se de que todo o material para essa dinâmica você terá à sua disposição no Portal da Avaliação. Em seguida, entregue, para cada participante, um descritor da Matriz de Referência. Caso seja necessário, você poderá distribuir mais de um descritor por professor. Solicite, então, que os participantes, um de cada vez, expliquem para o grupo a habilidade que eles têm em mãos. Depois dessa exposição, os participantes deverão dirigir-se para os pontos da sala onde estão os temas e tópicos da matriz. Com o auxilio da matriz de referência, confira se os participantes alocaram os descritores nos tópicos e temas corretos. Nesse ponto, estabeleça algumas discussões sobre as escolhas realizadas. Encerre essa atividade com o seguinte questionamento: Com base nos descritores presentes na matriz, como podemos avaliar o desenvolvimento das habilidades e competências dos estudantes? Não desfaça os grupos; essa formação ainda será necessária para a próxima atividade.

41 0 Revista do Programa de Avaliação Como se avalia? Nesta seção Você encontrará: Os instrumentos de Avaliação. A Composição dos Testes. A Análise dos Testes. O objetivo é: Conhecer os instrumentos de avaliação utilizados no PAEBES, bem como a composição e metodologia de análise dos testes. Atividade : Os itens do Teste.

42 PAEBES Como se avalia? Para realizar a avaliação, o PAEBES aplica aos estudantes do Espírito Santo testes cognitivos e questionários contextuais. Os testes cognitivos para avaliação de Língua Portuguesa e Matemática são aplicados apenas aos estudantes das etapas de escolaridade abrangidas pelo PAEBES, já os questionários contextuais são respondidos pelos mesmos estudantes que fazem os testes e pelos professores e diretores das escolas participantes. Os objetivos dos testes e questionários são, respectivamente, avaliar o desempenho escolar e investigar os fatores associados ao desempenho. Dessa forma, os testes oferecem medidas de proficiência que permitem a construção de um fiel diagnóstico pedagógico das escolas, enquanto os questionários contextuais possibilitam produzir informações referentes ao perfil socioeconômico e à trajetória escolar dos estudantes, às práticas na escola e seu impacto sobre a aprendizagem, aos fatores sociais que afetam a probabilidade de repetência, ao estilo pedagógico dos professores e à modalidade de gestão e liderança na escola, dentre outros. Instrumentos de Avaliação do PAEBES Desempenho dos estudantes Fatores associados ao desempenho TESTES Língua Portuguesa e Matemática QUESTIONÁRIOS Estudantes, Diretores e Professores MEDIDAS DE PROFICIÊNCIA FATORES CONTEXTUAIS Os resultados dos testes de proficiência e dos questionários contextuais permitem a elaboração de um diagnóstico importante, a ser considerado no planejamento das políticas públicas educacionais e das práticas pedagógicas que têm lugar no dia a dia das salas de aula.

43 Revista do Programa de Avaliação A Composição dos Testes Os testes cognitivos usados na avaliação do PAEBES são compostos de itens. Cada item tem o objetivo de avaliar uma única habilidade apresentada pelos descritores que compõem a Matriz de Referência para Avaliação. O descritor, como vimos, é uma associação entre conteúdos curriculares e operações mentais desenvolvidas pelos estudantes, traduzindo determinadas habilidades e competências. Essa associação apresenta um resultado que orienta todo o processo de construção dos itens dos testes de proficiência escolar. Os itens dos testes visam a avaliar um conjunto de habilidades característico da competência do estudante em determinado período de escolaridade. Esses itens são pré testados, ou seja, previamente aplicados a amostras de estudantes e, posteriormente, são selecionados para compor os testes. Somente fazem parte dos testes do PAEBES os itens que apresentam boa qualidade pedagógica e estatística. A decisão sobre o número de itens é um ponto importante na composição dos testes do PAEBES. Por um lado, os testes devem conter tantos itens quanto necessários para que se produza uma medida abrangente de habilidades essenciais do período de escolaridade avaliado. Por outro lado, os testes não podem ser excessivamente longos, pois inviabilizaria sua resolução pelo estudante. Para solucionar essa dificuldade tem-se utilizado um tipo de planejamento de testes denominado de Blocos Incompletos Balanceados BIB. Organização do BIB para o PAEBES-Alfa 00 º, º e º EF Língua Portuguesa º, º e º EF Matemática 6 blocos de itens de múltipla escolha (dicotômicos) 6 blocos de itens com 6 itens cada com itens cada = 80 itens + 0 blocos de itens de escrita (politômicos) = 0 itens = 96 itens 8 testes diferentes Caderno de testes com blocos com itens 8 testes diferentes Caderno de testes com blocos de múltipla escolha e bloco de escrita, totalizando itens

44 PAEBES Organização do BIB para o PAEBES ª série / º ano EF Língua Portuguesa e Matemática 7 blocos de itens com itens cada = 77 itens ª série / 9º ano EF, º e º EM Língua Portuguesa e Matemática 7 blocos de itens com itens cada = 9 itens cadernos de testes diferentes Caderno de testes com itens: de Matemática e de Língua Portuguesa cadernos de testes diferentes Caderno de testes com itens: 6 de Matemática e 6 de Língua Portuguesa Com essa configuração, cada estudante da ª, ª e ª série do Ensino Fundamental respondeu a itens de Língua Portuguesa e itens de Matemática; os estudantes da ª série /º ano do EF responderam a itens; e os estudantes das demais séries, 8ªsérie / 9 ano do EF e º e º ano do EM, responderam a questões cada um.

45 Revista do Programa de Avaliação A Análise dos Testes Na avaliação interna, realizada em sala de aula, o professor, com base no planejamento pedagógico, utiliza vários instrumentos para avaliar o processo de aprendizagem de seus estudantes. No caso de utilizar provas objetivas, com questões de múltipla escolha ou com resposta construída, a nota atribuída a cada estudante resulta dos acertos e erros às questões propostas. O professor calcula, portanto, a quantidade de acertos do estudante e a representa por meio de uma nota. Esse procedimento é próprio do que denominamos Teoria Clássica dos Testes, que consiste no cálculo do percentual de acerto em um teste. No PAEBES, diferentemente da avaliação interna, os testes são aplicados a um grande número de estudantes e os resultados levam em consideração cada uma das habilidades avaliadas. Com base nos resultados dos testes chega-se a uma medida da proficiência do estudante tendo em vista a etapa de escolaridade e a área do conhecimento avaliadas. A proficiência é uma medida do conhecimento do estudante não observável de maneira direta. No PAEBES, essa medida é obtida por meio da análise dos resultados dos itens dos testes. Para analisar os testes, utilizamos os procedimentos da Teoria da Resposta ao Item TRI por meio de softwares específicos. A TRI é um modelo estatístico capaz de produzir informações sobre as características dos itens utilizados nos testes, ou seja, o grau de dificuldade de cada item, a capacidade que o item tem de discriminar diferentes grupos de estudantes que o acertaram ou não e a possibilidade de acerto ao acaso. A essas características dos itens denominamos parâmetros. Parâmetros da TRI Parâmetro "a" Discriminação Capacidade do item discriminar os alunos que desenvolveram habilidades daqueles que não desenvolveram. Parâmetro "b" Dificuldade Está relacionado ao percentual de alunos que respondem corretamente ao item. Assim, quanto menor o percentual de acerto, maior a dificuldade do item. Parâmetro "c" Probabilidade de acerto ao acaso Leva em consideração a probabilidade de o aluno "chutar" e acertar o item.

46 PAEBES Em especial, a análise dos testes por meio da TRI permite: colocar, em uma mesma escala, a proficiência dos estudantes e a dificuldade dos itens; comparar resultados entre diferentes avaliações. Na primeira característica, os especialistas das disciplinas avaliadas realizam a interpretação pedagógica dos resultados dos estudantes na escala, ou seja, quais foram as habilidades desenvolvidas pelos estudantes em função de sua proficiência. A segunda característica é de extrema relevância no campo das políticas educacionais, uma vez que a comparação entre diferentes momentos de aplicação do PAEBES ou entre o PAEBES e as avaliações nacionais (SAEB e Prova Brasil) possibilita acompanhar o desenvolvimento da qualidade da educação oferecida no estado, na regional, no município e na escola, onde, de posse dos resultados, pode-se discutir quais as práticas pedagógicas podem contribuir para que os alunos melhor desenvolvam as habilidades consideradas fundamentais para que tenham uma trajetória escolar de sucesso.

47 6 Revista do Programa de Avaliação Atividade Os Itens do Teste Objetivos Material(ais) necessário(s) Pontos-Chave Analisar pedagogicamente os itens e relacioná-los às habilidades constantes nas Matrizes de Referência. Kit Dinâmica da Matriz, disponível no Portal da Avaliação. Nesse kit estão os descritores, tópicos e itens necessários para a atividade. Ao final dessa atividade deve ficar clara a relação entre o item e a habilidade que ele requer para a resposta correta. * Para efetuar o download do kit da Dinâmica da Matriz, acesse o Portal da Avaliação pelo Lá, você encontrará também o Guia de Elaboração de Itens, com as diretrizes técnicas e pedagógicas para elaboração de itens de Língua Portuguesa e Matemática. Com esse Guia, os próprios participantes poderão elaborar itens e aplicá-los aos estudantes. Realização Inicie a atividade respondendo à questão que você lançou para os participantes no término da atividade anterior, dizendo que as habilidades e competências do estudante são avaliadas, no caso das avaliações externas, por meio de itens. Faça, então, a pergunta aos participantes: O que são itens? Deixe que os grupos respondam a essa pergunta com base no conhecimento prévio sobre o assunto. Eles deverão chegar à conclusão de que as questões do teste de proficiência em avaliações em larga escala recebem o nome de itens e que os itens têm como objetivo avaliar uma única habilidade, apresentada por meio dos descritores que compõem a Matriz de Referência. Agora, distribua os itens do kit da dinâmica da Matriz e peça para que os participantes, em grupo ou individualmente (dependendo do número de participantes): a) Resolvam os itens. b) Identifiquem a habilidade avaliada pelo item em análise. c) Elaborem hipóteses cognitivas para os distratores (alternativas erradas). Para finalizar, peça aos participantes que discutam prováveis estratégias pedagógicas que auxiliem no trabalho de aquisição e consolidação de determinada habilidade. Você pode também sugerir aos participantes que apliquem em suas turmas os itens que foram trabalhados Nesta atividade.

48 PAEBES 7 E o trabalho continua... O PAEBES é uma construção coletiva cuja finalidade é a promoção da qualidade e da equidade da educação. Para que essa finalidade se cumpra, é essencial que os resultados do PAEBES sejam apropriados pelos gestores e pelos professores, para a definição de políticas educacionais e práticas pedagógicas eficazes. Para relembrar, a Coleção PAEBES 00 compreende um instrumento de ampla divulgação e apropriação dos resultados cuja pretensão é a de que os dados apresentados sejam o ponto de partida para a implementação de ações que repercutam em aprendizagem efetiva dos estudantes, garantindolhes o sucesso escolar, a inclusão social e, consequentemente, uma vida melhor. Esse é o propósito de nossas ações. Temos a certeza de que podemos contar com você e com todos de sua escola para transformar essa meta em realidade. Bom trabalho a todos.