GUIA DE ELABORAÇÃO DE ITENS

Transcrição

1 GUIA DE ELABORAÇÃO DE ITENS

2 Presidência da República Federativa do Brasil Ministério da Educação Secretaria Executiva Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep)

3

4

5 Brasília-DF 2012

6 Organizadores Lenice Medeiros André Vítor Fernandes dos Santos Gabriela Freitas de Almeida Viviane Fernandes Faria Pinto 4 Equipe Técnica Adélia de Sá Pereira Alexandre Marques Jaloto Rego Andreia Lunkes Conrado Bartira Neri Barbosa Carlos Eduardo de Sousa Costa Ericka Sales Ferreira Francisca Cordélia Oliveira da Silva Guilherme Veiga Rios João Luiz Horta Neto Joana Darc Ribeiro José Reynaldo de Salles Carvalho Marco Castilho Felício Pedro Cayres Ramos Pedro Henrique de Moura Araújo Robert Lassance Carvalho Braga Sildemar Alves da Silva Kunz Vanessa Carvalho do Nascimento Revisão Aline Ferreira de Souza e Rita Lemos Rocha Projeto Gráfico Marcos Hartwich Diagramação e Arte Final Márcia Terezinha dos Reis

7 SUMÁRIO Apresentação A Provinha Brasil Metodologia da Provinha Brasil Matrizes de Referência Matrizes de Referência da Provinha Brasil A Matriz de Referência de Língua Portuguesa A Matriz de Referência de Matemática Processo de Elaboração do Item Etapas para Elaboração de um Item O Item na Provinha Brasil Etapas de Revisão do Item Referências Bibliográficas... 45

8 6

9 APRESENTAÇÃO 7 1 Exclusivo para brasileiros residente no exterior. Caro(a) Professor(a), Este Guia traz algumas orientações relativas ao processo de elaboração de itens para a Provinha Brasil que é uma avaliação em larga escala desenvolvida pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). O Inep é responsável por conduzir os processos para a avaliação da educação brasileira por meio da elaboração e da aplicação de avaliações e exames nacionais. Assim, estão sob a responsabilidade da Diretoria de Avaliação da Educação Básica (Daeb): i) o Sistema de Avaliação da Educação Básica (Saeb), avaliação amostral voltada aos anos finais dos ciclos da educação básica das redes públicas e privadas; ii) a Prova Brasil, avaliação censitária voltada aos anos finais dos ciclos do ensino fundamental da rede pública do País; iii) o Exame Nacional do Ensino Médio (Enem), que a partir de 2009 se tornou um exame de seleção para o ingresso na universidade e de certificação do ensino médio; iv) o Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja), exame de certificação do ensino fundamental e médio 1 de jovens e adultos que não concluíram a escolaridade na idade apropriada; v) os exames de avaliação internacional como o Programme for International Student Assessment (Pisa) e o Terceiro Estudo Regional Comparativo e Explicativo (Terce); e

10 vi) a Provinha Brasil, que avalia o nível de alfabetização dos estudantes ao final do segundo ano do ensino fundamental. A avaliação cumpre um importante papel no processo pedagógico e pode ser de caráter interno ou externo. Tendo em vista que as avaliações em larga escala (de caráter externo) contêm especificidades relacionadas à metodologia utilizada para sua elaboração/condução, torna-se necessário que aqueles que se dedicarão a elaborar os itens que compõem os testes sigam orientações de ordem técnica e pedagógica. Enquanto as avaliações internas são feitas pelo professor ou pela própria instituição de ensino para propor alternativas no âmbito da sala de aula, as avaliações em larga escala são elaboradas por um órgão externo às escolas com o objetivo de propor alternativas em âmbito mais amplo que o da instituição de ensino (Brasil. Inep, 2010). 8 Dessa maneira, este Guia traz as especificidades técnicas e pedagógicas para elaboração de itens ligadas à Provinha Brasil, que precisam ser observadas durante o processo de construção. Ele está dividido em três seções: na primeira, apresenta-se uma breve descrição do processo de implementação da Provinha Brasil e a respeito de sua concepção teórico-metodológica; na segunda, expõem-se as Matrizes de Referência que orientam essa avaliação (Língua Portuguesa e Matemática); e, na terceira, apresentam-se as recomendações técnicas e pedagógicas para a elaboração dos itens. Bom Trabalho!

11 1 A 9 A Provinha Brasil é uma avaliação diagnóstica que visa investigar o desenvolvimento das habilidades relativas à alfabetização e ao letramento em Língua Portuguesa e Matemática, desenvolvidas pelas crianças matriculadas no 2º ano do ensino fundamental. Aplicada duas vezes ao ano (no início e no final), a avaliação é dirigida aos alunos que passaram por, pelo menos, um ano escolar dedicado ao processo de alfabetização. O objetivo desse instrumento é o de levantar informações que possam subsidiar a ação de professores, coordenadores pedagógicos e gestores das escolas das redes públicas de ensino do País. Com isso, pretende-se contribuir para o acompanhamento do desenvolvimento dos alunos na aquisição das competências e das habilidades iniciais de leitura e de Matemática esperadas nessa fase de escolarização, de maneira que as informações resultantes possam apoiar o trabalho do professor e das redes de ensino na elaboração de políticas voltadas ao ciclo de alfabetização.

12 Em outras palavras, são objetivos dessa avaliação: i) Avaliar o nível de alfabetização dos educandos nos anos iniciais do ensino fundamental. ii) Oferecer às redes de ensino um resultado da qualidade da alfabetização, prevenindo, assim, o diagnóstico tardio dos déficits de letramento. iii) Concorrer para a melhoria da qualidade de ensino e para a redução das desigualdades, em consonância com as metas e políticas estabelecidas pelas diretrizes da educação nacional. 10 Essa avaliação diferencia-se das demais conduzidas pelo Inep, uma vez que a correção do teste pode ser realizada pelo próprio professor, fornecendo respostas diretamente à equipe escolar e aos gestores das redes de ensino, o que reforça uma de suas características, que é a de se constituir em um instrumento pedagógico, sem finalidades classificatórias, que oriente as ações do docente para cada criança avaliada. Além disso, espera-se que os gestores, ao se apropriarem dos resultados dessa avaliação, possam fazer escolhas mais bem fundamentadas a partir de elementos que contribuam para o planejamento curricular, de forma a subsidiar a formação continuada dos professores alfabetizadores e outras iniciativas gerenciais. As concepções teóricas que embasam a Provinha Brasil consideram que as habilidades relacionadas ao processo de alfabetização e letramento não se desenvolvem apenas nos dois primeiros anos da educação formal, mas continuamente, durante toda a educação básica. Contudo, caso problemas nesse processo sejam identificados ainda no início da vida escolar da criança, as chances de uma aprendizagem efetiva serão potencializadas. Para implementar a 1ª edição da Provinha Brasil em abril de 2008, o Inep contou com informações das unidades da Federação que já possuíam avaliações sistematizadas da alfabetização em suas redes e, ainda, com a colaboração de centros de educação e linguagem da rede de formação continuada do Ministério da Educação (MEC). A partir de 2011, a Provinha foi reestruturada para avaliar, também, habilidades iniciais em Matemática. Esse processo que ocorreu mediante a participação de grupos de pesquisa em Educação Matemática de diferentes universidades brasileiras reflete uma compreensão ampliada do processo de alfabetização, que passa a considerar, além dos aspectos ligados à Língua Portuguesa, as habilidades matemáticas iniciais. Sendo assim, desde 2008 as escolas têm recebido o instrumental da Provinha Brasil para avaliação das habilidades desenvolvidas em Língua Portuguesa e, desde 2011, passaram a receber também o kit para avaliação das habilidades matemáticas. Conforme já sinalizado, o instrumental da Provinha Brasil distribuído a todas as escolas públicas tem por objetivo oferecer informações que possam orientar tanto os professores quanto os gestores escolares e educacionais na implementação, operacionalização e interpretação dos resultados dessa avaliação. O instrumental (ou kit) da Provinha Brasil é composto pelos seguintes documentos:

13 2) Caderno do Professor 1) Caderno de Teste Teste para ser aplicado aos alunos. Contém as orientações gerais sobre a aplicação do teste, os itens que o compõem e as instruções específicas para a aplicação. 3) Guia de Correção e Interpretação dos Resultados Traz as informações sobre como corrigir e compreender as respostas dos alunos. 4) Reflexões sobre a Prática Considerações sobre a alfabetização, estabelecendo relação entre os resultados da Provinha Brasil e as políticas e recursos pedagógicos ou administrativos disponibilizados pelo Governo Federal Metodologia da Provinha Brasil Além das concepções pedagógicas que envolvem os conceitos de alfabetização e letramento, a Provinha Brasil, assim como as demais avaliações desenvolvidas pelo Inep, utiliza a Teoria de Resposta ao Item (TRI). A TRI propõe uma forma para se descrever ou medir uma variável não observável (ou mensurável) por mecanismos convencionais, como a aprendizagem. FIGURA 1 A TRI é uma teoria utilizada em testes de desempenho aplicados pelo Inep. O termo teoria do traço latente se refere a uma família de modelos matemáticos que relaciona variáveis observáveis (itens de um teste, por exemplo) e traços hipotéticos não observáveis (Pasquali; Primi, 2003). A utilização da TRI possibilita a coleta de informações que permitem a sistematização e montagem dos exames e a descrição das habilidades desenvolvidas pelos participantes do teste, a partir da análise de uma escala de proficiência. Essa metodologia sugere formas de representar a relação entre a probabilidade de um indivíduo acertar a resposta de um item e seus traços latentes, proficiências ou habilidades na área de conhecimento avaliada (Andrade; Tavares; Valle, 2000). Para analisar o item, a TRI pode utilizar um, dois ou três parâmetros: i. A Parâmetro de discriminação. ii. B Parâmetro de dificuldade. iii. C Parâmetro de acerto casual.

14 Com o objetivo de permitir que o próprio professor corrija e interprete os resultados do teste, a Provinha Brasil foi elaborada associando métodos quantitativos e qualitativos que resultam na possibilidade de descrever, por meio do número de acertos dos alunos, as habilidades que eles já dominam, as que estão em desenvolvimento e aquelas que ainda precisam ser trabalhadas. Nessa perspectiva, cada teste da Provinha Brasil é composto por 20 itens de múltipla escolha. A elaboração desses itens segue alguns critérios estabelecidos pela TRI, o que exige um rigor metodológico diferente daqueles utilizados pelos professores no cotidiano escolar. Cada um dos 20 itens avalia uma única habilidade explícita na Matriz de Referência e é constituído por quatro opções de resposta, com três tipos de enunciado: totalmente lido pelo aplicador; parcialmente lido pelo aplicador; ou lido integralmente pelo aluno. Cada item do teste definitivo é previamente aplicado a uma amostra composta por diferentes grupos de crianças de todo o País que possuem características semelhantes àquelas a que se destina o teste final. Após essa ação, denominada de pré-teste, as respostas das crianças são analisadas conforme critérios estatísticos e pedagógicos, identificando-se, assim, quais habilidades do processo de alfabetização e letramento os itens medem, se são fáceis ou difíceis, se estão adequadamente escritos e ilustrados, entre outros aspectos. 12 Para constituir os níveis de desempenho, é feita uma análise da dificuldade das habilidades medidas no teste. A partir dessa análise, são identificados e descritos cinco níveis de alfabetização em que os alunos podem estar, em função do número de itens de múltipla escolha respondidos corretamente. Quando a criança consegue acertar um quantitativo de itens, demonstra já ter desenvolvido determinadas habilidades. Assim, as respostas dos alunos ao teste podem ser interpretadas, estabelecendo-se uma relação entre o número ou a média de acertos de um ou mais alunos e sua correspondência com níveis de desempenhos descritos para a Provinha Brasil. Outra possibilidade de interpretação dos resultados da Provinha é a análise, pelo professor, das alternativas marcadas equivocadamente pelos estudantes, o que lhe permite reconhecer algumas das hipóteses dos alunos em relação aos conhecimentos abordados, podendo reorganizar sua intervenção pedagógica de maneira a corrigir os equívocos dos discentes quanto aos temas.

15 2 MATRIZES DE REFERÊNCIA 13 A fundamentação teórica da Provinha Brasil se estabelece a partir de uma noção ampliada do processo de alfabetização e letramento que envolve não apenas o desenvolvimento de habilidades ligadas à leitura e à escrita, mas engloba também o desenvolvimento das habilidades matemáticas. Como nem todas as habilidades a serem desenvolvidas durante o processo de alfabetização são passíveis de verificação por meio da Provinha Brasil, tendo em vista as especificidades do instrumento e a metodologia utilizada, foi necessário selecionar algumas dessas habilidades para a construção das Matrizes de Referência de Língua Portuguesa e de Matemática. Isso significa que a avaliação externa não substitui os demais processos avaliativos conduzidos pelo professor, devido ao instrumento dessa avaliação não permitir estimar todas as habilidades relacionadas ao processo de alfabetização desenvolvidas na escola. Sendo assim, as habilidades definidas para avaliar a alfabetização em Língua Portuguesa e Matemática são aquelas consideradas relevantes em função dos objetivos propostos e as passíveis de verificação por meio de um teste objetivo. Tais habilidades foram organizadas e descritas nas Matrizes de Referência.

16 2.1 Matrizes de Referência da Provinha Brasil A Matriz de Referência é o instrumento norteador das habilidades que se pretende avaliar, tanto para os que participam do teste quanto para aqueles que colaboram na construção dele. Ela também delimita habilidades que devem ser avaliadas no instrumento e orienta a análise dos resultados do teste aplicado. As Matrizes de Referência não devem ser confundidas com o currículo. Elas constituem-se como um recorte, ao contrário do currículo, que é muito mais amplo. 14 As Matrizes estão organizadas por eixos e em cada um deles estão elencados conhecimentos que, por sua vez, foram organizados em habilidades. As habilidades descritas são também chamadas de descritores e, por isso, são indicadas pela letra D. O descritor traduz as habilidades que são avaliadas e que refletem a associação entre os conteúdos curriculares e as operações mentais realizadas pela criança ao responder à questão. Ressalta-se que o trabalho de desenvolvimento dessas habilidades durante o processo de ensino e aprendizagem não acontece de maneira sequencial e linear e que a disposição das habilidades na estrutura da Matriz se trata de uma referência para a organização da avaliação como um todo. A seguir, apresentamos as Matrizes de Referência da Provinha Brasil de Língua Portuguesa e de Matemática. 2.2 A Matriz de Referência de Língua Portuguesa 2 As habilidades constantes na Matriz de Referência da Provinha Brasil de Língua Portuguesa estão fundamentadas na concepção de que a alfabetização e o letramento são processos a serem desenvolvidos de forma complementar e paralela, entendendo-se a alfabetização como o desenvolvimento da compreensão das regras de funcionamento do sistema de escrita alfabética e o letramento como as possibilidades de usos e funções sociais da linguagem escrita, isto é, o processo de inserção e a participação dos sujeitos na cultura escrita. Nesse sentido, foram consideradas como habilidades imprescindíveis para o desenvolvimento da alfabetização e do letramento as que podem ser agrupadas em torno de cinco eixos fundamentais: 1) apropriação do sistema de escrita; 2) leitura; 3) compreensão e valorização da cultura escrita; 4) escrita; 5) desenvolvimento da oralidade. Porém, em função de questões metodológico-operacionais e da natureza de um processo de avaliação como a Provinha Brasil, essa Matriz de Referência considera apenas as habilidades de três eixos: 2 Texto elaborado com base no Guia de Correção e Interpretação dos Resultados da Provinha Brasil Leitura, Disponível em

17 I. Apropriação do sistema de escrita diz respeito à apropriação, pela criança, do sistema da língua escrita. Isto é, trata-se da aquisição das regras que orientam a leitura e a escrita pelo sistema alfabético, bem como do domínio da ortografia da Língua Portuguesa. Nesse sentido, é importante que o alfabetizando entenda a diferença entre a escrita alfabética e outras formas gráficas; domine convenções gráficas, compreendendo, por exemplo, que a escrita se organiza da esquerda para a direita, a função dos espaços em branco e dos sinais de pontuação; reconheça unidades fonológicas como rimas, sílabas e terminações de palavras; identifique as letras do alfabeto e perceba suas diferentes formas de apresentação gráfica; e compreenda a natureza alfabética do sistema de escrita, dominando as relações regulares e irregulares entre as letras e seus sons. A apropriação do sistema da escrita é um processo gradual e cada alfabetizando desenvolve no seu próprio ritmo, mas muitas dessas habilidades básicas necessitam ser dominadas no início da escolarização, como texto-base para outras mais complexas. II. Leitura entendida como atividade que depende de processamento individual, mas se insere num contexto social e envolve disposições atitudinais, capacidades relativas à decifração, à compreensão e à produção de sentido. A abordagem dada à leitura abrange, portanto, desde capacidades necessárias ao processo de alfabetização até aquelas que habilitam o aluno à participação ativa nas práticas sociais letradas, ou seja, aquelas que contribuem para o seu letramento (Brasil. MEC, 2007, p. 39). Isso implica, entre outras habilidades, saber decodificar palavras e textos escritos; realizar leituras globais por intuição ou, ainda, ler de modo mais aprofundado e proveitoso, identificando finalidades do texto em função do reconhecimento do seu texto-base (meio de veiculação) ou características gráficas; localizar dados explícitos e realizar inferências sobre o conteúdo do texto; estabelecer relações entre partes do texto; e ler com fluência e expressividade. III. Compreensão e valorização da cultura escrita refere-se aos aspectos que permeiam o processo de alfabetização e letramento, permitindo o conhecimento e a valorização dos modos de produção e circulação da escrita na sociedade, considerando os usos formalizados no ambiente escolar, assim como os de ocorrência mais espontânea no cotidiano. 15 Com relação ao terceiro eixo, cabe esclarecer que ele não é tratado separadamente na Matriz de Referência da Provinha Brasil, mas as habilidades que o compõem permeiam a concepção do teste, na medida em que subjazem à elaboração das questões de leitura. O quarto eixo, embora seja considerado fundamental para o desenvolvimento do processo de alfabetização e letramento em Língua Portuguesa, não tem sido avaliado, por enquanto, em função de questões metodológico-operacionais. No entanto, o Inep tem examinado possibilidades e maneiras para que, em breve, o instrumental da Provinha possa avaliar a produção escrita das crianças. Outra consideração é que o quinto eixo, relativo à oralidade, não é ponderado nesta prova, devido às limitações impostas pela natureza da avaliação. No entanto, é pertinente ressaltar a importância desse eixo no trabalho pedagógico. O tratamento didático da oralidade pode abranger desde a ampliação dos usos da fala que os estudantes já detêm ao entrarem na escola, favorecendo interações mais produtivas na

18 sala de aula e fora dela em situações informais, até o desenvolvimento de habilidades relativas à produção e à compreensão de gêneros usualmente encontrados em situações mais formais, tais como: debates regrados, entrevistas e exposições orais públicas realizadas, por exemplo, em seminários e feiras de conhecimento. Nesse eixo de ensino podem ser considerados, ainda, os objetivos relativos à reflexão sobre o fenômeno da variação linguística e as relações entre a fala e a escrita. Desse modo, embora não haja avaliação de habilidades do eixo de oralidade na Provinha Brasil, é necessário contemplá-lo no planejamento de ensino e realizar avaliação permanente do desenvolvimento das crianças. A Matriz de Referência da Provinha Brasil está organizada em três colunas: a primeira apresenta as habilidades selecionadas para avaliar cada eixo (as habilidades descritas são também chamadas de descritores, por isso são indicadas com a letra D ), a segunda traz as especificações de cada descritor e a terceira indica algumas formas de operacionalização (formas de medir a habilidade). 16 Embora se saiba que durante o processo de ensino e aprendizagem o trabalho e o desenvolvimento dessas habilidades não acontecem de maneira sequencial e linear, a disposição delas na estrutura da Matriz de Referência é hierarquizada por nível de dificuldade, refletindo a ênfase que deve ser dada a determinadas habilidades, de acordo com o momento do processo de apropriação do sistema de escrita. Assim sendo, o nível de dificuldade das questões do teste está em consonância com a progressão existente na Matriz. Cada questão permite a verificação do domínio de uma habilidade, e o grau de dificuldade de cada questão é determinado em alguma medida pela habilidade e por fatores como tamanho e estrutura das palavras/frases/textos, familiaridade com o assunto, complexidade da estrutura silábica e sintática das frases, organização e tipologia textual. Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial 1º EIXO Habilidade (descritor) D1 Reconhecer letras. (Continua) Apropriação do Sistema de Escrita: habilidades relacionadas à identificação e ao reconhecimento de princípios do sistema de escrita 3 Especificações da habilidade (níveis de complexidade) D1.1 Diferenciar letras de outros sinais gráficos. D1.2 Identificar as letras do alfabeto. Operacionalização (descrição de algumas formas de avaliar as habilidades) Buscar em sequências com letras, desenhos, números e sinais de pontuação a que possui apenas letras (dar preferência para textos de circulação social e que façam parte do universo da criança). Identificar uma única letra ditada pelo aplicador. Identificar, entre várias sequências de letras, a ditada pelo aplicador (utilizar os mesmos tipos gráficos nas alternativas).

19 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial (Continuação) 1º EIXO Habilidade (descritor) Apropriação do Sistema de Escrita: habilidades relacionadas à identificação e ao reconhecimento de princípios do sistema de escrita 3 Especificações da habilidade (níveis de complexidade) Operacionalização (descrição de algumas formas de avaliar as habilidades) Identificar uma mesma palavra que se repete, escrita com letras de diferentes tipos, combinando letras: D1 Reconhecer letras. D1.3 Identificar diferentes tipos de letras. de imprensa maiúsculas e minúsculas; de imprensa minúsculas e cursiva. Identificar mais de uma palavra que se repete, escritas com letras de diferentes tipos, combinando letras: de imprensa maiúsculas e minúsculas; de imprensa minúsculas e cursiva. 17 D2 Reconhecer sílabas. D2.1 Identificar número de sílabas a partir de imagens. Contar sílabas canônicas, com base em uma imagem (resguardando, nas alternativas, a semelhança fonética e o tamanho das palavras). Contar sílabas não canônicas, com base em uma imagem (resguardando, nas alternativas, a semelhança fonética e o tamanho das palavras). Comparar palavras dadas por imagens e escolher as que possuem o mesmo número de sílabas (resguardando, nas alternativas, a semelhança da estrutura fonética e o tamanho das palavras). Observação: se as alternativas forem apresentadas no formato de numerais, o item exigirá do aluno o domínio de outra habilidade que é a do reconhecimento do símbolo numérico. D3 Estabelecer relação entre unidades sonoras e suas representações gráficas. D3.1 Identificar vogais nasalizadas. Identificar a alternativa que corresponde ao nome de uma figura apenas pela sílaba nasal inicial (preservando-se, nas alternativas, a semelhança fonética da primeira e da última sílaba, além do tamanho das palavras).

20 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial (Continuação) 1º EIXO Habilidade (descritor) Apropriação do Sistema de Escrita: habilidades relacionadas à identificação e ao reconhecimento de princípios do sistema de escrita 3 Especificações da habilidade (níveis de complexidade) Operacionalização (descrição de algumas formas de avaliar as habilidades) 18 D3.2 Identificar relação entre grafema e fonema (letra/som com correspondência sonora única; ex.: p, b, t, d, f). Escolher, entre as alternativas, aquela que corresponde à letra inicial do nome de uma figura dada. Escolher, entre as alternativas, aquela que corresponde ao nome de uma figura, pelo reconhecimento do valor sonoro de apenas uma letra que varia no início, no fim ou no meio das palavras listadas (preservando-se a semelhança fonética e o tamanho das palavras). D3 Estabelecer relação entre unidades sonoras e suas representações gráficas. D3.3 Identificar relação entre grafema e fonema (letra/som com mais de uma correspondência sonora; ex.: c e g ). Escolher, entre as alternativas, aquela que corresponde à letra inicial do nome de uma figura dada. Escolher, entre as alternativas, aquela que corresponde ao nome de uma figura, pelo reconhecimento do valor sonoro de apenas uma letra que varia no início, no fim ou no meio das palavras listadas (preservando-se a semelhança fonética e o tamanho das palavras). D3.4 Reconhecer, a partir de palavra ouvida, o valor sonoro de uma sílaba. Escolher, entre as palavras listadas, aquela que corresponde ao que foi ditado pelo aplicador, a partir do reconhecimento da variação de apenas uma sílaba no início, no fim ou no meio das palavras (preservandose a semelhança fonética e o tamanho das palavras). D3.5 Reconhecer, a partir de imagem, o valor sonoro de uma sílaba. Escolher o nome de uma figura, em que, nas alternativas, só varia uma sílaba no início, no meio ou no fim da palavra (preservandose a semelhança fonética e o tamanho das palavras).

21 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial (Continuação) 1º EIXO Habilidade (descritor) Apropriação do Sistema de Escrita: habilidades relacionadas à identificação e ao reconhecimento de princípios do sistema de escrita 3 Especificações da habilidade (níveis de complexidade) Operacionalização (descrição de algumas formas de avaliar as habilidades) D3 Estabelecer relação entre unidades sonoras e suas representações gráficas. D3.5 Reconhecer, a partir de imagem, o valor sonoro de uma sílaba Comparar palavras e escolher aquelas que têm a mesma sílaba no início, no meio ou no fim (resguardando a mesma estrutura o tipo canônico ou não e a semelhança fonética com o gabarito). Habilidade (descritor) 2º EIXO Leitura Especificações da habilidade (níveis de complexidade) Operacionalização (descrição de algumas formas de avaliar as habilidades) Estabelecer relação entre imagens e a escrita de palavras diversas. Observação: resguardar semelhança fonética entre a escrita de palavras com significados diferentes e variar complexidade pelo grau de dificuldade ortográfica. 19 Exemplos: D4 Ler palavras. D4.1 Estabelecer relação entre significante e significado. Ler palavras com sílabas formadas somente por consoante + vogal. Ler palavras iniciadas por sílaba formada somente por vogal. Ler palavras que incluem encontros consonantais. Ler palavras que incluem dígrafos. Ler palavras com encontros vocálicos. Ler palavras que incluem sílabas formadas por consoante + vogal + consoante. Ler palavras monossílabas.

22 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial (Continuação) 2º EIXO Leitura Habilidade (descritor) Especificações da habilidade (níveis de complexidade) Operacionalização (descrição de algumas formas de avaliar as habilidades) Escolher, entre as alternativas de frase, a que corresponde a uma imagem. Observação: é importante lembrar que avaliar esta habilidade, nesta forma proposta, não pode implicar a interpretação da imagem. Também cabe ressalvar que as frases não podem ser ambíguas. Escolher, entre as alternativas de frase, a que corresponde àquela ditada pelo aplicador (com ou sem apoio de imagem). Observação: deve ser mantida alguma semelhança fonética e sintática entre as frases, principalmente nas palavras iniciais e finais para que o aluno não acerte por exclusão ou ao acaso. 20 D5 Ler frases. D5.1 Ler frases. Identificar personagem principal, ações, tempo, espaço em narrativas não verbais lidas individualmente. Identificar personagem principal, ações, tempo, espaço em narrativas verbais lidas individualmente. Localizar informações explícitas em outros gêneros textuais não verbais. D6 Localizar informação explícita em textos. D6.1 Localizar informação explícita em textos. Localizar informações explícitas em outros gêneros textuais verbais. Observações: Variar complexidade pelo gênero textual utilizado, pelo tamanho do texto, pela sequência em que as ideias são apresentadas e pela localização da informação no corpo do texto (início, meio ou fim). Levar em consideração que o texto não pode ser muito extenso, deve ser simples (inclusive no vocabulário) e tratar de assuntos próprios do cotidiano dos alunos do ano de escolarização em foco.

23 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial (Continuação) 2º EIXO Leitura Habilidade (descritor) D7 Reconhecer assunto de um texto. D8 Identificar a finalidade do texto. D9 Estabelecer relação entre partes do texto. Especificações da habilidade (níveis de complexidade) D7.1 Reconhecer o assunto do texto com apoio das características gráficas e do texto-base. D7.2 Reconhecer o assunto do texto com base no título. D7.3 Reconhecer o assunto do texto a partir da leitura individual (sem apoio das características gráficas ou do texto-base). D8.1 Reconhecer a finalidade do texto com apoio das características gráficas do texto-base ou do gênero. D8.2 Reconhecer a finalidade do texto a partir da leitura individual (sem apoio das características gráficas do texto-base ou do gênero). D9.1 Identificar repetições e substituições que contribuem para a coerência e a coesão textual. Operacionalização (descrição de algumas formas de avaliar as habilidades) Observações: Variar complexidade pelo gênero textual utilizado, pelo tamanho do texto, pela sequência em que as ideias são apresentadas e pela localização da informação no corpo do texto (início, meio ou fim). Levar em consideração que o texto não pode ser muito extenso, deve ser simples (inclusive no vocabulário) e tratar de assuntos próprios do cotidiano dos alunos do ano de escolarização em foco. Observações: Variar complexidade pelo gênero textual utilizado, pelo tamanho do texto, pela sequência em que as ideias são apresentadas e pela localização da informação no corpo do texto (início, meio ou fim). Levar em consideração que o texto não pode ser muito extenso, deve ser simples (inclusive no vocabulário) e tratar de assuntos próprios do cotidiano dos alunos do ano de escolarização em foco. Observações: Variar complexidade pelo gênero textual utilizado, pelo tamanho do texto, pela sequência em que as ideias são apresentadas e pela localização da informação no corpo do texto (início, meio ou fim). Não utilizar substituições pronominais. Levar em consideração que o texto não pode ser muito extenso, deve ser simples (inclusive no vocabulário) e tratar de assuntos próprios do cotidiano dos alunos do ano de escolarização em foco. 21

24 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização e do Letramento Inicial (Conclusão) 2º EIXO Leitura Habilidade (descritor) Detalhamento da habilidade (níveis) Operacionalização (descrição de algumas formas de avaliar as habilidades) Observações: Variar complexidade pelo gênero textual utilizado, pelo tamanho do texto, pela sequência em que as ideias são apresentadas e pela quantidade de informações que devem ser relacionadas para deduzir a informação desejada. 22 Levar em consideração que o texto não pode ser muito extenso, deve ser simples (inclusive no vocabulário) e tratar de assuntos próprios do cotidiano dos alunos do ano de escolarização em foco. D10 Inferir informação. D10.1 Inferir informação. Tivemos várias dificuldades com este descritor, pois o grau de complexidade é dado por tantas variáveis que não soubemos delimitar formas de operacionalização que o tornassem adequado ao ano de escolaridade a ser avaliado. Existe uma gama tão vasta de inferências possíveis de serem requeridas dos alunos que deve haver um grande cuidado ao elaborar itens para medir esta habilidade de forma adequada. Diante disto, solicitamos aos pareceristas e demais especialistas de cada Centro de Formação que, no decorrer da elaboração dos itens referentes a esta habilidade, acompanhem mais de perto os trabalhos antes de encaminharem os itens para revisão. 3 Observação: Sempre utilizar palavras que não sejam viciadas, isto é, as frequentemente trabalhadas em sala de aula, cuja relação entre o significante e o significado já foi automatizada pela criança, sem que, necessariamente, tenha desenvolvido a habilidade requerida.

25 2.3 A Matriz de Referência de Matemática 4 A Matriz de Referência da Provinha Brasil de Matemática está organizada em quatro eixos que contemplam os principais blocos de conteúdos trabalhados na escola. São eles: Números e Operações; Geometria; Grandezas e Medidas; e Tratamento da Informação. A elaboração dessa Matriz seguiu alguns preceitos teóricos importantes: um dos aspectos fundamentais relacionados ao conhecimento matemático é o seu papel na compreensão dos fenômenos da realidade. Essa compreensão oferece, aos seres humanos, as ferramentas necessárias para que eles possam agir de forma consciente sobre a sociedade na qual estão inseridos. Dessa forma, a Matemática aparece como parte essencial da bagagem de todo cidadão. Para isso, cabe à escola oferecer as condições necessárias para que o sujeito possa se servir dessas ferramentas em suas práticas sociais. Isso não quer dizer que ela seja a única responsável por essas aprendizagens, já que aprendemos também em nossas práticas sociais. Se prestarmos atenção a crianças brincando, podemos perceber, por exemplo, que elas são capazes de realizar operações simples, de estabelecer categorias e equivalências, de reconhecer e diferenciar figuras geométricas, de estabelecer parâmetros pessoais para medir grandezas e de executar diversos outros conceitos matemáticos. Embora esses conhecimentos sirvam como ponto de partida para a construção dos conceitos, cabe à escola levar a criança ao desenvolvimento de outras percepções. A alfabetização matemática, portanto, é o processo de organização das vivências que a criança traz de suas atividades pré-escolares, de forma a levá-la a construir um corpo de conhecimentos articulados que potencialize sua atuação na vida cidadã. Trata-se de um longo processo que deverá, mais tarde, permitir ao sujeito utilizar as ideias matemáticas para compreender o mundo no qual vive e instrumentalizá-lo para resolver as situações desafiadoras que vai encontrar em sua vida na sociedade. É preciso, assim, destacar que alfabetização matemática não significa unicamente o domínio de uma linguagem simbólica. Apesar de a forte ligação entre a língua materna e a linguagem matemática também ser uma característica dessa etapa de vida da criança, os símbolos matemáticos devem aparecer não como uma imposição do professor ou como uma característica do conhecimento matemático, mas como elementos facilitadores da comunicação. A alfabetização em Matemática não pode ser reduzida, por exemplo, a levar a criança a escrever corretamente os algarismos ou repetir a sequência numérica até certo limite estabelecido pelo professor, em situações de contagem desprovidas de significado. 23 Da mesma forma, o trabalho com as operações aritméticas não deve ser visto como a memorização de técnicas operatórias únicas. A etapa de alfabetização matemática se caracteriza, principalmente, pela compreensão dos significados das operações, sendo o cálculo efetuado mentalmente o motor desse desenvolvimento. Trata-se do momento em que a criança começa a organizar estratégias mais sistematizadas, embora ainda personalizadas, que vão permitir, em fases posteriores, a compreensão de outros procedimentos de cálculo. As relações entre causa e efeito e as inferências lógicas também começam a aparecer na etapa de alfabetização matemática. Os alunos começam a descobrir propriedades e regularidades nos diversos campos dessa disciplina. 4 Texto elaborado com base no Guia de Correção e Interpretação dos Resultados da Provinha Brasil Matemática, Disponível em

26 A alfabetização matemática demanda a passagem por situações que promovam a consolidação progressiva das ideias, evitando, cuidadosamente, antecipar respostas a problemas e questionamentos vindos do aluno. Em outras palavras, o processo de alfabetização matemática caracteriza-se por desenvolver no aluno a postura de questionador, o que pode levá-lo a produzir o pensamento lógico. A sistematização excessiva e o abuso da linguagem matemática podem ser prejudiciais para que a criança desenvolva um pensamento matemático autônomo. É importante compreender, também, que a alfabetização matemática não pode ser reduzida ao domínio dos números e suas operações. Nessa fase de escolaridade, a criança deve construir as primeiras noções de espaço e suas representações e começar a organizar as ideias iniciais de grandezas, como comprimento e tempo. Da mesma forma, a necessidade de estruturar e de comunicar informações de maneira eficiente também faz parte do processo de alfabetização matemática, por exemplo, o contato da criança com os meios de comunicação pode levá-la a reconhecer tabelas e gráficos simples como elementos facilitadores da compreensão de determinadas informações. Sob essas concepções de ordem teórica é que a Matriz de Referência foi organizada. 24 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática 1º EIXO Números e Operações Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades) (Continua) Contar agrupamentos de até 9 objetos dispostos: de forma organizada; C1 Mobilizar ideias, conceitos e estruturas relacionadas à construção do significado dos números e suas representações. D1.1 Associar a contagem de coleções de objetos à representação numérica das suas respectivas quantidades. de forma desorganizada; agrupados de 2 em 2, de 3 em 3 e de 4 em 4. Contar agrupamentos de até 20 objetos dispostos: de forma organizada; de forma desorganizada; agrupados de 2 em 2, de 3 em 3 e de 4 em 4. Observação: a representação da quantidade (número) pode estar no enunciado ou nas alternativas.

27 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática (Continuação) 1º EIXO Números e Operações Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades) Escolher, entre as alternativas, aquela que possui a representação do número lido pelo aplicador. C1 Mobilizar ideias, conceitos e estruturas relacionadas à construção do significado dos números e suas representações. D1.2 Associar a denominação do número a sua respectiva representação simbólica. D1.3 Comparar ou ordenar quantidades pela contagem para identificar igualdade ou desigualdade numérica. Observações: apenas números de 10 a 99 em algarismos indoarábicos; o aplicador não deve ler as alternativas, só o enunciado. Comparar quantidades de: objetos organizados; objetos apresentados desordenadamente. Escolher, entre as alternativas apresentadas, aquela que: completa uma sequência de quantidades crescentes; 25 D1.4 Comparar ou ordenar números naturais. completa uma sequência de quantidades decrescentes; corresponde a uma ordenação crescente de quantidades. Resolver problemas simples de comparação numérica. Observação: números até 20 ou dezenas até 90.

28 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática (Continuação) 1º EIXO Números e Operações Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades) Adição (sem reagrupamento), com apoio da imagem com parcelas até 10. Subtração (sem reagrupamento), com apoio da imagem com minuendo até C2 Resolver problemas por meio da adição ou da subtração. D2.1 Resolver problemas que demandam as ações de juntar, separar, acrescentar e retirar quantidades. Adição (sem reagrupamento), sem apoio da imagem com parcelas até 10. Subtração (sem reagrupamento), sem apoio da imagem com minuendo até 20. Observação: adições limitadas a duas parcelas e problemas envolvendo apenas uma operação por item. D2.2 Resolver problemas que demandam as ações de comparar e completar quantidades. Operações sem reagrupamentos, números limitados até 20. Situações que envolvam adição de parcelas iguais. C3 Resolver problemas por meio da aplicação das ideias que preparam para a multiplicação e a divisão. D3.1 Resolver problemas que envolvam as ideias da multiplicação. Situações que envolvam objetos organizados em disposição retangular. Situações envolvendo a ideia de dobro. Observações: Multiplicação de números de 2 a 10 por 2, 5 ou 10.

29 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática (Continuação) 1º EIXO Números e Operações Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades) C3 Resolver problemas por meio da aplicação das ideias que preparam para a multiplicação e a divisão. D3.1 Resolver problemas que envolvam as ideias da multiplicação. D3.2 Resolver problemas que envolvam as ideias da divisão. Os dados devem ser apoiados em imagens. As imagens não devem induzir a resolução por contagem. Repartir uma coleção de objetos em partes iguais. Quantas vezes uma quantidade cabe em outra. Situações envolvendo a ideia de metade. Observações: Os dados devem ser apoiados em imagens. Divisões inversas das multiplicações de números de 2 a 10 por 2, 5 ou º EIXO Geometria Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades) C4 Reconhecer as representações de figuras geométricas. D4.1 Identificar figuras geométricas planas. Associar as seguintes figuras planas a seus respectivos nomes: triângulos, quadrados, retângulos e círculos, em um conjunto de figuras planas.

30 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática (Continuação) 2º EIXO Geometria Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades Relacionar representações planas de objetos tridimensionais a figuras geométricas planas. Observações: 28 C4 Reconhecer as representações de figuras geométricas. D4.1 Identificar figuras geométricas planas. D4.2 Reconhecer as representações de figuras geométricas espaciais. No texto-base pode ser utilizada qualquer figura plana (exemplo: trapézio, pentágono, etc). Evitar usar quadrados, retângulos e losangos num mesmo item. Associar objetos do mundo físico a representações de alguns sólidos geométricos simples: cubo, paralelepípedo, esfera, cilindro, cone, pirâmide (exemplo: caixa com paralelepípedo, casquinha de sorvete com cone). Observação: evitar usar cubos e paralelepípedos num mesmo item. 3º EIXO Grandezas e Medidas Competências C5 Identificar, comparar, relacionar e ordenar grandezas. Descritores/habilidades D5.1 Comparar e ordenar comprimentos. Operacionalização (descrição de algumas formas de avaliar as habilidades) Situações envolvendo desenhos de objetos ou personagens para estabelecer comparativamente: o maior, o menor, o igual, o mais alto, o mais baixo, o mais comprido o mais curto, o mais grosso, o mais fino, o mais estreito, o mais largo.

31 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática (Continuação) 3º EIXO Grandezas e Medidas Competências C5 Identificar, comparar, relacionar e ordenar grandezas. Descritores/habilidades D5.2 Identificar e relacionar cédulas e moedas. D5.3 Identificar, comparar, relacionar e ordenar tempo em diferentes sistemas de medida. Operacionalização (descrição de algumas formas de avaliar as habilidades) Identificar cédulas e moeda do sistema monetário brasileiro. Identificar trocas e diferentes formas para representar um mesmo valor. Dada uma cédula ou moeda, reconhecer agrupamentos de outras cédulas ou moedas, de valores iguais, correspondentes ao mesmo valor. Dado um valor qualquer representado por cédulas e ou moedas, identificar outra forma de obter o mesmo valor. Situações envolvendo sequências de eventos, intervalos de tempo, diferentes medidas de tempo (hora, dia, semana, mês, ano) e diferentes instrumentos de medida de tempo (relógios analógicos e digitais, calendário). Apresentar situações de rotina escolar e de vida comparando com os períodos do dia, do mês e do ano. Ordenar sequência de eventos cotidianos apresentados por meio de ilustração. Reconhecer horas cheias ou com fração de 30 minutos em relógios digital e analógico. Relacionar horários apresentados em relógios digital e analógico. Identificar instrumentos de medida de tempo. 29

32 Provinha Brasil: Matriz de Referência para Avaliação da Alfabetização Matemática (Conclusão) 4º EIXO Tratamento da Informação Competências Descritores/habilidades Operacionalização (descrição de algumas formas de avaliar as habilidades) Identificar informação em listas ou tabelas de uma entrada, com mais do que duas categorias. 30 C6 Ler e interpretar dados em gráficos, tabelas e textos. D6.1 Identificar informações apresentadas em tabelas. D6.2 Identificar informações apresentadas em gráficos de colunas. Identificar informação que exija dois níveis de localização, como tabelas de dupla entrada. Observação: dar preferência a tabelas que tenham com o textobase figuras, evitando a leitura da tabela pelo aplicador. Reconhecer no gráfico qual a maior/menor frequência. Dada uma frequência, localizar a informação correspondente no gráfico e vice-versa.

33 3 PROCESSO DE ELABORAÇÃO DO ITEM 31 O item é a unidade básica de um instrumento de coleta de dados que pode ser uma prova, um questionário, etc. (Brasil. Inep, 2006). Na Provinha Brasil, cada item deve avaliar apenas uma única especificação da habilidade, no caso da Língua Portuguesa, ou uma única habilidade, no caso da Matemática, expressa nas Matrizes de Referência. 5 Essa condição se deve ao princípio de unidimensionalidade do item que está relacionado à essa avaliação. O Inep, em suas avaliações, trabalha com uma estrutura de item que pode ser dividido em três partes: texto-base, enunciado e alternativas, as quais se dividem em gabarito, distratores e justificativa (Brasil. Inep, 2010). Atualmente, o item da Provinha Brasil é composto apenas por questões de múltipla escolha. Além das três partes fundamentais (texto-base; enunciado e alternativas), cabe ao elaborador formular, ainda, as orientações para o professor e o comentário sobre o item, conforme a Figura 2: 5 Essa observação se deve à maneira como as Matrizes de Referência de Língua Portuguesa e Matemática foram, originalmente, organizadas: Língua Portuguesa: habilidades e especificação das habilidades; Matemática: competências e habilidades. Orientação para o professor Texto-Base Enunciado Alternativas Comentário sobre o item FIGURA 2

34 Veja a seguir exemplos de itens da Provinha Brasil e as partes que os compõem. Exemplo 1: 32

35 Exemplo 2: 33

36 3.1 Etapas para Elaboração de um Item A elaboração de itens objetivos depende da observação de critérios que conjugam aspectos técnicos e pedagógicos, entre os quais se destacam: I. Conhecimento da Matriz de Referência O primeiro passo para iniciar a construção de um item é o conhecimento global da Matriz de Referência. Nesse sentido, é importante que o elaborador leia cada habilidade e suas especificações (no caso da Matriz de Referência de Língua Portuguesa) ou competências e habilidades (no caso da Matriz de Referência de Matemática) procurando compreender o que é avaliado pela Provinha Brasil. II. Seleção da habilidade Em seguida, recomenda-se a seleção de uma única habillidade (Matemática) ou a descrição da habilidade (Língua Portuguesa) entre o conjunto de habilidades/descritores avaliados. É importante destacar que cada item deve ter como foco apenas uma única habilidade ou a especificação dela. 34 III. Construção do problema Após a seleção do descritor, é indicado que o elaborador construa o problema baseado na habilidade escolhida para, em seguida, selecionar o texto-base esta é uma etapa muito importante do processo de elaboração de item, visto que o tipo de texto-base selecionado influenciará, em grande medida, o nível de dificuldade (complexidade) do item. Recomenda-se que o texto-base seja retirado das mais variadas fontes de circulação social: jornais, revistas, livros, cartazes informativos, sites, etc. Não é permitida a utilização de livros didáticos ou paradidáticos como fontes para a elaboração de itens ou seleção de textosbase. Além disso, a seleção do texto-base deve observar: escolha de gêneros textuais diversos; situações ou contextos comunicativos mais próximos à realidade; temáticas ligadas ao contexto infantil; se possível, considerar o cotidiano dos alunos. Exemplo 1: Neste item, o texto-base é uma poesia de autoria da Cecília Meireles, um texto simples e curto, que se revela adequado tanto para o público ao qual a Provinha Brasil se destina quanto para avaliar o descritor D.6.1 da Matriz de Referência (Língua Portuguesa).