DEVOLUTIVAS PEDAGÓGICAS DAS AVALIAÇÕES DE LARGA ESCALA. Fundamentação Teórica e Metodológica

Transcrição

1 DEVOLUTIVAS PEDAGÓGICAS DAS AVALIAÇÕES DE LARGA ESCALA Fundamentação Teórica e Metodológica Ministério da Educação Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) Diretoria de Avaliação da Educação Básica - Daeb

2 Sumário Apresentação... 3 Os objetivos da Educação... 4 Os objetivos da educação e a pedagogia das competências... 5 A base teórica da metodologia utilizada nas análises dos itens... 7 A definição da operação mental na sentença descritora do item... 9 Por que utilizar uma taxonomia?... 9 A Taxonomia de Bloom Revisada A metodologia utilizada nas análises dos itens A confecção da sentença descritora e de sua expansão A sentença descritora O comentário pedagógico Exemplos de Itens Comentados Língua Portuguesa (Leitura) 5º ano do Ensino Fundamental Língua Portuguesa (Leitura) 9º ano do Ensino Fundamental Língua Portuguesa (Leitura) 3ª série do Ensino Médio Matemática 5º ano do Ensino Fundamental Matemática 9º ano do Ensino Fundamental Matemática 3ª série do Ensino Médio Considerações Finais Referências Bibliográficas... 28

3 Apresentação O projeto Devolutivas Pedagógicas das Avaliações de Larga Escala, iniciativa do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), em parceria com a ONG Todos pela Educação, Associação Brasileira de Avaliação Educacional (ABAVE), Fundação Lemann, Itaú BBA e Instituto Unibanco, tem como foco principal aproximar as avaliações externas de larga escala do contexto escolar, tornando-as mais relevantes para o aprendizado dos estudantes. A matéria prima dessa iniciativa são os itens utilizados nos testes que compõem as avaliações de larga escala, os quais são descritos e comentados por especialistas a partir de informações quantitativas e pedagógicas, destacando para o professor e demais usuários vários aspectos importantes do ensino/aprendizagem que poderão subsidiar a atuação em sala de aula. O objetivo geral desse projeto é oferecer uma forma efetiva de vinculação curricular das habilidades aferidas pelos testes, possibilitando a utilização dos seus resultados pelo professor em sala de aula com vistas a aprimorar a aprendizagem dos alunos. Os objetivos específicos do Projeto são: 1. Tornar explícito para os professores e gestores das redes de ensino a forma como os conhecimentos e as habilidades são verificados pelos itens utilizados nos testes das avaliações do Sistema de Avaliação da Educação Básica (Saeb). 2. Facilitar a apropriação pelos professores e equipe gestora dos resultados das avaliações em larga escala. 3. Colaborar com os professores em suas atividades de ensino, disponibilizando insumos relevantes para o planejamento das ações em sala de aula. 4. Contribuir para a melhoria da aprendizagem dos estudantes brasileiros da educação básica. O projeto está ancorado na construção de um Banco de Dados Pedagógicos contendo os itens de testes aplicados em ciclos anteriores da avaliação da educação básica acompanhados de análises pedagógicas que consideram também as informações estatísticas obtidas a partir das respostas dadas pelos alunos. Esse banco está disponível em uma plataforma eletrônica de acesso aberto aos professores, gestores escolares e ao público em geral. O trabalho de elaboração das análises pedagógicas dos itens foi realizado com base em um arcabouço teórico amplamente debatido entre especialistas em educação 3

4 diretamente envolvidos na construção do banco de dados pedagógicos. Este arcabouço, além de embasar a produção das análises e comentários pedagógicos, pretende instituir uma linguagem comum fundamentada que permita aprimorar o entendimento e a comunicação entre os usuários desse material. Este documento pretende explicitar esse arcabouço teórico e a metodologia adotada nesta atividade. Os objetivos da Educação A educação no Brasil, fundamentada na Constituição Federal, é claramente amparada em princípios que buscam uma sociedade mais justa, conforme disposto em seu artigo 205: Art A educação, direito de todos e dever do Estado e da família, será promovida e incentivada com a colaboração da sociedade, visando ao pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho. Seguindo os mesmos princípios, a Lei de Diretrizes e Bases menciona, em seu artigo 2º: Art. 2º - A educação, dever da família e do Estado, inspirada nos princípios de liberdade e nos ideais de solidariedade humana, tem por finalidade o pleno desenvolvimento do educando, seu preparo para o exercício da cidadania e sua qualificação para o trabalho. Embora a especificação dos objetivos da educação nestes dois textos legais seja valorosa para se estabelecer uma visão da educação, ela não é suficientemente detalhada para orientar a formulação de projetos educacionais. A Resolução CNE/CEB nº 4, de 13 de julho de 2010, que define as Diretrizes Curriculares Nacionais Gerais para a Educação Básica (DCNGEB) já apresenta um maior detalhamento dos objetivos, sobretudo em relação aos preceitos básicos que devem nortear a formulação dos projetos educacionais. Os critérios III e V, prescritos para a organização da matriz curricular, apontam que tal organização deverá ser pautada na interdisciplinaridade, na contextualização e em conteúdos e atividades de aprendizagem, de métodos, procedimentos, técnicas e recursos didáticopedagógicos, entendendo que a articulação interdisciplinar seja necessária para o desenvolvimento não apenas de conhecimentos, mas também de habilidades, valores e práticas (Brasil, 2010). A Avaliação da Aprendizagem Institucional interna e externa e das redes de Educação Básica aparecem nas DCNGEB como um dos pilares utilizados na organização de seus elementos constitutivos. A avaliação externa da educação básica brasileira é feita pelo Sistema de Avaliação da Educação Básica (Saeb), instituído pelo Ministério da Educação (MEC) em 1990, cujo principal objetivo é avaliar a qualidade do ensino ministrado nas escolas púbicas brasileiras, a partir da aplicação de testes que medem o 4

5 desempenho dos estudantes, combinados com questionários que fornecem informações sobre as condições em que ocorre a educação básica. Em 2005 foi incorporada ao Sistema a avaliação censitária do desempenho dos estudantes (Prova Brasil). A concepção dos testes da Prova Brasil/Saeb se baseia em um desenho que associa a aprendizagem dos conteúdos à aquisição de habilidades e competências cognitivas no processo de construção do conhecimento (Araújo e Luzio, 2005). Os itens que compõem os testes são elaborados com base em matrizes de referência, nas quais foram definidos descritores que associam determinados conteúdos curriculares (tópicos e temas) e operações mentais que indicam as habilidades a serem aferidas. Embora as especificações das avaliações externas não sejam, e não devam ser, de fato, orientadoras de currículos, elas podem fornecer informações sobre os objetivos educacionais, já que abordam, em geral, pontos considerados fundamentais no ensino/aprendizagem dos anos em avaliação. Os objetivos da educação e a pedagogia das competências O processo educativo esteve durante muito tempo conectado a modelos que preconizam o conhecimento como algo que os detentores doam aos não detentores, fazendo do professor um mero doador de informações pré-definidas a seus alunos. A abordagem da pedagogia por competências surgiu no final do século XX como alternativa para tentar resolver esse problema. O cerne dessa abordagem reside na mudança da relação da escola com o saber, rompendo a lógica extensiva, enciclopedista e inerte da relação com o saber em favor de uma lógica integradora, mobilizadora e atuante da relação dos cidadãos com esse mesmo saber (Perrenoud, 2013). A definição de competência é muito heterogênea, com ampla variedade de sentidos atribuídos ao conceito, dependendo, sobretudo, da perspectiva científica e do ponto de vista ideológico do autor. Entretanto, Weinert (1999) afirma ser possível perceber um núcleo semântico comum capturado pelo uso dos termos capacidade, aptidão, competência, efetividade e habilidade. Denyer e colaboradores (2001) também destacam que, apesar da ampla variedade de definições de competência, não se observam contradições drásticas na ideia fundamental que aponta para um conjunto de elementos mobilizados pelos sujeitos para resolver uma dada situação com êxito. Assim, para Roldão (apud Dias, 2010), a competência emerge quando, diante de uma dada situação, o sujeito é capaz de mobilizar adequadamente diversos conhecimentos prévios, selecioná-los e integrá-los de forma ajustada à situação em questão. A competência exige a apropriação sólida e ampla de noções, conhecimentos, informações, procedimentos, métodos e técnicas que 5

6 permitem ao sujeito convocá-las quando se depara com diferentes situações e contextos. A OCDE (Organização para Cooperação e Desenvolvimento Econômico) liderou um projeto interdisciplinar amplo e abrangente, denominado Definition and Selection of Competences: Theoretical and Conceptual Foundations referenciado aqui como projeto DeSeCo que teve entre seus vários objetivos responder à seguinte questão: como conceituar e descrever os termos competências, competências-chave e habilidades? (Richen & Salganick, 2003). Como resultado, foi adotado pelo projeto DeSeCo um enfoque funcional do conceito de competência, segundo o qual as competências são estruturadas em torno de demandas e tarefas. Nesse entendimento, o cumprimento de tarefas complexas requer não apenas os conhecimentos e habilidades, mas também estratégias necessárias à aplicação desses conhecimentos e habilidades (componentes cognitivos), bem como emoções e atitudes apropriadas (componentes motivacionais, éticos, sociais e comportamentais). Baseados nesse entendimento, adotamos a seguinte definição de competência: Competência é a capacidade de por em ação um conjunto organizado de saberes (conhecimentos), de saber fazer (habilidades) e de atitudes que permitam a realização de certo número de tarefas complexas. Esse conceito de competência está apoiado na capacidade de realização de tarefas complexas. Os saberes podem ser entendidos como conhecimentos, referentes a informações, ideias e fatos adquiridos por diversos meios (por exemplo: observação, experiência, estudos, pesquisas). O termo saber fazer se refere à capacidade de usar os saberes para resolver tarefas relativamente mais simples e pode ser entendido como habilidade (traduzido do inglês skill ). A diferença entre os conceitos de competência e habilidade é muito tênue; o que os diferencia é o escopo de ação, ou seja, a complexidade da tarefa a ser resolvida. Habilidade é o saber fazer algo pontualmente, enquanto a competência é o saber fazer algo complexo, que demanda o uso harmônico de várias habilidades. Assim, cada competência relevante para a vida de um estudante está associada a um número muito grande de tarefas que ele deve saber realizar. As tarefas de uma competência, se listadas, comporiam uma lista muito grande. Entretanto, muitas dessas tarefas são similares, tanto do ponto de vista do conteúdo abordado, quanto do nível de exigência cognitiva. As tarefas similares simples podem ser agrupadas nas habilidades, o que permite que uma competência seja, então, 6

7 especificada pelas habilidades que a descrevem. À medida que mais habilidades são dominadas, níveis mais elevados de competência são alcançados. Uma importante premissa sobre a aquisição de competências é que se trata de um processo aprendido e contínuo ao longo da vida do sujeito e, portanto, não depende somente de seu esforço individual, mas de oportunidades e ambiente favoráveis. A base teórica da metodologia utilizada nas análises dos itens Nesta primeira etapa do projeto, as análises se referem aos itens das áreas de Matemática e Língua Portuguesa aplicados nos testes das avaliações da educação básica. Os itens foram elaborados com base nas matrizes de referência da avaliação. Para os testes do Saeb, as matrizes foram construídas a partir de consulta nacional aos currículos produzidos pelas secretarias estaduais de educação, além de professores e especialistas em avaliação. A opção teórica está baseada em habilidades e competências cognitivas, associadas a conteúdos de cada série (ou ano, a partir de 2007) e disciplina. A matriz de referência apresenta uma série de descritores do desempenho do aluno que representa o cruzamento ou associação entre os conteúdos curriculares e as operações mentais (competências e habilidades). A metodologia adotada na análise dos itens parte do pressuposto que de os descritores da matriz se desdobram em diferentes itens que requerem, para sua resolução, ações em níveis ainda mais particulares do que o previsto no texto do descritor. Para cada item analisado foi construída uma sentença descritora e um comentário pedagógico, com base nos entendimentos sobre os conceitos de competência e habilidade adotados. Assim, sendo a habilidade (ou saber fazer) traduzida como uma ação que se exerce a partir da mobilização de determinado conhecimento, uma forma esquemática de representá-la é a seguinte: Operação Mental HABILIDADE Objeto do Conhecimento 7

8 Ainda, considerando que a habilidade é exercida para resolver tarefas simples inseridas em contextos variáveis, definimos uma tarefa como sendo a soma dos três elementos representados no esquema abaixo, ou seja, a habilidade (operação mental ou ação + objeto do conhecimento ou saberes) em determinado contexto. TAREFA OPERAÇÃO MENTAL OBJETO DO CONHECIMENTO CONTEXTO O contexto pode ser entendido como o conjunto de circunstâncias no qual ocorre determinado fato. Esse conjunto pode ser material (um local físico, por exemplo) ou simbólico (por exemplo: o ambiente histórico e cultural). O contexto é, portanto, um conjunto de circunstâncias que ajuda a compreender ou decodificar uma dada mensagem. Nos itens que integram os testes do Saeb, o contexto é definido como a situação para a qual o respondente é transportado para que ele resolva o problema proposto, empregando elementos que situam e dão mais sentido à tarefa (BRASIL, 2011). Essa concepção dialoga com a de Stein (1998), o qual afirma que: situar uma aprendizagem significa colocar o pensamento e a ação em um lugar específico de significado, envolver os aprendizes, o ambiente e as atividades para produzir significado. Quando analisamos os itens verificamos que existe variação na complexidade das tarefas. Itens com tarefas mais complexas podem exigir mais de uma habilidade, e, portanto, mais de uma operação mental e mais de um objeto de conhecimento. Nas sentenças descritoras, é dado foco na operação mental principal do item, mas não se desconsideram as possíveis ações secundárias que podem agregar dificuldade ao item. Assim, para abarcar essa possível complexidade, na elaboração da sentença descritora foi necessário agregar um quarto elemento, denominado complemento. Esse elemento inclui informações pormenorizadas e particularidades relativas a ações secundárias, conteúdos e até mesmo situações que justifiquem seus diferentes níveis de dificuldade empírica. Com a inclusão desse quarto elemento, a tarefa passa a definida como: 8

9 TAREFA OPERAÇÃO MENTAL OBJETO DO CONHECIMENTO COMPLEMENTO CONTEXTO A definição da operação mental na sentença descritora do item A definição da operação mental que compõe a sentença descritora confeccionada para os itens está baseada na Taxonomia dos Objetivos de Aprendizagem de Bloom, revista por Anderson & Colaboradores (2001). A Taxonomia original de Bloom foi publicada em 1956, sendo amplamente utilizada como base para o desenvolvimento de currículos e para o planejamento de testes cognitivos. De fato, ela nasceu de uma demanda de professores e pesquisadores por uma linguagem comum para classificar os objetivos de aprendizagem dos estudantes, de modo a possibilitar trocas de ideias, procedimentos e mesmo de itens usados em testes educacionais (Krathwohl, 2002). Eles propuseram, na época, o estabelecimento de um vocabulário padronizado para indicar o que um determinado item pretendia medir. Por que utilizar uma taxonomia? A opção de se utilizar a Taxonomia na construção da metodologia de produção das informações pedagógicas do nosso banco de itens é também a de uniformizar o vocabulário. Nosso principal objetivo é explicitar e compartilhar informações detalhadas mostrando o que os itens dos testes aplicados no Saeb vêm medindo ao longo das edições da avaliação. O termo Taxonomia tem origem em um ramo da Biologia que trata da classificação lógica e científica dos seres vivos, criado a partir dos trabalhos do médico e botânico sueco Carolus Linnaeus. Outras áreas do conhecimento tomaram emprestado o termo, utilizando-o como um instrumento que permite colocar, recuperar e comunicar informações dentro de um sistema embasado em alguma premissa lógica. Desse modo, não existe uma taxonomia certa ou errada e sim taxonomias construídas a partir das características que melhor servirem a um determinado propósito. 9

10 Para ilustrar como funciona uma taxonomia, emprestamos um exemplo da Botânica, ramo da biologia que se ocupa do estudo das plantas. No sistema de classificação dos seres vivos existem sete categorias, dentre as quais as três citadas no Quadro 1. Quadro 1. Classificação botânica de uma árvore conhecida como Ipê rosa. Família Gênero Nome Científico Nomes Populares Bignoniaceae Tabebuia Tabebuia heptaphylla Ipê roxo de sete folhas, ipê rosa, ipê, pau d arco rosa, piúva. Os nomes da Família, Gênero e da Espécie (nome científico) são fixos e foram determinados com base nas regras do sistema de classificação usado. É exatamente essa classificação que permite que os especialistas em botânica do mundo inteiro consigam reconhecer a planta, pois sabem quais são as características da família e do gênero em questão. Entretanto, para uma pessoa que não tem o conhecimento sobre a taxonomia botânica, os nomes das categorias são insuficientes para o reconhecimento da planta. Os nomes populares podem ajudar no reconhecimento para aqueles que já conhecem a árvore. A descrição detalhada da árvore, ou seja, a lista de características que são exclusivas dessa espécie agrega informações que permitem que ela seja reconhecida até mesmo por aqueles que não conhecem os nomes populares. Vejamos o exemplo: 10

11 Nome Científico: Tabebuia heptaphylla 1 Toledo (Vell.) Nomes populares: ipê roxo de sete folhas, ipê rosa, ipê. Originária da Mata Atlântica, no Brasil, ocorre também em outros países da América do Sul. Árvore de aproximadamente 20 m de altura; possui um tronco com casca rugosa em forma de placas. Tem excelente potencial econômico, sendo própria para construção, paisagismo e reflorestamento. Devido ao extrativismo desordenado de sua madeira, consta na lista de plantas ameaçadas de extinção do Estado do Paraná. As folhas compostas, digitadas, têm 5 a 7 folíolos em forma de lança, serreados na margem, com consistência membranácea, medindo aproximadamente 7 cm de comprimento cada. Por essa característica, seu nome popular está associado ora ao número de folíolos ora ao colorido das flores. As flores vistosas medem de 5 a 8 cm de comprimento e formam inflorescências densas. O fruto seco, do tipo cápsula, bastante alongado, de aproximadamente 20 cm, abriga numerosas sementes leves de alas membranáceas, que facilitam a dispersão pelo vento. No jardim Botânico do Rio de Janeiro são encontrados numerosos exemplares, distribuídos em vários canteiros. No período de floração de julho a setembro -, o colorido das flores alegra a paisagem e os visitantes. Nessa ocasião, as árvores perdem a folhagem, o que lhes confere uma característica toda peculiar. De modo similar, a Taxonomia que estamos usando para descrever os itens foi criada com base em premissas e evidências colhidas de diversas áreas, como psicologia, neurologia, neurolinguística e pedagogia. As categorias não podem ser alteradas, a menos que se queira criar uma nova taxonomia. Assim, a descrição de um item com base em uma Taxonomia permite que os especialistas das áreas reconheçam a ação que o item requer do estudante. Entretanto, vários itens podem requerer a mesma ação e, para diferenciá-los, é necessário agregar novos elementos na sua descrição, de modo a construir uma identidade para cada um. Vamos detalhar cada 1 Guia de Árvores notáveis: 200 anos do Jardim Botânico do Rio de Janeiro. Andre Jakobisson Estúdio Editorial. Rio de Janeiro, RJ

12 um dos elementos que compõe a análise confeccionada para os itens, iniciando pelos verbos retirados da Taxonomia de Bloom revista. A Taxonomia de Bloom Revisada A Taxonomia de Bloom, revista por Anderson & Colaboradores (2001) é construída com base em duas dimensões: o processo cognitivo (ou operação mental) e o conhecimento. A dimensão Processo Cognitivo contém seis categorias: lembrar, compreender, aplicar, analisar, avaliar e criar, ordenadas em sequência crescente de complexidade. Já a dimensão Conhecimento contém quatro categorias: factual, conceitual, procedimental e metacognitivo, também ordenadas em sequência crescente de complexidade. A intersecção entre as duas dimensões representa o que os autores chamam de objetivos declarados ( stating objectives ), compostos pelo verbo que designa a operação mental e um substantivo que designa o conhecimento. O Quadro 2 ilustra a relação entre as duas dimensões. Quadro 2. As duas dimensões da Taxonomia revisada de Bloom (Anderson et. al., 2001) Categorias da Dimensão Processo Cognitivo As operações mentais Segundo Anderson e colaboradores (2001), o uso da Taxonomia original na análise dos currículos e exames vigentes à época indicou a ênfase desses instrumentos no processo cognitivo da categoria Lembrar e a ausência de ênfase nas demais categorias. Tal ênfase tem relação com a retenção das informações apresentadas na memória do estudante, para que possam ser recuperadas em algum momento posterior, geralmente de forma muito similar à originalmente apresentada. 12

13 Entretanto, a capacidade de usar o que foi retido para resolver novos problemas ou para facilitar o aprendizado de novidades requer mais do que a recuperação de informação, requer a capacidade de transferência. Dito de outra forma, a retenção requer a lembrança de algo aprendido, enquanto a transferência requer que essa lembrança faça sentido e possa ser usada em novas situações. A Taxonomia revisada, segundo seus autores, busca ampliar a ênfase dos objetivos educacionais na promoção de capacidade de transferência, focando no que eles chamam de aprendizagem significativa (meaningful learning) ou aprendizagem como construção de conhecimento. Assim, das seis categorias da dimensão Processo Cognitivo, uma enfatiza a retenção de informação (categoria Lembrar ) e as demais enfatizam a transferência. Entretanto, é importante mencionar que as operações mentais englobadas na categoria Lembrar é essencial para a aprendizagem significativa e resolução de problemas, na medida em que conhecimento recuperado é usado para resolver tarefas mais complexas. No Quadro 3 são fornecidos detalhes sobre as seis categorias, com uma lista de dezenove processos cognitivos específicos, suas definições e exemplos de objetivos educacionais e de tarefas de avaliações. A sugestão é que a leitura dos exemplos seja precedida pela seguinte frase: O estudante é capaz de.... Além dos dezenove verbos que representam os processos cognitivos específicos, há uma coluna com verbos alternativos ou correlatos que ampliam as possibilidades de ajuste às especificidades de tarefas nas diferentes áreas do conhecimento. Na metodologia que foi utilizado, os verbos correlatos entre colchetes foram acrescentados pela equipe que elaborou os comentários, pois alguns verbos disponíveis na Taxonomia revista não comunicavam com clareza algumas tarefas. 13

14 Quadro 3. As seis categorias da Dimensão Processo Cognitivo (Anderson et al. 2001) Categorias e processos cognitivos Verbos correlatos Definições e exemplos 1. Lembrar (Remember) Recuperar conhecimento relevante da memória de longo prazo 1.1. Reconhecer (Recognizing) 1.2. Recordar (Recalling) Identificar, [localizar] Recuperar Localizar conhecimento na memória de longo prazo, consistente com o material apresentado (ex. reconhecer as datas de eventos históricos importantes). Recuperar conhecimento relevante da memória de longo prazo (ex. recordar as datas de eventos históricos importantes). 2. Compreender (Understand) Construir significados a partir de mensagens instrucionais, incluindo comunicação oral, escrita e gráfica Interpretar (Interpreting) 2.2. Exemplificar (Exemplifying) 2.3. Classificar (Classifying) 2.4. Sintetizar (Summarizing) 2.5. Inferir (Inferring) 2.6. Comparar (Comparing) 2.7. Explicar Explaining Clarificar, parafrasear, representar, traduzir, [converter]ilustrar, esclarecer Categorizar, agrupar Resumir, generalizar Concluir, extrapolar, interpolar, prever Contrastar, mapear, corresponder, [associar], [relacionar] Construir modelos Mudar de uma forma de representação para outra (ex. parafrasear documentos e discursos importantes). Encontrar um exemplo específico ou ilustração de um conceito ou princípio (ex. dar exemplos de artistas com estilos de pintura variados). Determinar que algo pertence a uma categoria (Classificar casos observados ou descritos de desordem mental), Resumir um tema geral ou pontos principais (ex. escrever um resumo curto de eventos apresentados em vídeos). Inferir princípios gramaticas em língua estrangeira (ex. extrair uma conclusão lógica a partir de uma informação apresentada). Detectar correspondências entre duas ideias, objetos e semelhantes (ex. comparar eventos históricos a situações contemporâneas). Construir um modelo de causa e efeito em sistemas (ex. explicar as causas de eventos importantes na França, no século XVIII). 3. Aplicar (Apply) Conduzir ou usar um procedimento em determinada situação Executar (Executing) Consumar, cumprir, Aplicar um procedimento a uma tarefa familiar 2 (ex. dividir números inteiros, ambos com múltiplos dígitos). [calcular], [determinar], [realizar], [resolver], [estimar]utilizar, [usar] 3.2. Implementar( Implementing) Aplicar um procedimento a uma tarefa não familiar (ex. determinar e quais situações se aplica a segunda Lei de Newton). 4. Analisar (Analyze) Decompor em partes constituintes e determinar a relação entre elas e com a estrutura ou propósito global Diferenciar (Differentiating) Discriminar, distinguir, Distinguir partes relevantes de partes irrelevantes (ex. distinguir entre números relevantes e irrelevantes em um problema matemático). focar, selecionar Determinar como elementos se ajustam ou funcionam em uma estrutura (ex. estruturar evidência em uma descrição histórica em 4.2. Organizar (Organizing) Encontrar coerência, evidencias pró e contra uma explicação histórica particular). integrar, delinear, 4.3. Atribuir (Attributing) estruturar, analisar Desconstruir Determinar um ponto de vista, tendência, valores ou intenção subjacente (ex. determinar o ponto de vista do autor de um ensaio em termos de sua perspectiva política). 2 Em um teste em larga escala, não temos evidências suficientes para classificar um item como familiar ou não familiar. Dependendo das experiências dos participantes do teste durante o processo escolar, um mesmo item pode ser familiar para um determinado grupo e não familiar para outro grupo. Segundo Schoenfeld 2 (2007, p. x,xi) no livro Assessing mathematical proficiency, se problemas semelhantes são utilizados ano após ano, os professores e os alunos aprendem quais eles são, e os alunos os praticam: os problemas se tornam exercícios, e o teste não avalia a resolução de problemas. Logo, para a construção dos comentários, optamos por uma classificação deste tipo de itens apenas pela categoria Aplicar, utilizando os verbos correlatos listados no Quadro 3, e atribuindo um sentido amplo ao termo problema, podendo envolver situações familiares e não familiares. 14

15 5. Avaliar (Evaluate) Fazer julgamentos com base em critérios e padrões Verificar (Checking) Coordenar, detectar, Detectar inconsistências ou falhas dentro de um processo ou produto, determinando se o processo ou produto apresenta consistência monitorar, testar interna, detectando a efetividade de um procedimento, na medida em que é implementado (ex. determinar se a conclusão de um cientista 5.2. Criticar (Critiquing) Julgar segue o dado observado). Detectar inconsistências ou falhas entre um produto e critérios externos, determinando se o produto apresenta consistência externa, detectando a adequação de um procedimento para determinado problema (ex. julgar qual de dois métodos é melhor para resolver determinado problema). 6. Criar (Create) Colocar elementos juntos para formar um todo funcional; reorganizar elementos dentro de um novo padrão ou estrutura Gerar (Generating) 6.2. Planejar (Planning) 6.3. Produzir (Producing) Fazer hipótese Designar Construir Apresentar hipóteses alternativas baseadas em critérios (ex. gerar hipóteses para avaliar um fenômeno observado). Elaborar procedimento para acompanhar determinada tarefa (ex. planejar um artigo sobre determinado tópico histórico). Inventar um produto (Construir habitats para propósitos específicos). 15

16 Os Conhecimentos Nessa Taxonomia, a dimensão Conhecimentos contem quatro grandes categorias, explicadas abaixo. Embora essas categorias representem uma classificação muito bem organizada, nesse projeto não adotamos essa terminologia por consideramos a necessidade de explicitar e detalhar para os professores quais e como os objetos de conhecimento tem sido abordados nos itens que compõe os testes do Saeb. 1. Conhecimento Factual se refere ao conhecimento de elementos isolados de conteúdos, tais como certos termos e fatos. Engloba os elementos básicos usados pelos especialistas das disciplinas acadêmicas, usualmente associados a referências concretas ou símbolos que transmitem informações. Como exemplos desse tipo de conhecimento podemos citar o alfabeto, termos científicos, símbolos usados em mapas, nomes de lugares, pessoas, eventos e fatos variados que tenham alguma relevância. 2. Conhecimento Conceitual se refere a conhecimentos mais amplos e organizados em grupos estruturados, categorias e classificações que têm alguma relação entre si, como, por exemplo, princípios, modelos, teorias e leis fundamentais em diferentes áreas do conhecimento. 3. Conhecimento Procedimental se refere a como fazer algo, geralmente envolvendo séries ou sequencias de passos a serem seguidos, tais como métodos de investigação, critérios para o uso de algoritmos, técnicas e procedimentos específicos de determinados assuntos ou disciplinas. Ressalta-se que esse conhecimento representa tão somente o conhecimento dos procedimentos e não necessariamente o seu uso. 4. Conhecimento Metacognitivo se refere ao conhecimento da cognição em geral e à consciência e conhecimento do próprio conhecimento. Inclui o conhecimento de estratégias de aprendizagem e pensamento, de tarefas cognitivas (quando e porque utilizar certas estratégias) e o autoconhecimento (componentes cógnitos e motivacionais do desempenho). 16

17 A metodologia utilizada nas análises dos itens A confecção da sentença descritora e de sua expansão A sentença descritora Para cada item analisado foi construída uma sentença que descreve a tarefa demandada pelo item que representa a concretização de uma habilidade. Assim, essa sentença denominada sentença descritora é composta pelos elementos constitutivos da tarefa, quais sejam: 1. A operação mental - traduz as ações requeridas ao estudante para que ele execute a tarefa proposta pelo item. A operação mental explicita o que foi realizado em termos cognitivos, da ordem do pensamento. A escolha do verbo que traduz a ação executada é embasada na Taxonomia de Bloom revisada, ou seja, o verbo usado deve estar relacionado na lista das categorias e processos cognitivos apresentados no Quadro O objeto do conhecimento - refere-se aos conteúdos curriculares mobilizados no item para que o estudante execute a operação mental visando a sua resolução. Pressupõe a identificação e o domínio dos conteúdos das diversas áreas do conhecimento presentes nas propostas curriculares e busca se aproximar do que os educadores têm desenvolvido em sala de aula, nas escolas. 3. O complemento do objeto do conhecimento De uma maneira geral agrega informações que detalham mais as características do item, principalmente em relação às especificidades objeto de conhecimento, além de contribuir para distinguir sentenças descritoras para itens similares, mas localizados em níveis diferentes da escala de proficiência. 4. O contexto - refere-se às situações envolvidas na tarefa demandada pelo item, empregando elementos que representam uma possibilidade de aplicação desse conhecimento ao solicitar uma operação mental. O contexto pode ser entendido como a situação criada ou forjada para estabelecer relações entre os conhecimentos tradicionalmente veiculados na escola e a vida dos estudantes (BRASIL, 2011). Considerando que cada área do conhecimento estabelece 17

18 relações com conhecimentos e situações variadas, os contextos adotados são distintos em cada uma delas. Em Língua Portuguesa, o contexto é convencionalmente entendido como o gênero textual ou discursivo predominante no texto-base. Os contextos em Matemática são classificados em dois tipos: Contexto matemático situações dentro da própria área de conhecimento. Contexto extra matemático situações do mundo real, envolvendo situações pessoais (atividades de uma pessoa, de sua família ou de algum grupo ao qual pertence) profissionais (atividades envolvendo trabalho) ou outras criadas para testar determinada habilidade. O comentário pedagógico Para agregar informações sobre o item, o tópico comentário pedagógico incorpora mais detalhes sobre o item, esmiuçando suas características específicas, com base nos dados estatísticos obtidos a partir das respostas dos participantes dos testes. Nesse tópico são apresentadas as curvas do item, com destaque para o percentual de acerto e o comportamento de cada alternativa com relação às proficiências. Os dados estatísticos dos itens Os itens são tarefas do teste já aplicadas e, portanto, analisadas sob o ponto de vista estatístico. Nas avaliações de larga escala desenvolvidas pelo Inep, são produzidas informações baseadas em duas Teorias que compreendem conceitos e técnicas de medidas psicométricas: a Teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI). Essas duas teorias possuem focos distintos, mas podem ser consideradas complementares. A TCT constrói atributos para os itens que compõem um teste específico, a partir da análise do desempenho do conjunto de seus participantes. A TRI, por outro lado, situa parâmetros invariantes em escalas de proficiência que permitem comparações entre participantes de testes realizados em diferentes locais e ciclos. A escala de proficiência, construída com base na TRI, atribui a cada item de teste uma posição que reflete o seu grau de dificuldade empírica 18

19 (observada). A diferença dessa abordagem em relação à TCT é que os resultados que da TRI só dependem dos itens do teste e não ao conjunto de participantes do teste. As informações extraídas das análises estatísticas fornecem pistas valiosas para o entendimento das características pedagógicas dos itens associadas ao seu comportamento frente aos respondentes, as quais são exploradas nos comentários pedagógicos elaborados para os itens. Os dados estatísticos provenientes da Teoria Clássica dos Testes (TCT) são apresentados em uma tabela, como a mostrada abaixo: ÍNDICES PROPORÇÕES DE RESPOSTA COEFICIENTES BISSERIAIS GAB DIFI DISCR ABAI ACIM BISSE A B C D A B C D D A sigla GAB indica o gabarito do item (D no exemplo da tabela) e os demais atributos utilizados para a composição de comentários pedagógicos são: DIFI: índice de dificuldade, representando o percentual de acertos na questão (23%). DIFI 0.23 DISCR: índice de discriminação, significando a diferença entre os percentuais de acerto dos 27% de alunos de maior desempenho e dos 27% de alunos de menor desempenho. Um índice de discriminação muito baixo (menor que 0.25) significa que o item não separou adequadamente os alunos de maior e menor desempenho. Um índice de discriminação negativo indica que os alunos de menor desempenho tiveram um percentual de acerto maior do que os de maior desempenho. DISCR 0.38 ABAI - ACIM: abaixo e acima indicam, respectivamente, os percentuais de acerto no grupo de menor desempenho (grupo inferior) e no de maior desempenho (grupo superior). ABAI ACIM

20 BISE: coeficiente de correlação bisserial (entre -1 e 1) entre o acerto no item e escore no teste. É desejável que tal índice seja superior a BISE 0.54 Percentuais de Resposta: indicam os percentuais de escolha por opção de resposta A, B, C, D, para a 5ª e 9ª anos do EF e A, B, C, D, E para a 3ª série do Ensino Médio. A B C D Coeficientes Bisseriais: coeficientes das correlações bisseriais entre cada opção de resposta (A, B, C, D ou A, B, C, D, E) e o escore no teste. Esses coeficientes devem ser positivos para a opção correta (gabarito) e, desejavelmente, negativos para as demais. A B C D As estatísticas obtidas pela Teoria da Resposta ao Item (TRI) são apresentadas em dois gráficos que acompanham cada item: A B 20

21 Gráfico A - O eixo horizontal refere-se à proficiência e o eixo vertical refere-se à probabilidade de acerto do item, que varia de 0 a 1. A linha verde indica a proporção de acertos em função da proficiência do estudante e é chamada de curva característica do item, (ou curva logística). Trata-se de uma função que deve ser crescente, ou seja, quanto maior a proficiência do estudante, maior a probabilidade dele acertar o item. A modelagem utilizada no Saeb para o item de múltipla escolha é uma função logística de três parâmetros, representados pelas letras a, b e c. O parâmetro (ou coeficiente) a é também chamado de coeficiente TRI de discriminação (não é o mesmo índice de discriminação (DISCR) da TCT). O coeficiente b indica o nível de dificuldade do item, pois aumentos em tal parâmetro promovem o deslocamento da curva logística para a direita. O parâmetro c indica, em geral, a probabilidade de acerto do item por parte dos examinandos que possuem baixa proficiência, comumente denominado de parâmetro TRI de acerto ao acaso. Esses parâmetros não estão apresentados na plataforma eletrônica do Devolutivas, mas estão implícitos na modelagem da curva característica do item. A curva laranja, em forma de sino, representa a curva de informações do item, a qual mostra a evolução das proporções de resposta em relação à proficiência. Gráfico B O eixo horizontal refere-se à proficiência e o eixo vertical refere-se à proporção de respostas em cada uma das alternativas do item, por isso cada alternativa está representada por uma curva, sendo o gabarito sempre representado pela cor preta. Esse gráfico mostra, portanto, o comportamento das respostas em relação às proficiências dos estudantes. Exemplos de Itens Comentados Apresentamos, agora, exemplos de itens descritos e comentados das duas áreas e de cada etapa de ensino. Esses exemplos representam reproduções do que se encontra disponível na plataforma de divulgação do trabalho. 21

22 Língua Portuguesa (Leitura) 5º ano do Ensino Fundamental. O item apresenta para leitura uma carta institucional, que tem a função social de comunicar fatos e dar informações ao público a que se destina. Esse gênero se estrutura com uma saudação inicial a um destinatário, o corpo do texto e uma despedida com a assinatura do remetente. O item requer do aluno a habilidade de inferir que a carta tem o objetivo de convencimento dos pais. Aquele que tem leitura orientada nesse gênero reconhece as marcas linguísticas da sua estrutura: quem (remetente) se dirige a quem (destinatário), o que é informado e com qual objetivo. Assim, entende que a instituição escolar é a remetente da carta, que tem o objetivo comunicativo de solicitar que os pais cooperem com a iniciativa da escola para angariar fundos, em uma festa. Para realizar a tarefa com sucesso, ele deve ter a compreensão global do texto. Marcaram a resposta correta (C) 46% dos respondentes. No grupo de maior desempenho (ACIM), o índice de acertos foi de 81%, e no de menor desempenho (ABAI), 18%. A diferença entre os dois grupos é de 63%, o que indica que o índice de discriminação é bom, pois distingue bem os estudantes ao longo da escala de desempenho. O gráfico de comportamento das respostas em relação à proficiência dos alunos, à direita, mostra que a marcação da alternativa A ficou acima da marcação do gabarito no ponto 125, com 38% de escolhas. Os participantes que optaram por esse distrator, possivelmente, reconheceram apenas uma parte das informações e não conseguiram inferir o objetivo de convencimento. Essa alternativa decresce a partir daí e o gabarito tem uma elevação significativa, com 46% de marcação dos participantes no ponto 175. Os dados indicam que à medida que melhora a proficiência, se eleva o índice de acertos. O item foi classificado na escala no nível 200, o que indica a probabilidade de que 69% dos alunos desse nível são capazes de reconhecer o objetivo comunicativo do texto em uma carta institucional. 22

23 Língua Portuguesa (Leitura) 9º ano do Ensino Fundamental. O item avalia a habilidade de diferenciar opiniões sobre o mesmo fato histórico. Ela exige que os alunos percebam o caráter de cada uma para compará-las e definir em que aspecto elas se diferenciam. É uma habilidade complexa, pois envolve mais de uma etapa no processamento da leitura. O texto-base é um cartaz que apresenta, lado a lado, trechos de entrevistas de dois historiadores sobre o descobrimento do Brasil. O tema pertence aos conteúdos curriculares desde as séries iniciais, o que facilita a comparação, geralmente uma operação mental complexa para os estudantes. O texto-base traz também a foto dos dois estudiosos entrevistados, o que ajuda os alunos a se familiarizarem com o autor de cada opinião. O item apresenta percentual de acerto de 70%, revelando consistência entre os alunos que o acertaram e o desempenho no teste. A proporção de acertos no grupo de estudantes com maior desempenho foi alta (96%) e no de menor desempenho, baixa (37%). A diferença de 59% revela que o item estabeleceu uma significativa discriminação entre os dois grupos. Os estudantes que foram atraídos pelos distratores A (11%) e D (10%) provavelmente fizeram uma leitura superficial e incompleta do texto-base, já que não identificaram diferenças entre as duas posições. Isso revela dificuldade em relação a essa habilidade, porque o subtítulo traz a palavra polêmica, que tem o sentido de controvérsia, debate, discussão. Essa pista remete à discordância de posturas acerca de determinado assunto e deveria ser um facilitador. Além disso, muitos livros didáticos já defendem que o Brasil não foi "descoberto" por acaso, o que poderia também colaborar para o acerto. O item está situado no nível 225 da escala de proficiência. O gabarito foi o menos escolhido no nível 125, porém cresceu rapidamente nas preferências e, já no nível 175, foi a resposta predominante, com 36% de escolhas. A partir daí, seguiu trajetória ascendente até atingir 99% no nível 325. Os distratores A e D foram mais assinalados pelos alunos de menor proficiência, mas apresentaram queda já no nível médio: o A atraiu 40% dos alunos no nível 125 e chegou a 11% no nível 225; e o D foi marcado por 28% dos alunos no nível 125 e chegou a 8% no nível 225. Esse resultado demonstra que a habilidade de diferenciar opiniões sobre o mesmo fato em entrevista, nas condições como se encontra neste item, já é apropriada por estudantes de média proficiência nesta etapa de ensino. 23

24 Língua Portuguesa (Leitura) 3ª série do Ensino Médio. O item avalia a habilidade de o aluno inferir a ideia central de um texto, no caso, um fragmento de um texto didático, por meio do estabelecimento de relação entre o seu sentido global e uma frase que expressa a ideia defendida pelo autor. Ele deve ser capaz de selecionar, dentre as ideias apresentadas, aquela que representa ou sintetiza o aspecto central discutido no fragmento. São necessárias inferências que preveem a associação das exigências dos consumidores em torno da saúde, dos bens de consumo e da tecnologia com a melhoria da qualidade de vida das pessoas. Nesse gênero textual, o autor expõe um tema de relevância social, de forma dissertativa, apresenta argumentos sobre o assunto abordado e expõe pontos de vista de estudiosos da área, favoráveis ou divergentes, sem a necessidade de posicionar-se. A linguagem é simples e o conteúdo, de fácil compreensão, principalmente pela enumeração de informações e exemplificações. Optaram pelo gabarito (D) 68% dos participantes do teste, sendo esses tanto de alta como de baixa proficiência. Essa alternativa foi a opção preferencial desde o nível 150, aumentando gradativamente e se consolidando no nível 275, com a probabilidade de 79% acertarem o item. O alto índice de acertos pode ter ocorrido porque a frase do gabarito aproxima-se semanticamente da que finaliza o texto. Nenhum distrator alcançou mais de 12% das respostas. A opção pelo B (12%) sugere que o participante mobilizou a habilidade de inferir uma informação com base em uma informação dada, mas que não representa, necessariamente, a ideia central do texto. 24

25 Matemática 5º ano do Ensino Fundamental. O item apresenta um problema do campo aditivo cuja resolução inclui a utilização de dados numéricos apresentados em uma tabela simples. Para solucioná-lo, o aluno deve interpretar o problema, ler a tabela para obter os dados e realizar a adição = Essa adição envolve reserva da ordem das unidades para a das dezenas e da ordem das dezenas para a das centenas, o que pode ter sido um dificultador para encontrar a resposta do item. O percentual de acertos do item foi de 43%. No grupo formado pelos alunos com menor desempenho no teste, esse percentual foi de 16%, considerado baixo. Já no constituído pelos alunos com maior desempenho, esse mesmo índice foi de 81%. A grande diferença entre os percentuais de acerto nesses dois grupos (65%) revela que o item teve uma alta capacidade de discriminação. O distrator A foi marcado por 15% dos respondentes, que provavelmente adicionaram apenas as quantidades de turistas que utilizaram carro ou ônibus ( = 1 039). A opção B teve 18% de marcações e, por sua vez, traz a soma que provavelmente foi obtida pelos que adicionaram apenas as quantidades de turistas que usaram carro, ônibus ou trem ( = 1 129). Já a C, com 19% de marcações, traz o resultado provavelmente obtido pelos estudantes que não consideraram os turistas que foram a Belomar de trem ( = 1167). Observa-se no gráfico "Proporção de escolha das alternativas em função da proficiência" que, entre os alunos com proficiência até o nível 150 da escala, os três distratores foram marcados em proporções consideráveis. Provavelmente, esses alunos cometeram erros na leitura e/ou na interpretação dos dados apresentados. No grupo de alunos com proficiência a partir do nível 175, o gabarito foi a opção preferencial. 25

26 Matemática 9º ano do Ensino Fundamental. O item apresenta a figura de um trecho de uma reta numérica, com marcações no intervalo de -0,5 a 0, com os pontos P e Q representando dois números desse intervalo. Para identificá-los, o aluno deve perceber que o intervalo [ 0,5, 0] foi subdividido em 5 partes iguais e que, portanto, as marcações consecutivas representam décimos. Seguindo a ordem crescente dos números decimais negativos, a partir de -0,5 e crescendo em um décimo, tem-se que os pontos das graduações da reta compreendidos entre -0,5 e 0 representam os números -0,4, -0,3, -0,2 e -0,1. A partir dessa constatação, ele chega à conclusão de que o ponto P representa o número racional -0,3 e o ponto Q, -0,2. O item foi acertado por 61% dos respondentes sendo que, para os que se encontram do nível 200 da escala em diante, o gabarito passou a ser a opção de resposta mais procurada. Em termos absolutos, eles representam bem mais do que a metade dos participantes no teste. Os distratores A e C atraíram 14% dos estudantes cada um. Os que marcaram A, provavelmente, consideraram a ordenação dos números racionais negativos da mesma forma que a ordenação dos positivos pois, pelo fato de 0,2 ser menor do que 0,3, eles teriam concluído que -0,2 fica à esquerda de -0,3 na reta numérica. Já que os que optaram por C podem ter ignorado o sinal negativo e considerado a ordem crescente dos números positivos a partir de 0,5, já que os pontos P e Q estão situados à direita do ponto que representa -0,5. 26

27 Matemática 3ª série do Ensino Médio. Este item afere a capacidade do respondente em reconhecer, dentre quatro planificações apresentadas, quais representam um cubo. Desconsiderando a possibilidade de cortes, sobreposições de faces e dobraduras em regiões que não sejam as linhas pretas, as figuras I e II não formam sólidos geométricos fechados, ou seja, que separam o espaço em duas regiões: interna e externa. Isso é possível apenas com as planificações III e IV. Mesmo que o respondente não reconheça um cubo (sólido citado no texto base), somente faz sentido associar um sólido geométrico a essas duas. Este fato no item pode ter sido um facilitador. O item teve um índice de acerto de 62%. Entre os alunos com menor desempenho no teste, 38% acertaram a resposta, índice que foi de 87% no grupo de maior desempenho. As alternativas incorretas A e B foram as mais escolhidas pelos respondentes, com 11% e 12%, respectivamente. Nota-se que, além do gabarito, elas são as únicas opções que contêm a figura III. Isso sugere que os respondentes que as escolheram associaram o cubo à planificação III e não à IV. Verifica-se no gráfico "Proporção de escolha das alternativas em função da proficiência" que, em geral, os distratores foram mais atrativos para alunos com baixa proficiência (entre os níveis 175 e 200). A partir do nível 225, o gabarito (E) passou a ser a opção mais marcada. 27