Teorias de Avaliação - CE095 Fundamentos da Elaboração de Itens Adilson dos Anjos 1 1 Departamento de Estatística Universidade Federal do Paraná aanjos@ufpr.br Curitiba, PR 13 de agosto de 2014
Material baseado nos seguintes Guias sobre elaboração de itens : INEP, 2012; CAED, 2008
Matriz de referência A Matriz de Referência é o instrumento norteador para a construção de itens (INEP, 2010) Desenvolvida por especialistas: pedagogos, professores etc; Ver material CAED. Os itens são elaborados em função dos descritores da Matriz de Referência.
Matriz de Referência Competências e habilidades; Importante para definir o traço latente.
Item Matriz de Referência: suporte para elaboração de itens; A Matriz de Referência contempla um conjunto de habilidades e são compostas por descritores: Um item deve contemplar apenas uma habilidade da Matriz de Referência; Ver material INEP/CAED.
Matriz de Referência: exemplo Matriz do 3º ano do Ensino Médio: Descritores do Tema (eixo) IV - Tratamento da Informação (habilidade) D34 Resolver problema envolvendo informações apresentadas em tabelas e/ou gráficos.
Matriz de Referência As Matrizes de Referência não devem ser confundidas com o currículo. Elas constituem-se como um recorte, ao contrário do currículo, que é muito mais amplo (INEP)
Item Item consiste na unidade básica de um instrumento de coleta de dados, que pode ser uma prova, um questionário etc. (Brasil. Inep, 2006). Nos testes educacionais, item pode ser considerado sinônimo de questão, termo mais popular e utilizado com frequência nas escolas. Itens objetivos e itens livres; Itens objetivos: avaliação em larga escala, menor possibilidade de erros.
Item Partes do Item Texto -base; Enunciado: comando para evidenciar o desenvolvimento da competência; Alternativas: gabarito e distratores;
Texto-base Motiva ou compõe a situação-problema a ser formulada no item a partir da utilização de um ou mais textos-base (textos verbais e não verbais, como imagens, figuras, tabelas, gráficos ou infográficos, esquemas, quadros, experimentos, entre outros), que poderão ser de dois tipos: (i) formulados pelo próprio elaborador para o contexto do item e (ii) referenciados por publicações de apropriação pública.
Enunciado O enunciado constitui-se de uma ou mais orações e não deve apresentar informações adicionais ou complementares ao texto-base; ao contrário, deverá considerar exatamente a totalidade das informações previamente oferecidas.
Enunciado No enunciado, inclui-se uma instrução clara e objetiva da tarefa a ser realizada pelo participante do teste. Essa instrução poderá ser expressa como pergunta ou frase a ser completada pela alternativa correta.
Alternativas Alternativas são possibilidades de respostas para a situação-problema apresentada, dividindo-se em gabarito e distratores.
Exemplo de item: 9º ano do ensino fundamental Num jogo de futebol, compareceram 20.538 torcedores nas arquibancadas, 12.100 nas cadeiras numeradas e 32.070 nas gerais. Naquele jogo, apenas 20% dos torcedores que compareceram ao estádio torciam pelo time que venceu a partida. Qual é o número aproximado de torcedores que viram seu time vencer? (A) 10.000 (B) 13.000 (C) 16.000 (D) 19.000 (E) 22.000
Formatos comuns dos itens Múltipla escolha Certo ou errado Resposta fechada Resposta curta aberta ou resposta construída Dissertativo (redação)
Múltipla escolha Uma única resposta entre várias; Resposta: chave ou gabarito; Distratores: devem ser plausíveis;
Certo ou Errado Um conjunto de afirmações; Todas certas, todas erradas ou uma mistura Sem padrão recomendado;
Resposta Fechada Resposta elaborada pelo aluno; Escrever uma palavra; Selecionar uma palavra ou número em um texto;
Resposta Curta ou aberta Item aberto; Várias possibilidades de opções corretas; Em geral corrigida por uma banca de corretores; Larga escala: avaliação cruzada (pelo menos dois); Incluir padrão de respostas; Avaliação correta ou parcialmente correta.
Dissertativo Resposta mais extensa e elaborada; Utilizado no ENEM;
Item de Múltipla Escolha - Recomendações Seguir as ordem crescente ou decrescente nas alternativas numéricas, sem discrepância de valores; Seguir uma sequência lógica nas alternativas: crescente, decrescente, alfabética, cronológica com preferência pra ordem de tamanho das alternativas; Redigir o texto das alternativas com com extensão e estrutura semelhantes; Redigir de modo a completar gramaticalmente o enunciado; Manter o paralelismo sintático na apresentação das alternativas: como por exemplo, todas as alternativas começando por verbo ou substantivo;
Item de Múltipla Escolha - Recomendações Considerar o balanceamento de respostas: quantidade de itens corretos para cada alternativa; Redigir, preferencialmente, enunciados e opções na forma afirmativa; Evitar: assinale a opção correta ou é correto afirmar que ; em geral, não deixa claro o desafio do problema. Não use comando/enunciado do tipo Em relação ao Tema XXX, pode-se afirmar que... Utilize comando/enunciado na forma impessoal, não utilizando a primeira pessoa do plural;
Item de Múltipla Escolha - Recomendações Considerar o tempo disponível para a resposta de cada item: como referência, utilize o tempo de 4 minutos para um estudante mediano; Elaborar itens independentes; Não elaborar alternativas com referência à alternativa anterior; Levar em consideração se a prova é com ou sem consulta e com ou sem uso de calculadora; Não criar nomes fictícios, jocosos etc.
Item de Múltipla Escolha - Recomendações Incluir e utilizar fontes fidedignas; Não dificultar nem facilitar a resposta; Não apresentar a alternativa correta bem diferente das demais; Evitar o uso no enunciado de termos negativos como: falso, exceto, incorreto, não, errado; Não apresentar alternativas longas demais; Não incluir erros grosseiros: podem atrair a atenção de estudantes; Não tornar falsa uma afirmação apenas pela inclusão da palavra não ou pelo prefixo in ;
Outras recomendações No enunciado: 1 utilize termos impessoais como: considere-se, calcula-se, argumenta-se etc.; 2 não utilize termos como: falso, exceto, incorreto, não, errado ; 3 não utilize termos absolutos como: sempre, nunca, todo, totalmente, absolutamente, completamente, somente etc.; 4 não utilize sentenças como: Pode-se afirmar que, é correto afirmar que etc.
Outras recomendações Nas opções evitar utilizar: somente, apenas, nunca, exclusivamente, unicamente, sempre, totalmente, todo, jamais, raramente, exclusivamente, pode ser, tudo, ninguém, nenhum, nada, algum, pode acontecer, pode haver, pouco, às vezes, qualquer, entre outros. Alternativas: gabarito (indiscutível) e distratores; não criar situações para induzir ao erro ( pegadinha ); distratores: outras possibilidades de raciocínio; o gabarito não deve ser mais atrativo que os distratores. Ver ficha de revisão de itens INEP.
Trabalho da Disciplina Definir Traço Latente Conhecimento sobre...