MAE Teoria da Resposta ao Item

Transcrição

1 MAE Teoria da Resposta ao Item Fernando Henrique Ferraz Pereira da Rosa Robson Lunardi 11 de janeiro de 2005 Lista 1 1. Realize uma análise, utilizando o programa ITEMAN, de cada um dos itens e do teste como um todo, segundo a Teoria Clássica. No Anexo I, temos a saída da análise do questionário completo no ITE- MAN, utilizando a opção de correlação ponto-bisserial. A análise das saídas para cada uma das questões, revelou como merecedoras de destaque as questões 7, 12 e 17. O item 7 apresentou uma correlação ponto-bisserial razoavelmente baixa (39%), além de apresentar uma correlação ponto-bisserial positiva para uma alternativa incorreta (C). A questão 12 foi a que mostrou piores resultados, tendo um coeficiente de correlação ponto-bisserial negativo e próximo de zero, além de um índice de discriminação 0, indicando que o item não está discriminando entre os grupos de alunos. Pode ser possível que houve um erro no gabarito, tendo que a alternativa (D) apresenta resultados mais coerentes que a do gabarito (B). A questão 17 teve um coeficiente de correlação bisserial muito baixo (19%), além de um índice de discriminação também bem fraco (20%), indicando que ela não está discriminando bem os grupos e que não há uma boa correlação entre acertos e erros dessa questão com o escore total do teste. Outras questões que chamaram a atenção por razões similares foram a 8 e a 15, mas as evidências de que elas são inadequadas são mais fracas. A análise das estatísticas globais do teste revela que no geral ele está apresentando um desempenho razoável, com um α de e um EPM de 2.01, consideravelmente menor que o desvio bruto dos scores, de Refaça a análise, após a eliminação de itens que você julgou não terem funcionado. Compare os resultados obtidos com aqueles do exercício anterior. Começamos tirando os items que apresentaram os piores resultados: 7, 12 e 17. No Anexo II, temos a saída do ITEMAN para esse caso. Nesta saída 1

2 podemos observar uma pequena melhora nos coeficientes de correlação ponto bisserial e índice de discriminação na maioria dos itens que ficaram. Notamos também uma queda nos valores do EPM (1.842) e da variância bruta dos scores (20.470) e um aumento no valor de α (0.834) indicando que houve uma melhora geral da prova. Procedemos então com a retirada dos dois itens que apresentaram os piores resultados (depois dos 3 já retirados) devido aos seus coeficientes de correlação ponto bisserial e índice de discriminação: 8 e 15. No Anexo III, temos a saída do ITEMAN para esse caso. Verificamos que em muitos itens que ficaram houve uma diminuição dos valores do coeficiente de correlação ponto bisserial e índice de discriminação. Observamos também que o valor de α com esta eliminação caiu um pouco (0.830) em relação ao último resultado obtido, apesar do EPM e da variância bruta dos escores terem caído um pouco. Devido a essa leve queda no desempenho geral do teste obtida com a retirada das questões 8 e 15, concluímos que que a prova que só considera a primeira eliminação (Anexo II) é a mais adequada. 3. Construa um programa para estimar: (a) os 5 primeiros itens, os seguintes parâmetros: índice de dificuldade, índice de discriminação, coeficiente de correlação ponto bisserial (para cada alternativa de resposta) e coeficiente de correlação bisserial (para cada alternativa de resposta). (b) o coeficiente alfa de fidedignidade e o erro padrão de medida (EPM) do teste. Construímos um conjunto de funções em R para realizar a análise clássica de itens. O código fonte segue no Anexo IV. Basicamente construímos uma classe trianal, uma função construtura para esse método e funções para imprimir os resultados e ler os dados. Para usar o programa, deve-se abrir uma sessão do R no diretório em que se encontra o arquivo fonte, e executar: > source( tri_class.r ) Com isso carrega-se as funções na memória. Lê-se então um conjunto de dados com a função le.dados(): > le01 <- le.dados( le_01.dat ) E gera-se um objeto de análise com a função analise() : > an1 <- analise(le01) 2

3 Como argumentos opcionais para analise(), pode-se especificar um gabarito alternativo ou ainda um subconjunto de questões que devem ser consideradas. Essas informações já estão disponíveis no arquivo de entrada, entretanto, para que possa-se fazer a análise mudando o gabarito e/ou as questões consideradas na análise sem a necessidade de se editar o arquivo de dados, foi adicionada essa funcionalidade. O comando abaixo por exemplo faz a análise das 4 primeiras questões somente: > an2 <- analise(le01,usa.questao=c(t,t,t,t,rep(f,18))) Para trocar o gabarito, procede-se da mesma forma. Para trocar o gabarito da questão 12 para D, por exemplo, fazemos: > gabarito <- le01$gabarito > gabarito[12] [1] "B" > gabarito[12] <- "D" > gabarito[12] [1] "D" > an3 <- analise(le01,gabarito=gabarito) Onde temos armazenados em an3 os resultados da análise. Por fim, basta imprimirmos o objeto resultante da análise para verificar os resultados. No item a) pede-se a análise para os 5 primeiros itens do teste. Para fazermos isso, basta usarmos a função print() no objeto adequado, especificando as questões que queremos observar: > print(an1,mostrar.questoes=1:5,global=false) Question 1 A A * B C D E NULO

4 Question 2 D A B C D * E NULO Question 3 C A B C * D E NULO Question 4 E A B C D E * NULO

5 Question 5 A A * B C D E NULO Para fazer o item b, basta chamarmos a função print no mesmo objeto de análise, mas com o parâmetro global setado para verdadeiro: > print(an1,mostrar.questoes=null,global=true) Global Statistics questoes.efetivas N media variancia desvio mediana alpha SEM max.low N.low min.high N.high Para cada um dos 5 primeiros itens, construa um gráfico de dispersão para representar a relação entre a proporção de acerto e o escore médio, medidos em 7 classes de escore. Para esse fim, criamos a função triplot, com argumentos: > args(triplot) function (quest, obj, classes = 7) NULL Ela recebe o número de uma questão, um objeto de análise e o número de classes que desejamos dividir os dados. Ela então retorna um objeto da 5

6 classe triplot, que pode ser guardado ou no caso do método default em modo interativo (print), é feito o gráfico na tela. Com essa função, para gerar os gráficos pedidos, basta fazer: triplot(1,an1) triplot(2,an1) triplot(3,an1) triplot(4,an1) triplot(5,an1) Obtendo as Figuras: 6

7 Observamos que os gráficos dos itens analisados apresentam o comportamento esperado, com a curva lembrando uma curva logística com a > 0. Devido a generalidade do programa, é possível facilmente obter-se análises mais completas, assim como variar o número de classes de escore para os gráficos acima. No Anexo V temos uma análise completa das 22 questões, obtida com o comando: > print(an1) Temos também os gráficos de escore médio por proporção de acerto pra 7

8 as questões que retiramos do teste no Exercício 2 (Itens 7, 12 e 17). Em particular, observamos graficamente porque esses itens não foram apropriados. Para o item 12, temos que conforme o escore médio aumenta, não há crescimento algum na proporção acerto. Para a questão 17, temos que o crescimento da curva é muito lento, e para a questão 7, temos uma situação parecida. Temos ainda os gráficos de escore médio por proporção de acerto para a questão 1, mas com diferentes classes de escore (5, 7 e 12), respectivamente. O aumento no número de classes reflete em uma curva cada vez menos suave, conforme esperado. Por final temos o histograma dos escores, e o gráfico de barras das proporções de acertos, obtidos com os comandos: > hist(an1$outros$score) > barplot(an1$outros$prop.acerto) Sobre A versão eletrônica desse arquivo pode ser obtida em net Copyright (c) Fernando Henrique Ferraz Pereira da Rosa. É dada permiss~ao para copiar, distribuir e/ou modificar este documento sob os termos da Licença de Documentaç~ao Livre GNU (GFDL), vers~ao 1.2, 8

9 publicada pela Free Software Foundation; Uma cópia da licença em está inclusa na seç~ao intitulada "Sobre / Licença de Uso". 9