A TRI e as proficiências SAEPES
Professor do Departamento de Matemática da Universidade Federal de Juiz de Fora Consultor Ad Hoc do INEP/MEC Pesquisador Associado do CAEd
Compreender a TRI e o conceito utilizado no cálculo da proficiência dos alunos é fundamental para orientar estratégias de ação com vistas a formular intervenções pedagógicas mais eficientes, objetivando reduzir o quantitativo de alunos presentes nos padrões de desempenho mais baixos da escala de proficiência.
Medir o conhecimento em Matemática: 423,7
TRI Teoria da Resposta ao
Teoria da Resposta ao. Muda o foco de análise do teste como um todo para o desempenho do avaliando em cada item do teste. 2. É um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis diretamente) de um indivíduo com a probabilidade deste dar uma resposta correta a um item. 3. Traço latente: habilidade/proficiência em Matemática, em Português, grau de depressão, etc.
4. A probabilidade de uma determinada resposta ser dada a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades do item. 5. Quanto maior a proficiência do respondente, maior a probabilidade do respondente acertar o item (modelo acumulativo). 6. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.
Aluno Aluno 2 Aluno n Questão Questão 2 Questão 3 Questão 4 Questão 5 Questão 6 Questão 7 Questão 8 Questão 9 Questão 42 Questão 43 Questão 44 Questão 45
Matriz formada por: 45 linhas n colunas
Modelo TRI unidimensional a três parâmetros Probabilidade de acertar o item, dados a proficiência do avaliando e os parâmetros do item Variável dicotômica P(X =,a,b,c) = c + ( c) + e a( b) Proficiência do avaliando Parâmetros do item
Curva Característica do (CCI) Curva de Informação do (CII) Desenho Psicométrico do Teste
Proficiências
78 3 2 4 6 8 23 2 5 7 24 9 22 2 8 6 3 9 2 7 4 5 Teste Teste 2 75,% 63,3%
ENEM 2
ENEM 2 6 5 395
957 ENEM 2 322
7 9 44 5 2 3 4 5 6 7 8 9 2 33 4 7
7 9 44 5 2 3 4 5 6 7 8 9 2 33 4 7
Uso dos resultados da avaliação O risco de se comparar médias: Turma Notas A 5 5 5 5 5 5 5 5 5 5 B Turma Média A 5 B 5 Turma Desvio padrão A B 5
Uso dos resultados da avaliação Desafio: 25 29 325 Promover ganhos de proficiência que sejam capazes de reduzir a presença de alunos nos padrões mais baixos da escala, aumentado, consequentemente, a presença dos alunos nos padrões mais elevados da escala.
: Ensino Fundamental de 9 anos - 2º ano Porcentagem de acerto por descritor - Rede Pública 9 8 7 6 5 4 3 2 D D2 D3 D4 D5 D6 D7 D8 D9 D D D2 D3 D4 D5 D6 D7 D8
D D2 D3 D4 D5 D6 D7 D8 D9 D D D2 D3 D4 D5 D6 D7 D8 D9 D2 D2 D22 D23 D24 D25 D26 8 : Ensino Fundamental de 9 anos - 5º ano Porcentagem de acerto por descritor - Rede Pública 7 6 5 4 3 2
D D2 D3 D4 D5 D6 D7 D8 D9 D D D2 D3 D4 D5 D6 D7 D8 D9 D2 D2 D22 D23 D24 D25 D26 D27 D28 D29 D3 D3 D32 D33 D34 D35 D36 D37 D38 9 8 7 6 5 4 3 2 : Ensino Fundamental de 9 anos - 9º ano Porcentagem de acerto por descritor - Rede Pública
D D3 D5 D6 D7 D8 D9 D D2 D3 D4 D5 D6 D8 D9 D2 D2 D23 D24 D25 D3 D3 D32 D33 D34 D35 9 8 7 6 5 4 3 2 : Ensino Médio - 3ª série Porcentagem de acerto por descritor - Rede Pública
D D3 D5 D6 D7 D8 D9 D D2 D3 D4 D5 D6 D8 D9 D2 D2 D23 D24 D25 D3 D3 D32 D33 D34 D35 9 8 7 6 5 4 3 2 : Ensino Médio - Normal/Magistério 4ª série Porcentagem de acerto por descritor - Rede Pública
SAEPE: Ensino Médio - 3ª série Edição D D2 D3 D4 D5 D6 D7 D8 D9 D 27 59, 36,5 73,6 2, 27, 6,3-22,2 - - 28 73,9-79, - 39,3 7, 28, 27,8 8,6 - Edição D D2 D3 D4 D5 D6 D7 D8 D9 D2 27 8,8 45, 34,9 27,4 38,8 69,7 46,8-34,2 44,5 28 33,4 52,5 47,5 89,7 57,8 7,8-68,3 5,6 6, Edição D2 D22 D23 D24 D25 D26 D27 D28 D29 D3 27 7,2 8,9 - - 9,9 2,9-33, - - 28 54,9-3,3 64,8 6,6 - - - - 32,9 Edição D3 D32 D33 D34 D35 D36 D37 D38 27 54, 29,3 65,6 82,6 64, - - - 28 49,5 5,8 22, 84,9 65,6 - - -
II. Grandezas e Medidas D: Resolver problema envolvendo perímetro de figuras planas. III. Números e Operações / Álgebra e Funções D4: Identificar a localização de números reais na reta numérica. D2: Resolver problema envolvendo PA/PG, dada a fórmula do termo geral. IV. Estatística, Probabilidade e Combinatória D32: Resolver problema que envolva probabilidade de um evento. D33: Resolver problema envolvendo informações apresentadas em tabelas e/ou gráficos.
Uso dos resultados da avaliação Ponto de ancoragem do item D: 2 Ponto de ancoragem do item D: 35 SAEPE EDIÇÃO 27 D25 D29 D D7 D2 D8 D7 D35 D3 Percentual de acerto no item D: 83% Percentual de acerto no item D: 24%
Uso dos resultados da avaliação Ponto de ancoragem do item D: 25 Ponto de ancoragem do item D: 47 SAEPE EDIÇÃO 28 D25 D29 D D7 D2 D8 D7 D35 D3 Percentual de acerto no item D: 89% Percentual de acerto no item D: 7%
% 9% 8% 7% 6% 5% 4% 3% 2% % % Evolução do percentual de acerto nos itens dos descritores D e D35 83% 7% 89% 24% 27 28 D D35
Bom trabalho a todos! Contatos: glauker.amorim@gmail.com glauker.amorim@ufjf.edu.br
Referências Bibliográficas Tavares, H.R., Andrade, D.F.(26). response theory for longitudinal data; item and population ability parameters estimation. Test 5(), 97-23. Beaton, A.E., Allen, N.L. (992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 7, 9-24. Kolen, M.J., Brennan, R.L. (24). Test Equating: Methods and Practices (2nd ed.). New York: Springer. Ware, J.E., Bjorner, J. B., Kosinski, M. (2). Practical Implications of Response Theory and Computerized Adaptive Testing. A Brief Summary of Ongoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.
Referências Bibliográficas Lord, F.M., Norvick, M.R. (968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. Lord, F.M. (98). Applications of Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates. Hambleton, R.K., Swaminathan, H., Rogers, H.J. (99). Fundamentals of Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2). Teoria da Resposta ao : Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.