A TRI e as proficiências

Transcrição

1 A TRI e as proficiências SAEPES

2 Professor do Departamento de Matemática da Universidade Federal de Juiz de Fora Consultor Ad Hoc do INEP/MEC Pesquisador Associado do CAEd

3 Compreender a TRI e o conceito utilizado no cálculo da proficiência dos alunos é fundamental para orientar estratégias de ação com vistas a formular intervenções pedagógicas mais eficientes, objetivando reduzir o quantitativo de alunos presentes nos padrões de desempenho mais baixos da escala de proficiência.

4 Medir o conhecimento em Matemática: 423,7

5 TRI Teoria da Resposta ao

6 Teoria da Resposta ao. Muda o foco de análise do teste como um todo para o desempenho do avaliando em cada item do teste. 2. É um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis diretamente) de um indivíduo com a probabilidade deste dar uma resposta correta a um item. 3. Traço latente: habilidade/proficiência em Matemática, em Português, grau de depressão, etc.

7 4. A probabilidade de uma determinada resposta ser dada a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades do item. 5. Quanto maior a proficiência do respondente, maior a probabilidade do respondente acertar o item (modelo acumulativo). 6. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.

8 Aluno Aluno 2 Aluno n Questão Questão 2 Questão 3 Questão 4 Questão 5 Questão 6 Questão 7 Questão 8 Questão 9 Questão 42 Questão 43 Questão 44 Questão 45

9

10 Matriz formada por: 45 linhas n colunas

11

12

13 Modelo TRI unidimensional a três parâmetros Probabilidade de acertar o item, dados a proficiência do avaliando e os parâmetros do item Variável dicotômica P(X =,a,b,c) = c + ( c) + e a( b) Proficiência do avaliando Parâmetros do item

14 Curva Característica do (CCI) Curva de Informação do (CII) Desenho Psicométrico do Teste

15 Proficiências

16 Teste Teste 2 75,% 63,3%

17

18 ENEM 2

19 ENEM

20 957 ENEM 2 322

21

22

23 Uso dos resultados da avaliação O risco de se comparar médias: Turma Notas A B Turma Média A 5 B 5 Turma Desvio padrão A B 5

24 Uso dos resultados da avaliação Desafio: Promover ganhos de proficiência que sejam capazes de reduzir a presença de alunos nos padrões mais baixos da escala, aumentado, consequentemente, a presença dos alunos nos padrões mais elevados da escala.

25 : Ensino Fundamental de 9 anos - 2º ano Porcentagem de acerto por descritor - Rede Pública D D2 D3 D4 D5 D6 D7 D8 D9 D D D2 D3 D4 D5 D6 D7 D8

26 D D2 D3 D4 D5 D6 D7 D8 D9 D D D2 D3 D4 D5 D6 D7 D8 D9 D2 D2 D22 D23 D24 D25 D26 8 : Ensino Fundamental de 9 anos - 5º ano Porcentagem de acerto por descritor - Rede Pública

27 D D2 D3 D4 D5 D6 D7 D8 D9 D D D2 D3 D4 D5 D6 D7 D8 D9 D2 D2 D22 D23 D24 D25 D26 D27 D28 D29 D3 D3 D32 D33 D34 D35 D36 D37 D : Ensino Fundamental de 9 anos - 9º ano Porcentagem de acerto por descritor - Rede Pública

28 D D3 D5 D6 D7 D8 D9 D D2 D3 D4 D5 D6 D8 D9 D2 D2 D23 D24 D25 D3 D3 D32 D33 D34 D : Ensino Médio - 3ª série Porcentagem de acerto por descritor - Rede Pública

29 D D3 D5 D6 D7 D8 D9 D D2 D3 D4 D5 D6 D8 D9 D2 D2 D23 D24 D25 D3 D3 D32 D33 D34 D : Ensino Médio - Normal/Magistério 4ª série Porcentagem de acerto por descritor - Rede Pública

30 SAEPE: Ensino Médio - 3ª série Edição D D2 D3 D4 D5 D6 D7 D8 D9 D 27 59, 36,5 73,6 2, 27, 6,3-22, ,9-79, - 39,3 7, 28, 27,8 8,6 - Edição D D2 D3 D4 D5 D6 D7 D8 D9 D2 27 8,8 45, 34,9 27,4 38,8 69,7 46,8-34,2 44, ,4 52,5 47,5 89,7 57,8 7,8-68,3 5,6 6, Edição D2 D22 D23 D24 D25 D26 D27 D28 D29 D3 27 7,2 8, ,9 2,9-33, ,9-3,3 64,8 6, ,9 Edição D3 D32 D33 D34 D35 D36 D37 D , 29,3 65,6 82,6 64, ,5 5,8 22, 84,9 65,

31 II. Grandezas e Medidas D: Resolver problema envolvendo perímetro de figuras planas. III. Números e Operações / Álgebra e Funções D4: Identificar a localização de números reais na reta numérica. D2: Resolver problema envolvendo PA/PG, dada a fórmula do termo geral. IV. Estatística, Probabilidade e Combinatória D32: Resolver problema que envolva probabilidade de um evento. D33: Resolver problema envolvendo informações apresentadas em tabelas e/ou gráficos.

32 Uso dos resultados da avaliação Ponto de ancoragem do item D: 2 Ponto de ancoragem do item D: 35 SAEPE EDIÇÃO 27 D25 D29 D D7 D2 D8 D7 D35 D3 Percentual de acerto no item D: 83% Percentual de acerto no item D: 24%

33 Uso dos resultados da avaliação Ponto de ancoragem do item D: 25 Ponto de ancoragem do item D: 47 SAEPE EDIÇÃO 28 D25 D29 D D7 D2 D8 D7 D35 D3 Percentual de acerto no item D: 89% Percentual de acerto no item D: 7%

34 % 9% 8% 7% 6% 5% 4% 3% 2% % % Evolução do percentual de acerto nos itens dos descritores D e D35 83% 7% 89% 24% D D35

35

36 Bom trabalho a todos! Contatos: glauker.amorim@gmail.com glauker.amorim@ufjf.edu.br

37 Referências Bibliográficas Tavares, H.R., Andrade, D.F.(26). response theory for longitudinal data; item and population ability parameters estimation. Test 5(), Beaton, A.E., Allen, N.L. (992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 7, Kolen, M.J., Brennan, R.L. (24). Test Equating: Methods and Practices (2nd ed.). New York: Springer. Ware, J.E., Bjorner, J. B., Kosinski, M. (2). Practical Implications of Response Theory and Computerized Adaptive Testing. A Brief Summary of Ongoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.

38 Referências Bibliográficas Lord, F.M., Norvick, M.R. (968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. Lord, F.M. (98). Applications of Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates. Hambleton, R.K., Swaminathan, H., Rogers, H.J. (99). Fundamentals of Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2). Teoria da Resposta ao : Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.