A AVALIAÇÃO EM MATEMÁTICA DO SAETHE GLAUKER AMORIM

A AVALIAÇÃO EM MATEMÁTICA REFLEXÕES SOBRE O DESENVOLVIMENTO DA APRENDIZAGEM E A ELABORAÇÃO DE PLANOS DE DIVULGAÇÃO E INTERVENÇÃO

Professor do Departamento de Matemática da Universidade Federal de Juiz de Fora Consultor Ad Hoc do INEP/MEC Pesquisador Associado do CAEd

Como vocês planejam orientar e o que pretendem sugerir aos diversos agentes para que possam colher melhores resultados numa próxima avaliação do SETHE?

Medir o conhecimento em Matemática: 423,7

Teoria Clássica do Teste - TCT

Teste Teste 2 Desempenho: Desempenho: 2 acertos em 2 questões 5 acertos em 2 questões 2/2 5/2 6% 75%

Medir a temperatura corporal de uma pessoa

Índice de dificuldade de um item - TCT Ordenadas pelo desempenho no teste 36 Índice de dificuldade do item = 6/36 =,444 6

Capacidade de discriminação de um item - TCT Ordenados pelo desempenho no teste 27% 27% Percentual de pessoas desse grupo que acertaram o item Ex: 23% ou,23 Índice de discriminação desse item é:,85,23 =,62 Percentual de pessoas desse grupo que acertaram o item Ex: 85% ou,85

Problemas da Teoria Clássica do Teste (TCT). Resultados dependem do particular conjunto de questões que compõem o teste e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos que participou do teste. 2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas.

TRI Teoria da Resposta ao Item

Teoria da Resposta ao Item. Muda o foco de análise do teste como um todo para a análise de cada item. 2. Conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis) de um indivíduo com a probabilidade deste dar uma certa resposta a um item. 3. Traço latente: habilidade/proficiência em Matemática, em Português, grau de depressão, etc.

4. A probabilidade de uma certa resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens. 5. Quanto maior a proficiência do respondente, maior a probabilidade do respondente acertar o item (modelo acumulativo). 6. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.

Matriz de Referência Descreve o objeto da avaliação. Ela é o referencial das competências e habilidades que se espera que os estudantes desenvolvam nas diversas áreas e etapas de ensino Proficiência É uma síntese numérica do domínio apresentado pelo aluno em relação a determinada competência Competências São determinadas pela capacidade de mobilizar uma série de recursos cognitivos em situações ou contextos diversos. É formada por um conjunto de habilidades Habilidades Está ligada ao princípio da ação, ao saber fazer alguma coisa Item É uma questão calibrada estatisticamente e que avalia uma habilidade

Diretrizes Curriculares

Estrutura de um item de múltipla escolha Texto-base Enunciado (ou comando) Alternativas de resposta Justificativas

Modelo TRI unidimensional a três parâmetros Probabilidade de acertar o item, dados a proficiência do avaliando e os parâmetros do item Variável dicotômica P(X,a,b,c) c ( c) e a( b) Proficiência do avaliando Parâmetros do item

Curva Característica do Item (CCI) Curva de Informação do Item (CII) Desenho Psicométrico do Teste

Aluno Aluno 2 Aluno n Questão Questão 2 Questão 3 Questão 4 Questão 5 Questão 6 Questão 7 Questão 8 Questão 9 Questão 42 Questão 43 Questão 44 Questão 45

Matriz formada por: 45 linhas n colunas

a =? b =? c =?

Proficiência

78 Item 3 Item 2 Item 4 Item 6 Item 8 Item 23 Item 2 Item 5 Item 7 Item 24 Item 9 Item 22 Item 2 Item 8 Item 6 Item 3 Item Item 9 Item 2 Item 7 Item 4 Item Item 5 Item Teste Teste 2 75,% 63,3%

Item Item 7 Item 9 Item 44 Item 5 2 3 4 5 6 7 8 9 Item 2 Item 35 Item 33 Item 4 Item 7 Item 38 96

ENEM 2

ENEM 2 45 442 297

ENEM 2 852 28 43

ENEM 2 6 5 395

957 ENEM 2 322

ENEM 26

Uso dos resultados da avaliação O risco de se comparar médias: Turma Notas A 5 5 5 5 5 5 5 5 5 5 B Turma Média A 5 B 5 Turma Desvio padrão A B 5

2 25 2 25 22 23 235 24 255 26 28 29 3 3 32 33 34 35 36 375 4 276 279,5 Uso dos resultados da avaliação Média de proficiência:

Uso dos resultados da avaliação Desafio: Promover ganhos de proficiência que sejam capazes de reduzir a presença de alunos nos padrões mais baixos da escala, aumentado, consequentemente, a presença dos alunos nos padrões mais elevados da escala.

82,7 8,377, 78, Matemática 8EF Percentual de acerto por descritor 86,3 64,2 67,8 46,7 66, 68,5 62,6 56,2 49,6 72,8 48,7 5,9 6 5, 54,5 64 35,9 38, 23,9 D D4 D5 D6 D7 D9 D D D7 D9 D2 D23 D27 D3 D34 D35 D36 D38 D4 D4 D49 D5 D5

Uso dos resultados da avaliação Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste? D27 D27 D27

Como reduzir o número de alunos nos padrões mais baixos?

Uso dos resultados da avaliação

Descritor: D Percentual de acerto: 96% 57,5

Descritor: D34 Percentual de acerto: 57,9% 246,3

Descritor: D4 Percentual de acerto: 42% 26,25

Descritor: D35 Percentual de acerto: 48% 279,8

Sentença descritora de um item É uma frase que retrata o mais fielmente possível a tarefa proposta pelo item. É estruturada em quatro partes: uma operação cognitiva, ou processo mental; o objeto do conhecimento, ou tópico de conteúdo utilizado pelo item; o complemento do objeto do conhecimento onde se apresenta as nuances do item em relação ao objeto do conhecimento; o contexto ou situação, detalhando de que forma o item é apresentado ao aluno.

Sentença descritora: Calcular a medida da área de um círculo, a partir do comprimento de seu diâmetro, que se encontra destacado em uma figura, em um contexto extra matemático.

ª Atividade Redigir as sentenças descritoras para os outros 7 itens apresentados

2ª Atividade Identifique em quais unidades de quais anos escolares são abordados os temas relacionados à habilidade apresentada pelo descritor D27.

3ª Atividade Elaborar um item do descritor D35

4ª Atividade O que priorizar nessa escola para que os resultados em Matemática o 8EF no próximo SAETHE sejam significativamente melhores?

Referências Bibliográficas Tavares, H.R., Andrade, D.F.(26). Item response theory for longitudinal data; item and population ability parameters estimation. Test 5(), 97-23. Beaton, A.E., Allen, N.L. (992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 7, 9-24. Kolen, M.J., Brennan, R.L. (24). Test Equating: Methods and Practices (2nd ed.). New York: Springer. Ware, J.E., Bjorner, J. B., Kosinski, M. (2). Practical Implications of Item Response Theory and Computerized Adaptive Testing. A Brief Summary of Ongoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.

Referências Bibliográficas Lord, F.M., Norvick, M.R. (968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. Lord, F.M. (98). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates. Hambleton, R.K., Swaminathan, H., Rogers, H.J. (99). Fundamentals of Item Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.

Bom trabalho a todos! Contato: glauker.amorim@gmail.com