A AVALIAÇÃO EM MATEMÁTICA DO SAETHE GLAUKER AMORIM

Transcrição

1 A AVALIAÇÃO EM MATEMÁTICA DO SAETHE GLAUKER AMORIM

2 A AVALIAÇÃO EM MATEMÁTICA REFLEXÕES SOBRE O DESENVOLVIMENTO DA APRENDIZAGEM E A ELABORAÇÃO DE PLANOS DE DIVULGAÇÃO E INTERVENÇÃO

3 Professor do Departamento de Matemática da Universidade Federal de Juiz de Fora Consultor Ad Hoc do INEP/MEC Pesquisador Associado do CAEd

4 Como vocês planejam orientar e o que pretendem sugerir aos diversos agentes para que possam colher melhores resultados numa próxima avaliação do SETHE?

5

6 Medir o conhecimento em Matemática: 423,7

7 Teoria Clássica do Teste - TCT

8 Teste Teste 2 Desempenho: Desempenho: 2 acertos em 2 questões 5 acertos em 2 questões 2/2 5/2 6% 75%

9 Medir a temperatura corporal de uma pessoa

10 Índice de dificuldade de um item - TCT Ordenadas pelo desempenho no teste 36 Índice de dificuldade do item = 6/36 =,444 6

11 Capacidade de discriminação de um item - TCT Ordenados pelo desempenho no teste 27% 27% Percentual de pessoas desse grupo que acertaram o item Ex: 23% ou,23 Índice de discriminação desse item é:,85,23 =,62 Percentual de pessoas desse grupo que acertaram o item Ex: 85% ou,85

12 Problemas da Teoria Clássica do Teste (TCT). Resultados dependem do particular conjunto de questões que compõem o teste e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos que participou do teste. 2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas.

13 TRI Teoria da Resposta ao Item

14 Teoria da Resposta ao Item. Muda o foco de análise do teste como um todo para a análise de cada item. 2. Conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis) de um indivíduo com a probabilidade deste dar uma certa resposta a um item. 3. Traço latente: habilidade/proficiência em Matemática, em Português, grau de depressão, etc.

15 4. A probabilidade de uma certa resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens. 5. Quanto maior a proficiência do respondente, maior a probabilidade do respondente acertar o item (modelo acumulativo). 6. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.

16 Matriz de Referência Descreve o objeto da avaliação. Ela é o referencial das competências e habilidades que se espera que os estudantes desenvolvam nas diversas áreas e etapas de ensino Proficiência É uma síntese numérica do domínio apresentado pelo aluno em relação a determinada competência Competências São determinadas pela capacidade de mobilizar uma série de recursos cognitivos em situações ou contextos diversos. É formada por um conjunto de habilidades Habilidades Está ligada ao princípio da ação, ao saber fazer alguma coisa Item É uma questão calibrada estatisticamente e que avalia uma habilidade

17 Diretrizes Curriculares

18 Estrutura de um item de múltipla escolha Texto-base Enunciado (ou comando) Alternativas de resposta Justificativas

19 Modelo TRI unidimensional a três parâmetros Probabilidade de acertar o item, dados a proficiência do avaliando e os parâmetros do item Variável dicotômica P(X,a,b,c) c ( c) e a( b) Proficiência do avaliando Parâmetros do item

20 Curva Característica do Item (CCI) Curva de Informação do Item (CII) Desenho Psicométrico do Teste

21 Aluno Aluno 2 Aluno n Questão Questão 2 Questão 3 Questão 4 Questão 5 Questão 6 Questão 7 Questão 8 Questão 9 Questão 42 Questão 43 Questão 44 Questão 45

22

23 Matriz formada por: 45 linhas n colunas

24 a =? b =? c =?

25

26

27 Proficiência

28 78 Item 3 Item 2 Item 4 Item 6 Item 8 Item 23 Item 2 Item 5 Item 7 Item 24 Item 9 Item 22 Item 2 Item 8 Item 6 Item 3 Item Item 9 Item 2 Item 7 Item 4 Item Item 5 Item Teste Teste 2 75,% 63,3%

29

30 Item Item 7 Item 9 Item 44 Item Item 2 Item 35 Item 33 Item 4 Item 7 Item 38 96

31 ENEM 2

32 ENEM

33 ENEM

34 ENEM

35 957 ENEM 2 322

36 ENEM 26

37 Uso dos resultados da avaliação O risco de se comparar médias: Turma Notas A B Turma Média A 5 B 5 Turma Desvio padrão A B 5

38

39 ,5 Uso dos resultados da avaliação Média de proficiência:

40

41 Uso dos resultados da avaliação Desafio: Promover ganhos de proficiência que sejam capazes de reduzir a presença de alunos nos padrões mais baixos da escala, aumentado, consequentemente, a presença dos alunos nos padrões mais elevados da escala.

42 82,7 8,377, 78, Matemática 8EF Percentual de acerto por descritor 86,3 64,2 67,8 46,7 66, 68,5 62,6 56,2 49,6 72,8 48,7 5,9 6 5, 54, ,9 38, 23,9 D D4 D5 D6 D7 D9 D D D7 D9 D2 D23 D27 D3 D34 D35 D36 D38 D4 D4 D49 D5 D5

43 Uso dos resultados da avaliação Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste? D27 D27 D27

44 Uso dos resultados da avaliação Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste? D27 D27 D27

45 Como reduzir o número de alunos nos padrões mais baixos?

46 Uso dos resultados da avaliação

47 Uso dos resultados da avaliação

48 Uso dos resultados da avaliação

49 Uso dos resultados da avaliação

50

51 Descritor: D Percentual de acerto: 96% 57,5

52

53 Descritor: D34 Percentual de acerto: 57,9% 246,3

54 Descritor: D4 Percentual de acerto: 42% 26,25

55

56 Descritor: D35 Percentual de acerto: 48% 279,8

57 Descritor: D7 Percentual de acerto: 3,6% 34,883

58

59 Descritor: D27 Percentual de acerto: 2,9% 347,57

60 Descritor: D5 Percentual de acerto: 34,3% 342,2

61 Descritor: D2 Percentual de acerto: 3,6% 437,33

62 Sentença descritora de um item É uma frase que retrata o mais fielmente possível a tarefa proposta pelo item. É estruturada em quatro partes: uma operação cognitiva, ou processo mental; o objeto do conhecimento, ou tópico de conteúdo utilizado pelo item; o complemento do objeto do conhecimento onde se apresenta as nuances do item em relação ao objeto do conhecimento; o contexto ou situação, detalhando de que forma o item é apresentado ao aluno.

63 Sentença descritora: Calcular a medida da área de um círculo, a partir do comprimento de seu diâmetro, que se encontra destacado em uma figura, em um contexto extra matemático.

64 ª Atividade Redigir as sentenças descritoras para os outros 7 itens apresentados

65 2ª Atividade Identifique em quais unidades de quais anos escolares são abordados os temas relacionados à habilidade apresentada pelo descritor D27.

66 3ª Atividade Elaborar um item do descritor D35

67

68

69

70

71

72

73 4ª Atividade O que priorizar nessa escola para que os resultados em Matemática o 8EF no próximo SAETHE sejam significativamente melhores?

74 Referências Bibliográficas Tavares, H.R., Andrade, D.F.(26). Item response theory for longitudinal data; item and population ability parameters estimation. Test 5(), Beaton, A.E., Allen, N.L. (992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 7, Kolen, M.J., Brennan, R.L. (24). Test Equating: Methods and Practices (2nd ed.). New York: Springer. Ware, J.E., Bjorner, J. B., Kosinski, M. (2). Practical Implications of Item Response Theory and Computerized Adaptive Testing. A Brief Summary of Ongoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.

75 Referências Bibliográficas Lord, F.M., Norvick, M.R. (968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. Lord, F.M. (98). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates. Hambleton, R.K., Swaminathan, H., Rogers, H.J. (99). Fundamentals of Item Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.

76 Bom trabalho a todos! Contato: glauker.amorim@gmail.com