A Teoria de Resposta ao Item (TRI) e sua aplicação ao ENEM Mauro Luiz Rabelo Decano de Ensino de Graduação Universidade de Brasília

Transcrição

1 XI Seminário de Acesso ao Ensino Superior A Teoria de Resposta ao Item (TRI) e sua aplicação ao ENEM Mauro Luiz Rabelo Decano de Ensino de Graduação Universidade de Brasília

2 RITO DE PASSAGEM

3 CONTEXTO NACIONAL

4 CONTEXTO UnB

5 AVALIAÇÃO à à >> SELEÇÃO

6 O ENEM E SUAS MÚLTIPLAS FUNÇÕES ENEM - PORTARIA Nº 109, DE 27 DE MAIO DE 2009 I. oferecer uma referência para que cada cidadão possa proceder à sua autoavaliaçãocom vistas às suas escolhas futuras, tanto em relação ao mundo do trabalho quanto em relação à continuidade de estudos; II. III. IV. estruturar uma avaliação ao final da educação básica que sirva como modalidade alternativa ou complementar aos processos de seleção nos diferentes setores do mundo do trabalho; estruturar uma avaliação ao final da educação básica que sirva como modalidade alternativa ou complementar aos exames de acesso aos cursos profissionalizantes, pós- médios e à Educação Superior; possibilitar a participação e criar condições de acesso a programas governamentais;

7 V. promover a certificação de jovens e adultos no nível de conclusão do ensino médio nos termos do artigo 38, 1º e 2º da LDB; VI. promover avaliação do desempenho acadêmico das escolas de ensino médio, de forma que cada unidade escolar receba o resultado global; VII. promover avaliação do desempenho acadêmico dos estudantes ingressantes nas Instituições de Educação Superior.

8 PONTO DE PARTIDA

9 MATRIZ DE REFERÊNCIA O que avaliar? FONTE: Rabelo (2013). Avaliação Educacional

10 CONCEPÇÃO DA MATRIZ Descritores Habilidades Competências Objetos de conhecimento Perfil profissional

11 ENEM

12 A PARTIR DE 2009 LINGUAGENS, CÓDIGOS E SUAS TECNOLOGIAS

13 MATEMÁTICA E SUAS TECNOLOGIAS COMPETÊNCIAS DE MATEMÁTICA E SUAS TECNOLOGIAS 1 - Construir significados para os números naturais, inteiros, racionais e reais. 2 - Utilizar o conhecimento geométrico para realizar a leitura e a representação da realidade e agir sobre ela. 3 - Construir noções de grandezas e medidas para a compreensão da realidade e a solução de problemas do cotidiano. 4 - Construir noções de variação de grandezas para a compreensão da realidade e a solução de problemas do cotidiano. 5 - Modelar e resolver problemas que envolvem variáveis socioeconômicas ou técnico-científicas, usando representações algébricas. 6 - Interpretar informações de natureza científica e social obtidas da leitura de gráficos e tabelas, realizando previsão de tendência, extrapolação, interpolação e interpretação. 7 - Compreender o caráter aleatório e não-determinístico dos fenômenos naturais e sociais e utilizar instrumentos adequados para medidas, determinação de amostras e cálculos de probabilidade para interpretar informações de Dominar Linguagens (DL) Compreender fenômenos (CF) Enfrentar situaçõesproblema (SP) Construir argumentação (CA) Elaborar propostas (EP) H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16 H17 H18 H19 H20 H21 H22 H23 H24 H25 H26 H27 H28 H29 H30

14 CIÊNCIAS DA NATUREZA E SUAS TECNOLOGIAS COMPETÊNCIAS DE ÁREA (DL) (CF) (SP) (CA) (EP) CN1 - Compreender as ciências naturais e as tecnologias a elas associadas como construção humana, percebendo seus papéis nos processos de produção e no desenvolvimento econômico e social da humanidade. H1 H2 H3 H4 CN2 - Identificar a presença e aplicar as tecnologias associadas às ciências naturais em diferentes H5 H6 H7 CN3 - Associar alterações ambientais a processos produtivos e sociais, e instrumentos ou ações científico- tecnológicos a degradação e preservação do ambiente. CN4 - Compreender organismo humano e saúde, relacionando conhecimento científico, cultural, ambiente e hábitos ou outras características individuais. CN5 - Entender métodos e procedimentos próprios das ciências naturais e aplicá- los a diferentes contextos CN6 - Apropriar- se de conhecimentos da física para compreender o mundo natural e para interpretar, avaliar e planejar intervenções científico- tecnológicas no mundo contemporâneo CN7 - Apropriar- se de conhecimentos da química para compreender o mundo natural e para interpretar, avaliar e planejar intervenções científico- tecnológicas no mundo contemporâneo CN8 - Apropriar- se de conhecimentos da biologia para compreender o mundo natural e para interpretar, avaliar e planejar intervenções científico- tecnológicas no mundo contemporâneo. H8 H9 H10 H11 H12 H13 H14 H15 H16 H17 H18 H19 H20 H21 H22 H23 H24 H25 H26 H27 H28 H29 H30

15 MATRIZ DE CIÊNCIAS HUMANAS E SUAS TECNOLOGIAS COMPETÊNCIAS DE ÁREA CH1 Compreender os elementos culturais que constituem as identidades. CH2 Compreender as transformações dos espaços geográficos como produto das relações socioeconômicas e culturais de poder. CH3 - Compreender a produção e o papel histórico das instituições sociais, políticas e econômicas, associando- as aos diferentes grupos, conflitos e movimentos sociais. CH4 Entender as transformações técnicas e tecnológicas e seu impacto nos processos de produção, no desenvolvimento do conhecimento e na vida social. CH5 Utilizar os conhecimentos históricos para compreender e valorizar os fundamentos da cidadania e da democracia, favorecendo uma atuação consciente do indivíduo na sociedade. CH6 Compreender a sociedade e a natureza, reconhecendo suas interações no espaço em diferentes contextos históricos e geográficos. (DL) (CF) (SP) (CA) (EP) H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16 H17 H18 H19 H20 H21 H22 H23 H24 H25 H26 H27 H28 H29 H30

16 COMO AVALIAR? Grande desafio de todo processo de avaliação educacional: como medir o não concreto? Ø Como medir atitudes, conhecimento, valores, ou seja, atributos de medida que: não possuem estruturas físicas; não são diretamente observáveis. Esses atributos são denominados de traço latente ou construto. Teoria da Medida

17 Teoria da Medida Como esses traços latentes são atributos inacessíveis à observação empírica, precisam ser expressos em termos comportamentais para ser cientificamente abordados. Assim, o traço latente passa a ser mensurável por meio de suas representações comportamentais, quantificado de alguma forma a fim de que se obtenha um escore numérico. Por exemplo: Respostas em uma prova de geometria (Comportamento) Conhecimento em geometria (Construto ou traço latente) Respostas a perguntas de um questionário (Comportamento) Grau de satisfação do consumidor (Traço latente) (exemplo da altura)

18 COMO QUANTIFICAR? Para medir os traços latentes, costuma-se desenvolver testes. Quando se desenvolve um teste (conjunto de itens), objetiva-se obter uma amostra de comportamentos que representem algo latente, não passível de observação direta. Um item é a representação comportamental do construtoou traço latente a ser medido; O item deve apresentar uma situação- problema: contexto + desafio (estímulo para evidenciar o desenvolvimento da competência/habilidade), que se concretizacom a respostadoavaliando.

19 ESTRUTURA DO ITEM DE MÚLTIPLA ESCOLHA Texto- base Texto, gráfico, tabela, figura, esquema, simulacro, estudo de caso enunciado Comando explicitação do desafio proposto para evidenciar o desenvolvimento da competência alternativas Gabarito opção correta (concretização do desafio proposto) Distratores opções incorretas Justificativas das respostas (item de múltipla escolha) ou padrão de resposta esperado (item de resposta construída)

20 TEORIA DA MEDIDA Teoria Clássica dos Testes (TCT): Análise e interpretações estão sempre associadas à prova como um todo. Resultado: expresso pelo escore bruto ou padronizado. Base numérica da comparação: o escore pode ser comparado com o escore de outra pessoa para a mesma prova.

21 LIMITAÇÕES DAS ANÁLISES ESTATÍSTICAS CLÁSSICAS restritas a determinado momento, a um determinado teste e ao grupo que respondeu à prova, dificultando o acompanhamento pedagógico ao longo dos anos. Para acompanhar a evolução dos alunos e estabelecer comparações entre séries diferentes ou mesmo entre grupos que responderam a provas diferentes Desenvolvimento de outra metodologia de construção do processo e de análise dos dados gerados após aplicação dos instrumentos. O modelo utilizado vem da psicometria moderna à A TEORIA DE RESPOSTA AO ITEM (TRI)

22 TEORIA DA MEDIDA - Teoria de Resposta ao Item (TRI): Elementos centrais são os itens e não a prova como o todo. Resultado: proficiência estimada pelo modelo estatístico. Base numérica da comparação: pessoas e itens são colocados em uma escala comum.

23 A TRI ü Surgiu entre os anos 1950 e 1960 para responder a indagações relativas aos testes de inteligência, cujos resultados variavam em função dos instrumentos de medida utilizados. Qual seria então o resultado correto? ü A TRI utilizava modelos e algoritmos matemáticos difíceis de serem operacionalizados à época. Por isso, somente após o avanço tecnológico dos anos 1980, com o desenvolvimento de softwares para uso prático dos algoritmos complexos do modelo, essa teoria começou a ser difundida.

24 QUESTIONÁRIO PARA ESTIMAR A ALTURA PELA TRI Respostas: Sim = 1 e Não = 0 1. Nacama, eu frequentemente sinto frio nos pés;; 2. Eu frequentemente desço as escadas de dois em dois degraus;; 3. Eu acho que me daria bem em um time de basquete;; 4. Como policial, eu impressionaria muito;; 5. Na maioria dos carros eu me sinto desconfortável;; 6. Eu literalmente olho para meus colegas de cima para baixo. 7. Você é capaz de pegar um objeto no alto de um armário, sem usar escada? 8. Você abaixa quando vai passar por uma porta? 9. Você consegue guardar a bagagem no porta-malas do avião sem ajuda de ninguém? Andrade (INE/UFSC), Bornia (EPS/UFSC), Borgatto (INE/UFSC)

25 10. Você regula o banco do carro para trás? 11. Normalmente quando você está andando de carona lhe oferecem o banco da frente? 12. Quando você e várias pessoas vão tirar fotos, formando-se três fileiras, onde ninguém ficará agachado, você costuma ficar atrás? 13. Você tem dificuldade para se acomodar no ônibus? 14. Em uma fila, por ordem de tamanho, você é sempre colocado atrás? Andrade (INE/UFSC), Bornia (EPS/UFSC), Borgatto (INE/UFSC)

26 ESCORE BRUTO NA TEORIA CLÁSSICA

27 ESCORE BRUTO NA TEORIA CLÁSSICA

28 O QUE É A TRI? Conjunto de modelos matemáticos que procuram representar a probabilidade de um indivíduo dar uma resposta a um item como função dos parâmetros do item e da(s) habilidade(s) do respondente. Os modelos relacionam variáveis observáveis respostas aos itens de um teste, por exemplo com aptidões não observáveis e que são responsáveis pelas respostas dadas pelo indivíduo. De acordo com essa relação, quanto maior a habilidade, maior a probabilidade de acerto no item.

29 ANÁLISE USANDO A TRI Pela TRI, o grau de conhecimento dos alunos é obtido por meio das características dos itens, de modo que alunos que acertam um mesmo número de itens de uma prova podem receber notas diferentes em razão de características específicas dos itens acertados: discriminação dificuldade probabilidadedeacerto ao acaso

30 PARÂMETROS DOS ITENS Dificuldade - nível mínimo de proficiência que um estudante precisa possuir para ter uma chance alta de acertar o item Discriminação - poder do item em diferenciar os alunos em diferentes níveis de habilidades Probabilidade de acerto ao acaso - probabilidade que indivíduos com baixa proficiência têm de acertar itens chutando, sem possuir conhecimentodo conteúdo

31 MODELOS ü Pressuposto básico: quanto maior a proficiência do estudante, maior a probabilidade de ele responder corretamente ao item;; ü Item de múltipla escolha (corrigido como certo/errado): ü logístico (unidimensional), com 1, 2 ou 3 parâmetros

32 MODELO LOGÍSTICO DE 3 PARÂMETROS P( U ij = 1 1 θ ) = c + (1 c ) j i i 1+ e θ j a i ( b Probabilidade de um indivíduo j, com proficiência ou habilidade θ j, responder corretamente o item i, em função dos parâmetros do item: a i : discriminação do item;; b i : dificuldade (medido na mesma métrica da habilidade);; c i : acerto ao acaso (probabilidade). i )

33 MODELO LOGÍSTICO DE 3 PARÂMETROS probabilidade de resposta correta 1,0 0,8 0,6 0,4 0,2 0,0 iiiiiiii c Curva característica do item - CCI -4,0-3,0-2,0-1,0 0,0 1,0 2,0 3,0 4,0 habilidade (traço latente) b a a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade)

34 OBTENÇÃO DOS PARÂMETROS DOS ITENS Com um número razoável de respostas, estimamos ao parâmetros de cada item: dificuldade (b), discriminação (a) acerto casual (c), Usando um processo estatístico, calibram- se os itens. Esses números vão para o banco de itens e, juntamente com outras informações (habilidades), monta- se a prova. A estimativa da habilidade do respondente é o valor da escala mais coerente com o conjunto de respostas dele, também obtida por um processo estatístico.

35 NOTA PADRONIZADA

36 OLHANDO PARA UM ITEM Representar objetos tridimensionais em uma folha de papel nem sempre é tarefa fácil. O artista holandês Escher ( ) explorou essa dificuldade criando várias figuras planas impossíveis de serem construídas como objetos tridimensionais, a exemplo da litografia Belvedere, reproduzida ao lado. Considere que um marceneiro tenha encontrado algumas figuras supostamente desenhadas por Escher e deseje construir uma delas com ripas rígidas de madeira que tenham o mesmo tamanho. Qual dos desenhos a seguir ele poderia reproduzir em um modelo tridimensional real? A B C D E Habilidade: H8

37 OLHANDO PARA UM ITEM Parâmetros da TRI: a = 1,31 b = 0,96 c = 0,15 Para responder ao item, o candidato deveria, por meio de uma habilidade de percepção espacial adequada, analisar as figuras tridimensionais dadas e verificar em qual delas as relações de visibilidade e sombreamento entre as peças de madeira correspondiam a um objeto real.

38 MODELO LOGÍSTICO DE 1 PARÂMETRO MODELO DE RASCH Criado em 1960 pelo matemático dinamarquês George Rasch

39 MODELO LOGÍSTICO DE 2 PARÂMETROS Este modelo foi inicialmente proposto por Lord com base na distribuição normal padronizada e em seguida Birnbaum alterou o suporte deste modelo para a função logística. Birnbaum (1957) substituiu as curvas de ogiva por curvas logísticas, isto é, baseadas nos logaritmos, tornando o tratamento matemático e a interpretação dos dados mais fácil.

40 COMPARANDO OS PARÂMETROS DA TCT E DA TRI

41 TCT - DIFICULDADE DO ITEM i Número de indivíduos que responderam corretamente ao item, dividido pelo número de indivíduos submetidos ao item: P = i C N Obs. Geralmente consideram- se respondidos incorretamente aqueles itens deixados em branco, com duas respostas, rasurados etc. i i

42 DIFICULDADE DO ITEM TCT: é medida pela proporção de acerto. Quanto mais acerto, mais fácil é o item Varia de 0 (ninguém acertou) a 1 (todos acertaram) Exemplo: ITEM Dificuldade Percentual de acerto por alternativa (TCT) A B C D E Item 1 0,75 0,10 0,05 0,75 0,07 0,03 Item 2 0,14 0,14 0,17 0,35 0,11 0,23 Item 3 0,52 0,03 0,00 0,25 0,20 0,52

43 DIFICULDADE DO ITEM TRI: representa a proficiência mínima necessária para uma alta probabilidade de acerto ao item. Quanto maior é o índice b, mais difícil é o item Varia tipicamente entre -3 e +3 (na escala padrão). Exemplo: ITEM Dificuldade Percentual de acerto por alternativa TRI (TCT) A B C D E par "b" Item 1 0,75 0,10 0,05 0,75 0,07 0,03-2,13 Item 2 0,14 0,14 0,17 0,35 0,11 0,23 1,88 Item 3 0,52 0,03 0,00 0,25 0,20 0,52 0,27

44 Pasquali, 2004

45 TCT - DISCRIMINAÇÃO DO ITEM Propriedade de discriminar (diferenciar) indivíduos comproficiênciasdistintas. Separamos os conjuntos de indivíduos em 3 grupos, de acordo com a nota (escore), denominados de Grupo Inferior, Grupo Intermediário e Grupo Superior Grupo Superior: os 27% de maior desempenho Grupo Inferior: os 27% de menor desempenho Intermediário: os demais 46%

46 PROPORÇÃO DE ACERTO EM CADA GRUPO Espera- se que, para cada item, os indivíduos do grupo superior apresentem uma proporção de acerto maior que o do grupo intermediário, e que este apresente uma proporção de acertos maior que do grupo inferior. Psup: Percentual de acerto no grupo superior Pint: Percentual de acerto no grupo intermediário Pinf: Percentual de acerto no grupo inferior Pinf < Pint < Psup

47 PARÂMETRO DE DISCRIMINAÇÃO Quanto maior a diferença Psup- Pinf, maior será o potencial de discriminação do item. Adota- se Disc = Psup - Pinf Escala: a a Bom Bom, mas sujeito a aprimoramento Item marginal, sujeito a reelaboração Itemdeficiente, que deve serrejeitado

48 DISCRIMINAÇÃO DO ITEM TRI: é o poder que o item possui para diferenciar examinandos com distintas proficiências. Quanto maior é o índice a, mais discriminativo é o item Varia tipicamente entre 0 e +2. Observação: O parâmetro a varia de acordo com o modelo da TRI (ele é maior no modelo Logístico do que no Normal). Percentual de acerto por alternativa TRI ITEM Gabarito A B C D E par "a" Item 1 C -0,35-0,24 0,50-0,23-0,12 1,31 Item 2 E -0,02-0,40-0,22-0,16 0,34 0,79 Item 3 B -0,13-0,14 0,01 0,42-0,06 0,18

49 CLASSIFICAÇÃO DOS ITENS QUANTO À DISCRIMINAÇÃO

50 PARÂMETRO DE ACERTO AO ACASO Parâmetro c : conhecido como parâmetro de acerto ao acaso do item. É a assíntota inferior da CCI e representa a probabilidade de um aluno com baixa proficiência responder corretamente o item. Normalmente varia de 0 a 0,25.

51 CURVA CARACTERÍSTICA DE DOIS ITENS a: discriminação; b: dificuldade; c: acerto ao acaso

52 ANÁLISE GRÁFICA DO ITEM (AGI) Discriminação e Dificuldade Gabarito Dificuldade Bisserial p_a p_b p_c p_d p_e E 0,13 0,47 0,11 0,16 0,44 0,15 0,13

53 TRI X TCT - Exemplo do cálculo da nota Sujeito Item 1 Item 2 Item 3 Item 4 Item 5 Escore bruto (TCT) Proficiência (TRI) , , , , , , , ,20 Acertos TRI

54 VANTAGENS DA TRI Construção estatisticamente consistente Permite comparabilidade entreséries, anos etc. Características diferentes em um mesmo item (discriminação, dificuldade,acerto ao acaso) Banco de Itens Estudode fatores associados Estudo do número de dimensões dos itens Possibilita a construção de uma interpretação pedagógica da escala itens e indivíduos são inseridos na escala de proficiência

55 VANTAGENS DA TRI Construção das escalas Equalização - Transformar as medidas (parâmetros dos itens e desempenho dos alunos) para que elas fiquem em uma mesmaescala Permite fazer comparações e acompanhar progressos de um sistema educacional ao longo dos anos.

56 OLHANDO PARA A ESCALA (BNI) Como atribuir significado prático aos valores de proficiência obtidos? interpretação da escala de proficiência como utilizar a interpretação para favorecer a aprendizagem?

57 ITENS ÂNCORAS

58 ITENS ÂNCORAS A metodologia para interpretação das escalas inclui dois procedimentos principais: identificação de itens âncoras e a apresentação desses itens a um painel de especialistas. Nessa metodologia, itens âncora são itens que caracterizam os pontos ou níveis das escalas no sentido de que a grande maioria dos examinandos situados em determinado nível acerta o item, enquanto menos dametade dos alunossituados no nível imediatamente inferior também acerta.

59 Critérios para seleção Para o item ser considerado âncora, por exemplo, no nível 500, ele devesatisfazer ao seguinte critério: 65% ou mais dos respondentes em torno do nível 500 acertam o item, menos de 50% dos alunos posicionados no nível anterior acertam o item, e a diferença entre os percentuais dos que acertaram seja maior que 30%. Este critério é bastante rígido, por isso, uma modificação tem sido empregada: 65% ou mais dos respondentes em torno do nível 500 acertam o item, menos de 65% dos alunos posicionados no nível anterior acertam o item, e o ajuste da curva é bom.

60 DISTRIBUIÇÃO DOS ITENS ÂNCORA NA ESCALA DE PROFICIÊNCIA

61 ESCALA DO ENEM

62 ENEM: ü Gigantismo do processo, logística sofisticada e custo elevado;; ü Riscos elevados e constantes de quebra de sigilo;; ü Dificuldades para construção de bancos de itens segurança versus qualidade pedagógica;; pré-teste;; ü Necessidade de avaliação do banco de elaboradores/colaboradores;; ü Nota da redação versus proficiências das objetivas (escalas diferentes);; ü Abrangência da matriz versus tamanho do teste;; ü Resgate do caráter de avaliação do Enem ele se transformou em um vestibularzão por causa do SiSU!!!!! ü Necessidade de fortalecimento da avaliação processual como forma de ingresso à ENEM seriado. ü Não promove a interação da Universidade com a educação básica;;

63 É justa a avaliação praticada? Avaliação versus seleção

64 IGUALDADE OU EQUIDADE?

65 REFLEXÃO FINAL Avaliar para classificar e excluir OU avaliar para intervir e mudar? Utilização dos resultados e dos relatórios como ferramenta pedagógica: avaliação para regular, sintonizar, as aprendizagens

66 Obrigado pela atenção.