Teoria da Resposta ao Item (TRI) e suas

Transcrição

1 Item () e Item () e Ribeiro Faculdade de Estatística / Universidade Federal do Pará heliton@ufpa.br Item () e

2 Etapas da Apresentação Item () e 1 2 item () 3 Geração de Dados 4 5 Principais Aplicativos () 6 Principais Sistemas de Avaliação e 7 e Pós-Graduação Item () e

3 Item () e Escores brutos ou padronizados Resultados dependem do particular conjunto de itens que compõem o instrumento de medida Inviável a comparação entre indivíduos que não foram submetidos aos mesmos instrumentos de medida. Item () e

4 Principais medidas Item () e Escore total (respondente): número de acertos - varia de 0 a n (núumero de itens). Índice de dificuldade (item): proporção de acertos. Varia de 0 a 1. Indice de discriminação (item): mede a capacidade do item de diferenciar indivíduos. Construído pela diferença entre a proporção de acertos do grupo superior e a do grupo inferior. Varia de -1 a 1. Grupo superior: 27% dos respondentes com os escores mais altos. Grupo inferior 27% dos respondentes com os escores mais baixos. Item () e

5 Obtenção dos Limites de cada Grupo Item () e Item () e

6 Gráfico: Disciplina 1 Item () e Item () e

7 Gráfico: Disciplina 2 Item () e Item () e

8 Correlação Item-Teste Item () e Coeficiente de correlação ponto-bisserial (item) (r pbiss ): coeficiente de correlação de Pearson entre o escore total e a resposta ao item (1 = acerto, 0 = erro) de cada um dos respondentes. Também mede a discriminação do item. Varia de -1 a 1. Coeficiente de correlação bisserial (item): r biss = r pbiss p(1 p) h(p) onde h(p) é o valor da densidade da N(0, 1) cuja respectiva acumulada dá p. Item () e

9 Fidedignidade do Teste Item () e Coefciente α (teste): medida de fidedignidade do teste - varia de 0 a 1. α = n [ n i=1 1 p ] i(1 p i ) n 1 s 2 em que n é o número de itens, p i é a proporção de acertos ao item i e s 2 é a variância dos escores. Erro-padrão de medida (teste): medida de precisão do teste. EPM = s 1 α. Item () e

10 Modelo Item () e em que: Y jt = T j + ξ jt Y jt : escore do respondente j no teste t. T j : escore verdadeiro do respondente j (conhecimento). ξ jt : componente de erro para o respondente j no teste t. Suposição usual: ξ jt N(0, σ 2 ), iid: Item () e

11 Referências Item () e Andrade, D. F. (2005). Notas de aula do curso de verão sobre. IME-USP Gulliksen, H. (1950). Theory of Mental Tests. New York: John Wiley and Sons. Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. Vianna, H.M. (1987). Testes em Educação. São Paulo: Ibrasa. Item () e

12 item () Item () e Teoria psicométrica desenvolvida para suprir necessidades na área educacional. É composta por conjunto de modelos que consideram variáveis latentes. Modelos de Item (MRI) : representam o relacionamento entre traços latentes de indivíduos e itens de um instrumento de medida (prova, questionário). Tal modelagem consiste na probabilidade de obter um certo escore em cada item. Existe um grande número de classes de MRI : dicotômicos e policotômicos, um e múltiplos grupos, multidimensionais, longitudinais multiníveis, dentre outros. MRI apresentam elevado número de parâmetros. Aplicada em diversas áreas: educação, marketing, psiquiatria, genética etc. Item () e

13 Utilização no Brasil e no Mundo Item () e No Brasil vem sendo usada extensamente em avaliação educacional SAEB/Prova Brasil, Provinha Brasil, Encceja, ENADE, ENEM,... No mundo: TOEFL, GRE, PISA,... É parte fundamental dos exames vestibulares das universidades federais Decreto do MEC fala explicitamente em uso do modelo logístico de 3 parâmetros Item () e

14 O modelo logístico de 3 parâmetros (ML3) Item () e Dos modelos propostos pela, o modelo logístico unidimensional de 3 parâmetros (ML3) é atualmente o mais utilizado. Baseia-se na suposição de que quanto maior o conhecimento (habilidadde) do indivíduo na área avaliada, maior é a probabilidade de ele responder corretamente ao item. Assim, podemos esperar o seguinte comportamento para a probabilidade de resposta correta em função da habilidade: 1 P(U ij = 1 θ j ) = c i + (1 c i ) 1 + e Da i (θ j b i ), (1) com i = 1, 2,, n, e j = 1, 2,, n. Item () e

15 Exemplo de uma Curva Característica do Item CCI Item () e Item () e

16 Interpretação: Item () e U ij é uma variável dicotômica que assume os valores 1, quando o indivíduo j responde corretamente o item i, ou 0 quando o indivíduo j não responde corretamente ao item i. θ j representa a habilidade (traço latente) do j-ésimo indivíduo. P(U ij = 1 θ j ) é a probabilidade de um indivíduo j com habilidade θ j responder corretamente o item i e é chamada de Modelo (ou Função) de Resposta do Item MRI. b i é o parâmetro de dificuldade (ou de posição) do item i, medido na mesma escala da habilidade. a i é o parâmetro de discriminação (ou de inclinação) do item i, com valor proporcional à inclinação da Curva Característica do Item CCI no ponto θ = b i. c i é o parâmetro do item que representa a probabilidade de indivíduos com baixa habilidade responderem corretamente o item i (muitas Resposta vezesaoreferido Item () e como a

17 Exemplo de Item na PRÁTICA Item () e Item () e

18 Exemplo de Item na PRÁTICA Item () e Item () e

19 Exemplo de Item na PRÁTICA. Possível melhoria Item () e Item () e

20 Exemplo de Item com comportamento inesperado Item () e Item () e

21 Exemplo de Item com comportamento inesperado Item () e Item () e

22 Apresentando as DUAS categorias (certo e Errado) Item () e Item () e

23 Modelo de Resposta Nominal Item () e Item () e

24 Modelo de Resposta Nominal Item () e Temos m i categorias para o item i A soma das probabilidade é igual a 1, para cada θ. A probabilidade de o indivíduo j ter associado a categoria s é dada por P(U ij = s θ j ) = exp{a is (θ j b is )} mi h=1 exp{a ih(θ j b ih )} Item () e

25 Modelo de Resposta Gradual Item () e Item () e

26 Modelo de Resposta Gradual Item () e Temos m i categorias para o item i, com nível de dificuldade gradual A soma das probabilidade é igual a 1, para cada θ. A probabilidade de obter a categoria s ou superior é dada pelo Modelo Logístico de 2 Parâmetros (P + i,k ). A probabilidade de o indivíduo j ter associado a categoria s é obtida pela diferença P + i,k P+ i,k+1 P(U ij = s θ j ) = exp{ a i (θ j b is )} exp{ a i (θ j b i(s+1) com b i1 b i2 b imi Item () e

27 Outros Modelos Item () e Modelo de Escala Gradual (b i,k = b i d k ) Modelo de Crédito Parcial (Masters, 1992) Modelo de Crédito Parcial Generalizado (Muraki, 1992) Modelos de Desdobramento (Robert, 1994) Item () e

28 de Dados Item () e Uma etapa importante na fase de proposição e teste de modelos é a Geração de Números Aleatórios. Considerando P ji a probabilidade de um indivíduo com habilidade θ j responder corretamente a um item com parâmetros ζ i = (a i, b i, c i ), então a variável dicotômica U ji tem distribuição Bernoulli(P ji ). Tabela: Ilustração do conjunto de observações 1 2 n 1 u 11 u 12 u 1n 2 u 21 u 22 u 2n N u N1 u N1 u Nn Item () e

29 Geração de Dados Item () e Então devemos gerar realizações de variáveis aleatórias com distribuição Bernoulli(P ji ). No entanto, sabemos que se X U(0, 1), então P(X x) = x. Definimos U ji = 1 {Xji P ji }, então P(U ji = 1) = P(X ji P ji ) = P ji. U ji = 1 U ji = P ji Útil: se R 1 e R 2 são U(0, 1) independentes, então Z = 2 ln(r 1 ) cos(2πr 2 ) N(0, 1). Item () e

30 Uma Macro em Excel/VBA [Alt+F11, depois F7] Item () e Sub GeraDados() Dim a(5) : Dim b(5) : Dim c(5) a(1) = 0.5: a(2) = 0.75: a(3) = 1: a(4) = 1.25: a(5) = 1.5 b(1) = -1: b(2) = -0.5: b(3) = 0: b(4) = 0.5: b(5) = 1 c(1) = 0.1: c(2) = 0.1: c(3) = 0.2: c(4) = 0.2: c(5) = 0.2 Nindiv = 100 : nitens = 5 : Pi = For j = 1 To Nindiv R1 = Rnd() : R2 = Rnd() theta = Sqr(-2 * Log(R2)) * Sin(2 * Pi * R1) Gerando N(0,1) Cells(j, 1) = theta For i = 1 To nitens Pji = c(i) + (1 - c(i)) / (1 + Exp(-1.7 * a(i)*(theta - b(i)))) Xji = Rnd If (Xji < Pji) Then Cells(j, i+1) = 1 Else Cells(j, i+1) = 0 Next Next End Sub Item () e

31 Planilha com os dados gerados Item () e Item () e

32 Item () e Breve introdução a e aos métodos de estimação Métodos de estimação em modelos de um único grupo dos parâmetros dos itens Máxima verossimilhança marginal Moda marginal a posteriori dos traços latentes Máxima verossimilhança Esperança a posteriori Moda a posteriori Métodos de estimação em modelos de grupos múltiplos dos parâmetros populacionais Equalização Item () e

33 Notação Item () e Geral: por máxima verossimilhança contruir a verossimilhança e encontrar os valores de ζ que maximizam essa função. Notação: u ji : resposta do indivíduo j ao item i u j. : vetor de respostas do indivíduo j a todos os itens u.. : conjunto total de observações θ = (θ 1,, θ N ): vetor de habilidades dos N indivíduos ζ = (ζ 1,, ζ n ): conjunto de parâmetros dos itens. Item () e

34 Suposições: Item () e As duas principais são: (S1) as respostas oriundas de indivíduos diferentes são independentes, (S2) os itens são respondidos de forma independente por cada indivíduo (Independência Condicional), fixada sua habilidade. Ou seja, a habilidade (θ) é a única informação necessária para determinar se o indivíduo acerta ou erra a questão. Ou ainda, o idivíduo não aprende (altera sua habilidade) no momento do teste. Item () e

35 Construção da verossimilhança Item () e O processo é construído em duas etapas, primeiro supõe-se alguma distribuição para as habilidades da população, tal como Normal(µ, σ 2 ). Na prática podemos fixar µ = 0 e σ 2 = 1. A equação de verossimilhança fica em função apenas dos parâmetros dos itens ζ. Geral: Supor distribuição para a habilidade: fdp é g(θ η), η = (µ, σ 2 ) A verossimilhança individual pode ser escrita como P(u j. ζ, η) = P(u j. θ, ζ)g(θ η)dθ. IR Item () e

36 Verossimilhança marginal Item () e A função de verossimilhança marginal será: (S1) N L(ζ) = P(U.. = u.. ζ) = P(U j. = u j. ζ) j=1 Encontrar o ponto de máximo da verossimilhança é equivalente a encontrar o ponto que maximiza a log-verossimilhança; N log L(ζ) = P(U j. = u j. ζ). j=1 Para encontrar o ponto de máximo de uma função, derivamos e igualamos a zero: log L(ζ) ζ i = 0, i = 1,, n. Item () e

37 Visualizão da Verossimilhança Item () e Item () e

38 Equação de Verossimilhança Item () e Podemos escrever a log-verossimilhança como log L(ζ, η) = N log P(u ζ i ζ i j. ζ, η) P(u j. ζ, η) ζ i = IR = N j=1 j=1 1 P(u j. ζ, η). P(u j. ζ, η) ζ i Depois de algumas páginas de desenvolvimento, obtemos [ ( ) Pi Wi (u ji P i ) ζ i P i Q i ] P(u j. θ, ζ)g(θ η)dθ Item () e

39 Desenvolvimento Item () e onde, W ji = P ji Q ji P ji Q ji, onde P ji é o ML2 e Q ji = 1 P ji Usando a notação j (θ) g(θ u j., ζ, η) = P(u j. θ, ζ)g(θ η), (2) P(u j. ζ, η) g teremos que a função de log-verossimilhança será log L(ζ, η) ζ i = N j=1 IR [ ( Pi (u ji P i ) ζ i ) Wi P i Q i ] g j (θ)dθ. Item () e

40 Derivadas de P ji Item () e Finalmente, basta obter as derivadas para a FRI escolhida para cada item. Adotando o ML3 para todos os itens, teremos P ji a i = D(1 c i )(θ j b i )PjiQ ji, P ji b i = Da i (1 c i )PjiQ ji, P ji c i = Qji. Agora é só substituir na equação anterior. Item () e

41 Equações de Item () e Em resumo, as equações de estimação para os parâmetros a i, b i e c i são, respectivamente, a i : D(1 c i ) N j=1 b i : Da i (1 c i ) c i : N j=1 IR IR N j=1 [(u ji P i )(θ b i )W i ] g j (θ)dθ = 0, IR [ (u ji P i ) W i P i [(u ji P i )W i ] g j (θ)dθ = 0, ] g j (θ)dθ = 0, Item () e

42 Métodos Iterativos Item () e As equações não apresentam solução expĺıcita. Com isso, deve ser adotado algum método iterativo para obtenção das estimativas de máxima verossimilhança, tal como o Método de Newton-Raphson ou Scoring de Fisher. Para isso, devem ser calculadas ainda a derivadas segundas, 2 log L(ζ, η) ζ i ζ l (i, l). (3) Naturalmente, quando i = l (mesmo item) essas derivadas não serão nulas, mas o desejável seria que as derivadas cruzadas (i l) fossem nulas, mas não são. Isso implica que deveremos estimar todos os itens conjuntamente, tendo que inverter matrizes da ordem 3n inúmeras vezes, por exemplo. Item () e

43 Métodos Iterativos Item () e Usando r i (θ) = N j=1 As equações de estimação ficam u ji g j (θ), f i (θ) = N j=1 g j (θ), log L(ζ, η) = D(1 c i ) (θ b i ) [r i (θ) P i f i (θ)] W i dθ, a i IR log L(ζ, η) = Da i (1 c i ) [r i (θ) P i f i (θ)] W i dθ, b i log L(ζ, η) c i = IR IR [r i (θ) P i f i (θ)] W i dθ. Item () e

44 Item () e Na prática, a integral é aproximada usando-se q pontos de quadratura θ k e respectivos pesos A k, k = 1, q. As Equações ficam a i : D(1 c i ) q (θ k b i ) [r ki P ki f k ] W ki = 0, k=1 b i : Da i (1 c i ) c i : q k=1 q [r ki P ki f k ] W ki = 0, k=1 [r ki P ki f k ] W ki P ki = 0. Item () e

45 Etapas do Algoritmo EM Item () e Mais especificamente, os passos E e M são Passo E Usar os θ k, os pesos A k, k = 1,, q e estimativas iniciais ζ i para gerar gj (θ k) e, posteriormente, r ki e f k. Passo M Com r e f obtidos no Passo E, resolver as equações de estimação para ζ i usando o algoritmo Newton-Raphson ou Scoring de Fisher. Vantagem: tratamento de matrizes 3 3 para o ML3, convergência. Desvantagem: Velocidade de convergência Item () e

46 Método de Newton-Raphson Item () e Inicia-se com uma estimativa inicial de ζ i, representada (0) por ζ i. A cada iteração 1, 2,, as estimativas são melhoradas. A expressão para a estimativa de ζ i na iteração t + 1 será ζ (t+1) i = ζ (t) i [ ( ζ (t) i )] 1 h( ζ (t) i ). O processo para quando algum critério de parada for alcançado. Item () e

47 Método de Newton-Raphson Item () e Inicia-se com uma estimativa inicial de ζ i, representada (0) por ζ i. A cada iteração 1, 2,, as estimativas são melhoradas. A expressão para a estimativa de ζ i na iteração t + 1 será ζ (t+1) i = ζ (t) i [ ( ζ (t) i )] 1 h( ζ (t) i ). O processo para quando algum critério de parada for alcançado. Item () e

48 Método de Newton-Raphson Item () e Inicia-se com uma estimativa inicial de ζ i, representada (0) por ζ i. A cada iteração 1, 2,, as estimativas são melhoradas. A expressão para a estimativa de ζ i na iteração t + 1 será ζ (t+1) i = ζ (t) i [ ( ζ (t) i )] 1 h( ζ (t) i ). O processo para quando algum critério de parada for alcançado. Item () e

49 Erro-Padrão Item () e Os estimadores de máxima verossimilhança gozam de propriedades assintóticas conhecidas, tais como vício nulo e eficiência. Sob algumas condições de regularidade (ver Sen & Singer (1993), por exemplo) a distribuição assintótica do estimador de máxima verossimilhança, ζ i, é normal com vetor de média ζ i e matriz de covariâncias dada pela inversa da matriz de informação ( 2 ) log L(ζ) I(ζ i ) = E ζ i ζ = (ζ i ), i As raízes quadradas dos elementos diagonais de [I(ζ i )] 1 fornecem os erros-padrão dos estimadores â i, b i e ĉ i. Item () e

50 das Habilidades Item () e Nesta etapa consideramos os parâmetros dos itens conhecidos. A habilidade do indivíduo j será estimada com base na distribuiçãoda habilidade, condicionada ao vetor de respostas do indivíduo j, ou seja, alguma característica de g j (θ) : g j (θ) g(θ u j., ζ, η) = P(u j. θ, ζ)g(θ η) P(u j. ζ, η) Podemos usar a Média desta distribuição (chamado de EAP - expected a posteriori), ou o máximo (Moda) da distribuição (chamado de MAP - maximum a posteriori) Item () e

51 das Habilidades Item () e Nesta etapa consideramos os parâmetros dos itens conhecidos. A habilidade do indivíduo j será estimada com base na distribuiçãoda habilidade, condicionada ao vetor de respostas do indivíduo j, ou seja, alguma característica de g j (θ) : g j (θ) g(θ u j., ζ, η) = P(u j. θ, ζ)g(θ η) P(u j. ζ, η) Podemos usar a Média desta distribuição (chamado de EAP - expected a posteriori), ou o máximo (Moda) da distribuição (chamado de MAP - maximum a posteriori) Item () e

52 das Habilidades Item () e Nesta etapa consideramos os parâmetros dos itens conhecidos. A habilidade do indivíduo j será estimada com base na distribuiçãoda habilidade, condicionada ao vetor de respostas do indivíduo j, ou seja, alguma característica de g j (θ) : g j (θ) g(θ u j., ζ, η) = P(u j. θ, ζ)g(θ η) P(u j. ζ, η) Podemos usar a Média desta distribuição (chamado de EAP - expected a posteriori), ou o máximo (Moda) da distribuição (chamado de MAP - maximum a posteriori) Item () e

53 Estimaçao das Habilidades - Visualização Item () e Item () e

54 EAP - expected a posteriori Item () e Este método é bastante conveniente, pois durante o processo de estimação dos parâmetros dos itens as quantidades gj (θ) são obtidas e guardadas, assim como o vetor de pontos de quadratura θ = (θ 1, θ 2,, θ q ), usado para aproximar as integrais por somas. Segue que a esperança da posteriori é θ j E[θ u j., ζ, η] = IR θg j (θ)dθ. Item () e

55 MAP - maximum a posteriori Item () e Temos que encontrar o ponto de máximo de g j (θ) Logaritmizamos, derivamos e igualamos a zero, e aplicamos Newton-Raphson. A equação de estimação para θ j é dada por D n i=1 a i (1 c i )(u ji P ji )W ji (θ j µ) σ 2 = 0. O processo iterativo será feito com base em θ (t+1) j = θ (t) j [H( θ (t) j )] 1 h( θ (t) j ) O erro-padrão será dado pelo inverso da informação de Fisher. Item () e

56 MAP - maximum a posteriori Item () e Temos que encontrar o ponto de máximo de g j (θ) Logaritmizamos, derivamos e igualamos a zero, e aplicamos Newton-Raphson. A equação de estimação para θ j é dada por D n i=1 a i (1 c i )(u ji P ji )W ji (θ j µ) σ 2 = 0. O processo iterativo será feito com base em θ (t+1) j = θ (t) j [H( θ (t) j )] 1 h( θ (t) j ) O erro-padrão será dado pelo inverso da informação de Fisher. Item () e

57 MAP - maximum a posteriori Item () e Temos que encontrar o ponto de máximo de g j (θ) Logaritmizamos, derivamos e igualamos a zero, e aplicamos Newton-Raphson. A equação de estimação para θ j é dada por D n i=1 a i (1 c i )(u ji P ji )W ji (θ j µ) σ 2 = 0. O processo iterativo será feito com base em θ (t+1) j = θ (t) j [H( θ (t) j )] 1 h( θ (t) j ) O erro-padrão será dado pelo inverso da informação de Fisher. Item () e

58 MAP - maximum a posteriori Item () e Temos que encontrar o ponto de máximo de g j (θ) Logaritmizamos, derivamos e igualamos a zero, e aplicamos Newton-Raphson. A equação de estimação para θ j é dada por D n i=1 a i (1 c i )(u ji P ji )W ji (θ j µ) σ 2 = 0. O processo iterativo será feito com base em θ (t+1) j = θ (t) j [H( θ (t) j )] 1 h( θ (t) j ) O erro-padrão será dado pelo inverso da informação de Fisher. Item () e

59 MAP - maximum a posteriori Item () e Temos que encontrar o ponto de máximo de g j (θ) Logaritmizamos, derivamos e igualamos a zero, e aplicamos Newton-Raphson. A equação de estimação para θ j é dada por D n i=1 a i (1 c i )(u ji P ji )W ji (θ j µ) σ 2 = 0. O processo iterativo será feito com base em θ (t+1) j = θ (t) j [H( θ (t) j )] 1 h( θ (t) j ) O erro-padrão será dado pelo inverso da informação de Fisher. Item () e

60 Item () e Análise Clássica: ItemAN ( Item: Bilog-MG, para itens dicotômicos ( Item: Bilog-MG, para itens policotômicos Análise de Fatores Associados: HLM (Hierarquical Linear Models) Itm do R Item () e

61 Item () e Análise Clássica: ItemAN ( Item: Bilog-MG, para itens dicotômicos ( Item: Bilog-MG, para itens policotômicos Análise de Fatores Associados: HLM (Hierarquical Linear Models) Itm do R Item () e

62 Item () e Análise Clássica: ItemAN ( Item: Bilog-MG, para itens dicotômicos ( Item: Bilog-MG, para itens policotômicos Análise de Fatores Associados: HLM (Hierarquical Linear Models) Itm do R Item () e

63 Item () e Análise Clássica: ItemAN ( Item: Bilog-MG, para itens dicotômicos ( Item: Bilog-MG, para itens policotômicos Análise de Fatores Associados: HLM (Hierarquical Linear Models) Itm do R Item () e

64 Item () e Análise Clássica: ItemAN ( Item: Bilog-MG, para itens dicotômicos ( Item: Bilog-MG, para itens policotômicos Análise de Fatores Associados: HLM (Hierarquical Linear Models) Itm do R Item () e

65 Item () e Item () e

66 Item () e Item () e

67 Item () e Obrigado! heliton@ufpa.br Item () e