Teoria de Resposta ao Item: Estimação dos Parâmetros dos Itens e dos Sujeitos

Transcrição

1 Teoria de Resposta ao Item: Estimação dos Parâmetros dos Itens e dos Sujeitos Dr. Ricardo Primi Programa de Mestrado e Doutorado em Avaliação Psicológica Universidade São Francisco

2 Como são feitos os cálculos na TRI TCT somar pontos, transformar escores comparando-s com o grupo normativo e apresentá-lo em uma nova escala TRI Abordagem baseada em modelos (CCI) Modelo / Realidade Considerando o modelo quais valores dos parâmetros produzem respostas mais próximas das que são observadas? Máxima verossimilhança

3 Problema da estimação Em uma situação comum, é preciso saber Thetas dos n sujeitos Parâmetros para os j itens (a j, b j e c j ) Por exemplo, em uma situação com 250 sujeitos respondendo a um teste de 30 itens teremos X30 = 340 parâmetros para se descobrir Se tomarmos o modelo de um parâmetro: Dai θ e Pi ( θ) = + Dai 1 e ( b ) ( θ b ) Se conhecermos a habilidade do sujeito e os parâmetros dos itens conseguimos saber qual a chance do sujeito acertá-lo (padrão de resposta) Se conhecemos a probabilidade de acerto e os parâmetros dos itens podemos calcular o theta Se conhecemos o theta dos sujeitos e as probabilidades podemos calcular os parâmetros dos itens Mas em uma situação típica não conhecemos os parâmetros dos itens e não sabemos qual a habilidade dos sujeitos, só temos as respostas (probabilidades)!! i i

4 Exemplo 1. Conceituação básica quando conhecemos os parâmetros dos itens e queremos medir o theta de cada sujeito Estimação de Theta Supondo que os parâmetros dos itens são conhecidos, existem três métodos (Embretson & Reise, 2000): Máxima verossimilhança (maximum likelihood, ML) Máximo a posteriori (maximum a posteriori, MAP) Estimado a posteriori (estimated a posteriori, EAP) Conceito da estimação por Máxima verossimilhança Os parâmetros dos j itens são conhecidos (a j, b j e c j ). Portanto é possível calcular a probabilidade que um sujeito s com uma habilidade θ s tem de acertar um item j. Diferença entre probabilidade/verossimilhança: probabilidade: probabilidade calculada antes do fato (qual a probabilidade com que algo acontecerá?) verossimilhança/plausibilidade: probabilidade pós fato (qual a probabilidade de algo ter acontecido?) O procedimento de cálculo de theta baseado na máxima verossimilhança é um procedimento que objetiva descobrir o de θ s que maximize a verossimilihança/plausibilidade (probabilidade) do vetor de respostas do sujeito s.

5 Função de máxima verossimilhança Probabilidade de um sujeito acertar um item segundo a ICC P i (u si = 1θ s ) = P i ) = c i + ( ) 1 c i e Da i b i ) 1 + e Da i b i ) Probabilidade de um sujeito errar um item segundo a ICC Probabilidade antes do fato Probabilidade antes do fato P i (u si = 0θ s ) = Q i ) = 1 c i + ( ) 1 c i e Da i b i ) 1 + e Da i b i ) = 1 P (θ ) i s Probabilidade de um vetor específico de respostas de um sujeito ou de um sujeito obter um vetor de acertos/erros observado Verossimilhança Pós fato i I u s us usi s P s P s PI s = 1 1, 2, θ ) = 1( θ ). 2( θ ). ( θ ) Pi ( θs) Qi ( s) i= 1 L ( u θ si u si

6 Decompondo... Quando um sujeito responde a uma série de itens, ele produz um padrão de respostas, composto de acertos (valor 1) e erros (valor 0). No exemplo do GfRI temos os seguintes parâmetros i02 i05 i01 i09 i07 i03 i06 i10 i04 i08 i14 i11 i15 i13 i12 i16 a 1,09 1,13 0,85 0,82 0,85 0,81 0,9 0,71 0,72 0,97 0,58 0,9 0,96 0,96 0,9 0,95 b - 1,03-0,88-0,73-0,52-0,44-0,1-0,09 0,07 0,15 0,26 0,46 0,6 1,02 1,16 1,21 1,22 c 0,12 0,12 0,12 0,13 0,13 0,13 0,12 0,12 0,13 0,12 0,14 0,12 0,13 0,12 0,11 0,11 Considere o seguinte vetor de acertos i02 i05 i01 i09 i07 i03 i06 i10 i04 i08 i14 i11 i15 i13 i12 i16 Padrão de resposta L i (1,1,1,1,1,0,0,1,0,0,0,0,0,0,0,0θ s ) = P i ) u si Q i ) 1 u si = I i =1 P 2 )P 5 )P 1 )P 9 )P 7 )Q 3 )Q 6 )P 10 )Q 4 )Q 8 )Q 14 )Q 11 )Q 15 )Q 13 )Q 12 )Q 16 ) = P 2 P 5 P 1 P 9 P 7 Q 3 Q 6 P 10 Q 4 Q 8 Q 14 Q 11 Q 15 Q 13 Q 12 Q 16

7 Decompondo... Entendendo cada elemento do produtório: Se u 11 = 1 P i ) u si Q i )1 u si = P 1 (θ 1 ) 1 Q i ) 1 1 = P 1 (θ 1 ) 1 Q i ) 0 = P 1 (θ 1 ) 1 1 = P 1 (θ 1 ) Se u 11 = 0 P i ) u si Q i )1 u si = P 1 (θ 1 ) 0 Q 1 (θ 1 ) 1 0 = P 1 (θ 1 ) 0 Q 1 (θ 1 ) 1 = 1Q 1 (θ 1 ) = Q 1 (θ 1 ) Na forma geral: P i ) u si Q i )1 u si Esse parte da equação liga a fórmula da probabilidade de acerto ou de erro dependendo do que foi observado! Na forma geral a função de máxima verossimilhança fica assim: L i (u s1,u s2, u si θ s ) = I i =1 P i ) u si Q i ) 1 u si O que é L? É a probabilidade de um vetor específico de resposta ter acontecido (valor em função dos parâmetros dos itens e do theta) Cálculo de probabilidades: a probabilidade de acontecimento de dois conjuntos, mas que são independentes é igual ao produto das probabilidades de acontecimento de cada evento!

8 Probabilidades

9 Probabilidades Verossimilhança

10 O Que é L... L i (u s1,u s2, u si θ s ) = I i =1 P i ) u si Q i ) 1 u si É uma função indicando a chance de um vetor específico ter acontecido no conjunto específico de itens com os parâmetros definidos para vários valores de theta! No nosso exemplo: i02 i05 i01 i09 i07 i03 i06 i10 i04 i08 i14 i11 i15 i13 i12 i16 Padrão de resposta , , , , , , , ,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 A função é exemplificada acima. Qual o valor de theta mais plausível associado ao padrão de resposta acima?

11 Dois problemas Padrões Tudo-um e Tudo-zero: impossível estimar! i02 i05 i01 i09 i07 i03 i06 i10 i04 i08 i14 i11 i15 i13 i12 i16 Padrão de resposta , , , , , ,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 i02 i05 i01 i09 i07 i03 i06 i10 i04 i08 i14 i11 i15 i13 i12 i16 Padrão de resposta , , , , , , ,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0

12 Dois problemas Multiplicação de vários valores entre 0 e 1 chega rapidamente a um número muito pequeno e os computadores perdem a precisão no cálculo. Portanto, uma saída é calcular o logaritmo da função L (Log-Likelihoods): log e x = n e n = x log e 0,3679 = n e n = 0,3679 = 2,718 n = 0,3679 (n < 0) a n = 1 a n 2,718 1 = 1 2,718 = 1 1 2,718 = 0,3679 log e 0,3679 = 1 log e L i (u s1,u s2, u si θ s ) = u si log e P i ) [ ] + 1 u si [ ] ( )log e Q i ) Portanto: números negativos altos > baixa probabilidade números negativos baixos > alta probabilidade O mesmo valor de theta maximiza as funções L e LogL

13 Métodos Bayesianos Máximo a Posteriori Incorpora informações prévias sobre a distribuição dos parâmetros (prior information) Se o pesquisador sabe que os parâmetros irão se restringir a certos valores e tem uma idéia de sua distribuição, essa informação pode ser incorporada no processo de cálculo tornando-o mais eficiente. Resolve um problema da ML quanto à impossibilidade de estimar escores para valores extremos (tudo zero ou tudo um). Conceitos básicos: Distribuição a priori: distribuição hipotética de probabilidade de valores de theta da qual o pesquisador assume que seus sujeitos são uma amostra aleatória (a mais comumente utilizada distribuição normal padrão) Distribuição a posteriori: é simplesmente a função de máxima verossimilhança (que nos dá a probabilidade de um vetor de respostas) multiplicada pela função de distribuição a priori.

14 Idéias básicas Duas informações probabilísticas que dão pistas da habilidade de um sujeito: θ

15

16 Verossimilhança x Priori = Posteriori

17 Bingo... O objetivo da estimação Máximo a posteriori (MAP) é, então, achar o valor de theta que maximize a distribuição a posteriori (mesmo procedimento discutido anteriormente) Ver planilha Diferenças entre Máximo a posteriori (maximum a posteriori, MAP) e estimado a posteriori (estimated a posteriori, EAP) MAP: processo interativo de busca da Moda da distribuição a posteriori EAP: processo direto de cálculo da média da distribuição a posteriori Alguns pontos importantes (Embretson & Reise, 2000) Noção intuitiva da precisão!! ML/MAP/EAP: mesmo escore total / mesmo theta!! mas diferentes plausibilidades!!!!!.. Thetas diferentes devido a discriminação... ML/MAP/EAP: alta discriminação /baixa variância / menor erro MAP/EAP: testes curtos e/ou com itens com baixa discriminação mais a distribuição a priori irá influenciar MAP/EAP: a distribuição a priori força os sujeitos para a média e diminui os erros (por causa da presença de mais informação) MAP/EAP: teste com menos de 20 itens MAP será viesada. Se especificarmos erroneamente as distribuições a priori mais viesadas serão as estimações dos thetas.

18 Exemplo 2: Medidas de ajuste Ajuste: valor deve estar dentro de um limite aceitável Se passar: Modelo de CCI inadequado Alguns itens desajustados Índice de ajuste no modelo de Rasch (Infit e Outfit)

19 Exemplo 3. A invariância dos parâmetros O que acontece com a estimativa da dificuldade se estimamos os parâmetros dos itens duas vezes: G1 amostra cujos thetas estão entre -3 a -1 (M=-2) G2 amostra cujos thetas estão entre 1 a 3 (M=+2) Em cada caso há dados para se estimar um setor da curva

20 Exemplo3: A invariância dos parâmetros Mas a CCI deve ser a mesma pois se trata da estimação dos parâmetros para o mesmo item Warnings (pg. 55): é possível observar variações nas estimações em razão do tamanho da amostra, estrutura dos dados, índice de ajuste. Itens devem medir a mesma coisa em uma situação ou outra (item fora de seu contexto pode passar a medir outra coisa) ou quando usado para um grupo para o qual não é uma medida adequada. Conclusão: as estimativas estão sujeitas a variações amostrais CCI é a expressão da relação entre a probabilidade de acerto e a escala latente do construto e, por isso, não deve depender da distribuição dos sujeitos

21 Exemplo 4: Estimar os parâmetros dos sujeitos e dos itens quando só conhecemos os padrões de resposta Mas e quando só temos os padrões de resposta? O processo é mais complexo mas a idéia básica é a mesma: Pré definem-se parâmetros para os sujeitos e itens, seguem-se interações tentando melhorar os parâmetros dos itens, estima-se parâmetros para os sujeitos com as novas estimativas melhoradas dos itens Reestima-se os parâmetros dos itens com as novas estimativas melhoradas dos sujeitos Repete-se o procedimento até que não se consiga melhorar mais nenhuma estimativa Calcula-se as CCIs e os índices de ajuste.

22 Estimação dos parâmetros dos itens Problema: não se sabe quais são os valores dos thetas dos sujeitos Há três métodos mais usados: Máxima verossimilhança conjunta (Joint Maximum Likelihood, JML) Máxima verossimilhança condicional (Conditional Maximum Likelihood, CML) Máxima verossimilhança marginal (Marginal Maximum Likelihood, MML) Os métodos de estimação diferem na maneira como irão lidar com o problema dos valores desconhecidos de theta: JML: utiliza valores provisórios e estima em duas fases: sujeitos depois itens MML: modela a probabilidade dos vetores de resposta como vindo de uma população com distribuição de theta conhecida CML: modela a probabilidade dos vetores de resposta das probabilidades dos vários padrões de resposta que levaram ao mesmo escore total

23 Estimação no XCALIBRE e WINSTEPS XCALIBRE proceeds through several phases The Initial-Estimate phase consists of calculating initial estimates for the item parameters based on transformations of classical item statistics. the EM phase refines the item parameter estimates using the EM implementation of the MML estimation approach. The optional Linkage phase transforms the scale on which the item parameters exist onto a scale defined by pre-specified linking items (i.e., items with fixed parameter values). The Residual phase computes standardized residuals that provide for an evaluation of the accuracy, or fit, of the item parameter estimates with respect to the IRT model. WINSTEPS implements three methods of estimating Rasch parameters from ordered qualitative observations: JMLE, PROX and XMLE. Initially all unanchored parameter estimates (measures) are set to zero. Then the PROX method is employed to obtain rough estimates. Each iteration through the data improves the PROX estimates until they are usefully good. Then those PROX estimates are the initial estimates for JMLE which fine-tunes them, again by iterating through the data, in order to obtain the final JMLE estimates. The iterative process ceases when the convergence criteria are met. These are set by MJMLE=, CONVERGE=, LCONV= and RCONV