Introdução à Teoria de Resposta ao Item

Transcrição

1 Caio L. N. Azevedo, IMECC/Unicamp Dani Gamerman, DME/UFRJ I CONBRATRI, Florianópolis 9 de dezembro de 2009 Parte II

2 Parte 2: Implementação computacional. Análise de dados 1. Modelo de 3 parâmetros via Bilog. Análise de dados 2. DIF: funcionamento diferencial do item Modelos multiníveis: estudo de fatores associados. Equalização. Assimetrias. Testes adaptativos.

3 Bilog: Desenvolvido para a plataforma Windows, algoritmos já implementados. Winbugs: possibilidade de implementação dos métodos (modelo de 1 parâmetro implementado como exemplo). R: existência de pacotes que permitem o ajuste de diversos modelos. Muitos autores deixam rotinas disponibilizadas em suas páginas na internet ou através de .

4 Bilog: Desenvolvido para a plataforma Windows Estimação dos itens: MVM e MMAP. Acelerador de Ramsey. Regressão rígida. Estimação dos hiperparâmetros. Estimação das densidades latentes. Traços latentes: MV, EAP e MAP.

5 WinBugs: Desenvolvido para a plataforma Windows e Linux Permite a implementação de (qualquer?) modelo para se fazer inferência bayesiana via MCMC Dispõe de vários algoritmos de simulação. Nem sempre é fácil implementar certos modelos. Como implementar Dados aumentados? Reparametrizações em matrizes de covariância? Caixa preta. Flexibilidade restrita.

6 R: vários pacotes, inclusive de modelos recentes da literatura, implementados. Disponível em Windows e Linux É possível unir R e C++, por exemplo. Alguns desses pacotes, permitem que seus códigos sejam modificados/adaptados. Vários modelos: 1,2, 3 parâmetros, nominal, ordinal, multidimensional, multinível etc. Exemplos: MCMCpack, ltm, IRTtoys etc.

7 Análise de dados 1 Programa de Desenvolvimento Escolar (PDE) conduzido pelo Instituto Nacional de Pesquisas Educacionais (INEP), veja ( Avaliar a evolução de crianças, em Português e Matemática, durante 5 anos letivos. Alguns estados brasileiros das regiões Norte, Nordeste e Centro-Oeste. Selecionou-se uma amostra aleatória de 1000 indivíduos e considerou-se suas respostas à 33 itens. Analisamos apenas a prova de matemática. Para maiores detalhes sobre o banco de dados veja Araújo (2003).

8 Análise de dados 2 Programa Nova Escola, do RJ Avaliação abrangente da rede estadual dados da prova de Matemática da 5a série, ensino fundamental 56 questões (divididas em 7 blocos) # alunos: (sendo 3998 da capital) amostra aleatória com 2000 da capital e 2000 do interior # parâmetros = = 4168

9 Resultados da análise de dados 2 aa bb

10 Resultados da análise de dados 2 cc!

11 Algumas limitações dos modelos apresentados: Dimensão dos traços latentes. Números de grupos envolvidos: equalização. Itens (CCI s) são imutáveis perante indivíduos. Indivíduos constituem população homogênea. CCI s são simétricas. CCI s tem forma conhecida.

12 Equalização Comparar resultados obtidos através de provas diferentes (com itens comuns). Exemplo: SAEB. Indivíduos que pertencem a diferentes grupos, devem possuir características diferentes. Modelo de grupos múlitplos : Seja Y ijk a resposta do indivíduo j, k ao item i. Y ijk (θ jk, ζ i ) Bernoulli(p ijk ), 1 p ijk = P(Y ijk = 1 θ j, ζ i ) = c i + (1 c i ) 1 + e a i (θ jk b i ) θ jk N(µ θk, ψ θk ).

13 DIF - Diferential Item Functioning: Funcionamento Diferencial do Item

14 Evidência empírica de DIF

15 Resultado de análises separadas

16 Alguns ítens parecem se comportar diferentemente para interior e capital. Diferenciação pode ser nos itens e/ou nas populações. Devemos contemplar ambas. Gera inúmeros problemas de identificação.

17 Abordagem integrada para DIF Soares, Gonçalves e Gamerman (JEBS,2009) Parâmetros dos itens (a,b,c) variam. a i a i di a ; b i b i + di b d a i = 1 e d b i Distribuição das proficiências varia: = 0, para o grupo de referência Grupo de referência: θ j s são distribuídos segundo uma N(0,1). Grupo focal: θ j s são distribuídos como uma N(λ, σ 2 ) É possível detectar e explicar DIF Para mais detalhes, ver palestra do Prof. Tufi Soares e apresentação oral de Flávio Gonçalves.

18 Assimetria na CCI CCI s apresentadas são simétricas. Podem ser generalizadas para permitir assimetria Exemplos: Logística assimétrica (Samejima, 1997): F (x) = 1/[1 + exp( x)] d Probito assimétrica (Bazan, 2005) Para mais detalhes, ver apresentações de Jorge Bazan e Vera Santos. Comentários similares valem para a distribuição dos traços latentes (assumida normal simétrica).

19 Assimetria nos traços latentes Normalidade dos traços latentes pode não ser razoável. Azevedo, Bolfarine & Andrade (2009) density latent traits frequency predicted scores central credibility interval observed scores score

20 Modelagem Multinível Suponha que os indivíduos estão agrupados em escolas. Neste caso os grupos são escolas. A amostra é selecionada segundo algum planejamento. Estudo de fatores associados: informações sobre alunos e escolas. Modelagem Multinível de dois níveis (Fox and Glas, 2001): θ jk = X jk β k + ξ jk β k = W k γ + u k Estimação: métodos Bayesianos, MVM e SEM. Dependência entre os traços latentes de invidíduos que pertencem à mesma escola. Os fatores associados simultaneamente ao modelo de resposta ao item.

21 Incorpora parte das informações do plano amostral. Relevante mesmo sob AAS. Utiliza um maior número de informações para estimar os parâmetros de interesse. Existência de um maior número de ferramentes de diagnóstico. Dificuldades para tornar o modelo identificável. Dificuldades para se estimar os parâmetros. Para maiores detalhes ver a palestra do Prof. Jean-Paul Fox.

22 TRI não-paramétrica Estrutura não-paramétrica para a CCI e a distribuição dos traços latentes. Forma não paramétrica para a CCI. Suposição de monotononicidade (CCI). Histogramas, Splines, Ondaletas (traços latentes). Para maiores detalhes, ver apresentação de Cristiano Fernandes.

23 Testes adaptativos Os ítens são apresentados de acordo com o desempenho do indivíduo. Menor número de ítens e precisão satisfatória para a estimação dos traços latentes. Diversos critérios para escolha dos ítens. Maiores detalhes na conferência de abertura do Prof. van der Linden.

24 Muito obrigado!!! Dúvidas, críticas e sugestões: Dani: dani@im.ufrj.br Caio: cnaber@ime.unicamp.br