Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item

Transcrição

1 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item Analysis of the general knowledge test of the admission examination UNESP 2012 for the uni and multi dimensional item response theory Pedro Alberto Barbetta Doutor em Engenharia de Produção, UFSC Professor Associado, UFSC pedro.barbetta@ufsc.br Ligia Maria Vettorato Trevisan Livre Docente Fundação para o Vestibular da UNESP ligiamvtrevisan@gmail.com Dalton Francisco de Andrade PhD, UNC at Chapel Hill, NC EUA Professor Voluntário, UFSC dandrade@inf.ufsc.br Heliton Ribeiro Tavares Doutor em Estatística, IME USP Professor Associado, UFPA heliton@ufpa.br Doutora em Física, USP Professora Assistente, UNESP tmacedo@feg.unesp.br Resumo Este trabalho analisa a prova de conhecimentos gerais do vestibular da UNESP 2012, e o perfil dos avaliados dessa prova, através de modelos de teoria da resposta ao item unidimensional (TRI) e multidimensional (TRIM). Verificou se que, embora um modelo unidimensional ajustou se bem aos padrões de resposta dos itens, a prova e os avaliados são melhores representados por um modelo tridimensional, cujos traços latentes puderam ser identificados como Raciocínio Lógico, Compreensão de Texto e Conhecimento Específico de Inglês. E o posicionamento dos itens e de características dos avaliados no plano formado pelos eixos Raciocínio Lógico e Compreensão de Texto puderam gerar interpretações não evidenciadas na escala unidimensional. Palavras chave: Teoria da Resposta ao Item Multidimensional (TRIM). Posicionamento de itens. Vestibular da UNESP.

2 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e Abstract This paper analyzes the test of general knowledge of the vestibular UNESP 2012, and is showed the profile of the individuals. We used models of item response theory in the unidimensional and multidimensional approach (IRT and MIRT). It was found that a unidimensional model fitted well to the response patterns of the items, however the items and individuals are best represented by a three dimensional model whose latent traits could be identified as Logical Reasoning, Reading Comprehension and Specific Knowledge of English Language. Much information that has not appeared in the one dimensional scale has been observed in the multidimensional approach. Keywords: Multidimensional Response Item Theory (MIRT). Placement of items. Admission examination of UNESP. Introdução A prova de conhecimentos gerais do vestibular da UNESP, aplicada pela fundação VUNESP, é composta de 90 itens de múltipla escolha, envolve multidisciplinaridade incluindo conteúdos e competências, tal como preconizam os Parâmetros Curriculares Nacionais do Ensino Médio e a Matriz Curricular do Estado de São Paulo. Os candidatos selecionados nessa prova são classificados para a segunda etapa do vestibular. Pelas características da prova e dos avaliados, que inclui candidatos dos mais variados cursos de graduação, espera se que subjacente aos padrões de resposta haja uma estrutura multidimensional. Assim, procurou se ajustar modelos de teoria da resposta ao item unidimensional (TRI) e multidimensional (TRIM). Em geral, modelo de TRI unidimensional podem ser aplicados nas situações em que haja um fator dominante, o qual pode ser detectado por uma análise de componentes principais realizada sobre uma matriz de correlação apropriada das respostas dos itens, ou mesmo através da qualidade do ajuste do modelo. Por outro lado, os modelos multidimensionais permitem identificar os principais traços latentes presentes na prova e nos avaliados, permitindo uma análise mais rica. Este trabalho tem por finalidade avaliar o ajuste de modelos uni e multidimensionais da TRI na prova de conhecimentos gerais do vestibular da UNESP 2012, analisar os itens por escalas geradas por modelos uni e multidimensionais, posicionar nessas escalas o nível médio de avaliados dos cursos mais concorridos e evidenciar as diferentes interpretações práticas que podem ser obtidas pela TRI e pela TRIM. Um ajuste preliminar de modelo TRI foi feito com todos os avaliados em Mas a maior parte das análises baseou se numa amostra aleatória de avaliados que acertaram pelo menos vinte itens dentre os noventa. 114

3 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item 1. Metodologia O modelo de TRI mais adotado em avaliação educacional é o logístico de três parâmetros (Andrade et al., 2000; Ayala, 2009). Por este modelo, a probabilidade de um avaliado j, com proficiência j, acertar o item i é dada por: p ij 1 ci (1 ci ) 1 e a i ( b ) j i sendo que os parâmetros a, b e c são relativos ao item; e o parâmetro está associado ao avaliado. Mais especificamente: a i representa a discriminação do item i; b i o nível de dificuldade do item i; c i a probabilidade de acerto casual do item i; e j o traço latente do avaliado j. A escala de medida do traço latente tem, supostamente, média 0 e desvio padrão 1, seguindo uma distribuição normal. O parâmetro de dificuldade, b, pode ser expresso na mesma escala de. Assim, um item com b = 2 pode ser considerado difícil e um item com b = 2 é fácil para um avaliado com proficiência mediana; da mesma forma, um indivíduo com = 2 tem alta proficiência e um indivíduo com = 2 baixa proficiência. O nível de discriminação a deve ser positivo, idealmente maior que 0,7. Quanto maior a, maior o nível de discriminação do item, porém não é realista a > 3 (ver detalhes em Andrade et al., 2000; Ayala, 2009). A Figura 1 representa, geometricamente, esses parâmetros para um item hipotético. 115

4 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e Figura 1 Curva representando a probabilidade de acerto de um item em função do traço latente. Os parâmetros a i, b i e c i dos itens e os parâmetros j dos avaliados são estimados objetivamente através de métodos estatísticos a partir das respostas dos avaliados e do modelo proposto. Com essas estimativas, os itens podem ser posicionados na escala, permitindo realizar uma interpretação pedagógica da mesma. É usual discretizar a escala do traço latente em intervalos de um desvio padrão e posicionar os chamados itens âncora nesses pontos (Andrade et al., 2000, p. 110). Neste trabalho os itens serão posicionados na escala contínua do traço latente na posição do parâmetro b. Numa prova multidimensional, em que há itens associados a várias habilidades ou proficiências, pode se ter uma dimensão dominante, que reflita alguma composição dessas habilidades ou proficiências presentes nos avaliados. Segundo Reckase (2009, p. 126), o parâmetro do modelo unidimensional da TRI pode representar uma composição de habilidades ou proficiências. Esta capacidade da TRI em captar uma composição de proficiências também foi verificada por Barbetta et al. (2011), analisando as respostas de um teste composto por itens de matemática e itens de linguagens e códigos de provas do ENEM. 116

5 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item Um modelo usual de TRI multidimensional, ou TRIM, a probabilidade de um avaliado j, com traços latentes 1j, 2j,... Kj, acertar um item i é descrito por: p ij c i (1 c i ) 1 e 1 ( a1i 1 j a 2i 2 j... a Ki d ) Kj i Neste modelo, os parâmetros multidimensionais de discriminação e de dificuldade do item i são definidos, respectivamente, por: e Seguindo Reckase (2009), o item de um modelo TRIM pode ser posicionado na direção de maior inclinação da superfície de probabilidade de acerto, na posição em que a probabilidade de acerto atinja (c+1)/2 (ver Figura 2). As coordenadas deste ponto são: Observa se que para K = 1 (apenas um traço latente), a relação precedente pode ser escrita como = d/a = b, ou seja, o posicionamento proposto identifica se com o parâmetro de dificuldade do item. Figura 2 Posicionamento de um item no plano formado por dois traços latentes. Parâmetros do item: a1 = 1,55; a2 = 0,13; d = 1,84; c = 0,

6 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e As análises da prova do vestibular da UNESP (VUNESP, 2012) foram feitas com base numa amostra aleatória de avaliados que fizeram pelo menos vinte pontos no total de noventa, porém os parâmetros de dificuldade, c i, foram estimados com todos os avaliados e mantidos constantes nas demais análises. Em termos computacionais, as estimativas dos parâmetros c foram feitas com o software Bilog MG ( e o restante com o pacote mirt (Chalmers, 2013) do software livre R ( project.org). A função mirt desse pacote baseia se nos princípios desenvolvidos por Bock e Aitkin (1981) e Bock, Gibbons e Muraki (1988). 2. Dimensionalidade da prova O estudo da dimensionalidade baseou se na análise de componentes principais da matriz de correlação tetracórica (Figura 3) e análise fatorial de informação completa (Bock et al., 1988; Childs, 2000; Laros et al., 2000; Wirth, Edwards, 2007). Figura 3 Análise de componentes principais sobre a matriz de correlação tetracórica. Análise paralela baseada numa amostra n =

7 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item Observa se, na Figura 3, que a variância explicada por cada fator e a análise paralela (linha pontilhada) sugere que a prova é bi ou tridimensional, embora exista um fator dominante, permitindo o uso da TRI unidimensional. Ajustando modelos TRIM com diferentes dimensões e analisando as diferenças das estatísticas quiquadrado, ajustadas para uma amostra de tamanho 1.000, tem se a indicação de uma estrutura tridimensional. A Tabela 1 apresenta as cargas fatoriais baseadas num modelo unidimensional (F11) e num modelo tridimensional (F31, F32, F33). No modelo tridimensional, a porcentagem da variância explicada pelos fatores são, respectivamente, 17,4%; 8,4% e 7,6%; e as correlações corr(f31, F32) = 0,52; corr(f31, F33) = 0,71; corr(f32, F33) = 0,57. Tabela 1 Cargas fatoriais de uma análise fatorial de informação completa: modelo com um fator (F11) e com três fatores (F31, F32, F33), rotação oblimin. Item F11 F31 F32 F33 Item F11 F31 F32 F33 Item F11 F31 F32 F33 1 0,50 0,04 0,41 0, ,10 0,04 0,10 0, ,42 0,28 0,22 0,00 2 0,10 0,04 0,13 0, ,52 0,21 0,29 0, ,48 0,29 0,30 0,01 3 0,39 0,11 0,24 0, ,65 0,40 0,32 0, ,56 0,43 0,19 0,04 4 0,49 0,06 0,40 0, ,79 0,57 0,35 0, ,72 0,49 0,33 0,02 5 0,68 0,40 0,18 0, ,56 0,24 0,39 0, ,81 0,59 0,19 0,13 6 0,76 0,02 0,52 0, ,62 0,11 0,49 0, ,62 0,35 0,22 0,15 7 0,59 0,04 0,45 0, ,40 0,28 0,16 0, ,71 0,61 0,23 0,04 8 0,67 0,01 0,48 0, ,08 0,16 0,01 0, ,82 0,83 0,12 0,04 9 0,69 0,47 0,13 0, ,29 0,08 0,33 0, ,89 0,87 0,00 0, ,57 0,08 0,33 0, ,63 0,51 0,23 0, ,65 0,39 0,20 0, ,38 0,01 0,30 0, ,70 0,28 0,39 0, ,78 0,77 0,05 0, ,66 0,12 0,41 0, ,42 0,17 0,36 0, ,79 0,79 0,04 0, ,45 0,14 0,21 0, ,74 0,65 0,14 0, ,83 0,86 0,10 0, ,57 0,05 0,47 0, ,68 0,47 0,30 0, ,70 0,76 0,07 0, ,37 0,06 0,21 0, ,62 0,44 0,27 0, ,82 0,91 0,07 0, ,43 0,16 0,30 0, ,61 0,45 0,14 0, ,91 0,91 0,02 0, ,48 0,08 0,35 0, ,63 0,31 0,32 0, ,89 0,74 0,10 0, ,70 0,01 0,49 0, ,61 0,27 0,22 0, ,70 0,66 0,07 0, ,50 0,08 0,33 0, ,62 0,32 0,29 0, ,55 0,64 0,04 0, ,56 0,01 0,36 0, ,66 0,32 0,47 0, ,65 0,50 0,08 0, ,32 0,12 0,01 0, ,68 0,31 0,44 0, ,36 0,46 0,03 0, ,79 0,09 0,05 0, ,62 0,32 0,32 0, ,42 0,38 0,15 0, ,59 0,04 0,05 0, ,44 0,26 0,29 0, ,39 0,56 0,19 0, ,79 0,02 0,20 0, ,50 0,25 0,29 0, ,41 0,59 0,27 0, ,67 0,02 0,06 0, ,78 0,14 0,64 0, ,73 0,80 0,18 0, ,77 0,03 0,01 0, ,47 0,07 0,50 0, ,64 0,76 0,06 0, ,59 0,04 0,11 0, ,52 0,11 0,37 0, ,68 0,57 0,06 0, ,77 0,04 0,07 0, ,67 0,04 0,73 0, ,63 0,57 0,24 0, ,70 0,12 0,05 0, ,64 0,15 0,52 0, ,04 0,00 0,02 0, ,76 0,04 0,11 0, ,72 0,28 0,55 0, ,71 0,65 0,22 0,27 Nota: Descrição dos itens disponíveis em VUNESP (2012). 119

8 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e No modelo com três fatores, os fatores F31, F32 e F33 foram interpretados, respectivamente, como: F31 Raciocínio lógico + conhecimento específico F32 Compreensão de texto + conhecimento geral F33 Conhecimento específico de inglês A análise foi feita em temos do modelo unidimensional e do modelo tridimensional, mas no segundo caso, a análise limitou se aos dois primeiros eixos fatoriais (Raciocínio Lógico + Conhecimento Específico e Compreensão de texto + conhecimento geral). 3. Posicionamento dos itens baseado na TRI e na TRIM A Figura 4 toma como base o ajuste de modelo unidimensional da TRI (o modelo logístico de três parâmetros), com 40 itens com boa discriminação. Esses itens, destacados conforme seu conteúdo principal (ciências humanas; ciências da natureza e matemática; e linguagem e códigos) foram posicionados na escala de proficiência dos avaliados,. Figura 4 Posição de 40 itens no eixo de proficiência geral,, dos avaliados, por área de conhecimento do item. Observa se, na Figura 4, que os itens de Ciências da Natureza e Matemática estão posicionados em valores maiores da escala (itens mais difíceis). A figura também põe em evidência que as questões de Ciências Humanas se distribuem entre vários níveis 120

9 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item da escala, caracterizando assim a faixa de maior amplitude entre as áreas que compõem a prova. A Figura 5 é baseada no ajuste de modelo tridimensional, mas considerando apenas os dois eixos de maior poder explicativo: Raciocínio Lógico + Conhecimento Específico e Compreensão de texto + conhecimento geral. E foram escolhidos para a apresentação os vinte itens com maior poder discriminação em cada um desses dois eixos (são os mesmos 40 itens apresentados na abordagem unidimensional Figura 4). Figura 5 Posição de 40 itens em dois eixos, 1 e 2, de um modelo tridimensional, por área de conhecimento do item. No plano bidimensional, os itens posicionados na parte de baixo e lado esquerdo (terceiro quadrante) são itens mais fáceis, itens posicionados na parte de cima e lado 121

10 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e direito (primeiro quadrante) são itens mais difíceis. Mas também, verificam se itens que se diferem em termos da compreensão de texto (conforme sua a posição vertical) e em termos de raciocínio lógico (conforme sua a posição horizontal). As questões 50 e 51, por exemplo, que estão posicionadas em níveis baixos nos dois eixos, praticamente não exigem conhecimento específico. Ambas as questões têm um texto bastante simples, acompanhado de gráfico (questão 50) e tabela (questão 51). Além disso, a redação das alternativas facilitou a identificação da resposta correta, não havendo surpresas no fato de que essas questões foram acertadas por mais de 92% dos avaliados (VUNESP, 2012). Já a questão 1, ainda que também se classifique como uma questão fácil, foi acertada por cerca de 88% dos avaliados, pois requer que o avaliado tenha capacidade de interpretar um texto além de organizar o raciocínio em termos de combinar afirmações corretas numa sequência de afirmações. A questão 84, posicionada mais a direita da Figura 5, é uma questão de Matemática com texto bastante direto, mas que exige conhecimento específico para interpretar a terminologia empregada na sua formulação e, além disso, o cálculo razoavelmente complexo para encontrar a solução correta, ou seja, exige do avaliado raciocínio lógico e conhecimento específico, por isto no ajuste do modelo de TRIM esse item posiciona se em valores altos do eixo 1. Foi acertada por cerca de 11% dos candidatos. As questões 35 e 65 posicionam se muito próximas quando se considera apenas uma medida geral de proficiência (Figura 4), mas se distanciam no plano da Figura 5. Essa característica é bastante coerente com a natureza das duas questões: a questão 35 é uma questão de História e a 65 de Biologia e solicitavam a leitura e a compreensão de textos da área, para selecionar, entre as alternativas propostas, o argumento que explicava corretamente a situação problema apresentada na questão. Ocorre que, na questão 65, ainda que a tarefa de compreender o texto fosse mais simples quando comparada à de História, a identificação do argumento correto requeria conhecimentos específicos de genética e de probabilidade. Desta forma, pode ser justificado o seu posicionamento no plano, um pouco abaixo da questão 35 (menor nível de compreensão de texto), o seu deslocamento para a direita (maior nível de 122

11 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item raciocínio lógico) e também o resultado em termos de percentuais de acerto, em 42% e 34%, respectivamente. É interessante notar o comportamento das questões de números 7, (Língua Portuguesa), 43 (Geografia) e 72 ( Química). Como se pode constatar, seu posicionamento é muito próximo, tanto no eixo de proficiência geral dos avaliados (Figura1), quanto no plano dos dois eixos considerados de um modelo tridimensional (Figura 5). É muito provável que o fato de serem três questões que requeriam a compreensão de textos (tabela e mapa) para inferir informações neles contidas, contribua para a proximidade que se verifica nos resultados das duas metodologias empregadas na análise estatística. Portanto, não há que haver surpresa quanto aos percentuais de acerto nesses itens, que ficaram, nos três casos, ao redor de 60%, com ligeiro incremento de acerto na questão 7. Nesse item de Língua Portuguesa a informação a ser inferida estava implícita nas situações expostas em um texto, em Geografia a inferência se fazia com base na semelhança de cores de um mapa e em Química havia que analisar temperaturas anotadas em uma tabela para inferir os estados físicos das substâncias descritas na mesma tabela. Considerando ainda os dois métodos estatísticos empregados na análise da prova, o posicionamento de outro conjunto de itens pode ser analisado. Trata se das questões de números 64 (Biologia), 69, 73 (Química), 76 (Física) e 87 (Matemática). Na escala de proficiência geral (Figura 4) todos esse itens se posicionam muito próximos ao nível 1. No pano representado na Figura 5, pode se notar que, para as questões 69, 73, 76 e 87, aquela proximidade, ainda que com pequenas diferenças, se mantém tanto no eixo do raciocínio lógico, quanto no da compreensão de texto. Não é o que se verifica para o item 64, que agora se desloca para nível mais elevado no eixo da compreensão de texto. Se analisada a estrutura destas questões, o que se pode afirmar é que todas elas tratam de aferir capacidades de resolver problemas, utilizando conhecimento canceitual de cada uma das áreas para encontrar a resposta. No entanto, apenas a questão de Biologia (64) não demanda a aplicação de operações matemáticas e a escolha correta em um conjunto de alternativas expressas em números. Ela exige domínio de conhecimentos da linguagem específica da genética e é 123

12 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e elaborada com tal abrangência que só a compreensão global do texto apresentado em cada alternativa permite encontrar a resposta correta. 4. Perfil de cursos nos eixos da TRI e da TRIM Foram feitas estimativas das proficiências relativas aos modelos de TRI considerados (unidimensional e tridimensional). Considerando apenas os alunos classificados na referida prova (primeira etapa do vestibular), foram obtidas as médias dos candidatos de cada um dos vinte cursos mais concorridos. Neste contexto, na Figura 6 os cursos são posicionados na escala unidimensional (proficiência geral) e, na Figura 7, os cursos são posicionados nas escalas de Raciocínio Lógico e Compreensão de texto do modelo tridimensional. Figura 6 Proficiência geral média dos classificados em cada um dos vinte cursos mais procurados. Cabe observar que na Figura 6, embora haja três camadas (uma para cada área), tem se apenas uma medida de proficiência, descrita pelo eixo horizontal. 124

13 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item Figura 7 Posição média dos classificados em cada um dos vinte cursos mais procurados, em termos de dois eixos do modelo tridimensional. Observe, por exemplo, que os cursos de Direito de Franca e Ciências Econômicas de Araraquara posicionam se próximos dos cursos de Engenharia na escala unidimensional (Figura 6), mas no plano da Figura 7, verifica se que os cursos de Engenharia exigem mais raciocínio lógico dos avaliados, mas ainda assim não superam as exigências do Curso de Medicina. E o curso de Direito diurno, além de exigir capacidades de compreensão de texto muito mais desenvolvidas que os demais cursos da área incluídos na análise, requer habilidades associadas ao raciocínio lógico comparáveis às dos alunos classificados no Curso de Engenharia Elétrica de Bauru. Nota se também pela Figura 6, que a proficiência geral dos alunos classificados para o bacharelado em Química de Araraquara, em Farmácia/Bioquímica de Araraquara e em Veterinária de Araçatuba é praticamente a mesma. O modelo multidimensional explicita 125

14 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e muito melhor essa proximidade; de fato, o traço do raciocínio lógico é equivalente para Química e Farmácia, discretamente mais baixa para Veterinária, em compensação, na compreensão de texto, tem se o fator que diferencia definitivamente os classificados dos três cursos: no eixo da compreensão de texto, Farmácia/Bioquímica e Veterinária estão em posição mais avançada do que a Química. Entre os Cursos de Humanas, chama a atenção o posicionamento dos classificados em Ciências Econômicas Araraquara, muito mais próximos dos classificados em Direito do que dos classificados em Administração (Jaboticabal e Araraquara). Até onde se podem analisar, os classificados em Ciências Econômicas são os melhores candidatos classificados entre os cinco cursos do campus de Araraquara que figuram na relação dos vinte mais concorridos da UNESP. 5. Fatores associados A Figura 8 apresenta no plano formado pelos eixos de Raciocínio Lógico + Conhecimento Específico e Compreensão de texto + conhecimento geral, o posicionamento médio dos avaliados separados por modalidade da escola em que fizeram o ensino médio, por faixa etária e por sexo. Figura 8 Posição média dos avaliados em dois eixos do modelo tridimensional, conforme características dos avaliados e da escola. 126

15 Análise da Prova de Conhecimentos Gerais do Vestibular da UNESP 2012 por Modelos Uni e Multidimensionais da Teoria da Resposta ao Item Verifica se que a modalidade da escola de ensino médio é um forte fator, tanto em Raciocínio Lógico quanto em Compreensão de Texto. Alunos com 20 anos ou mais também se posicionam em níveis maiores dos dois eixos, mas os avaliados do sexo masculino diferem se dos avaliados do sexo feminino, basicamente, no eixo de Raciocínio Lógico: avaliados do sexo masculino posicionam se em níveis maiores desse eixo. Conclusões A prova de conhecimentos gerais do vestibular da UNESP pode ser considerada com três dimensões, com traços latentes interpretados por: Raciocínio Lógico (incluindo conhecimentos específicos), Compreensão de Texto (incluindo conhecimentos gerais) e Conhecimento Específico de Inglês. Embora um modelo unidimensional ajustou se bem aos padrões de resposta dos itens, a prova e os avaliados são melhores representados por um modelo tridimensional, donde interpretações não evidenciadas na escala unidimensional puderam ser feitas. A escolha entre modelo uni e multidimensional da TRI depende das características da prova (ou instrumento de medida baseado em itens) e dos avaliados (ou indivíduos respondentes). Mas, depende também dos objetivos da análise. No caso da prova de conhecimentos gerais do vestibular da UNESP, houve bom ajuste do modelo unidimensional e do modelo tridimensional. No unidimensional pode se identificar um traço latente de proficiência genérica, bastante relevante para o objetivo da prova de classificar avaliados para uma segunda fase do vestibular. Já no modelo multidimensional pode se compreender melhor as diferenças entre os itens, além de características dos avaliados, como o curso pretendido pelos aprovados na primeira fase. Agradecimentos À Fundação para o Vestibular da UNESP Vunesp, pela cessão dos resultados do Vestibular Unesp 2012 primeira fase; e pelas bolsas concedidas aos professores Dalton, Héliton e Pedro para o desenvolvimento de pesquisas em avaliação educacional. 127

16 Pedro Alberto Barbetta, Ligia Maria Vettorato Trevisan, Dalton Francisco de Andrade, Heliton Ribeiro Tavares e Referências bibliográficas Andrade D.F.; Tavares, H.R.; Valle, R.C. (2000) Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística. Ayala, R.J. (2009) The Theory and Practice of Item Response Theory. New York: The Guilford Press. Barbetta, P.A.; Andrade, D.F.;Borgatto, A.F. (2011) Análise de provas do ENEM segundo modelos de TRI multidimensionais. CONBRATRI II, Salvador BA. Bock, R. D.; Aitkin, M. (1981). Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm. Psychometrika, 46(4), Bock, R. D., Gibbons, R. e Muraki, E. (1988). Full Information Item Factor Analysis.Applied Psychological Measurement, 12(3), Chalmers, P. (2013) Package mirt: Multidimensional Item Response Theory. Version 9.0 < project.org/web/packages/mirt/mirt.pdf> Childs, R. A.; Oppler, S. H. (2000) Implication of test dimensionality for unidimensional IRT scoring: An investigation of a High Stake Testing Program. Education and Psychological Measurement, 60, p Laros, J. A.; Pasquali, L.; Rodrigues, M. M. M. (2000) Análise da unidimensionalidade das provas do SAEB. RelatórioTécnicodo CPAE UnB. Reckase, M. (2009) Multidimensional Item Response Theory. USA: Springer. VUNESP (2012) Relatório vestibular UNESP < Wirth, R.J.; Edwards, M.C. (2007) Item factor analysis: Current approaches and future directions. Psychological Methods, 12, Recebido em: 03/11/2013 Avaliado em: 25/11/