Vestibular FUVEST 2012: uma abordagem sob o

Transcrição

1 Vestibular FUVEST 2012: uma abordagem sob o enfoque da TRI Entrance examination FUVEST: an approach from the standpoint of TRI Edilan de Sant Ana Quaresma Mestre em Estatística, UFPE Professor Adjunto III, ICED/UFOPA equaresm@ufpa.br Pedro Alberto Barbetta Doutor em Engenharia de Produção, UFSC Professor Associado III, UFSC barbetta@inf.ufsc.br Adriano Ferreti Borgatto Doutor em Agronomia (Estatística e Experimentação Agronômica), ESALQ/USP Professor Titular, UFSC borgatto@inf.ufsc.br Ezequiel Abraham López Bautista Mestre em Agronomia (Estatística e Experimentação Agronômica), ESALQ/USP Professor da Facultad de Agronomía, Universidad de San Carlos de Guatemala ealbautis@gmail.com Doutor em Agronomia (Estatística e Experimentação Agronômica), ESALQ/USP Professor Titular do LCE, ESALQ/USP ctsdias@usp.br Resumo A Teoria da Resposta ao Item TRI tem se mostrado uma ferramenta necessária em processos avaliativos de larga escala, valorizando as informações contidas em cada item, de acordo com o padrão de resposta dado pelos candidatos. Uma aplicação cada vez mais significativa desta teoria vem sendo utilizada em exames seletivos de candidatos a ingressar em cursos de graduação nas universidades brasileiras. Atualmente o vestibular coordenado pela FUVEST não utiliza a TRI no processo seletivo. O trabalho aqui apresentado objetiva utilizar esta teoria com dados do vestibular da FUVEST/2012 para os cursos da ESALQ. A análise inicial dos itens foi feita com base na Teoria Clássica dos Testes usando o pacote LTM do R e, posteriormente, o modelo unidimensional de três parâmetros foi calibrado usando os softwares BILOG. Dos 89 itens apresentados, 70 foram utilizados no processo de calibração e uma escala de proficiência foi construída. Palavras chave: Escala de proficiências. Vestibular. TRI. Abstract The Item Response Theory IRT has proven a necessary tool in the evaluation process of largescale, valuing the information contained in each item in accordance with the standard answer given by the candidate. An increasingly important application of this theory has been used in selective examinations of candidates to join undergraduate courses in Brazilian universities.

2 Edilan de Sant Ana Quaresma, Pedro Alberto Barbetta, Adriano Ferreti Borgatto, Ezequiel Abraham López Bautista e Currently coordinated by FUVEST buccal does not use the IRT in the selection process. The work presented here aims to use this theory using data from the entrance examination by FUVEST/2012 for six undergraduate courses in ESALQ. The initial analysis of the items was based on classical test theory using the LTM from R package and subsequently the onedimensional model parameters were calibrated using the software BILOG. Of the 89 items listed, 70 were used in the calibration process and a proficiency scale was constructed. Keywords: Proficiency scales. Entrance examination. IRT. Introdução Os processos seletivos vestibulares passaram a ser a forma padrão de ingresso nas universidades brasileiras, a partir dos anos 70 do século XX. Historicamente estes processos de avaliação utilizaram a Teoria Clássica dos Testes no processo de classificação dos candidatos, sem considerar as informações contidas em cada um dos itens que compõe o exame seletivo, fazendo com que o conhecimento dos candidatos fosse medido unicamente de acordo com o número de questões respondidas corretamente no exame vestibular. Thrustone (1928) questionava os testes como instrumento para medir o conhecimento dos alunos, ao considerar que conhecimento é uma variável latente, não sendo possível sua medida de maneira direta. Nesse contexto emergiu a necessidade de uma teoria que viabilizasse a mensuração de variáveis latentes, aqui entendidas como habilidades ou proficiências de sujeitos, considerando cada um dos itens de uma prova individualmente e na o somente o número de questões respondidas corretamente pelos candidatos. Uma ferramenta muito útil na resolução desse problema começou a ser formulada nos anos 50 do século XX, e atualmente é denominada Teoria da Resposta ao Item TRI. Vem sendo utilizada com sucesso no exame nacional de ensino médio ENEM, cujos resultados têm sido adotados por universidades como critério de ingresso nos seus quadros discentes. O trabalho aqui apresentado objetiva utilizar a TRI no padrão de resposta dos candidatos aos itens do exame vestibular coordenado pela FUVEST, nos seis cursos de graduação da Escola Superior de Agricultura Luiz de Queiroz, da Universidade de São Paulo, no ano de 2012, considerando somente a primeira fase do processo seletivo. 32

3 Vestibular FUVEST 2012: uma abordagem sob o enfoque da TRI 1. Metodologia Os dados utilizados na pesquisa aqui proposta são provenientes do exame vestibular coordenado pela FUVEST e realizado no ano 2012, para os 2326 candidatos a ingressar em um dos seis cursos de graduação da ESALQ/USP. Uma análise exploratória foi feita, utilizando o pacote LTM do R. Como cada uma das 89 questões válidas foi constituída por itens dicotômicos, em que as respostas dos candidatos aos itens foram do tipo certo ou errado, o modelo da TRI proposto para ser utilizado foi o de três parâmetros, definido como: P (Uij = 1 θj ) = ci + (1 ci) 1 + e Dai (θj bi ), (1) com i=1,2,...,i, e j=1,2,...,n, com parâmetros descritos em Andrade, Tavares e Valle (2000). O modelo descrito pela eq. (1) foi ajustado ao padrão de respostas dos candidatos, por meio do software BILOG de tal forma que as estimativas dos parâmetros do modelo foram utilizadas como critério de seleção dos itens considerados importantes no processo de estimação das proficiências dos candidatos. Um critério usual para eliminar itens, avaliando unicamente o parâmetro a sugere considerar: (i)itens cujo valor estimado para o parâmetro a sejam menores que 0, 7; (ii) Itens cujo valor estimado para o parâmetro a apresentem um erro padrão muito grande, em relação aos demais erros padrões com o paraˆ metro a na mesma magnitude. Uma grande vantagem da TRI no processo de avaliação dos itens é a possibilidade de construção de uma escala de habilidades que possa ser pedagogicamente interpretável e, dessa forma, contribua para a classificação de sujeitos. Este processo de construção de uma escala de proficiências é definido por níveis âncora, caracterizados por conjuntos de itens chamados itens âncora (ANDRADE, TAVARES e VALLE, 2000). Níveis âncora são pontos selecionados pelo analista na escala de proficiências para serem interpretados pedagogicamente, ao passo que itens âncora são itens selecionados segundo os critérios apresentados por Beaton e Allen (1992) 33

4 Edilan de Sant Ana Quaresma, Pedro Alberto Barbetta, Adriano Ferreti Borgatto, Ezequiel Abraham López Bautista e 2. Resultados e comentários Nesta seção apresentamos uma leitura dos resultados, na abordagem clássica, e posteriormente na abordagem da TRI unidimensional. Foram utilizados os softwares BILOG MG e pacote LTM do R, para dados dicotômicos em uma única população. A primeira ideia na análise dos dados sob a perspectiva da abordagem clássica, foi avaliar a qualidade do instrumento utilizado, no que diz respeito a` precisão do mesmo. O procedimento clássico com esta finalidade é a análise do coeficiente alfa de Cronbach, que mostrou valores do coeficiente variando de 0,8094 a 0,8176, conforme se exclui determinados itens, e o coeficiente 0, 8152 quando se considera todos os itens, indicando uma boa consistência interna do instrumento utilizado. Primi (2012) defende a ideia de que, quando analisamos somente o índice de dificuldade ID de uma questão da prova, um bom item é aquele que apresenta alta variância, aqui entendida como distribuição de sujeitos em toda a escala da proporção de acertos. Os itens 84, 60, 31, 83, 1, 65, 86 e 40 apresentam variâncias abaixo de 0,15. Outro procedimento importante na análise exploratória de dados, dentro do enfoque da teoria clássica dos testes, diz respeito ao estudo da capacidade de discriminação do item em relação ao resultado do teste. Para este procedimento utiliza se a correlação bisserial para verificar se uma determinada variável apresenta correlação significativa com o escore bruto produzido pelo conjunto dos itens. Ao analisar a correlação bisserial é possível observar os itens 11, 32, 52, 64, 85 e 87 com correlações negativas. Estes resultados permitem concluir que tais itens não apresentam boa discriminação para o índice que se pretende produzir, devendo ser excluídos de qualquer análise posterior. Durante a execução da análise pelo software BILOG MG não são calibrados aqueles itens com correlação bisserial menor que 0,15, o que ocorreu com os itens 64 e 80. Após a exclusão dos itens que pouco contribuíam com a medida de proficiência, objeto desse estudo, e dos itens com problemas nas es ma vas dos paraˆ metros, os itens resultantes apresentaram valores calibrados para os parâmetros apresentados na Tabela 1. 34

5 Vestibular FUVEST 2012: uma abordagem sob o enfoque da TRI Table 1: Estimativa dos parâmetros dos 70 itens válidos. Vestibular ESALQ/USP: 2012 ITEM a EP(a) b EP(b) c EP(c ) ITEM a EP(a) b EP(b) c EP(c ) I03 1,280 0,227 1,220 0,112 0,293 0,032 I45 1,381 0,171 0,505 0,107 0,233 0,038 I04 0,925 0,128 0,172 0,279 0,328 0,072 I46 1,097 0,342 3,131 0,489 0,221 0,018 I05 1,463 0,248 1,303 0,092 0,250 0,026 I47 1,230 0,152 0,192 0,198 0,335 0,062 I06 0,868 0,173 1,534 0,173 0,233 0,042 I48 1,493 0,181 0,072 0,140 0,290 0,051 I08 0,905 0,151 0,396 0,252 0,323 0,063 I49 0,967 0,300 3,033 0,475 0,255 0,023 I09 1,192 0,199 1,641 0,118 0,185 0,026 I50 0,890 0,144 1,516 0,144 0,158 0,035 I10 1,375 0,195 0,477 0,127 0,307 0,042 I53 1,542 0,156 0,118 0,094 0,177 0,038 I12 1,215 0,208 1,437 0,117 0,255 0,029 I54 1,153 0,133 0,236 0,190 0,268 0,062 I13 1,333 0,170 0,512 0,117 0,254 0,040 I55 1,414 0,145 0,887 0,198 0,323 0,076 I15 0,754 0,148 1,272 0,225 0,259 0,053 I57 1,371 0,152 0,323 0,157 0,259 0,058 I16 1,227 0,208 1,722 0,122 0,157 0,024 I58 0,664 0,171 2,290 0,314 0,273 0,046 I17 1,121 0,215 1,051 0,145 0,323 0,041 I59 2,012 0,730 2,917 0,364 0,243 0,011 I18 1,183 0,168 1,322 0,098 0,155 0,028 I60 1,728 0,405 2,701 0,265 0,073 0,009 I19 2,094 0,313 1,524 0,073 0,147 0,014 I61 1,394 0,340 2,373 0,237 0,205 0,017 I21 1,392 0,222 1,003 0,096 0,258 0,032 I63 1,208 0,261 2,458 0,239 0,131 0,018 I22 0,755 0,112 0,706 0,213 0,205 0,054 I65 0,867 0,309 4,109 0,924 0,201 0,018 I23 1,425 0,195 0,075 0,157 0,361 0,050 I67 0,772 0,253 3,772 0,726 0,232 0,024 I24 1,018 0,195 1,090 0,169 0,332 0,044 I68 1,083 0,340 2,740 0,406 0,282 0,023 I25 1,649 0,274 1,617 0,107 0,300 0,020 I69 1,272 0,440 3,347 0,579 0,207 0,014 I26 1,205 0,229 1,586 0,127 0,251 0,029 I70 1,497 0,204 0,695 0,095 0,263 0,033 I27 1,273 0,182 0,951 0,099 0,217 0,033 I72 0,851 0,147 0,467 0,265 0,316 0,064 I28 1,674 0,411 2,022 0,171 0,299 0,018 I73 1,292 0,146 0,041 0,151 0,261 0,053 I29 1,465 0,305 2,048 0,161 0,205 0,018 I74 1,630 0,176 0,099 0,116 0,253 0,046 I30 1,407 0,442 2,970 0,420 0,217 0,014 I75 1,449 0,209 1,363 0,085 0,181 0,023 I31 2,035 0,462 2,436 0,199 0,087 0,009 I76 1,333 0,166 0,297 0,130 0,265 0,045 I33 1,011 0,176 1,157 0,147 0,254 0,041 I78 1,309 0,141 0,518 0,179 0,272 0,065 I35 0,963 0,126 0,409 0,180 0,230 0,052 I80 1,441 0,178 1,039 0,079 0,179 0,026 I36 1,037 0,249 2,218 0,230 0,225 0,027 I81 1,077 0,230 2,111 0,192 0,200 0,026 I38 1,055 0,174 1,092 0,134 0,236 0,040 I82 1,616 0,345 2,008 0,153 0,243 0,017 I39 1,369 0,229 0,668 0,138 0,400 0,039 I83 1,358 0,510 3,222 0,589 0,283 0,015 I40 0,749 0,284 5,324 1,535 0,161 0,014 I84 1,662 0,355 2,517 0,215 0,115 0,011 I41 0,844 0,124 0,667 0,199 0,223 0,053 I86 1,339 0,240 1,143 0,107 0,302 0,032 I42 1,100 0,173 0,474 0,175 0,294 0,052 I88 1,600 0,346 1,972 0,153 0,198 0,018 I43 1,435 0,182 0,531 0,101 0,236 0,037 I89 1,322 0,538 3,93 0,880 0,215 0,011 I44 1,218 0,435 3,446 0,646 0,216 0,014 I90 0,866 0,145 1,079 0,189 0,257 0,048 Uma avaliação geral dos itens utilizados no processo seletivo vestibular da ESALQ/USP no ano de 2012 pode ser vista na Tabela 2 que apresenta estatísticas como a média e o desvio padrão da prova, para os itens considerados no processo de calibração. Considerando que a escala do parâmetro dificuldade dos itens varia inicialmente no intervalo [ 0, 887; 5, 324], correspondendo aos itens 55 e 40, 35

6 Edilan de Sant Ana Quaresma, Pedro Alberto Barbetta, Adriano Ferreti Borgatto, Ezequiel Abraham López Bautista e respectivamente, pode se inferir que a dificuldade média da referida prova (1,460) é considerada mediana, obviamente, de acordo com o padrão de respostas dos avaliandos, com leve assimetria positiva (0,61) indicando maior concentração dos itens no início da escala de dificuldades. Também merece destaque a média do parâmetro de acerto casual, igual a 0,241, correspondendo a um valor esperado, uma vez que o caderno de questões foi composto por itens de múltipla escolha, com 5 alternativas de resposta, de tal forma que a chance de um sujeito acertar determinado item, sem nada saber sobre ele, seria equivalente a 0,20. Table 2: Esta s cas dos paraˆ metros dos 70 itens no modelo logís co de 3 parâmetros na primeira fase do vestibular ESALQ/USP: 2012 Parâmetro Média Erro Padrão Min Max Assimetria a 1,260 0,0370 0,664 2,094 0,36 b 1,460 0,1500 0,887 5,324 0,61 c 0,241 0,0075 0,073 0,400 0,26 Outra medida útil no processo de avaliação do teste utilizado é a função de informação do teste I (θ), que permite analisar o quanto aquele teste contém de informação para a medida da proficiência. Quanto maior a informação, mais preciso é o teste para avaliar as proficiências daqueles sujeitos. Trata se de uma curva de informação do teste e não depende dos respondentes. Para o exame seletivo vestibular aqui descrito, a curva de informação do teste é mostrada pelo traço contínuo na Figura 1, juntamente com a curva de erro padrão, mostrada em traços pontilhados. Figure 1: Curva de informação do teste 36

7 Vestibular FUVEST 2012: uma abordagem sob o enfoque da TRI Na Figura 1 os itens avaliados são mais informativos, mais precisos, para os candidatos com escores entre 0 e 3, não se mostrando tão informativa para candidatos com escores menores que 0. Esta concentração é justificável, uma vez que é natural a preocupação em se ter melhor informação nos níveis superiores da escala, considerando a maior preocupação em classificar corretamente os candidatos a cursos mais concorridos, já que nos menos concorridos quase todos os candidatos são classificados. A forma assimétrica negativa da curva mostra que a prova foi bem ajustada para candidatos com maiores proficiências. Entretanto, na região esquerda da figura, a curva do erro padrão da estimativa é superior à curva de informação do teste, indicando no teste a ausência de itens que avaliem sujeitos com baixas proficiências. Os valores estimados para os parâmetros dos itens viabilizaram obter as probabilidades de resposta correta, para diferentes níveis do traço latente, que puderam ser utilizadas para encontrar diferentes níveis de proficiência e, consequentemente, os itens âncora e quase âncora. Essa escala de proficiência sintetiza o domínio dos conteúdos e habilidades alcançados pelos candidatos, o que permite inferir o nível de domínio das competências avaliadas. Os níveis de traço latente, mostrados na Figura 2, permitem situar as capacidades dos sujeitos que responderam às questões, a princípio, em sete níveis de proficiência que necessitam de avaliação pedagógica para serem interpretados. Figure 2: Níveis de proficiências e percentuais de participação dos avaliandos na escala. Embora a Figura 2 indique a existência de sete níveis âncora, à rigor não há como descrevê los em sua totalidade, pela inexistência de itens âncora ou quase âncora posicionados em alguns deles, fazendo com que na prática, sejam considerados somente quatro níveis (I, II, III e IV), correspondendo aos valores 0, 1, 2 e 3 respectivamente, na escala de proficiências. 37

8 Edilan de Sant Ana Quaresma, Pedro Alberto Barbetta, Adriano Ferreti Borgatto, Ezequiel Abraham López Bautista e A escala descreve aquilo que os candidatos sabem e são capazes de realizar em relação às habilidades e competências avaliadas, conforme as Matrizes de Referência para Avaliação (SÃO PAULO, 2009). A interpretação da escala é cumulativa, ou seja, os alunos que esta o situados em um determinado nível dominam na o só as habilidades associadas a esse nível, mas também as proficiências descritas nos níveis anteriores a lógica e a de que quanto mais o estudante caminha ao longo da escala, mais habilidades e terá desenvolvido. A interpretação dos pontos da escala é pedagógica. (Relatório SARESP, 2012, p.5 6) Para a descrição do nível I, por exemplo, que reúne as proficiências mais simples esperadas de um candidato a ingressar na ESALQ, devem ser utilizados os itens quase âncora 47, 48, 54, 57, 74 e 78, que apresentam competências cognitivas 1 semelhantes, cujos parâmetros são mostrados na Tabela 3, mas que necessitam de interpretação pedagógica para sua melhor compreensão. Tabela 3: Itens âncora (A) e quase âncora (QA) por conteúdo e parâmetros Nível (Escala) Item Tipo Conteúdo a b c % acerto 47 QA Língua Portuguesa 1,220 0,213 0,328 69,8 48 QA Língua Portuguesa 1,483 0,086 0,086 66,0 I (0) 54 QA Inglês 1,156 0,239 0,266 67,3 57 QA Inglês 1,392 0,311 0,263 69,0 74 QA História 1,599 0,108 0,249 64,9 78 QA História 1,301 0,515 0,274 72,7 13 QA Biologia 1,332 0,528 0,258 53,4 17 QA Biologia 1,142 1,078 0,329 51,1 24 QA Química 1,012 1,117 0,335 52,1 41 QA Língua Portuguesa 0,841 0,693 0,227 51,7 II (1) 43 QA Língua Portuguesa 1,432 0,547 0,240 51,5 45 QA Geografia 1,354 0,492 0,227 52,1 70 QA História 1,517 0,702 0,266 50,1 19 A Biologia 2,092 1,525 0,146 24,5 9 QA Geografia 1,155 1,636 0,180 32,4 12 QA Biologia 1,198 1,461 0,256 40,3 18 QA Biologia 1,197 1,341 0,160 34,2 25 QA Química 1,658 1,623 0,301 39,0 III (2) 26 QA Química 1,215 1,581 0,251 38,3 28 QA Química 1,755 2,013 0,302 35,3 50 QA Língua Portuguesa 0,886 1,540 0,161 35,6 75 QA História 1,418 1,358 0,177 33,3 30 A Química 1,426 2,960 0,218 24,1 IV (3) 60 A Matemática 1,708 2,704 0,072 9,7 84 A Física 1,638 2,520 0,114 14,8 61 QA Matemática 1,393 2,401 0,207 25,8 63 QA Matemática 1,243 2,428 0,132 19,8 68 QA Matemática 1,045 2,775 0,280 33,3 1 Entende-se por competências cognitivas as modalidades estruturais da inteligência, ou melhor, o conjunto de ações e operações mentais que o sujeito utiliza para estabelecer relações com e entre os objetos, situações, fenoˆ menos e pessoas que deseja conhecer. (FINI, 2010, p.10) 38

9 Vestibular FUVEST 2012: uma abordagem sob o enfoque da TRI Na Tabela 3 observa se que os grupos de itens em cada nível de proficiência apresentam características próximas principalmente no percentual de acerto e parâmetro de dificuldade. Nota se, por exemplo, para os quatro níveis de proficiência, que os percentuais médios de acerto para os itens especificados (66, 28%, 51, 71%, 34, 77% e 21, 25%) são decrescentes, enquanto que os valores médios dos percentuais do parâmetro de dificuldade dos itens aumentam, enfatizando tratar se de uma escala de proficiências crescente. Uma proposta de interpretação generalista dos níveis de proficiência é apresentada na Tabela 4, que classifica os diferentes níveis de proficiência por descrição das competências e habilidades dos candidatos avaliados. Uma proposta de interpretação pedagógica mais específica, utiliza a prova do exame seletivo vestibular da ESALQ/USP: 2012 como um instrumento destinado a aferir habilidades apresentadas nos Parâmetros Curriculares Nacionais para o Ensino Médio (2000), descritas como: (i) Linguagens, códigos e suas Tecnologias; (ii) Ciências da Natureza, Matemática e suas Tecnologias e (iii) Ciências Humanas e suas Tecnologias. Nessa perspectiva, a proposta de interpretação pedagógica é apresentada nos tópicos a seguir. Tabela 4: Classificação e descrição de competências e habilidades dos níveis de proficiência do Exame Vestibular ESALQ/USP: 2012 Competência/Habilidade Abaixo do básico (Nível I) Básico (Nível II) Adequado (Nível III) Avançado (Nível IV) Descrição Neste nível os candidatos demonstram domínio insuficiente de conteúdos, competências e habilidades desejáveis para o Ensino Médio Os candidatos, neste nível, demonstram domínio mínimo dos conteúdos, competências e habilidades, mas não possuem as estruturas necessárias para interagir com a proposta curricular no Ensino Superior Os candidatos, neste nível, demonstram domínio pleno de conteúdos, competências e habilidades desejáveis para o Ensino Médio Os alunos, neste nível, demonstram conheci mento e domínio dos conteúdos, competências e habilidades acima do requerido no Ensino Médio 39

10 Edilan de Sant Ana Quaresma, Pedro Alberto Barbetta, Adriano Ferreti Borgatto, Ezequiel Abraham López Bautista e Nível I: Este nível reúne as proficiências mais simples esperadas de um candidato a estudos de nível universitário, descritas como Analisar, interpretar e aplicar os recursos expressivos das linguagens, relacionando textos com seus contextos, mediante a natureza, função, organização e estrutura das manifestações de acordo com as condições de produção e recepção. ; Nível II: Além da proficiência do Nível I, neste nível o candidato deve saber Apropriar se dos conhecimentos da Química e da Biologia, e aplicar esses conhecimentos para explicar o funcionamento do mundo natural, planejar, executar e avaliar ações de intervenção na realidade natural., além disso, deve também Compreender o desenvolvimento da sociedade como processo de ocupação de espaços físicos e as relações da vida humana com a paisagem, em seus desdobramentos político sociais, culturais, econômicos e humanos. ; Nível III: Além das proficiências dos Níveis I e II, neste nível o candidato deve Compreender a produção e o papel histórico das instituições sociais, políticas e econômicas, associando as às práticas dos diferentes grupos e atores sociais, aos princípios que regulam a convivência em sociedade, aos direitos e deveres da cidadania, à justiça e à distribuição dos benefícios econômicos. ; Nível IV: Além das proficiências dos Níveis I, II e III, neste nível o candidato deve Entender e aplicar métodos e procedimentos próprios das Ciências Naturais.. Pode se observar que as interpretações pedagógicas dos níveis de proficiência são traduzidas como um processo em que o conhecimento é acumulativo, o que é justificável, uma vez que o modelo logístico parte do princípio de que, quanto maior a proficiência do respondente, maior sua probabilidade de acerto. O traço latente do indivíduo representa a proficiência mínima que um respondente deve possuir para que sua probabilidade de acerto seja alta. Na Tabela 5 são mostrados o número de itens respondidos corretamente por cada um dos sujeitos avaliados, o percentual de itens respondidos corretamente, as habilidades (proficiências, traços latentes) individuais juntamente com seus erros padrão. São mostrados, a título de exposição, apenas resultados referentes aos 10 primeiros avaliados. 40

11 Vestibular FUVEST 2012: uma abordagem sob o enfoque da TRI Tabela 5: Estimativas das habilidades individuais dos 10 primeiros candidatos vestibular ESALQ/USP:2012 Indivíduo N o acertos % acerto Proficiência E.P ,00 1, , ,86 0, , ,14 0, , ,00 1, , ,29 0, , ,14 0, , ,86 0, , ,57 0, , ,71 0, , ,14 0, , A título de exemplificação na construção da Curva Característica do Item, o item 55, relacionado à uma das questões de inglês, mostrou se como o item menos difícil (b= 0,885) dentre os 70 itens aqui considerados, embora apresente uma discriminação (a=1,415) maior que o item 39 e, igualmente, uma alta probabilidade de resposta correta fornecida por sujeitos com baixas proficiências (Figura 3). Figure 3: Curva Característica do Item 55 (a=1,415, b= 0,885 e c=0,324) A análise dos itens sob o enfoque unidimensional da TRI, feita nessa seção, mostrou evidências consideradas importantes como, por exemplo, itens correlacionados negativamente com o escore obtido pelos candidatos, caracterizados provavelmente como itens mal formulados ou itens que meçam um traço latente não considerado no referido processo de avaliação e ainda, itens prejudicados no processo de calibração pela ausência de candidatos melhor preparados para respondê los. Entretanto já foi discutido aqui o fato das proficiências exigidas para responder 41

12 Edilan de Sant Ana Quaresma, Pedro Alberto Barbetta, Adriano Ferreti Borgatto, Ezequiel Abraham López Bautista e corretamente determinados itens, não estarem restritas a uma única dimensão, de tal forma a se esperar que subjacente ao padrão de respostas dos avaliandos, haja uma estrutura multidimensional. Conclusões O uso da TRI mostra se como uma alternativa interessante na análise de itens em processos seletivos, por considerar características importantes dos itens que não costumam ser contempladas em situações que se utilizam a Teoria Clássica dos Testes como critério de avaliação e classificação de candidatos. Mostra se vantajosa como técnica que diagnostica itens importantes na mensuração do traço latente, identificando também aqueles que não são. No caso do exame vestibular da FUVEST 2012 para candidatos aos cursos da ESALQ, identificou 70 dos 90 itens do teste, como importantes para construção de uma escala de proficiências, que poderia ser utilizada no processo de seleção daqueles candidatos. Agradecimentos: Agradecemos a FUVEST por fornecer os dados. Referências Andrade, D.F., Tavares, H.R., Valle, R.C. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE, 154p. BEATON, A.E.; ALLEN, N.L. Interpreting scales through scale anchoring. Journal of Statistics Education, New York, 17, p , FINI, M.I. Sistema de avaliação do rendimento escolar do estado de São Paulo, São Paulo, p. Thurstone, L.L. (1928). Attitudes can be measured. American Journal of Sociology, n. 33, p Primi, R. (2012). Psicometria: fundamentos matemáticos da teoria clássica dos testes. Revista Avaliação Psicológica, n. 11, v. 2, p SÃO PAULO (Estado), Fundação VUNESP. Relatório vestibular São Paulo: Secretaria da Educação: SEE, p. Recebido em: 03/11/2013 Avaliado em: 25/11/