Universidade de Brasília Instituto de Ciências Exatas Departamento de Ciência da Computação

Transcrição

1 Universidade de Brasília Instituto de Ciências Exatas Departamento de Ciência da Computação Avaliação Através de Teste Adaptativo Computadorizado Rafael Mendes Carvalho Eric Gil Coelho Monograa apresentada como requisito parcial para conclusão do Curso de Computação Licenciatura Orientador Prof. Dr. Wilson Henrique Veneziano Coorientador Prof. Dr. Girlene Sobrenome Brasília 2011

2 Universidade de Brasília UnB Instituto de Ciências Exatas Departamento de Ciência da Computação Curso de Computação Licenciatura Coordenador: Prof. Dr. Alguem Banca examinadora composta por: Prof. Dr. Wilson Henrique Veneziano (Orientador) CIC/UnB Prof. Dr. Professor I CIC/UnB Prof. Dr. Professor II CIC/UnB CIP Catalogação Internacional na Publicação Carvalho, Rafael Mendes. Avaliação Através de Teste Adaptativo Computadorizado / Rafael Mendes Carvalho, Eric Gil Coelho. Brasília : UnB, p. : il. ; 29,5 cm. Monograa (Graduação) Universidade de Brasília, Brasília, palvrachave1, 2. palvrachave2, 3. palvrachave3 CDU Endereço: Universidade de Brasília Campus Universitário Darcy Ribeiro Asa Norte CEP BrasíliaDF Brasil

3 Universidade de Brasília Instituto de Ciências Exatas Departamento de Ciência da Computação Avaliação Através de Teste Adaptativo Computadorizado Rafael Mendes Carvalho Eric Gil Coelho Monograa apresentada como requisito parcial para conclusão do Curso de Computação Licenciatura Prof. Dr. Wilson Henrique Veneziano (Orientador) CIC/UnB Prof. Dr. Professor I CIC/UnB Prof. Dr. Professor II CIC/UnB Prof. Dr. Alguem Coordenador do Curso de Computação Licenciatura Brasília, 30 de junho de 2011

4 Dedicatória Dedico algo à alguém i

5 Agradecimentos Eric GC Agradeço à mim mesmo. Se não fosse eu, nada teria acontecido. Rafael MC Agradeço algo à alguém. ii

6 Resumo Resumimos tudo aqui. Palavras-chave: palvrachave1, palvrachave2, palvrachave3 iii

7 Abstract Resumimos tudo akihere. Keywords: keyword1, keyword2, keyword3 iv

8 Sumário 1 Introdução Tema de Estudo Teste Adaptativo Computadorizado Importância para a Avaliação Educacional e Complexidade Tecnológica O Sistema do teste de prociência em língua inglesa da UnB Objetivos Objetivos Gerais Objetivos Especícos Termo de sigilo Organização da Monograa Revisão de Literatura Psicometria e Traço Latente Teoria Clássica de Testes A Teoria de Resposta ao Item Curva Característica do Item Parâmetros da Curva Característica e Informação do Item Vantagens do Uso da TRI sobre o uso do Modelo Clássico Modelos da TRI O Teste Adaptativo O Teste Adaptativo Computadorizado Representando o Funcionamento de um CAT Componentes Banco de Itens Seletor de Questões v

9 2.7.3 Interface com o Usuário Metodologia 23 4 O CESPE/UnB e a Prova de Prociência em Língua Inglesa da UnB A Produção de uma avaliação no Cespe/UnB A Avaliação de Prociência em Língua Inglesa do Cespe/UnB Estudo do CAT do CESPE/UnB e levantamento de melhorias Estudo do estado atual do sistema Funcionamento interno do sistema Elementos de interface do sistema Melhorias Implementadas Melhorias para a aplicação de Junho/ Melhorias para futuras aplicações O Processo de desenvolvimento das novas funcionalidades do CAT/CESPE Secao Resultados e Discussão Entrega do Sistema Validação Realização da Prova e discussão dos resultados Conclusão Secao Trabalhos futuros Levantamento de melhorias Melhorias na arquitetura do sistema Melhorias na interface do sistema Referências 47 vi

10 Lista de Figuras 2.1 Precisão da medida para os tipos de testes cássicos [Weiss, 1985] Curva Característica do Item. Adaptado de [Baker, 2001] Curva característica de 3 itens. Adaptado de [Baker, 2001] Curva com discriminação máxima. Adaptado de [Baker, 2001] Curva com discriminação mínima. Criada pelos autores com base em [Baker, 2001] Parâmetros da curva característicao. Adaptado de [Weiss, 1985] Seleção da próxima questão com base na habilidade atual do avaliando [Weiss, 1985] 13 18gure gure Processo de Criação de Avaliação. Criada pelos autores com base em [Fernandes, 2009]. Utilizada a ferramenta Dia Processo de calibragem de itens. Criada pelos autores com base em [Fernandes, 2009]. Utilizada a ferramenta Dia Tela de identicação de usuário. Captura de tela do sistema Tela com exemplo de questão. Captura de tela do sistema utilizando questão ctícia Tela de resultado da avaliação. Captura de tela do sistema gure Detalhamento da tela de apresentação de item. Captura de tela do sistema editada pelos autores Detalhamento da tela de apresentação do resultado da avaliação. Captura de tela do sistema editada pelos autores gure.7.1 vii

11 Lista de Tabelas viii

12 Capítulo 1 Introdução 1.1 Tema de Estudo Há um tempo, o Centro de Seleção e Promoção de Eventos/UnB (CESPE/UnB) tem realizado o exame de prociência em lígua inglesa da Universidade de Brasília (UnB). Essa avaliação é assistida por computadores, e nela tem sido empregada uma moderna técnica de avaliação, conhecida como Avaliação Adaptativa Computadorizada. Tal tecnologia se apoia em uma teoria da psicometria, chamada de Teoria de Resposta ao Item, assim como em técnicas da tecnologia da informação. A Teoria de Resposta ao Item (TRI) propõe uma forma de avaliar o sujeito que considera não apenas a corretude de suas respostas aos itens (ou questões), mas também os próprios itens. Dessa forma, pode-se estimar, de acordo com o nível ou os traços do avaliando, qual item, dentre uma coleção destes, é o que melhor o avalia. Podemos falar de um item em termos de parâmetros como diculdade e discriminação, que mede o quanto um item consegue diferenciar avaliandos de diferentes níveis. As tecnologias computacionais nos permitem elaborar programas que façam a seleção de cada questão para a avaliação, conforme esta ocorre. Esses programas podem buscar essas questões de um banco de dados, em tempo real, e apresentá-las ao avaliando. O resultado de tal combinação são algoritmos, executados por computadores, que fazem a seleção de cada um dos itens que vão para a prova de cada avaliando, usando a TRI. Isto é, de maneira geral, um Computerized Adaptive Testing (CAT). Segundo [Costa, 2009], um teste adaptativo informatizado é aquele administrado pelo computador, que procura encontrar um teste ótimo para cada examinando. 1.2 Teste Adaptativo Computadorizado O CAT é composto, basicamente, por dois elementos: Um banco de itens; Um algoritmo de seleção de itens. 1

13 O algoritmo de seleção faz, a cada resposta do avaliando, uma estimativa do nível deste. Por isso dizemos que essa estimativa é feita iterativamente. Tal algoritmo executa cálculos estatísticos avançados. Uma descrição detalhada de modelos estatísticos propostos para uso em CAT pode ser encontrada em [Costa, 2009]. O banco de itens, em computação, é um banco de dados, centralizado ou não, que mantém os itens que estão à disposição para a avaliação. Uma das exigências da TRI é que os itens que compõem este banco estejam calibrados. Na Seção 2.5 a calibragem é abordada. Para calibrar um item, este precisa passar pelo que chamamos de pré-testagem. A pré-testagem é a atividade de coletar uma quantidade pré-determinada de respostas a um item, de um ou mais grupos de avaliandos. A partir desta coleta, a TRI é capaz de estimar os parâmetros psicométricos do item. Por exemplo, para o presente trabalho, um número razoável de respostas para um item, para que este possa ser calibrado são trezentas respostas. Deve se fazer claro que um CAT não necessariamente deve usar, como método de avaliação, a TRI. Contudo, como este foi o método usado, usa-se ao longo deste texto a expressão CAT com o signicado de avaliaçao adaptativa computadorizada que usa, como método de avaliaçao, a TRI Importância para a Avaliação Educacional e Complexidade Tecnológica Do ponto de vista da avaliação, um teste adaptativo, a princípio, não tem como necessidade o uso de computadores. As questões poderiam ser selecionadas e apresentadas ao avaliando por um aplicador humano. Contudo, para um grande número de avaliandos, essa opção obviamente se tornaria cada vez mais inviável. O uso de computadores resolve esse problema. Uma outra abordagem para a avaliação é conhecida como a Teoria Clássica de Testes (TCT), que é aquela na qual todos os avaliandos recebem o mesmo conjunto de itens e são avaliados pela percentagem de acertos. Dentre as mais notáveis vantagens que o CAT apresenta em relação a testes TCT administrados por computadores, pode-se citar, como exemplos: 1. Realiza uma estimativa notavelmente mais precisa do nível do avaliando, 2. Reduz, como cita [Costa, 2009], o tamanho de cada avaliação, aproximadamente pela metade. Essa última vantagem se deve ao fato de que, no CAT, o critério para o m de um teste é que a estimativa do nível do avaliando, feita iterativamente pelo algoritmo, tenha convergido para um valor (salvo a situação em que o avaliando responda o número máximo de questões sem que seu nível tenha convergido). Como a próxima questão a ser utilizada sempre é selecionada para que o nível do avaliando seja melhor estimado, sua convergência 2

14 para um valor acontece, geralmente, sem que seja necessário o mesmo número de itens de uma avaliação utilizando o TCT. As vantagens da TRI em relação ao TCT são abordadas na Seção Deve-se levar em conta que todas as vantagens oferecidas pela disponibilidade de um sistema CAT não são atingidas sem custos. Tal ferramente possui alta complexidade, resultante de um grande conjunto de tecnologias agregadas. Para a implementação de tal sistema, é necessária a contribuição de pessoal qualicado em diversas áreas, como psicologia, estatística e computação, o que, geralmente, requer grandes despesas. Este trabalho trata da competência da computação. O método CAT tem sido usado com grande êxito em importantes avaliações pelo mundo. Como dois exemplos, citamos o Test of English as a Foreign Language (TOEFFL) e o Graduate Record Examination (GRE) [Costa, 2009]. Este método está sendo usado na avaliação de prociência de língua inglesa da UnB desde o segundo semestre do ano de A inovação tem sido divulgado na imprensa como um grande avanço, e tem citado o CAT como o método de avaliação do futuro O Sistema do teste de prociência em língua inglesa da UnB O trabalho de graduação de Fernandes [Fernandes, 2009] descreve detalhadamente uma arquitetura para um CAT idealizado para avaliações em larga escala, tais como o ENEM ou o ENADE. O sistema desenvolvido pela autora é denominado Sistema Computadorizado de Avaliação Adaptativa em Larga Escala (SCAALE). Em linhas gerais, o SCAALE possui módulos distribuídos que permitem a seleção de itens para a prova do banco de itens, a seleção dos itens a serem apresentados ao examinando, a ordem de apresentação destes, o armazenamento das respostas dos examinandos e a atribuição de julgamento quanto ao nível atingido pelo examinando. Apesar de a arquitetura especíca do SCAALE não ser ideal para o contexto do teste de prociência da UnB, o sistema utilizado atualmente é uma adaptação deste trabalho. O teste de prociência em língua inglesa da UnB ocorre da seguinte forma: Aproximadamente 10 avaliandos respondem ao teste simultaneamente Um computador servidor executa um programa servidor web, o programa responsável pela seleção de itens, e um programa servidor de banco de dados Cada aluno responde à sua avaliação de um computador, por um navegador web Não existe controle automatizado do horário das provas Acessados em 17/06/2011 3

15 Cada avaliação termina quando a estimativa do nível do avaliando converge para um valor, ou o avaliando responde o número máximo permitido de questões Os itens são pré-testados em avaliação tradicional, com papel e caneta Cada item consiste de um texto opcional, um enunciado e um número de alternativas, dentre as quais, uma é a resposta correta (múltipla escolha) 1.4 Objetivos Esta seção descreve os objetivos deste trabalho, gerais e especícos Objetivos Gerais O objetivo do presente trabalho é documentar o processo de implementação de novas funcionalidades agregadas ao sistema utilizado na avaliação de prociência em língua inglesa da UnB, realizado junto ao Cespe Objetivos Especícos Os objetivos especícos deste trabalho são: Registrar o estudo da arquitetura do CAT do CESPE/UnB Registrar as melhorias possíveis em âmbito computacional no CAT do CESPE/UnB Registrar o processo de levantamento, implementação e entrega de novas funcionalidades agregadas ao CAT do CESPE/UnB Apresentar o resultado da aplicação da avaliação de junho de 2011 com as novas funcionalidades incorporadas 1.5 Termo de sigilo O leitor deve ser informado desde já que, de acordo com um termo de condencialidade e sigilo assinado pelos autores desta monograa e também pelo professor orientador junto ao CESPE/UnB, nenhum trecho de código fonte nem certos detalhes técnicos podem ser apresentados neste texto, pois constituem segredo industrial de propriedade do CESPE/UnB. 1.6 Organização da Monograa O presente texto de monograa é foi dividido em oito capítulos, com a seguinte estrutura: 4

16 O Capítulo 1 é uma introdução aos conceitos de TRI e CAT e à situação do sistema de prociência em língua inglesa da UnB, assim como a especicação dos objetivos deste trabalho. O Capítulo 2 consiste em uma revisão de literatura, no que diz respeito à teorias de avaliação e ao CAT. No Capítulo 3 será descrita a metodologia utilizada na realização deste trabalho, incluindo o que diz respeito à implementação das funcionalidades adicionadas ao sistema CAT do CESPE/UnB. O Capítulo 4 provê um estudo de caso sobre o CESPE/UnB e a prova de língua inglesa da UnB, incluindo a dinâmica de produção desta, assim como a sua aplicação. No Capítulo 5 é feito um estudo detalhado sobre o sistema CAT do CESPE/UnB, usado na avaliação de prociência em língua inglesa da UnB, incluindo o levantamento de melhorias a serem implementadas e a denição, junto ao Cespe, das que serão usadas na prova de junho de

17 Capítulo 2 Revisão de Literatura Este capítulo apresenta uma revisão teórica sobre avaliação educacional utilizando TRI. Tal revisão visa denir a área de aplicação do sistema trabalhado, sem ter a intensão de aprofundar-se sobre os temas abordados. A Seção 2.1 apresenta algumas denições necessárias para a leitura das demais seções. A Seção 2.2 apresenta a TCT, apresentando as implicações de sua utilização e sua abrangência quando utilizada para a criação de uma avaliação. A Seção 2.3 apresenta a TRI, teoria utilizada para o desenvolvimento do CAT do CE- SPE/UnB, e motivadora de algumas das melhorias implementadas no sistema. A Seção 2.4 trata de testes adaptativos, apreesentando vantagens desde tipo de teste, sua adequação para realização de avaliações e as vantagens e desvantagens de sua utilização. A Seção 2.5 conceitua e descreve o Teste Adaptativo Computadorizado. A Seção 2.6 apresenta um exemplo de funcionamento de um teste adaptativo utilizando a TRI. A Seção 2.7 cita os principais componentes de um sistema CAT e descreve alguns pontos importantes sobre cada um desses componentes. 2.1 Psicometria e Traço Latente A Psicometria se insere no estudo em torno do emprego do número no estudo de fenômenos naturais, sendo uma das três grandes linhas de estudo da teoria da medida. Pode-se considerar a psicometria como a teoria das escadas e testes, tendo como objeto de estudo o traço latente [Bortolotti, 2010]. O traço latente é uma variável, geralmente não observável diretamente, que se constitui em uma estrutura com um conjunto de atributos, sendo estes observáveis e mensuráveis. Como exemplo, pode-se citar que a prociência seja um traço latente, bem como a habilidade de um aluno em um determinado saber [Bortolotti, 2010]. 6

18 Na área educacional, pode-se dizer que a prociência de um avaliando se dá pelas suas respostas certas ou erradas aos itens de uma avaliação. Os itens da avaliação necessitam, então, ser construídos, validados e inseridos em um instrumento de avaliação. Para efetuar tais tarefas, pode-se lançar mão de teorias, como a TCT (ou Teoria Clàssica de Medida (TCM)) ou a TRI, abordadas à seguir [Bortolotti, 2010]. 2.2 Teoria Clássica de Testes A TCT, ou TCM, se baseia na medida de acertos de um indivíduo dentro de um conjunto de questões selecionado para uma avaliação, obtendo-se um escore nal que diz o quanto este indivíduo conhece do assunto desta avaliação [Fernandes, 2009]. Ao aplicar-se um teste desse tipo a um grupo de indivíduos, todos são submetidos ao mesmo conjunto de itens. Segundo [Weiss, 1985], ao se utilizar da TCT, o construtor tem que adotar uma técnica que se situa entre dois extremos: o Teste Convencional de Pico (TCP) ou o Teste Convencional Retangular (TCR). No TCP, todos os itens da avaliação serão elaborados tendo-se em vista um mesmo nível de diculdade. Já no TCR, os itens são escolhidos em igual proporção entre os níveis de diculdade. A gura 2.1 mostra a precisão na medição do conhecimento que um item proporciona em função do nível do indivíduo analisado em face da técnica utilizada. Com a utilização do TCR, nota-se que a precisão é menor do que com os outros tipos de teste. Já com a utilização do TCP a precisão aumenta. Posteriormente, na Seção 2.4, será abordado como o teste adaptativo torna a medida mais precisa. Quando se utiliza o TCP a avaliação é mais efetiva, mas como ressalta [Weiss, 1985], apenas para aqueles que se aproximam do nível de conhecimento exigido para responder o item. Para aqueles que estão acima do nível de conhecimento exigido, o teste será muito fácil, e para aqueles que estão muito abaixo, o teste será muito difícil. Ambas as situações não são desejáveis em um cenário que se queira avaliar o nível de conhecimento de todos os indivíduos, pois trazem pouca informação sobre os níveis de conhecimento dos indivíduos analizados através da avaliação. E mesmo dentro da faixa em que a avaliação é efetiva, ela não o é em 100% dos casos, necessitando-se de outros modelos que atinjam esse patamar de efetividade. Por outro lado, a utilização do TCR pode melhorar, ainda que com ressalvas, a efetividade da avaliação, por haver uma distribuição diculdades entre as questões. Por exemplo: considerando três níveis de diculdade fácil, médio e difícil o avaliador poderá criar um número igual de itens para cada um destes níveis de diculdade. Cada grupo de questões irá avaliar mais efetivamente o grupo de avaliandos que se encaixa no nível de diculdade deste, agrupando indivíduos com níveis de conhecimento distintos. Ainda assim, esse agrupamento criado pela avaliação que segue o modelo do TCR entre os avaliandos é pobre, carecendo de precisão [Weiss, 1985]. 7

19 Figura 2.1: Precisão da medida para os tipos de testes cássicos [Weiss, 1985] 2.3 A Teoria de Resposta ao Item A TRI é um grupo de modelos probabilísticos que são utilizadas para descrever características de indivíduos que não podem ser diretamente observadas, podendo também ser chamada de Teoria do Teste de Traço Latente [Costa, 2009]. Na TRI, o procedimento de medida do avaliando considera que essas características latentes, chamadas traços, tem relação probabilística com os itens utilizados no teste [Vendramini et al., 2004]. A TRI tem sido aplicada em diferentes áreas de conhecimento, como educação, medicina, marketing, gestão, sistemas de informação, psicologia e psiquiatria [Bortolotti, 2010]. No caso de uma avaliação de conhecimento em determinado domínio como uma prociência os modelos probabilísticos da TRI visam relacionar a chance de um indivíduo acertar um item à sua prociência medida pelo instrumento de avaliação, e desconsideram outras caractersísticas, tais como a ordem de apresentação da questão no decorrer da avaliação ou o cansaço do avaliando [Conde and Laros, 2007] citado por [Fernandes, 2009]. Outra utilização da TRI é em pesquisas de opinião, pesquisas de comportamento, e medidas de atitude. Tais pesquisas podem ser feitas utilizando modelos de desdobramento da TRI, por exemplo. Tal modelo é descrito na Seção [Bortolotti, 2010]. Como o sistema CAT do CESPE/UnB é um sistema de avaliação educacional, neste trabalho será abordada a aplicação da TRI para avaliação educacional. 8

20 2.3.1 Curva Característica do Item Esta seção é baseada em [Baker, 2001]. Pode-se assumir que cada avaliando possui um certo nível do traço latente a ser medido com a avaliação. Levando em conta uma escala arbitrária para a avaliação de uma habilidade, o nível do avaliando (denotado por θ) é dado pela posição do avaliando nesta escala. Para um certo item de uma avaliação, pode-se atribuir a probabilidade P(θ) de o avaliando acertar este item, dado que o seu nível é θ. Considerando-se todos os níveis da escala de habilidade, pode-se plotar um gráco que representa todas as probabilidades de acerto de um item, em função do nível do avaliando. Figura 2.2: Curva Característica do Item. Adaptado de [Baker, 2001] A gura 2.2 apresenta uma curva característica de um item. O eixo das abscissas representa o θ. O eixo das ordenadas representa P(θ). Na curva apresentada na gura 2.2, o item tem as seguintes características: Avaliandos com baixo nível de habilidade tem baixa probabilidade de acertar a questão; Avaliandos com alto nível de habilidade tem alta probabilidade de de acertar a questão; Avaliandos com nível médio de habilidade uma chance média de acertar a questão; Para o intervalo em θ = [-1, +1], P(θ) apresenta maior variação Para os intervalos nas extremidades, para θ<-1 e θ>+1, P(θ) apresenta menor variação 9

21 Com base nessa análise, pode-se concluir que o item discrimina melhor avaliandos que estejam com seu valor de habilidade medido no intervalo (-1,+1) para valores de θ. Nota-se que a inclinação da curva neste intervalo é alta. Pode-se concluir também que o item discrima de forma menos efetiva avaliandos que estejam com alto nível medido para a habilidade (θ>+1) ou com baixo nível medido para a habilidade (θ<-1). Nestes intervalos, a inclinação da curva é baixa. A inclinação da curva é, portanto, importante para determinar se o item é bom ou não para discriminar certo nível de habilidade. Tal característica pode ser observada na gura 2.3. Nela, encontram-se traçadas 3 curvas características, cada uma referente à um item diferente. Apesar das très curvas estarem no mesmo nível de diculdade (mesma posição em relação ao eixo das abscissas), a curva 1 possui maior inclinação, principalmente no intervalo [-1,+1]. As demais curvas, neste intervalo, possuem menor inclinação. Isso implica que, para diferentes níveis de avaliando, a probabilidade de acerto é próxima, e portanto o item não discrimina bem tais níveis. Figura 2.3: Curva característica de 3 itens. Adaptado de [Baker, 2001] Como exemplo, podemos visualizar os extremos quanto à discriminação nas guras 2.4 e 2.5. Na gura 2.4 o gráco apresenta um item que tem discriminação máxima. Para qualquer avaliando, sendo o seu θ<=+1, a probabilidade P(θ)=0. Já para o avaliando com θ>+1, P(θ)=1. Já na gura 2.5, o gráco apresenta um item que tem sua discriminação mínima, com a mesma probabilidade de acerto para qualquer que seja o nível do examinando. No caso da gura, θ, P(θ)=

22 Figura 2.4: Curva com discriminação máxima. Adaptado de [Baker, 2001]. Figura 2.5: Curva com discriminação mínima. Criada pelos autores com base em [Baker, 2001]. 11

23 2.3.2 Parâmetros da Curva Característica e Informação do Item Na TRI os itens podem ser caracterizados por parâmetros. A diculdade do item é um parâmetro que indica o θ do traço sendo medido em que o avaliando terá P(θ)=0.5. A discriminação do item é o parâmetro que indica a inclinação da curva característica do item. Um terceiro parâmetro é a probabilidade de um avaliando com um nível innitamente baixo para o traço latente sendo avaliado acertar a resposta do item, sendo também chamado de chance de acerto ao acaso [Weiss, 1985]. Figura 2.6: Parâmetros da curva característicao. Adaptado de [Weiss, 1985] A Figura 2.6 mostra os parâmetros utilizados, por exemplo, no modelo Three Parameter Logistc Model (ML3P), a ser discutido na Seção O parâmetro A representa a discriminação do item. O parâmetro B representa a diculdade do item. O parâmetro C representa a chance de acerto ao acaso do item. Em uma avaliação de opiniçao, por exemplo, o parâmetro C pode ser considerado 0. Pode-se combinar os parâmetros anteriormente citados em um índice que diz o quanto um item consegue medir dos avaliandos em diferentes níveis. Esse índice é chamado Informação do item, que pode ser representada por uma curva. Sobre essa curva, caso a discriminação do item seja alta, a curva estará menos espalhada pela escala de medição do traço latente, cando com um pico mais no. Da mesma forma, caso a discriminação do item seja baixa, a curva de informação do item irá espalhar pela escala, cando com o pico mais largo [Weiss, 1985]. A imagem 2.7 mostra como a TRI encontra o próximo item ideal a ser apresentado para um certo avaliando [Weiss, 1985]. O eixo das abscissas representa a escala em uso para a avaliação. O eixo das ordenadas apresenta a quantidade de informação que cada 12

24 Figura 2.7: Seleção da próxima questão com base na habilidade atual do avaliando [Weiss, 1985] item pode trazer para um avaliando que esteja em um determinado nível da escala. Podese notar que cada item tem um pico em um ponto diferente da abcissa, o que mostra que os itens avaliam melhor avaliandos que estejam em níveis diferentes de habilidade na escala. Cada uma das curvas apresentadas é um item de uma avaliação. A linha vertical sobre o zero indica que o nível atual do avaliando é (zero). No exemplo desta imagem, um avaliando com nível de habilidade atual zero será melhor avaliado com o item 6, por este ser o item trará maior quantidade de informação sobre seu nível de habilidade. Caso ele erre a resposta do item, a linha vertical tenderá a se moverá mais para a esquerda, supondo que o nível de habilidade do avaliando seja um pouco mais baixo. No caso contrário, em que o avaliando acerta a questão, ocorrerá o contrário, e a linha vertical irá para a direita, supondo que o avaliando tenha um nível de habilidade maior que o atualmente avaliado Vantagens do Uso da TRI sobre o uso do Modelo Clássico O uso da TRI na análise das propriedades psicométricas de medidas é mais complexo do que a abordagem da. A TRI apresenta vantagens e ganhos de informação em relação à essas propriedades sobre a TCT [Bortolotti, 2010]. Na o teste precisa ser mais longo para que a análise dos parâmetros seja con- ável, enquanto que na TRI são necessários menos itens para se obter o mesmo resultado [Bortolotti, 2010]. 13

25 A TCT utiliza o score total para estimar os parâmetros dos itens e dos avaliandos. Tais parâmetros (dos itens e dos avaliandos) não podem ser compreendidos na ausência um do outro. Por outro lado, com a TRI é possível realizar a análise dos avaliandos ao largo da análise dos parâmetros dos itens, e vice-versa [Bortolotti, 2010] Modelos da TRI A TRI é um conjunto de diferentes modelos. Tais modelos se diferenciam principalmente em função das suposições acerca da forma de resposta do item e o nível do traço latente do avaliando. Quanto ao processo de resposta, pode-se identicar os modelos acumulativos e de desdobramento (Unfolding Model) [Bortolotti, 2010]. No modelo acumulativo, a probabilidade de o avaliando acertar uma questão aumenta quando o seu nível de traço latente é maior. Com isso, avaliandos com um nível de traço latente maior terão um score mais alto, enquanto que um indivíduo com nível baixo no traço latente terá um score baixo [Bortolotti, 2010]. Dentre os modelos acumulativos dicotômicos (seleção entre duas opções para um item, como certo ou errado), pode se listar os seguintes modelos [Bortolotti, 2010] [Costa, 2009] [Fernandes, 2009]: One Parameter Logistc Model (ML1P) Utiliza como variável o grau de diculdade do item, geralmente variando entre -4.0 e 4.0 Two Parameter Logistc Model (ML2P) Utiliza como variáveis o grau de diculdade do item, variando entre -2.5 e 2.5, e a quantidade de discriminação que esta possui, variando entre -1.0 e 4.0 ML3P Utiliza as variáveis do ML2P mais a probabilidae de acerto ao acaso do item. Este é o modelo utilizado para a prociência em inglês do CESPE/UnB Four Parameter Logistc Model (ML4P) Utiliza as variáveis do ML3P e uma quarta variável representando o tempo que o avaliando leva para responder o item Dentre os modelos acumulativos não dicotômicos, pode-se destacar os seguintes modelos [Bortolotti, 2010] [Andrade, 2010]: Modelo de Resposta Nominal Modelo que considera, para o cálculo da chance de acerto do avaliando, todas as opções apresentadas Modelo de Resposta Gradual Calcula a probabilidade de acerto do avaliando levando em conta uma ordem de probabilidade entre as opções apresentadas no item (cada item tem uma probabilidade de ser selecionado) Modelo de Crédito Parcial Generalizado Calcula a probabilidade de resposta de um avaliando para cada opcção com base no nível do examinando 14

26 O modelo de desdobramento é utilizado para avaliaçõs de opinião ou pesquisas de atitude. O modelo admite que as respostas se dão a partir de um ponto ideal, e que a função de resposta dos items neste modelo tem formato de pico simples [Bortolotti, 2010]. Neste modelo, a probabilidade de concordância do avaliando é maior quando a posição do traço latente e do avaliando são próximas na escala de avaliação do traço latente [Andrade, 2010]. 2.4 O Teste Adaptativo Um teste adaptativo é um teste no qual diferentes avaliandos são submetidos a conjuntos possivelmente distintos de questões, dependendo do seu nível atual em relação à competência sendo julgada [Weiss, 1985]. Esse tipo de teste contrasta com testes baseados na TCT, como os testes em papel-e-caneta, no qual todos os examinandos recebem o mesmo conjunto de itens. A abordagem adotada por um teste adaptativo permite obter benefícios em relação ao teste papel-e-caneta, à saber [Boyd et al., 2003]: aumento na precisão na medida da habilidade do avaliando maior segurança no teste testes com menos questões e com mais informação acerca da habilidade do avaliando Para que tais características sejam efetivamente aplicadas, o teste adaptativo baseia suas propriedades psicométricas na TRI, descrita na seção 2.3. Basicamente, estes testes devem levar em conta o histórico das respostas do examinando para selecionar a próxima questão [Boyd et al., 2003]. O teste adaptativo funciona da seguinte forma [Weiss, 1985]: Deve ser criada uma base de itens, contendo itens convenientemente parametrizados, de acordo com, por exemplo, nível de diculdade. Um ou mais itens são aplicados ao examinando e, de acordo com a correção da resposta, mais itens são selecionados da base de itens. Uma das abordagens, citada por [Drasgow, 2005], é que uma resposta correta é seguida pela seleção de um item mais difícil, e uma resposta incorreta é seguida da seleção de um item mais fácil. O procedimento para a escolha de novos itens também pode ser organizado de forma a ressaltar a característica que se queira avaliar. Esses passos podem ser repetidos até que se tenha a precisão desejada em relação ao grau do examinando. Dessa forma, o teste adaptativo geralmente produz avaliações de grande precisão. Com base nestes passos, nota-se que são necessários alguns componentes para se realizar um teste adaptativo: 15

27 conjunto de itens a serem aplicados aplicador, que deverá selecionar a próxima questão a ser exposta O banco de itens e todas as tarefas associadas à este são importantes para a aplicação de um teste adaptativo. Tal banco deve conter características únicas para cada avaliação, sendo necessário realizar uma série de passos até que se possa utilizar suas questões em uma avaliação. Uma forma de se criar tal banco pode ser [McBridge and Weiss, 1974]: Denir a população de interesse Construir uma versão inicial do teste e normalizá-lo para uma amostra representativa da população Construir um subteste na base de dados normalizada Construir testes maiores secundários incorporando os subtestes de calibragem Normalizar este teste em grupos maiores da população Realizar a análise dos testes desenvolvidos, empregando o score de teste de calibragem como critério Selecionar items para o banco de itens na base de dados de análise Os testes adaptativos têm apresentado grandes vantagens sobre os testes convencionais, mostrando maior eciência em vários aspectos, além de qualidade igual ou superior à dos testes convencionais. Algumas vantagens que podem ser citadas são [Lilley et al., 2004] [Hatzigaidas et al., 2003]: Menor tempo requerido por teste Itens mais adaptados ao nível do avaliando, sendo necessários menos itens para a avaliação de cada indivíduo Maior precisão e legitimidade na medida de habilidade, com a obtenção efetiva da capacidade do avaliando (vide Figura 2.1 e seção 2.2). Além disso, um teste adaptativo representa um ganho de eciência frente aos testes clássicos visto que podem avaliar mais de um traço com menos itens de avaliação [Weiss, 1985]. Também proporcionam mais conança na medida da habilidade dos avaliandos [Betz and Weiss, 1973]. Segundo [Fernandes, 2009], "a principal vantagem da TRI em relação à TCT é que ela assume que a habilidade do examinando independe da avaliação que ele está realizando, mas que ela pode ser estimada a partir de características das questões que o examinando responde e a probabilidade dele acertar essas questões." Repare que na gura 2.1, a curva do teste adaptativo tem performance para todos os níveis próxima à performance que o teste de pico tem para o nível alvo. Na linguagem da TCT, o teste adaptativo age como se todos os indivíduos recebessem um teste convencional de pico personalizado. 16

28 Dentre as abordagens já utilizadas para a aplicação de um teste adaptativo está a que faz uso do auxílio de computadores. Esse tipo de teste é conhecido como teste adaptativo computadorizado (em inglês, CAT), e será abordada a seguir. 2.5 O Teste Adaptativo Computadorizado O uso de computadores para a implementação de um teste adaptativo fará o melhor uso das características desse teste, usando recursos computacionais (raciocínio automatizado, banco de dados, redes etc). Uma implementação de CAT deve conter, além da parte de interação com o usuário, um banco de itens (item pool), como já citado, e um agente inteligente que seleciona itens do banco para serem aplicados ao teste em tempo real. A lógica pode ser a mais simples ou pode incluir funcionalidades mais complexas, como a de levar em conta o tempo de resposta do avaliando, ou a probabilidade de acerto com chute [Drasgow, 2005]. Além de o CAT utilizando a TRI possibilitar que avaliandos que respondem a testes diferentes possam ser comparados equitativamente, ele também permite que se faça uma melhor comparação com testes aplicados no passado, desde que estes estejam utilizando a mesma teoria. Todas essas vantagens do CAT, contudo, possuem também um custo alto. O componente citado anteriormente como agente, por exemplo, é um componente que executa algoritmos complexos que, a cada item respondido pelo avaliando, tem que realizar cálculos estatísticos complexos que consomem uma grande quantidade de recursos computacionais de processamento. Esse é um dos custos computacionais. Quanto ao que diz respeito à logística, para os itens poderem estar devidamente parametrizados quanto aos níveis de diculdade no momento em que são aplicados, eles devem ter passado previamente por um processo que chamamos de calibragem. Na calibragem, uma certa quantidade de avaliandos de diferentes níveis é submetido ao teste. De acordo com o nível pré-estabelecido e desempenho de cada avaliando, será possível levantar os parâmetros de diculdade de cada item, como a probabilidade de um avaliando acertá-lo com respostas ao acaso. Esse processo todo pode ser bastante dispendioso. De acordo com a dimensão do teste sendo executado (como testes em larga escala descritos em [Fernandes, 2009]), o banco de itens pode precisar dispor de uma quantidade imensa de itens, cuja elaboração, obviamente, exige custos muito maiores que na aplicação de um teste comum. Toda a tecnologia empregada em um CAT requer o esforço de grandes equipes de diferentes áreas de domínio, como Ciência da Computação, Estatística e Psicologia, dentre outros. 17

29 2.6 Representando o Funcionamento de um CAT Do ponto de vista do avaliando, um sistema CAT funciona como um sistema de informação, que apresenta várias questões e emite um resultado ao nal. A gura 2.8 mostra, de forma geral, como se dá um teste individual, dentro de uma avaliação CAT. Figura 2.8: Diagrama CAT. Construido pelos autores com base em [Fernandes, 2009] A seleção da primeira questão ca a cargo da equipe que está desenvolvendo a avaliação. Isso se deve ao fato de que, num primeiro momento, o nível do avaliando não é conhecido, não sendo possível ao algoritmo selecionar a próxima questão [Fernandes, 2009]. Após a seleção e consequente primeira resposta do avaliando, o sistema passa a selecionar a próxima questão com base no nível de prociência calculado até o momento. A Figura 2.9 apresenta a evolução do nível da prociênvia calculado e do erro associado á esse cálculo ao longo de uma avaliação. O erro padrão (SE, do inglês Standard Error) inicial foi xado em Considerou-se que o nível inicial avaliado para o avaliando é (zero). Com base nessas considerações, foi selecionado o primeiro item a ser respondido. Na sequência, seguem as respostas do avaliando, o nível calculado com base na resposta e o erro padrão. Quando o avaliando acerta o item, é apresentado um C, e o 18

30 Figura 2.9: Evolução da nota e do erro na aplicação de uma avaliação utilizando CAT, Adaptado de [Jesus et al., 2010]. nível calculado tende para a direita. Quando o analiando erra o item, é apresentado um I, e o nível calculado tente para a esquerda. E em toda a sequência de questões, nota-se a diminuição gradual do erro padrão. No exemplo apresentado, ao atingir o item 40 o erro padrão ainda não atingiu o valor exigido para o m da avaliação, que é Como foi estabelecido que o máximo de itens da avaliação deve ser 40, ao responder o quadragésimo item o sistema interrompe a prova por número máximo de itens atingido. 19

31 2.7 Componentes O modelo de agente inteligente normalmente segue modelos estatísticos avançados. Tal agente, dessa forma, deve possuir raciocínio probabilístico. Também é possível que o agente seja um sistema inteligente, e neste caso, como cita [Abdullah and Cooley, ], será mais fácil implementar as restrições necessárias para a correta aplicação da avaliação. O tipo de inteligência articial que constitui esse agente ca a critério do implementador, podendo ser de muito simples a um modelo extremamente complexo. Existem várias regras para que seja efetuada a seleçao de itens. Além disso, os algoritmos devem levar em conta a exposição de cada item para minimizar a chance de um examinando que faz a avaliação duas vezes com o mesmo banco receba a mesma questão, através de métodos para controlar a exposição máxima [Barrada et al., 2007]. Outro problema é a decisão de quando encerrar o teste [Babcock and Weiss, 2009]. Ao longo da avaliação, o sistema possui uma estimativa do status do avaliando, que vai sendo atualizado a cada resposta. Associada a essa estimativa, existe um erro. Deve-se estabeler um erro mínimo, no qual o avaliando pode ser considerado apto ou inapto com certa propriedade (vide Seção 2.6). Logo, é necessário para a arquitetura de um CAT a denição dos componentes básicos para sua implementação. São eles: Banco de itens Seletor de questões Interface com o usuário Tais componentes serão descritos à seguir Banco de Itens O banco de itens é um banco de dados que contém todas as questões a serem ministradas aos avaliandos. Conforme é dito na Seção 2.5, para que se possa utilizar a questão na avaliação esta deve estar calibrada. Portanto, um banco de itens para uma avaliação CAT deve conter apenas questões calibradas, de forma que seja possível a correta avaliação dos avaliandos. Em muitas disciplinas, as avaliações são estruturadas de forma que se constituem de alguns textos, cada texto seguido de questões relativas a ele. Assim, dentro do banco de itens, deve haver a possibilidade de armazenar questões e textos Seletor de Questões A seleção de questões ó ponto chave da implementação de um CAT. Se a seleção for mal formulada e/ou implementada, o sistema não será capaz de administrar corretamente as questões. São pontos importantes da seleção de itens: 20

32 Seleção da primeira questão Segundo [Fernandes, 2009],deve-se evitar que a primeira questão seja igual para todos os avaliandos, pois se todos recebessem sempre a mesma questão, alguns problemas poderiam surgir, como: Primeiras questões iguais em avaliações (de datas) diferentes; Questões idênticas facilitam fraudes. Para isso, a escolha do primeiro item deve ser feita de forma pseudo-aleatória, dentro de uma faixa de graus de diculdade média. Relacionamento entre textos e questões No CAT, quando um item acompanhado de um texto é algoritmicamente selecionado, deve ser objetivada a estrutura citada em Dessa forma, o algoritmo seletor de itens deve levar em conta, além da escolha do item de maior informação dentro de um teste em especíco, que quando uma questão é selecionada e esta for acompanhada por um texto, um número mínimo de itens sobre aquele texto deve ser selecionado a seguir. Seleção da questão após acerto ou erro do avaliando Após um acerto, deve ser selecionada um questão de nível mais difícil. Da mesma forma, após um erro, deve ser selecionada um questão de nível mais fácil Decisão do encerramento da avaliação Deve ser estipulado um valor mínimo para o erro, de forma que o nível do avaliando seja considerado medido com precisão para que se possa nalizar um teste. Além disso, o sistema deve conter um limite para o número de itens em um teste, mesmo que não seja atingido o erro desejado para a avaliação do avaliando. O sistema deve responder corretamente a todas as situações Interface com o Usuário Como qualquer sistema, a interface com o usuário é importante pois permitirá ao avaliando o uso efetivo do software. No caso de um CAT, a importância da interface se dá por ser por ela que o ator obtém os elementos motivadores (imagens, textos, vídeos) necessários para a resposta das questões. Logo, a interface deve ser bem elaborada para que estes recursos sejam corretamente utilizados. Uma das questões a serem tratadas é se o avaliando deverá poder retornar a questões previamente respondidas. Em caso positivo, o avaliando poderá navegar pelas questões 21

33 já respondidas e lê-las, sempre que quiser, durante o teste. Em caso negativo, depois de responder um questão, o avaliando não poderá mais voltar a ela. 22

34 Capítulo 3 Metodologia Este capítulo descreve a metodologia utilizada na realização deste trabalho. As primeiras atividades realizadas consistiram em revisão de literatura a respeito do CAT, descrita no Capítulo 2, e estudo do sistema utilizado na avaliação de prociência em língua inglesa da UnB, descrito no Capítulo 5. Durante este estudo, os autores zeram uma avaliação sobre novas funcionalidades que poderiam ser acrescentadas ao sistema e, em seguida as apresentaram como sugestões ao Cespe. Estas sugestões serviram como ponto de partida para os trabalhos que seriam acordados com a casa e realizados em seguida. Um subconjunto das sugestões de novas funcionalidades foi selecionado pelo CE- SPE/UnB e, dentro dele, deniu-se uma ordem de prioridade. A especicação precisa sobre os requisitos para cada uma dessas funcionalidades se faria a posteriori, seguindo a sequência de desenvolvimento. A sequência de tarefas que se seguiram a partir desta fase inicial se deram a partir de um padrão iterativo. Este padrão caracterizou-se por uma sequência de ciclos. Cada ciclo consistiu nas seguintes atividades: 1. Especicação, junto ao CESPE/UnB, dos requisitos para a nova funcionalidade a ser implementada 2. Projeto e implementação da nova funcionalidade 3. Teste da nova funcionalidade 4. Entrega e validação junto ao CESPE/UnB As funcionalidade associadas a cada ciclo, por ordem temporal, foram as seguintes: 1. Incorporação da pré-testagem de itens ao sistema de avaliações ordinárias 2. Sistema de gerência em tempo real de avaliações e liberação da prova por horário estabelecidos 3. Possibilidade de inserção de imagens nos textos das questões 23

35 Uma descrição detalhada dessas funcionalidades é provida na Seção 5.2. Depois de nalizado todo o processo de desenvolvimento, o CESPE/UnB realizou um teste nal de validação do software resultante. Em seguida, o sistema com as novas foi utilizado no teste de prociência em língua inglesa da UnB de junho de Na data desta avaliação, o CESPE/UnB ainda não possuia itens com imagens, de forma que apenas os itens 1 e 2 da lista acima foram testados nesta situação real. O CESPE/UnB, então, forneceu alguns dados quantitativos aos autores deste texto, para que estes pudessem fazer uma análise sobre a aplicação do que foi desenvolvido. Esta análise se encontra no Capítulo 7. 24

36 Capítulo 4 O CESPE/UnB e a Prova de Prociência em Língua Inglesa da UnB Este capítulo tem por objetivo apresentar a dinâmica de produção da prova de prociência em língua inglesa da UnB e mostrar como se dá a apresentação dos itens aos avaliandos. A Seção 4.1 descreve em linhas gerais como ocorre a elaboração de uma avaliação CAT no CESPE/UnB. A Seção 4.2 descreve como ocorre a avaliação de prociência em língua inglesa do CESPE/UnB, apresentando a visão do avaliando ao responder uma prova. 4.1 A Produção de uma avaliação no Cespe/UnB Esta seção é baseada em [Fernandes, 2009] e em reuniões com a Coordenadoria de Avaliação do CESPE/UnB. O processo de uma avaliação, de sua criação até sua efetiva realização, ocorre em diversos passos, executados por diferentes pessoas ou equipes. A Figura 4.1 apresenta os principais passos no processo de criação de uma avaliação CAT no CESPE/UnB. Para um detalhamento das atividades, ver [Fernandes, 2009]. As caixas 1, 2 e 3 da gura indicam fases preliminares ao início da criação dos itens. A caixa 4 indica a criação dos itens propriamente dita. Nesta fase os elaboradores fazem uma estimativa inicial de diculdade dos itens. Porém, é necessária a calibragem dos itens, que ocorre nas caixas 5 e 6. Conforme dito na Seção 2.5 se os itens não estiverem calibrados não podem ser utilizados na avaliação. Uma vez calibrados, os itens podem começar a agregar uma avaliação. Para tal, ocorre a diagramação, processo que visa adequar a apresentação dos itens ao formato nal. A Seção detalha a melhoria referente à apresentação dos itens. Uma vez padronizados, os itens integrarão uma prova, na caixa 8, e por m a prova é aplicada e os resultados são obtidos (caixas 9 e 10). A Figura 4.2 detalha o processo de pré-testagem e calibragem de itens dentro do processo de criação da avaliação. Para poder utilizar um item na avaliação CAT, o CE- SPE/UnB realiza a pré-testagem dos itens em grupos de controle, com uma prova im- 25

37 Figura 4.1: Processo de Criação de Avaliação. Criada pelos autores com base em [Fernandes, 2009]. Utilizada a ferramenta Dia pressa. Uma vez em posse das respostas dos avaliandos, é realizada a calibragem com um software especíco para tal. Tal prática tem, obviamente, seus custos associados, levando em conta que as provas têm que ser impressas, transportadas, aplicadas, transportadas de volta, e inseridas em corretoras automáticas. A Seção detalha as melhorias efetuadas no sistema CAT do CESPE/UnB para permitir a diminuição dos custos com a pré-testagem. 26

38 Figura 4.2: Processo de calibragem de itens. Criada pelos autores com base em [Fernandes, 2009]. Utilizada a ferramenta Dia. 4.2 A Avaliação de Prociência em Língua Inglesa do Cespe/UnB Esta seção foi escrita com base nas observações dos autores acerca do sistema, e se resumem à descrição do sistema conforme visto pelo avaliando antes das atualizações realizadas. O controle de acesso à sala onde ocorre a avaliação de prociência em língua inglesa, bem como a identicação dos avaliandos é feita pela equipe aplicadora da prova, e foge ao escopo do sistema. 27