Testes Adaptativos Informatizados Baseados em Teoria de Resposta ao Item Utilizados em Ambientes Virtuais de Aprendizagem

Transcrição

1 Universidade Federal de Goiás Escola de Engenharia Elétrica e de Computação Programa de Pós-Graduação em Engenharia Elétrica e de Computação Testes Adaptativos Informatizados Baseados em Teoria de Resposta ao Item Utilizados em Ambientes Virtuais de Aprendizagem Por Fabrícia Damando Santos Orientadores: Prof. Dr. Leonardo Guerra de Rezende Guedes Prof. Dr. Weber Martins

2 Estrutura da Apresentação Introdução Educação a Distância, Teorias de Aprendizagem e Avaliações Informatizadas Teoria de Resposta ao Item Modelos Implementados Ferramenta Computacional Análise dos Resultados Conclusão e Trabalhos Futuros

3 Introdução Comunicação Progresso da humanidade FUNDAMENTAL Comunicação conhecimentos Conhecimento Era do Conhecimento = (Druker, 1993) Comunicação

4 Conhecimento e atualização fazem parte da integração social e profissional do mundo atual. Conhecimento e Atualização Conhecimento e Atualização Conhecimento e Atualização Conhecimento e Atualização

5 Tecnologia Com a utilização dos computadores e a popularização da Internet, ampliou-se as possibilidades de comunicação entre as pessoas.

6 Educação a Distância e/ou Ensino Não-Presencial São MODALIDADES de ensino Não excluem e nem substituem o presencial Computação e Internet - amplamente utilizadas Ajustado ao novos te mpos Aluno Professor Possibilita a disseminação do conhecimento através da TECNOLOGIA

7 Educação a Distância e/ou Ensino Não-Presencial Incentiva autonomia no processo ensino-aprendizagem As pessoas não aprendem com um simples clique do mouse e sim: Pesquisando Analisando Avaliando Organizando Discutindo Sintetizando Testando Decidindo e APLICANDO IDÉIAS (Horton, W.K., 2000)

8 A Educação a Distância de modo algum é um distanciamento da educação. É educação. Estimula o pensamento crítico Participa da construção do conhecimento

9 Objetivos Desenvolvimento de uma Ferramenta Computacional que poderá ser usada com o apoio da Internet, em cursos a distância ou não. É uma ferramenta destinada ao professor. É realizado nesta ferramenta um acompanhamento para avaliação da habilidade dos alunos, assim como, o acompanhamento dos níveis de dificuldade das questões. Baseada em Testes Adaptativos Informatizados e Teoria de Resposta ao Item

10 TEORIAS DE APRENDIZAGEM TRADICIONAL Ensino centrado no professor Aluno - receptor passivo Não possibilita trabalhos de cooperação Avaliação capacidade de acumular informações COMPORTAMENTALISTA Empirista conhecimento é resultado direto da experiência Processo de ensino-aprendizagem = direcionado Comportamentos desejados são mantidos por elogios, notas, graus, diplomas, status. Avaliação supervaloriza o acerto.

11 HUMANISTA Professor cria condições para aprendizagem Professor - facilitador Ensino é centrado no aluno Avaliação defensora da auto-avaliação COGNITIVISTA (Piaget) Interacionista Participa da construção do conhecimento contínuo Provoca a busca de soluções Avaliação não é mensurável. Verificam o rendimento através de reproduções livres, explicações.

12 SÓCIO-CULTURAL (Paulo Freire) O homem é sujeito de sua práxis capaz de ação e reflexão. Relação horizontal entre professor e aluno Capacidade crítica do homem. Avaliação: auto-avaliação e avaliação mútua.

13 As Teorias do Conhecimento e a Informática Não existem métodos universalmente aceitos e consagrados Correntes de trabalho Miscelânea DICOTOMIA

14 Avaliações Informatizadas Um teste informatizado utiliza o computador como meio de Apresentar as questões Coletar e Armazenar Respostas Calcular e Interpretar Resultados Métodos convencionais Testes Adaptativos Informatizados

15 TESTES ADAPTATIVOS INFORMATIZADOS TAI - disseminou Avaliações Informatizadas Características: Nível de dificuldade da questão (item): b Habilidade individual do aluno: θ Discriminação da questão (item): a Fator adivinhação da questão (item): c

16 Nível de Dificuldade de uma Questão Por definição, o Nível de Dificuldade b de uma questão (item) é igual a média de acerto desta questão a partir de um certo universo de alunos.

17 Habilidade Por definição, um aluno de Habilidade θ = x em determinada disciplina, ou campo do saber, possui 50% de probabilidade de acertar uma questão (item) desta disciplina cujo Nível de Dificuldade seja também b = x

18 Fator de Adivinhação Por definição, o Fator Adivinhação c de uma questão (item) é igual a probabilidade da alternativa correta ser selecionada por um grupo de alunos com habilidade baixa na disciplina ou campo do saber.

19 Índice de Discriminação Por definição, o Índice de Discriminação a de uma questão (item) representa a capacidade desta questão ser mais precisa e exata na avaliação de um aluno dada sua Habilidade em uma determinada disciplina o campo do saber.

20 Testes diferenciados para cada aluno A seqüência das questões podem variar de acordo com a habilidade de cada aluno.

21 TRI Teoria de Resposta ao Item São modelos estatísticos que descrevem: Itens de um teste Suas características Índice de dificuldade Índice de adivinhação Índice de discriminação TRI + Banco de Itens Possibilita aplicar testes a diferentes alunos, considerando as dificuldades e facilidades de cada aluno

22 TRI propõe modelos que representam: Probabilidade de uma resposta certa a um item Dado a Habilidade do aluno Avaliação personalizada Estudantes responderão itens referentes às suas habilidades

23 Modelos de Resposta de um Item Tipos de Respostas Modelo Modelo Normal de 1, 2 e 3 parâmetros (One, Two-, Tree Parameter Normal) Respostas Objetivas Modelo Logístico de 1, 2 e 3 parâmetros (One, Two-, Tree Parameer Logistic) Modelo Logístico de 4 Parâmetros (Four-Parameter Logistic) Modelo Linear (Latent Linear) Modelo de Escala Perfeita (Perfect Scale) Modelo de Distância Latente (Latent Distance) Respostas Subjetivas Resposta Nominal (Nominal Response) Resposta de Classificação (Graded Response) Modelo de Crédito Parcial (Partial Credit Model) Quadro 3.1: Modelos de Respostas de um Item [Hambleton & Swaminathan, 1985]

24 Modelos de Respostas de um Item Modelo logístico de Três Parâmetros O índice c, pode ser atribuído a um item por meio das funções distratoras (funções atrativas, porém incorretas). P i ( ) ( 1 c ) i θ = ci +. θ [ ( )] D. a i b 1+ exp i O índice c, não varia de acordo com a habilidade.

25 Modelo Logístico de Dois Parâmetros Pi ( θ ) =..( θ ) 1+ exp 1 D a i b i Vantagem facilidade de trabalhar com a equação.

26 Modelo Logístico de Um Parâmetro - The Rasch. P i ( θ ) = 1 + exp 1 1 ( θ ) b i P i ( θ ) é a probabilidade de um determinado aluno com habilidade θ, responder um item i corretamente; b i índice de dificuldade

27 Proposta - Estimação da Habilidade A Habilidade varia de -2 a +2. Para fins didáticos, utilizamos a transformação abaixo da variável de habilidade, tal que esta agora varia no intervalo de 0 a 10. θ [( med 2,5) 2] = niveis Onde o nível de dificuldade das questões também variam de 0 a 10. A Habilidade é então obtida pelo cálculo da Mediana dos níveis de dificuldade das questões respondidos.

28 Estimação da Habilidade A estimativa da Habilidade é obtida pela Mediana dos níveis de dificuldade das questões respondidos, nos modelos que propomos (modelos de busca). Isso se justifica, pois, como já definido, a probabilidade de um aluno acertar uma questão de mesmo nível de dificuldade de sua habilidade é 50%.

29 Pontuação Para o procedimento de Pontuação, utilizamos a Esperança Normalizada, igual à esperança dos itens respondidos corretamente dividido pela esperança de todos os itens aplicados. A Esperança define o valor médio resultado ao observarmos muitas vezes uma variável, no caso, os Níveis de Dificuldade das questões aplicadas ao aluno, e por ele respondidas corretamente.

30 Esperança Normalizada ( ) ( ) = = = = = = n i i i n i i i j n i j n i j j P b P b R x E x E R ) ( ) (. θ θ π Pontuação

31 Modelos Implementados Implementamos dois modelos para a avaliação da habilidade do aluno, que irá oferecer apoio pedagógico ao professor, podendo acompanhar o desenvolvimento do aluno e ao mesmo tempo realizar o monitoramento das questões cadastradas.

32 Modelos Estudado Avaliação O aluno é submetido ao teste Há um banco de itens previamente cadastrado, com questões de vários níveis entre (0 a 10) Questões de 0 a 10 Todos alunos iniciam o teste com uma pergunta no mesmo nível de dificuldade 5

33 Modelo Avaliativo I Seleciona um item após o outro. A escolha do próximo item é feita logo após um item ser respondido. Sempre que o aluno responder corretamente um item, o próximo item a ser apresentado será um item de nível de dificuldade maior Sempre o aluno responder incorretamente um item, o próximo a ser apresentado será um item de nível de dificuldade menor.

34 Respostas ao Teste Nível das Questões Quantidade de itens Registro de Resposta de um Aluno

35 Variação dos Níveis de Dificuldade de uma Questão O nível de dificuldade de um item é cadastrado inicialmente pelo professor SEGUNDO SUA PERCEPÇÃO À medida em que uma questão passa a ser administrada aos alunos e submetida as respostas, o nível de dificuldade da questão pode variar.

36 No decorrer do teste, assumimos que quanto mais alunos acertarem a uma determinada questão, esta poderá ser considerada fácil, e seu nível de dificuldade deverá diminuir. Quanto mais alunos errarem a uma determina questão, significa que ela é uma questão mais difícil. O novo nível é então calculado através da fórmula: nível num _ acertos = 10 * 10 num _ acessos

37 Modelo Proposto Alunos iniciam o teste com um item de nível de dificuldade 5 Este modelo também seleciona um item após o outro. Resposta Correta: O próximo item a ser administrado será dado pela média do nível do item atual e o nível máximo admitido no teste. n novo = n atual + 2 n máx

38 Resposta incorreta Caso 1 primeiro erro Calculamos o próximo nível a ser administrado, fazendo uma média entre o nível do item atual e o nível do item anterior. Caso 2 erro consecutivo n novo atual O próximo item a ser administrado será calculado pela média entre o nível do item atual e o nível do item mínimo. n novo = n = n + atual 2 n + 2 anterior n mín

39 Respostas ao Teste Nível das Questões Quantidade de Itens Registro de Respostas de um Aluno

40 Variação dos Níveis de Dificuldade de uma Questão (Item) O nível de dificuldade dos itens pode variar de acordo com o número de acertos e acessos ao item Usa-se no Modelo I e II a mesma fórmula: nível num _ acertos = 10 * 10 num _ acessos

41 IMPORTANTE!!! Ao final, o professor poderá confrontar os valores cadastrados por ele para os níveis das questões e os valores atuais das questões. Isso facilita: o diagnóstico dos pontos fortes e fracos da turma e de cada aluno em relação a turma ou a história das turmas ao longo do tempo; as deficiências didático-pedagógicas; a percepção da influência das disciplinas consideradas como pré-requisitos.

42 Se dois alunos fizerem o teste ao mesmo tempo, ambos provavelmente não responderão as mesmas questões, pois elas serão administradas de acordo com a habilidade de cada um. A escolha da questão de um determinado nível, será feito aleatoriamente, e não há repetição da mesma questão no mesmo teste.

43 Conclusões Um sistema automatizado de Avaliação coopera no sentido de: Correções Armazenamento no BD Histórico dos alunos (Notas) Nível de Dificuldade das questões Habilidade dos alunos

44 Ferramenta Computacional Propomos junto aos Modelos Implementados, o desenvolvimento de uma Ferramenta Computacional para apoio pedagógico baseado em TAI e TRI, que irá auxiliar ao professor identificar as habilidades dos aluno e fazer acompanhamento das questões no teste. Os Modelos Avaliativos desenvolvidos forma implementados junto à Ferramenta Computacional descrita.

45 A ferramenta desenvolvida pode ser usada tanto em ensino presencial, quanto a distância ou não-presencial. É de fácil manipulação, o que proporciona aos professores e alunos um meio eficiente manipular um teste informatizado.

46 Administrador Cadastra professores e alunos Cadastra quantidade de questões por questionário (modelos I ou II) Cadastra disciplina Cadastra níveis de dificuldade que poderão existir para as questões inicialmente inseridas

47 Professor Cadastra questões e seus respectivos níveis de dificuldade segundo sua percepção inicial Altera questões Exclui questões Obtém resultados de cada aluno no curso. Faz acompanhamento dos níveis de dificuldade das questões ao longo do curso

48 Aluno Altera dados pessoais Realiza o teste Modelo I Questionário I Modelo II Questionário II Feedback lista das questões que foram respondidas incorretamente.

49 Criação e Edição de Questões Professor logar no sistema Tela - Cadastrar questão Código Descrição Nível Gabarito Alternativas

50 Aplicação e Correção de um Teste Aluno - logar no sistema Escolhe o teste questionário I ou II Formulário de Questões Número da questão Nome do aluno Enunciado Opções de respostas Botão confirmação Os dados são armazenados no BD ACCESS

51 Apresentação dos Resultados - Feedback Aluno Questões respondidas incorretamente Entende-se que o aluno não respondeu corretamente a questões onde apresenta deficiência de aprendizado, necessitando de maior dedicação e estudo.

52 Apresentação dos Resultados - Feedback Professor Visualiza o desempenho do aluno Habilidade Aproveitamento na disciplina (nota) Listagem dos níveis atuais das questões

53 Referências Técnicas Linguagem de Programação ASP Interface HTML (para Internet) Validação JavaScript Bando de Dados Access

54 Coleta de Dados e Resultados Teste da Língua Inglesa Conhecimento em Informática Questões de múltipla escolha Dois grupos de 10(dez) alunos Cada questionário 15 questões Banco de questões 186 questões cadastradas

55 Notas Sistema I Notas dos alunos - Sistema I Questionário I Questionário II

56 Notas Sistema II Notas dos alunos Sistema II Questionário I Questionário II

57 Tempo médio Tempo médio para realização do teste Tempo médio para realização do teste -Sistema II media 10 Média Questionário I 11,2 Questionário I 13,1 Questionário II 11,7 Questionário II 11,2

58 Conhecimento em Inglês Admitido pelo Aluno Sistema I Conhecimento em Inglês 50% 10% 40% Básico Médio Avançado

59 Conhecimento em Inglês Admitido pelo Aluno Sistema II Conhecimento em Inglês - Sistema II 20% 20% Básico Médio Avançado 60%

60 Nível de Dificuldade Admitido pelo Aluno Sistema I Nível de dificuldade dos questionários 20% 40% 40% Questionário I Questionário II Igual

61 Nível de Dificuldade Admitido pelo Aluno Sistema II Nível de dificuldade dos questionários - Sistema II 10% 80% 10% Questionário I Questionário II Igual

62 Teste Fixo e Sistema I Notas Questionário I Questionário II Fixo

63 Teste Fixo e Sistema II Notas Questionário I Questionário II Fixo

64 Habilidade Sistema I Habilidades - Sistema I Habilidade - QI Habilidade - QII

65 Habilidade Sistema II Habilidades - Sistema II Habilidade - QI Habilidade - QII

66 Correlação Sistema I Notas e Habilidades Questionário I 0,94 Questionário II 0,97 Sistema II Notas e Habilidades Questionário I 0,87 Questionário II - 0,97

67 Estudo de Caso 12,00 10,00 8,00 6,00 Questionário I Questionário II 4,00 2,00 0, Aluno - 1

68 Estudo de Caso 12,00 10,00 8,00 6,00 4,00 Questionário I Questionário II 2,00 0, ,00 Aluno - 7

69 Questionário I: de 1 em 1 passo Mais estável Chega gradativamente ao nível de habilidade do aluno. Bem utilizado para alunos com habilidades intermediária

70 Questionário II : de 2 em 2 passos Maior variabilidade Bem utilizado para alunos com habilidades altas ou baixas.

71 Observações Grandes oscilações abordagem de diversos assuntos (competências) em determinada disciplina Podemos utilizar o Modelo I e o Modelo II em conjunto

72 Questões ao final do teste Variação dos níveis das questões - Sistema I 14% 44% Aumentaram Diminuiram Iguais 42%

73 CONCLUSÃO A Ferramenta oferece apoio ao professor Diagnosticar a habilidade do aluno Compor a nota Acompanhamento do aluno Acompanhamento dos níveis de dificuldade das questões Podemos utilizar os Modelos Avaliativos - compor nota - Avaliação contínua do aluno Calibrar o banco

74 Trabalhos Futuros Investigar através de simulações Separar os bancos melhor calibragem Aperfeiçoar o feedback ao aluno Estudos estatísticos em outros modelos Combinação dos modelos em um único teste Questões discursivas Tutor Inteligente Metodologia - pedagógica

75 ...