A Avaliação Nacional da Alfabetização: compreendendo os resultados. André Jalles

Transcrição

1 UNIVERSIDADE FEDERAL DO CEARÁ PACTO NACIONAL PELA ALFABETIZAÇÃO NA IDADE CERTA SEMINÁRIO ESTADUAL PNAIC CEARÁ A Avaliação Nacional da Alfabetização: compreendendo os resultados André Jalles Fortaleza - Fevereiro de 2015

2 Troca de experiências Texto introdutório de motivação Avaliação: utilidade e limitações Diálogo sobre medidas e parâmetros Troca de informações sobre o a ANA Proficiência Medida, Modelo Estatístico e Acaso Teoria clássica de medida; Análise básica de testes Curva característica do item; Teoria da Resposta ao Item Bibliografia Resultados da ANA 2013 e comparações

3 MEC insiste em 450 pontos no Enem para o financiamento A exigência e a redução do fluxo de pagamento às mantenedoras geraram fortes críticas do setor. MEC argumenta melhor oferta de vagas. O secretário - executivo do Ministério da Educação (MEC), Luiz Cláudio Costa, defendeu ontem um novo modelo para oferta de custeio pelo Fundo de Financiamento ao Estudante do Ensino Superior (Fies). Ele declarou, em Brasília, que a pasta não abre mão de uma pontuação mínima no Exame Nacional do Ensino Médio (Enem) para o acesso ao programa. No final do ano passado, uma portaria do MEC passou a exigir nota de 450 pontos no Enem como uma das condições para o estudante obter o contrato. A exigência e a redução do fluxo de pagamento às mantenedoras geraram fortes críticas do setor. Catástrofe O presidente da Abmes, Gabriel Rodrigues, apontou a falta de recursos das instituições diante das mudanças: O problema existe e precisamos encontrar uma solução, senão será uma catástrofe, advertiu Rodrigues. Argumentou que a alteração nas regras do Fies afeta a bandeira defendida pelo expresidente Luiz Inácio Lula da Silva e pela presidente Dilma Rousseff de ampliar o acesso ao ensino superior.

4 Avaliação: utilidade Verificação do patamar de aprendizagem Estímulo para superação de desafios Mensuração da qualidade de uma intervenção Verificação do efeito de novas intervenções

5 Avaliação: limitações Qualidade dos instrumentos da avaliação Fidedignidade Dimensionalidade Consistência

6 O que é uma medida? Valor numérico relacionado a um atributo, propriedade ou característica de um objeto, que gera informação sobre tal objeto.

7 Medida: Exemplos Temperatura Efeito: Dilatação de metais. Instrumento: Termômetro, aumento / redução no volume de mercúrio. Exemplo prático: qual é a temperatura desta sala? Peso Efeito: diferença na força para retirar um objeto da inércia. Instrumento utilizado: balança. Exemplo prático: qual é o seu peso?

8 Parâmetro estimado por intermédio de uma estatística

9 1 0,9 0,8 Parâmetro estimado por intermédio de um modelo estatístico 0,7 0,6 0,5 0,4 0,3 0,2 0,

10 1 0,9 0,8 Parâmetro estimado por intermédio de um modelo estatístico 0,7 0,6 0,5 0,4 0,3 0,2 0,

11 Medidas em instrumentos de avaliação de conteúdos Proporção de acerto em um item. Somatório da proporção de acertos dos itens de uma prova. Atribuição de peso aos itens de uma prova.

12 Medidas em instrumentos de avaliação de conteúdos Problemas de comparabilidade entre avaliações distintas ou aplicadas em momentos distintos. Necessidade de acompanhamento do progresso dos avaliados.

13 A Avaliação Nacional de Alfabetização - ANA A ANA é uma avaliação que objetiva aferir os níveis de alfabetização e letramento em Língua Portuguesa (leitura e escrita) e Matemática dos estudantes do 3º ano do ensino fundamental das escolas públicas.

14 A Avaliação Nacional de Alfabetização - ANA Os resultados de desempenho nas áreas avaliadas são expressos em escalas de proficiências. As escalas de Língua Portuguesa (Leitura) e de Matemática da ANA 2013 são compostas por quatro níveis progressivos e cumulativos. Isso significa uma organização da menor para a maior proficiência. Quando um percentual de alunos foi posicionado em determinado nível da escala, pode-se pressupor que, além de terem desenvolvido as habilidades referentes a este nível, provavelmente também desenvolveram as habilidades referentes aos níveis anteriores.

15 Proficiência Inteligência; habilidade / competência; aptidão; conhecimento; raciocínio;... Competência: É o conjunto de conhecimentos (saberes), habilidades (saber fazer) e atitudes (saber ser). (Dicionário interativo da educação brasileira) Instrumento de medida: testes Exemplo prático: considerando a Cidade de Fortaleza, em um dia ensolarado qualquer, independente da data do ano, em qual horário sua sombra terá o menor tamanho? a) 11h b) 12h c) 11:30 d) 12:30

16 Teoria Clássica de Medida Instrumento: teste com vários itens (questões). Escores relacionados aos itens. Nota relacionada ao somatório de escores. Avaliação da nota individual comparada ao grupo

17 Exemplos de avaliações

18 Exemplos de avaliações

19 Estatísticas básicas de um teste Média, Mediana, separatrizes e Valor Modal. Amplitude, Variância, Desvio-Padrão. Simetria, Curtose. Curvas de referência, gráficos, etc

20 Teoria Clássica de Medida Limitações Instrumento dependente do grupo medido. Os parâmetros do teste dependem do grupo aplicado. Comparabilidade entre testes.

21 100% 90% 80% 70% 60% 50% 40% 30% 20% Curva característica dos itens 10% 0% Quantidade de itens corretos

22 Teoria da Resposta ao Item - TRI Variável Latente. Modelo Estatístico. Probabilidade de acerto de um item, condicionado à Proficiência do aluno. Dificuldade, Discriminação e Acerto casual. Problemas: Dimensionalidade, independência dos itens, modelo preestabelecido...

23 Curva característica do item 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Quantidade de itens corretos normalizados

24 Modelo logístico unidimensional de três parâmetros P[Acerto / q ]= c + (1-c)/{1 + Exp[-a(q b)]} 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,

25 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Curvas características de itens Modelo Teórico Quantidade de itens corretos

26 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Curvas características de itens Modelo Teórico Quantidade de itens corretos

27 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Curvas características de itens Estimação das curvas Quantidade de itens corretos

28 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Curvas características de itens Estimação da nota Quantidade de itens corretos

29 Parâmetros básicos da TRI Probabilidade de acerto casual. Dificuldade. Discriminação. Proficiência

30 !!??????!?!!!?!?!?!!!?!!???!!???!???!!?!?????!!! Teoria clássica?!!?!!!?!!!! e!!!?????!?!? Teoria da Resposta ao Item?!!?!!!!??!!!!!?!?!??!!??!!!!!!?!?!?!!??!?!!?!!!

31 Bibliografia PASQUALI, L. Psicometria: Teoria dos testes na psicologia e na educação. 1. ed. Petrópolis,RJ: Editora Vozes, ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE,

32 Resultados da ANA Estado

33 Resultados da ANA Estado

34 Resultados da ANA 2013 Município M

35 Resultados da ANA 2013 Comparação

36 Resultados da ANA 2013 Comparação

37 O b r i g a d o!