O Desafio do PISA 2015

Transcrição

1 Avaliações Internacionais de Alunos em Larga Escala O Desafio do PISA 2015 João Marôco, Ph. D. (PISA 2015 NPM) joao.maroco@iave.pt

2 O que é o PISA?

3 O que é o PISA? Programme for International Student Assessment avalia se os alunos de 15 anos, em todas as modalidades de educação e formação, conseguem mobilizar os seus conhecimentos e competências de leitura, matemática ou ciências na resolução de situações relacionadas com o dia a dia das sociedades contemporâneas. Domínios de Avaliação (OCDE, 2016): LITERACIA CIENTÍFICA LITERACIA LEITURA LITERACIA MATEMÁTICA RESOLUÇÃO COLABORATIVA DE PROBLEMAS «Capacidade de um indivíduo para se envolver em questões sobre ciência e compreender ideias científicas, como um cidadão reflexivo, sendo capaz de participar num discurso racional sobre ciência e tecnologia». «Capacidade de um indivíduo compreender, utilizar, refletir e se envolver na leitura de textos escritos, com a finalidade de atingir os seus objetivos, de desenvolver os seus conhecimentos e o seu potencial e de participar na sociedade». «Capacidade de um indivíduo formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamentadamente, como cidadão participativo, empenhado e reflexivo». «Capacidade de um individuo para trabalhar com duas ou mais pessoas para tentar resolver um problema». Formular Aplicar Interpretar Localizar Interpretar Avaliar Explicar Avaliar Interpretar Interagir Colaborar Resolver 3

4 O teste PISA

5 O teste PISA Itens de seleção e construção Fontes e suportes variados (textos, mapas, gráficos, tabelas, figuras e simulações em computador 3 Domínios clássicos (Ciências, Leitura, Matemática) + 1 novo domínio (resolução colaborativa de problemas) DESIGN do TESTE: Tempo de testagem para todos os domínios: 13h 30min. Duração do Teste: 2 h - Itens omissos planeados/design matricial múltiplo (planned missingness) ( + 30 min. Student Questionnaire) 33% Em cada edição PISA: Domínio Principal + Domínios secundários 4% 4% 2015: Domínio principal Ciências 1 h teste todos os alunos Domínios secundários Proporções diferentes de alunos 1 h 66 versões de teste Questionários aos alunos, professores e enc. de educação 33% 22% 4%

6 A Literacia Matemática no PISA 2015 Processos matemáticos Conteúdos matemáticos Contextos Formular matematicamente as situações Aplicar conceitos, factos, procedimentos e raciocínio matemáticos Interpretar, aplicar e avaliar resultados matemáticos Variações e relações Espaço e forma Grandezas Incerteza e dados Individual Ocupacional Societal Científico CAPACIDADES FUNDAMENTAIS 1. Comunicação; 2. Matematização; 3. Representação; 4. Raciocínio e argumentação; 5. Conceção de estratégias de resolução de problemas; 6. Utilização de linguagem simbólica, formal e técnica e de operações; 7. Utilização de ferramentas matemáticas IAVE (2016); OCDE (2016)

7 O teste PISA 2015 Formato tradicional do PISA: Papel-e-Lápis PORTUGAL Exemplo de item de Ciências

8 O teste PISA 2015 Formato tradicional do PISA: Papel-e-Lápis PORTUGAL Exemplo de item de Matemática

9 O teste PISA 2015 NOVO FORMATO: Computer Based Assessment (Avaliação em Computador)

10 O teste PISA 2015 CBA Exemplo de item de seleção complexa Matemática 10

11 O teste PISA 2015 CBA Exemplo de item de construção Matemática 11

12 O teste PISA 2015 CBA Exemplo de item interativo de Ciências 12

13 Novos Desafios para o PISA: CBA vs. PBA

14 Novos Desafios para o PISA: CBA vs. PBA Leitura Matemática Ciências Leitura Matemática Ciências PBA CBA A avaliação em computador tem várias vantagens: Logística; Codificação automática; Fiabilidade de resultados; Supervisão em tempo real; Disponibilidade de Resultados; Itens interativos e simulação de dados; Custos financeiros. Evolução do PISA: Paper Based Assessment Computer Based Testing Computer Adaptive Testing

15 Novos Desafios para o PISA: CBA vs. PBA Problemas com o CBA? INVARIÂNCIA DE MODO? Como ligar os resultados dos ciclos PBA vs. CBA? Testes CBA têm validade e fiabilidade? INVARIÂNCIA DE MODO: Os itens/testes em PBA vs. CBA: 1. Têm o mesmo índice de dificuldade? 2. Têm o mesmo índice de discriminação? Existe efeito de modo nos resultados e comparação de países PBA vs. CBA? É possível ligar os resultados (itens trend) dos ciclos PBA com os novos ciclos CBA?

16 Novos Desafios para o PISA: CBA vs. PBA Estudo Piloto INVARIÂNCIA DE MODO (2014): AMOSTRA: 53 Países n 2000/país escolas/país n i 70 alunos/escola Trend New & CPS PBA (23%) CBA (35%) CBA (42 %) von Davier & Sakamoto (ETS), Com. Pess., Novembro 2014] Nota: A dimensão das amostras nacionais (n= ) é demasiado pequena para inferências válidas por país. 2 salas em simultâneo (PBA + CBA) 1 sala ou outro período do dia.

17 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? RESULTADOS: Teoria Clássica de Testes: P + : proporção de respostas corretas; ou média relativa dos scores dos itens politómicos Médias Internacionais (P+) Domínio CBA PBA CBA - PBA Matemática 0,45 0,47-0,02 Leitura 0,60 0,59 +0,01 Ciências-Trend 0,49 0,50-0,01 Ciências-New (FT Test) 0, CBA ligeiramente mais difícil; diferenças de P + irrelevantes entre os dois modos!

18 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? RESULTADOS: Taxa de Não Respostas (318 itens, aplicados em 45 países com CBA & PBA): 2015 Média Internacional Formato CBA PBA CBA - PBA % não-respostas 4,7 5,2-0,5 Efeito de Omissão 2,0 2,6-0, Formato CBA PBA Nº itens (média/país) com Efeito de Omissão forte 32,5 44,5 Efeito de Omissão: P + (calculados com não respostas como erradas) - P + (não considerando as não respostas ) Efeito de Omissão forte: > 5% (P + : proporção de respostas corretas; ou média relativa [M/maxscore] dos scores nos itens politómicos) CBA: reduz ligeiramente a % não respostas e efeito de omissão.

19 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? RESULTADOS: Teoria Clássica de Testes: Efeito de Posição (a posição dos blocos de itens afeta a P+?) CBA (2015) Posição1 Posição2 Posição3 Posição4 Pos.4 Pos.1 Matemática 0,439 0,454 0,432 0,427-0,012 Leitura 0,575 0,580 0,566 0,544-0,031 Ciências 0,409 0,418 0,401 0,385-0,024 PBA (2009) Posição1 Posição2 Posição3 Posição4 Pos.4 Pos.1 Matemática 0,411 0,401 0,384 0,371-0,040 Leitura 0,581 0,557 0,532 0,499-0,083 Ciências 0,490 0,478 0,457 0,435-0,055 CBA reduz efeito da localização dos itens no teste

20 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? RESULTADOS: Teoria de Resposta ao Item Comparação entre os itens PBA vs. CBA mixed IRT models (Rasch/PCM, 2PL/GPCM) 3 CMC Computer Human SMC CMC Computer 3 Human SMC 2 Discriminação CBA (a) Discriminação PBA (a) r ( )=0,89 r ( )=0,89 r ( )=0,90 r ( )=0,94 Dificuldade CBA (b) Dificuldade PBA (b) r ( )=0,94 r ( )=0,96 r ( )=0,94 r ( )=0,93 Correlações fortes entre parâmetros de discriminação (a) e dificuldade (b) das CCI por tipologia de codificação do item

21 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? RESULTADOS: Teoria de Resposta ao Item Comparação entre os itens PBA vs. CBA mixed IRT models (Rasch/PCM, 2PL/GPCM) Domínio Parâmetro de Discriminação r (a PBA, a CBA ) Parâmetro de Dificuldade r (b PBA, b CBA ) Matemática 0,91 0,95 Leitura 0,89 0,94 Ciências 0,94 0,93 Todos os domínios 0,91 0,94 Correlações fortes entre parâmetros de discriminação (a) e dificuldade (b) das CCI por domínio

22 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? RESULTADOS: : Correlação entre as pontuações médias por domínio CBA vs. PBA PBA MATEMÁTICA (r = 0,97; b = 1,05) LEITURA (r = 0,96; b = 0,98) CIÊNCIAS (r = 0,97; b = 1,06) // // CBA

23 Novos Desafios para o PISA: CBA vs. PBA Invariância de modo PBA vs. CBA? CONCLUSÕES: CBA reduz a taxa de não respostas Itens CBA ligeiramente mais difíceis que PBA (diferenças irrelevantes entre P ) CBA reduz Efeito de Omissão CBA reduz Efeito de Posição dos itens/blocos no teste Comparabilidade dos itens trend entre (PBA) e 2015 (CBA trend) Correlações entre os parâmetros de dificuldade e discriminação das ICC para PBA e CBA elevadas no geral, por tipologia de item e por domínio (r =0,89-0,95) Correlações elevadas entre domínios estimados em PBA vs. CBA (r =0,96-0,97) Mixed multigroup IRT (RM/PCM; 2PL/GPCM) permitem manter a continuidade da série PISA ( ) Não há efeito de modo de aplicação (PBA vs. CBA) relevante quer de acordo com a TCT quer com a TRI (invariância de modo) Entre PBA e CBA são esperados 75-85% parâmetros comuns por domínio; i. e. ~ 4-5 clusters em 6 clusters trend comuns: uma ligação mais forte do que a observada em ciclos anteriores!

24 PISA 2015

25 PISA 2015 Quem participou 72 Países e economias: escolas PAÍSES MEMBROS DA OCDE: Austrália, Áustria, Bélgica, Canadá, Chile, República Checa, Dinamarca, Estónia, Finlândia, França, Alemanha, Grécia, Hungria, Islândia, Irlanda, Israel, Itália, Japão, Letónia, Luxemburgo, México, Holanda, Nova Zelândia, Noruega, Polónia, Portugal, República Eslovaca, Eslovénia, República da Coreia, Espanha, Suécia, Suíça, Turquia, Reino Unido, Estados Unidos da América. PAÍSES E ECONOMIAS NÃO MEMBROS DA OCDE: Albânia, Argélia, Argentina, Brasil, Bulgária, as provinciais de Beijing- Shangai-Jiangsu-Guandong da China [reportadas como B-S-J-G (China)], Hong Kong (China), Macau (China), Colômbia, Costa Rica, Croácia, Chipre, República Dominicana, Geórgia, Indonésia, Jordânia, Cazaquistão, Kosovo, Líbano, Lituânia, Antiga República Jugoslava da Macedónia, Malásia, Malta, Moldávia, Montenegro, Peru, Catar, Roménia, Federação Russa, Singapura, Taipé Chinês, Tailândia, Trindade e Tobago, Tunísia, Emirados Árabes Unidos, Uruguai. Vietname. (países em itálico PBA) professores enc. de educação alunos

26 PISA 2015 Amostra Nacional Escolas/alunos selecionadas por amostragem aleatória multietapa: 1ª. Etapa: aleatória estratificada (NUTS III e Natureza Administrativa); 2ª. Etapa: aleatória simples (alunos com idades entre 15 anos e 3 meses e 16 anos e 2 meses a frequentar pelo menos o 7.º ano ou equivalente em todas as modalidades de educação e formação) 246 (222 públicas + 24 particulares e cooperativas) (Taxa Amostragem: 24%) 4228 (M = 46,7 anos; 72% ) 6881 Encarregados de educação 7325 (M = 15,8 anos; 50% ) (Taxa Amostragem: 7,5%) R. A. Açores: 21% (sobreamostragem) A. M. Lisboa: 18% A. M. Porto: 13% Outras NUTS III: 1-4,5 %

27 PISA 2015 Resultados Nacionais Pontuação na Escala PISA n OCDE Portugal Ciências Leitura Matemática Ano

28 PISA 2015 Resultados Regionais (NUTS III) PORTUGAL SCIE Score MATH Score READ Score

29 Obrigado pela atenção!