A Evidência dos Estudos Internacionais

Transcrição

1 INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A Evidência dos Estudos Internacionais Matemática João Marôco, Ph. D. (IAVE, I. P. ; NPM PISA 2015 & NRC TIMSS 2015) joao.maroco@iave.pt

2 INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A Evidência dos Estudos Internacionais Sumário 1. Os Estudos Internacionais de Avaliação de Alunos 2. TIMSS º Ano 3. PISA TIMSS Advanced 5. Validade dos Resultados dos Estudos Internacionais 6. Considerações finais

3 Os Estudos Internacionais de Avaliação de Alunos

4 Os Estudos Internacionais de Avaliação de Alunos Amostra probabilística de larga escala representativa da realidade nacional; Avaliam conhecimentos (TIMSS: sobreposição curricular: +92%) e competências (PISA); Avaliam, num só teste, diferentes literacias (Matemática, Leitura, Ciências); Informação sobre as variáveis de contexto socioeconómico e cultural que influenciam o ensino e a aprendizagem Permitem (um)a caracterização do sistema de ensino face a um referencial externo (framework) definido por especialistas de reconhecido mérito internacional (OCDE, IEA); Produzem informação que concorre para a definição de políticas educativas e curricula alinhados com recomendações internacionais; Método eficiente do ponto de vista estatístico (estimadores centrados e não enviesados) e económico (amostra probabilística vs. censos)

5 TIMSS - 4.º Ano

6 TIMSS 4.º Ano Trends in International Mathematics and Science Study avalia a literacia em matemática e em ciências de alunos do 4.º ano de escolaridade Áreas de Conteúdo: MATEMÁTICA Números 53% Apresentação de Dados Geometria e 14% Medida 33% CIÊNCIAS Ciências da Terra 19% Ciências da Vida 46% Ciências Físicas 35% n Dimensões cognitivas (MAT): (IEA, 2016) CONHECER (36%) APLICAR (44%) RACIOCINAR (20%)

7 TIMSS 4.º Ano MATEMÁTICA : CONTEÚDOS E COMPETÊNCIAS Reconhecer e ler várias formas de representação de dados; Interpretar dados e representações gráficas; Retirar conclusões; Organizar e apresentar dados graficamente (IEA, 2016) i. Ler, interpretar e representar dados em tabelas e gráficos Apresentação de Dados 14% Números 53% i. Números inteiros; ii. Frações e números decimais; iii. Expressões, equações simples e relações. Geometria e Medida 33% i. Pontos, retas e ângulos; ii. Formas bidimensionais e tridimensionais. Efetuar cálculos com números de grandeza razoável; Relacionar frações com números decimais; Conceito de variável Situações quotidiano Propriedades e características de retas e de ângulos; Identificação de figuras planas e de sólidos geométricos; Propriedades retas, ângulos; Medidas de comprimento e áreas

8 TIMSS 4.º Ano MATEMÁTICA : PORTUGAL Portugal participou nas edições de 1995, 2011 e 2015 Amostra 2015: Escolas/turmas selecionadas por amostragem aleatória multi-etapa: Estratificada (NUTS III e Natureza Adm.) e Clusters (turmas) 217 (198 públicas; 19 particulares e cooperativas) 309 professores (75% 40 anos; 87% ) 4065 pais/enc. educação 4693 alunos (9,9 anos; 51% ) (tx. Amostragem = 5% A. M. Lisboa: 23% A. M. Porto: 15% Outras NUTS III: 2-4 %

9 TIMSS 4.º Ano MATEMÁTICA : PORTUGAL EVOLUÇÃO Pontuação na Escala TIMSS = = : 99 pontos : 9 pontos Ciclos de Avaliação TIMSS

10 TIMSS 4.º Ano MATEMÁTICA : RESULTADOS INTERNACIONAIS 50 países + 6 regiões em benchmarking SGP (618) HKG (615) KOR (608) TPE (597) JPN (593) n ENG (546) BEL(546) KAZ (544) PRT (541) (13º) USA (539) DNK (539) JOR (388) SAU (383) MAR (377) ZAF (376) KWT(353)

11 PISA

12 PISA Programme for International Student Assessment avalia se alunos de 15 anos, de todas as modalidades de educação e formação, conseguem mobilizar os seus conhecimentos e competências de leitura, matemática e ciências na resolução de situações do dia a dia das sociedades contemporâneas. LITERACIA CIENTÍFICA: «Capacidade de envolvimento em questões sobre ciência e compreensão de ideias científicas, como cidadão reflexivo, sendo capaz de participar num discurso racional sobre ciência e tecnologia». LITERACIA DE LEITURA: «Capacidade para compreender, utilizar, refletir e se envolver na leitura, com a finalidade de atingir os seus objetivos, de desenvolver os seus conhecimentos e o seu potencial e de participar na sociedade». LITERACIA MATEMÁTICA: «Capacidade de formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamentadamente, como cidadão participativo, empenhado e reflexivo». RESOLUÇÃO COLABORATIVA DE PROBLEMAS: «Capacidade para trabalhar com duas ou mais pessoas para tentar resolver um problema». (OCDE, 2016) n

13 PISA MATEMÁTICA : LITERACIA MATEMÁTICA «Capacidade de formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamentadamente, como cidadão participativo, empenhado e reflexivo». Processos matemáticos Conteúdos matemáticos Contextos Formular matematicamente as situações; Aplicar conceitos, factos, procedimentos e raciocínio matemáticos; Interpretar, aplicar e avaliar resultados matemáticos. Variações e relações; Espaço e forma; Grandezas; Incerteza e dados. Individual; Ocupacional; Societal; Científico. CAPACIDADES FUNDAMENTAIS 1. Comunicação; 2. Matematização; 3. Representação; 4. Raciocínio e argumentação; 5. Conceção de estratégias de resolução de problemas; 6. Utilização de linguagem simbólica, formal e técnica e de operações; 7. Utilização de ferramentas matemáticas. (IAVE, 2016; OCDE, 2016)

14 PISA MATEMÁTICA : PORTUGAL Portugal participou em todas as edições: 2000 a 2015 Amostra 2015: Escolas/alunos selecionados por amostragem aleatória multi-etapa: 1ª. Etapa: aleatória estratificada (NUTS III e Natureza Administrativa); 2ª. Etapa: aleatória simples (alunos com idades entre 15 anos e 3 meses e 16 anos e 2 meses a frequentar pelo menos o 7.º ano ou equivalente em todas as modalidades de educação e formação) 246 (222 públicas + 24 partic./cooperativas) (Taxa Amostragem: 24%) 4228 (M = 46,7 anos; 72% ) 6881 Pais/Enc. educação 7325 (M = 15,8 anos; 50% ) (Taxa Amostragem: 7,5%) R. A. Açores: 21% (sobreamostragem) A. M. Lisboa: 18% A. M. Porto: 13% Outras NUTS III: 1-4,5 %

15 PISA MATEMÁTICA : PORTUGAL EVOLUÇÃO Pontos na escala da Matemática OCDE Portugal n.s. + 38***

16 PISA MATEMÁTICA : RESULTADOS INTERNACIONAIS 72 Países e Economias SNG (564) HKG(548) MAC (544) TPE (542) JPN (532) n FRA (493) GBR (492) CZE (492) PRT (492) 22.º ITA (490) TUN (367) KSV (362) DZA (360) DOM (328)

17 PISA MATEMÁTICA : PORTUGAL EVOLUÇÃO : POR ANO ESCOLARIDADE Pontuação na escala da Matemática º Ano: y = 2,6622x + 503,55 Média: y = 2,6207x + 455,66 9.º Ano: y = 1,7754x + 427,5 8.º Ano: y = 1,7779x + 374,12 7.º Ano: y = 2,6773x + 329,

18 TIMSS Advanced

19 TIMSS Advanced Trends in International Mathematics and Science Study - Advanced avalia conhecimentos e competências em matemática avançada e em física de alunos a frequentar o ano terminal do ensino secundário em cursos de acesso a carreiras STEM. Áreas de conteúdo: MATEMÁTICA Álgebra 35% Geometria 29% Cálculo 36% FÍSICA Mecânica e Termodinâmica 41% Fenómenos Electricidade e Ondulatórios Magnetismo Física Atómica 26% 33% n Dimensões cognitivas: (IEA, 2016) CONHECER (29%) APLICAR (41%) RACIOCINAR (30%)

20 TIMSS Advanced MATEMÁTICA : CONTEÚDOS E COMPETÊNCIAS Resolução de problemas no plano e no espaço; Propriedades dos vetores; Usar trigonometria para problemas de triângulos; Esboçar e reconhecer gráficos de funções trigonométricas; Resolver problemas com funções trigonométricas. (IEA, 2016) i. Geometria com e sem coordenadas; ii. Trigonometria. Álgebra 35% Geometria 29% Cálculo 36% i. Expressões e operações; ii. Equações e inequações ; iii. Funções i. Limites; ii. Derivadas; iii. Integrais. Operação e avaliação de expressões algébricas, incluindo números complexos; Trabalho com progressões aritméticas e geométricas, incluindo soma de n termos Determinar limites de funções, reconhecer e descrever condições de continuidade e diferenciabilidade; Derivadas na resolução problemas; 1ª e 2ª derivada, gráficos e funções; Integrais e primitivas; cálculo de áreas e volumes.

21 TIMSS Advanced MATEMÁTICA : PORTUGAL Portugal participou pela primeira vez em 2015 Amostra 2015: Escolas/turmas selecionadas por amostragem aleatória multi-etapa: Estratificada (NUTS III e Natureza Adm.) e Clusters (turmas) 221 (209 públicas + 12 partic./cooperativas) (Taxa de Amostragem: 43%) 327 (90% 40 anos; 74% ) 4068 (18 anos; 55% ) (Taxa de Amostragem: 13%) A. M. Lisboa: 14% da amostra A. M. Porto: 12% da amostra Outras NUTS III: 1-6 %

22 TIMSS Advanced MATEMÁTICA : RESULTADOS NACIONAIS Portugal participou pela primeira vez em 2015

23 TIMSS Advanced MATEMÁTICA : RESULTADOS INTERNACIONAIS 9 países + RUS 6h+ 550 RUS 6h+ LBN n USA RUS PRT FRA SVN NOR SWE ITA 400

24 Validade dos Estudos Internacionais

25 Validade dos Estudos Internacionais Os testes medem os conhecimentos/competências dos alunos que é suposto medirem? Referencial (framework) estabelecido por painel de peritos educacionais (internacionais); análise de sobreposição curricular; Tradução, adaptação e validação transcultural países e consórcios rigorosa; Métodos de estimação (estatística) «apropriados» para estudos de amostragem em larga escala com design de testes por planned missingness; estimação de aptidões por TRI; estimação de valores plausíveis para desempenho de alunos por modelos de regressão latente; Forte correlação item-total. Os testes são fiáveis? Codificação de respostas sob estrito controlo de qualidade (Coding Guides; Treino; Monitorização da fiabilidade de codificação); Itens trend não-públicos; Anchoring dos resultados em relação a T0. Validade concorrente com provas nacionais?

26 Validade concorrente com provas nacionais? Validade concorrente: grau com que um novo método se correlaciona com outro método já existente e assumido como válido. MATEMÁTICA 4.º ANO - TIMSS 2015 r = 0,67 0,01 (n = 3 977) r = 0,71 0,01 (n = 3 904)

27 Validade concorrente com provas nacionais? MATEMÁTICA 9.º ANO - PISA 2015 r = 0,44 0,01 (n = 4 178) r = 0,64 0,01 (n = 4 178)

28 Validade concorrente com provas nacionais? MATEMÁTICA 12.º ANO TIMSS ADVANCED 2015 r = 0,64 0,01 (n = 2 934) r = 0,71 0,01 (n = 2 934)

29 Considerações finais

30 Considerações finais Resultados dos estudos internacionais (matemática) têm validade concorrente com os exames nacionais de fim de ciclo: 4.º ano: r = 0,71 0,01 (n = 3 904; N = 4 693) 9.º ano: r = 0,64 0,01 (n = 4 178; N = 7 325) 12.º ano: r = 0,71 0,01 (n = 2 934; N = 4 068) Portugal registou evoluções significativas nos desempenhos em matemática dos alunos do ensino básico e secundário entre (TIMSS) e (PISA): TIMSS 4.º ano : PISA: + 99 pontos, ca. 2 anos de ensino formal na escala do TIMSS + 38 pontos, ca. 1 ano de ensino formal na escala do PISA

31 INDICADORES DE SUCESSO DO ENSINO EM PORTUGAL A Evidência dos Estudos Internacionais Obrigado pela atenção! Questões, Dúvidas, Comentários? joao.maroco@iave.pt