Melhorando a aprendizagem com dados e análise: a experiência da Austrália

Transcrição

1

2 Melhorando a aprendizagem com dados e análise: a experiência da Austrália Barry McGaw Honorary Professorial Fellow, Universidade de Melbourne Ex-Presidente da Australian Curriculum, Assessment and Reporting Authority (ACARA) Ex-Diretor de Educação, OCDE Seminário Internacional Instituto Unibanco Caminhos para a qualidade da educação pública: Gestão Escolar São Paulo, Brasil 2 e 3/09/ 2015

3 mcgaw group pty ltd ABN Quadro geral/resumo da apresentação Monitorando a aprendizagem no nível de sistema Avaliações baseadas em amostras Avaliações completas de grupos /coortes Monitorando a aprendizagem no nível da escola Relatório público dos resultados da escola Oferecendo comparações justas com outras escolas Identificando e remediando os pontos fracos

4 Monitorando a aprendizagem no nível de sistema

5 Avaliações baseadas em amostras

6 mcgaw group pty ltd ABN Monitorando o sistema com levantamentos baseados em amostras Levantamentos internacionais OCDE PISA 2000, 2003, 2006, 2009, 2012, 2015 IEA TIMSS 1995, 1999, 2003, 2007, 2011, 2015 PIRLS 2001, 2006, 2011, 2016 Educação Cívica e Cidadania 1971, 1999, 2016 Informática/tecnologia 1989, 1992, 1998, 2001, 2006, 2013 Levantamentos Nacionais Conhecimentos de Ciências (6º Ano): Educação Cívica e Cidadania (6º, 10º Anos): Conhecimentos de ICT (6º, 10º Anos): 2003, 2006, 2009, 2012, , 2007, 2010, 2013, , 2008, 2011, 2014, 2017

7 Avaliações completas do grupo

8 mcgaw group pty ltd ABN Passando para a avaliação nacional 1989 Programa de Exame de Aptidões Básicas NSW, seguiram-se outros 1996 Conselho Ministerial queria comparabilidade nacional 1996 Usada estrutura de relatórios nacionais, em seguida escalas comuns 2002 Problema no estabelecimento de escalas comuns 2006 Iniciou estudos/testes dos exames comuns 2007 Passou para exames comuns 2008 Programa Nacional de Avaliação: Leitura, Escrita e Aritmética (NAPLAN) 2017 NAPLAN Eletrônico a ser introduzido (NAPLAN Online)

9 mcgaw group pty ltd ABN Estrutura de um NAPLAN eletrônico adaptativo Primeiro teste Segundo teste Terceiro teste F - Itens desafiadores D - Itens mais difíceis E - Itens difíceis A - Itens padrão B - Itens mais fáceis C - Itens fáceis e diiagnósticos

10 mcgaw group pty ltd ABN Benefícios de um NAPLAN eletrônico adaptativo Melhor medição de todos os estudantes Medidas mais precisas para todos os estudantes Melhor medição dos estudantes com desempenho mais elevado e mais baixo Mais rapidez na apresentação dos resultados Exames menos previsíveis Conjunto de avaliações mais ricos como um todo que combinam com o currículo Qualquer noção de ensinar/preparar para o exame fica prejudicada Avaliações escolares Banco de questões ou exames específicos nos quais os professores podem se basear Resultados expressos em escala nacional Crescimento do estudante pode ser mapeado

11 Monitorando a aprendizagem no nível de escola

12 mcgaw group pty ltd ABN Performance Desempenho versus vantagem sócioeducacional 4,0 Escola B 2,0 Escola C 0,0-2,0 Escola A -4, Índice de vantagem sócioeducacional (ICSEA)

13 Relatórios públicos de resultados das escolas

14

15

16

17 Escore médio das Escolas As linhas que se estendem em qualquer um dos lados dos diamantes localizando o escore médio em que a escola está indicam as faixas de erro de 90% para as estimativas das médias

18 Tanto em 2008 quanto em 2009, Indooroopilly estava bem acima da média nacional mostrada nos quadrados roxos.. As diferenças foram estatisticamente significativas visto que os bigodes [whiskers] que se estendiam abaixo da média de Indooroopilly não se sobrepunham as médias nacionais. As diferenças também foram significativas (ou seja, educacionalmente dignas de nota), pois as médias de Indooroopilly nos dois anos foi de mais de 0,2, embora inferior a 0,5, nos desvios padrão acima das médias nacionais, conforme indicado em verde claro. (Se as diferenças tivessem sido de 0,5 ou mais de desvios-padrão, a cor seria verde escura).

19 Oferecendo comparações justas com outras escolas

20 Esta tela compara Indooroopilly com 60 escolas em que os estudantes estavam nos mesmos níveis de vantagem sócio educacional em relação àqueles de Indooroopilly. A comparação com as médias nacionais deram a Indooroopilly grande satisfação. A comparação com outras escolas que tinham estudantes semelhantes chocaram a comunidade de Indooroopilly. Se não houvesse o Minha Escola, eles não teriam acesso a este tipo de informação. Tanto em 2008 quanto em 2009, Indooroopilly estava significativamente (os bigodes não se sobrepõem) (entre 0,2 e 0,5 nos desvios-padrão - portanto cor de rosa) atrás da média de 60 outras escolas com estudantes semelhantes..

21 Em 2010, Indooroopilly não era significativamente (os bigodes se sobrepõem) e não substancialmente diferente da média (inferior a 0,2 de desvios-padrão por isso a cor branca) de 60 outras escolas com estudantes semelhantes..

22 Comparação entre escolas individuais Escola Primária Indooroopilly Escolas em roxo claro estão mais de 0,2 ou menos de 0,5 de desvio-padrão em relação a Indooroopilly Escolas em roxo escuro estão 0,5 ou mais de desvio-padrão a frente da Indooroopilly

23 Comparação entre escolas individuais Escola Primária Indooroopilly

24 Comparação entre escolas individuais Escola Primária Indooroopilly

25

26

27

28 Situação financeira das escolas (reportadas para todas as escolas na Australia) Indooroopilly Primary School (K-7) Indooroopilly High School (8-12) St Peters Lutheran College, Indooroopilly (K-12)

29 Identificando e remediando os pontos fracos: o kit de ferramentas NSW para escolas

30 Desenvolvido pelo Departamento de Educação de New South Wales Utilizado no Território de New South Wales e da Capital Australiana Escolas do governo (públicas) Escolas católicas Escolas independentes Fornece informações de diagnóstico e sugestões corretivas Para escolas Para estudantes

31 Cada círculo é um estudante. No 3º ano, a escola está se saindo melhor na leitura do que na aritmética.

32 No 5º ano, o desempenho da escola em leitura se equipara ao de aritmética.

33 Aqui está um item difícil no qual a escola não vai tão bem quanto o esperado.

34 Aqui está o item e as informações nos quais os alunos não estavam certos. Clicando aqui leva a estratégias sugeridas de ensino para remediar a situação.

35 Esta é a página sobre estratégias sugeridas de ensino para a qual o usuário é levado.

36 Aqui está uma representação do crescimento do 3º Ano ao 5º Ano, de cada estudante na classe. Percentil 75 Percentil 25 Aluna: Emma Wood Nota Ano 3: 493 Nota Ano 5: 531 Crescimento: 38 Cresc. esperado: 47 Média estadual: 76 Média da escola: 84

37 Emma Wood respondeu 13 das 39 perguntas de maneira incorreta. Esta tela mostra, item por item no exame o que ela respondeu acertadamente e o que errou, e qual foi a resposta errada escolhida.

38 Comentários finais.

39 mcgaw group pty ltd ABN Há muitas estratégias sendo utilizadas para melhorar o desempenho escolar na Austrália. Elas incluem aumento da descentralização da responsabilidade e decisão para as escolas. A principal ponto destacado nesta apresentação é a utilização dos dados sobre desempenho dos estudantes para mensurar o progresso e revelar as deficiências, com elos para aconselhamento sobre estratégias de ensino com as quais as deficiências poderiam ser remediadas/corrigidas. Para que isto ocorra, diretores e funcionários das escolas têm de ser bem treinados na análise e uso de dados e os recursos analíticos disponibilizados para eles precisam ser fáceis de usar e apresentar resultados de fácil compreensão.

40 Obrigado.