OFICINA DE DIVULGAÇÃO E APROPRIAÇÃO RESULTADOS SAETHE

Transcrição

1 OFICINA DE DIVULGAÇÃO E APROPRIAÇÃO RESULTADOS SAETHE

2 OBJETIVOS: a) Promover a compreensão sobre a avaliação educacional no contexto de Teresina. b) Capacitar à leitura e à análise qualitativa dos resultados da avaliação externa, bem como ao uso eficaz dos materiais de divulgação e apropriação. c) Proporcionar a multiplicação dos conhecimentos sobre a avaliação educacional.

3 MÓDULO I A AVALIAÇÃO EDUCACIONAL E OS RESULTADOS DO SAETHE 2016

4 A AVALIAÇÃO DE DESEMPENHO NO BRASIL ACESSO QUALIDADE FLUXO

5 O HISTÓRICO DA AVALIAÇÃO NO BRASIL 1990 SAEB 1997 MATRIZES DE REFERÊNCIA 2007 IDEB/METAS 1995 METODOLOGIA TRI 2005 PROVA BRASIL

6 O SISTEMA DE AVALIAÇÃO EDUCACIONAL DE TERESINA (SAETHE) EI LP/ESC 2EF LP/MT/ESC 3EF LP/MT 4EF LP/MT 8EF LP/MT/PT EI LP/ESC 2EF LP/MT/ESC 3EF LP/MT/ESC 7EF LP/MT/PT EI LP/ESC 2EF LP/MT/ESC 4EF LP/MT/ESC 8EF LP/MT/PT

7 A AVALIAÇÃO DE DESEMPENHO A avaliação envolve... COLETAR Recolher dados e informações sobre determinada realidade. DIAGNOSTICAR Produzir julgamento sobre essa realidade. DECIDIR Tomar decisão em função de um objetivo que se deseja alcançar. AGIR Traçar um estratégias de ação sobre o que é avaliado.

8 OS RESULTADOS Principais avanços e desafios

9 AVANÇOS A participação de estudantes é quase total. Provavelmente, ela corresponde à média da frequência na escola desse público.

10 Participação 2º Período da Educação Infantil Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL ,0% RURAL ,6% URBANA ,7% 2015 GERAL ,3% RURAL ,6% URBANA ,5% 2014 GERAL ,8% RURAL ,9% URBANA ,9%

11 Participação 2º Ano do Ensino Fundamental Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL ,4% RURAL ,9% URBANA ,1% 2015 GERAL ,1% RURAL ,3% URBANA ,1% 2014 GERAL ,3% RURAL ,0% URBANA ,4%

12 Participação 4º Ano do Ensino Fundamental Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL ,5% RURAL ,0% URBANA ,6% 2014 GERAL ,7% RURAL ,7% URBANA ,6%

13 Participação 8º Ano do Ensino Fundamental Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL ,2% RURAL ,0% URBANA ,0% 2014 GERAL ,7% RURAL ,4% URBANA ,6%

14 AVANÇOS A distribuição de estudantes proficientes cresce a cada edição na educação infantil e também no ensino fundamental, em língua portuguesa (leitura e escrita) e matemática. Porém, em matemática no 2EF e 4EF, o crescimento do percentual de estudantes proficientes é tímido. Destaque para produção de texto no 8EF, em que o crescimento do percentual de estudantes proficientes é expressivo.

15 Distribuição dos Estudantes por Padrão de Desempenho 2º Período da Educação Infantil Língua Portuguesa (Leitura) GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 1,2 1,2 1,1 2,4 2,6 2,4 4,8 5,9 4,7 0,1 0,1 0,1 0,1 0,1 98,8 98,7 98,8 97,6 97,4 97,6 95,1 94,1 95,2 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado até a 400 acima de 400 É possível identificar qual o pa

16 Distribuição dos Estudantes por Padrão de Desempenho 2º Período da Educação Infantil Língua Portuguesa (Escrita) GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 6,8 8,3 6,6 11,0 9,4 10,1 9,3 13,7 10,7 21,7 28,2 21,0 15,3 19,2 14,8 22,8 24,2 22,6 19,9 19,8 31,6 21,3 31,7 33,4 32,1 32,3 30,2 61,1 57,4 61,5 42,0 33,6 42,9 26,2 20,3 26,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 600 acima de 600

17 Distribuição dos Estudantes por Padrão de Desempenho 2º Ano do Ensino Fundamental Língua Portuguesa (Leitura) GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 2,9 3,4 2,8 3,4 3,7 3,3 5,2 6,4 5,0 9,0 10,0 8,9 15,0 21,7 14,4 20,0 25,8 19,2 24,4 28,3 24,0 30,9 30,1 40,4 36,9 39,5 36,5 63,7 58,3 64,4 50,6 52,1 34,2 37,9 28,3 39,2 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 600 acima de 600

18 Distribuição dos Estudantes por Padrão de Desempenho 2º Ano do Ensino Fundamental Língua Portuguesa (Escrita) GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 4,1 5,1 4,0 3,7 4,1 3,7 4,4 5,5 4,3 11,8 13,5 11,6 9,8 9,7 9,8 14,9 13,0 15,2 19,3 22,9 18,8 22,2 26,3 21,9 24,8 28,3 24,3 64,8 58,6 65,6 64,2 59,8 64,6 55,9 53,1 56,2 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 600 acima de 600

19 Distribuição dos Estudantes por Padrão de Desempenho 2º Ano do Ensino Fundamental Matemática GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 2,0 13,5 2,7 18,0 1,9 13,0 1,8 15,2 2,5 25,7 1,7 14,2 4,5 20,3 5,8 27,4 4,3 19,4 48,5 54,1 47,9 49,4 48,8 48,0 48,3 55,3 45,6 35,9 25,2 37,2 33,6 16,4 35,2 27,2 21,2 28,0 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 550 acima de 550

20 Distribuição dos Estudantes por Padrão de Desempenho 4º Ano do Ensino Fundamental Língua Portuguesa (Leitura) GERAL 21,5 21,1 42,0 15, RURAL URBANA GERAL RURAL 22,0 21,5 37,8 38,5 19,1 21,4 20,0 20,6 39,5 42,4 31,4 28,8 19,4 14,8 10,9 12,2 URBANA 37,7 19,9 31,7 10,7 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 750 acima de 750

21 Distribuição dos Estudantes por Padrão de Desempenho 4º Ano do Ensino Fundamental Língua Portuguesa (Escrita) GERAL 14,8 11,3 39,4 34, RURAL URBANA GERAL RURAL 20,2 14,0 17,9 18,8 15,7 10,7 16,7 12,6 39,2 40,5 43,8 47,5 23,6 36,0 21,7 21,1 URBANA 17,8 17,3 43,2 21,7 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 750 acima de 750

22 Distribuição dos Estudantes por Padrão de Desempenho 4º Ano do Ensino Fundamental Matemática GERAL 3,9 28,5 52,2 15, RURAL URBANA GERAL RURAL 5,8 3,7 6,6 7,2 28,8 28,4 31,5 28,1 54,8 51,8 48,5 47,9 10,6 16,0 13,4 16,8 URBANA 6,5 32,0 48,6 12,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 650 acima de 650

23 Distribuição dos Estudantes por Padrão de Desempenho 8º Ano do Ensino Fundamental Língua Portuguesa (Leitura) GERAL 14,4 38,5 36,7 10, RURAL URBANA GERAL RURAL 18,6 13,5 23,4 18,0 37,4 43,7 42,9 50,8 37,8 31,5 28,9 27,3 6,2 11,4 4,8 3,9 URBANA 24,3 41,6 29,1 4,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 300 acima de 300

24 Distribuição dos Estudantes por Nível de Desempenho 8º Ano do Ensino Fundamental Língua Portuguesa (Produção de Texto) GERAL RURAL URBANA GERAL RURAL URBANA 0,3 0,1 0,3 0,2 0,3 0,1 4,9 4,4 3,5 2,2 7,3 3,7 26,9 28,5 26,7 40,2 37,5 40,8 44,2 44,8 44,1 46,1 45,4 46,2 21,2 20,7 21,2 8,5 9,6 8,3 4,1 3,5 4,2 0% 20% 40% 60% 80% 100% Inadequado Abaixo do Básico Básico Intermediário Adequado Avançado 0,0 0,1 a 2,0 2,1 a 4,0 4,1 a 6,0 6,1 a 8,0 8,1 a 10,0

25 DESAFIOS A distribuição de estudantes proficientes cresceu em matemática no 8EF, porém a maioria deles está concentrada nos padrões mais baixos. O desafio para a rede municipal de Teresina é seguir com crescimento expressivo do percentual de estudantes proficientes nesse componente curricular.

26 Distribuição dos Estudantes por Padrão de Desempenho 8º Ano do Ensino Fundamental Matemática GERAL 31,2 44,0 21,0 3, RURAL URBANA GERAL RURAL 37,1 29,9 43,6 41,6 44,5 41,4 43,2 46,4 18,8 2,7 21,5 4,1 12,3 0,9 11,0 1,0 URBANA 43,9 42,7 12,5 0,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até a a 325 acima de 325

27 DESAFIOS O desafio para a rede municipal de Teresina é seguir alcançando a meta projetada pelo IDEB. Nesse sentido, o sistema próprio permite o diagnóstico e o monitoramento contínuo da oferta educacional da rede municipal.

28 IDEB REDE MUNICIPAL IDEB OBSERVADO 5EF METAS PROJETADAS 5EF

29 IDEB REDE MUNICIPAL IDEB OBSERVADO 9EF METAS PROJETADAS 5EF

30 A AVALIAÇÃO EDUCACIONAL

31 ATIVIDADE: CONHECENDO A AVALIAÇÃO EXTERNA Cite algumas características da avaliação externa: Quais são as vantagens do sistema próprio de avaliação para a rede de ensino? Liste-as.

32 AS CARACTERÍSTICAS DA AVALIAÇÃO EXTERNA Avaliação Interna - Escola Avaliação Externa - Sistema Processo da aprendizagem Provas abertas, provas objetivas, observação, registro, portfólio TEORIA CLÁSSICA DO TESTE (TCT) Desempenho dos alunos Testes de proficiência, questionários contextuais TEORIA DA RESPOSTA AO ITEM (TRI)

33 OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA A avaliação educacional externa em larga escala fundamenta-se em três aspectos: FUNDAMENTO JURÍDICO FUNDAMENTO POLÍTICO FUNDAMENTO CIENTÍFICO-PEDAGÓGICO

34 OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA Juridicamente, há institutos legais que a orientam, como a Constituição Federal: Art A educação, direito de todos e dever do Estado e da família, será promovida e incentivada com a colaboração da sociedade, visando ao pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho. E também o Plano Nacional de Educação (PNE) , em que temos diretrizes, metas e estratégias para a política educacional.

35 OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA O PLANO ORIENTA O TRABALHO ESTIPULANDO METAS PARA A MELHORIA QUANDO A AVALIAÇÃO DIAGNOSTICA OS RESULTADOS

36 OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA Politicamente, a avaliação articula-se com mecanismos de monitoramento, sendo ela o próprio meio diagnóstico, com vistas à prestação de contas, para garantia do direito à aprendizagem.

37 OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA Por fim, o fundamento científico-pedagógico da avaliação relaciona-se ao fato dela produzir informações para investigação. Por meio de metodologias particulares, a avaliação está em constante desenvolvimento.

38 AS VANTAGENS DO SISTEMA PRÓPRIO DE AVALIAÇÃO Desenho próprio séries e áreas do conhecimento de acordo com as necessidades da rede de ensino. Alinhamento entre currículo-ensino-avaliação. Menor periodicidade entre os ciclos avaliados e a divulgação dos resultados. Estabelecimento de padrões de desempenho estudantil e metas educacionais. Monitoramento da qualidade da educação ofertada e promoção da equidade no ensino. Diagnóstico do efeito de políticas públicas. Uso dos resultados com foco na identidade escolar.

39 OS OBJETIVOS DO SISTEMA DE AVALIAÇÃO EDUCACIONAL DE TERESINA (SAETHE) Levantar informações capazes de subsidiar a (re)formulação e o monitoramento das políticas públicas, visando a contribuir para a melhoria da qualidade, equidade e eficiência do ensino. Auxiliar o (re)planejamento da gestão e das práticas pedagógicas. Investigar dados e indicadores sobre fatores de influência do desempenho dos alunos inscritos na rede municipal.

40 ATIVIDADE: PERCEBENDO AS POSSIBILIDADES DA AVALIAÇÃO EXTERNA Quais são os possíveis usos dos resultados da avaliação para cada um dos atores educacionais abaixo: GESTOR DE REDE GESTOR DE ESCOLA PROFESSOR

41 OS USOS DOS RESULTADOS GESTOR DA REDE Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Ações de formação continuada de professores.

42 OS USOS DOS RESULTADOS GESTOR DA ESCOLA Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional.

43 OS USOS DOS RESULTADOS PROFESSOR Intervenção pedagógica. Elaboração de projetos especiais. Foco nos estudantes com dificuldades. Ações de recuperação, reforço, aprofundamento e desafio. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

44 AS ETAPAS DA AVALIAÇÃO 1 Determinação da população a ser avaliada 2 Elaboração da Matriz de Referência Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 3 Montagem dos cadernos de testes Elaboração dos testes Elaboração dos questionários contextuais 5 Análise dos resultados: TCT e TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação

45 OS INSTRUMENTOS DA AVALIAÇÃO: MATRIZ DE REFERÊNCIA

46 OS INSTRUMENTOS DA AVALIAÇÃO: ITEM

47 A DIVULGAÇÃO DOS RESULTADOS Teoria Clássica dos Testes (TCT) É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado. Teoria de Resposta ao Item (TRI) Produz uma medida mais robusta do desempenho dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.

48 A DIVULGAÇÃO DOS RESULTADOS Parâmetros Parâmetro de Discriminação a É a capacidade do item de discriminar os alunos que desenvolveram aquela habilidade daqueles que não desenvolveram. Parâmetro de Dificuldade b Está relacionado ao percentual de alunos que responderam corretamente ao item. Assim, quanto menor o percentual de acerto, maior a dificuldade do item. Parâmetro de probabilidade de acerto ao acaso c Representa a probabilidade de indivíduos com baixo traço latente responderem corretamente um item.

49 A DIVULGAÇÃO DOS RESULTADOS Quanto maior a coerência nos acertos aos itens (fáceis e difíceis), maior a nota do estudante. Controle da resposta aleatória (provável chute).

50 A DIVULGAÇÃO DOS RESULTADOS Comparação de resultados de diferentes avaliações, como Saeb. Avaliação com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetêlas a longos testes. Comparação de resultados entre diferentes séries, como as do início e fim do ensino médio.

51 MÓDULO II OS FATORES ASSOCIADOS AO DESEMPENHO

52 OS FATORES ASSOCIADOS AO DESEMPENHO Quais fatores podem influenciar na aprendizagem do estudante e em seu desempenho na avaliação?

53 ATIVIDADE: ENTENDENDO QUAL O CONTEXTO DE TRABALHO

54 OS FATORES ASSOCIADOS AO DESEMPENHO: HISTÓRICO Fatores Socioeconômicos Características socioeconômicas como importantes fatores para a explicação da proficiência Relatório Coleman (1966). Escola A ação de frequentar a escola, como fator de proteção às adversidades associadas ao baixo nível socioeconômico.

55 OS FATORES ASSOCIADOS AO DESEMPENHO: HISTÓRICO Nível socioeconômico Escola

56 OS FATORES ASSOCIADOS AO DESEMPENHO Para além dos extremos, existem outras fatores contextuais que influenciam no desempenho dos alunos. Pesquisas sobre eficácia escolar comparam e analisam como diferentes fatores internos à escola influenciam no desempenho dos seus alunos, sob o pressuposto de que a escola também é um fator preponderante para o melhor desempenho por parte dos alunos.

57 OS FATORES ASSOCIADOS AO DESEMPENHO Soares, J.F. (2007). Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa. 37(130), p. 141.

58 OS FATORES EXTERNOS À ESCOLA Fatores Extraescolares Características Individuais Características Familiares Política Educacional Nível Socioeconômico Entorno da Escola Expectativas Hábitos de Estudo

59 OS FATORES INTERNOS À ESCOLA Fatores Intraescolares Clima Escolar Atitudes e Práticas Pedagógicas Atitudes e Práticas de Gestão Expectativas Hábitos de Estudo Infraestrutura

60 OS INSTRUMENTOS: QUESTIONÁRIOS Uma vez que esses fatores são importantes para o melhor desempenho do estudante, como é possível capturar essas informações dos agentes escolares? Questionários contextuais Estudante Professor Diretor

61 OS INSTRUMENTOS: QUESTIONÁRIOS Avaliação Educacional Desempenho Escolar Dimensões Fatores Associados Testes Medidas de Proficiência Instrumentos Resultados Questionário Índices Contextuais

62 A OPERACIONALIZAÇÃO Os itens dos questionários contextuais são avaliados pelos respondentes em: Escala de Concordância Concordo Totalmente Concordo Discordo Discordo Totalmente Escala de Frequência Sempre Frequentemente Raramente Nunca

63 A OPERACIONALIZAÇÃO Durante as aulas, muitos alunos ficam do lado de fora da sala fazendo barulho. Concordo Totalmente Concordo Discordo Discordo Totalmente Operacionalização

64 A OPERACIONALIZAÇÃO A minha escola está sempre preparada para receber os alunos. Concordo Totalmente Concordo Discordo Discordo Totalmente Operacionalização

65 ANÁLISE DESCRITIVA DOS ÍNDICES

66 CONDIÇÕES SOCIOECONÔMICAS DOS ESTUDANTES Recursos econômicos, culturais e sociais disponíveis aos estudantes que impactam em seu desempenho. No questionário contextual, as condições avaliadas são: Escolaridade dos pais/responsáveis Bens de consumo no domicílio Acesso a serviços públicos Atividades de lazer

67 ÍNDICE SOCIOECONÔMICO 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% Escolaridade dos pais 38,8% 26,6% 27,0% 19,1% 17,0% 17,5% 15,4% 14,3% 6,4% 7,5% 5,5% 4,8% Mãe/Responsável Pai/Responsável Nunca estudou ou não completou a 4ª série/5 ano (antigo primário). Completou a 4ª série/5 ano, mas não completou a 8ª série/9 ano (antigo ginásio). Completou a 8ª série/9 ano, mas não completou o Ensino Médio (antigo 2º grau). Completou o Ensino Médio, mas não completou a faculdade. Completou a faculdade. Não sei.

68 EXPECTATIVA Esta dimensão está relacionada as expectativas dos estudantes e professores acerca do futuro acadêmico e profissional. Eu vou conseguir passar na faculdade. Eu vou conseguir um bom emprego. Eu vou conseguir passar de ano sem dificuldade.

69 EXPECTATIVAS DOS ALUNOS Expectativas Concordo totalmente. Concordo. Discordo. Discordo totalmente. Eu vou conseguir um bom emprego. 48,2% 46,1% 4,6% 1,2% Eu vou conseguir passar na faculdade. 28,8% 57,0% 11,6% 2,6% Eu vou conseguir concluir o Ensino Médio sem dificuldades. 24,6% 49,7% 22,7% 3,0% Eu vou conseguir passar de ano sem dificuldades. 22,6% 48,9% 25,4% 3,2% Eu acho que fui muito bem na(s) prova(s) que acabei de fazer. 27,8% 57,3% 12,3% 2,6% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100%

70 PRÁTICAS PEDAGÓGICAS As práticas pedagógicas são avaliadas pela percepção dos agentes escolares acerca do ambiente da sala de aula. Meus professores respondem às dúvidas que aparecem enquanto eles dão aula. Meus professores corrigem o dever de casa em sala de aula com os alunos. Meus professores utilizam livro didático.

71 PRÁTICAS PEDAGÓGICAS Práticas Pedagógicas Concordo totalmente. Concordo. Discordo. Discordo totalmente. Meus professores ajudam os alunos com 42,5% 46,6% 7,0% 3,9% Meus professores corrigem os exercícios que 43,5% 49,6% 4,8% 2,0% Meus professores revisam a matéria para as 48,2% 45,9% 4 1,9% Meus professores falam sobre a importância de 45,2% 47,6% 5,2% 2,0% Meus professores utilizam livro didático. 33,7% 50,5% 12,2% 3,6% Meus professores corrigem o dever de casa em 40,1% 50,6% 6,7% 2,7% Meus professores respondem às dúvidas que 39,9% 52,0% 5,8% 2,4% Meus professores utilizam diferentes recursos 26,4% 49,7% 16,9% 7,0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

72 ANÁLISE COMPARATIVA DOS ÍNDICES

73 PERCENTUAL DE ALUNOS PROFICIENTES POR CATEGORIA DOS ÍNDICES CONTEXTUAIS 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0%,0% 20,1% 30,6% Expectativa do Aluno Abaixo ou igual a média Acima da média 24,5% 25,3% 24,4% 25,4% Percepção do Aluno sobre as Práticas Pedagógicas Índice Socioeconômico do Aluno

74 COMPARAÇÃO DO PERCENTUAL DE ALUNOS PROFICIENTES POR CATEGORIA DO ÍNDICE SOCIOECONÔMICO E DAS EXPECTATIVAS DOS ALUNOS 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0%,0% 20,2% Abaixo ou igual a média Expectativa do Aluno 30,1% Acima da média Índice Socioeconômico abaixo ou igual a média 20,1% Abaixo ou igual a média 30,9% Acima da média Índice Socioeconômico acima da média

75 COMPARAÇÃO DO PERCENTUAL DE ALUNOS PROFICIENTES POR CATEGORIA DO ÍNDICE SOCIOECONÔMICO E DA PERCEPÇÃO SOBRE AS PRÁTICAS PEDAGÓGICAS 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0%,0% 24,3% 24,6% 24,8% 26,1% Abaixo ou igual a média Percepção do Aluno sobre as Práticas Pedagógicas Acima da média Índice Socioeconômico abaixo ou igual a média Abaixo ou igual a média Acima da média Índice Socioeconômico acima da média

76 OS FATORES ASSOCIADOS AO DESEMPENHO O que esses resultados apontam?

77 OS FATORES ASSOCIADOS AO DESEMPENHO ALGUMAS REFLEXÕES: Atitudes, disposições e práticas dos professores podem fazer alguma diferença pelos resultados das escolas? A expectativa dos estudantes e dos professores podem influenciar o desempenho? E quando o Índice Socioeconômico dos estudantes nas escolas é alto? Em quantos pontos a proficiência média aumenta?

78 ATIVIDADE: ENTENDENDO QUAL O CONTEXTO DE TRABALHO ASSERTIVA SITUAÇÃO IMPACTO NA APRENDIZAGEM POSSIBILIDADES DE INTERVENÇÃO PELA ESCOLA

79 ATIVIDADE: ENTENDENDO QUAL O CONTEXTO DE TRABALHO - ASSERTIVAS 1 - A minha escola está sempre preparada para receber os alunos. 2 - Na minha escola professores se dão bem com o gestor da escola. 3 - Na minha escola, há uma boa interação entre professores e estudantes. 4 - Meus professores utilizam diferentes recursos para apresentar a matéria. 5 - Meus professores ajudam os alunos com dificuldades.

80 MÓDULO III A METODOLOGIA

81 SAETHE 2016 MODELOS DA REALIDADE NOS SISTEMAS EDUCACIONAIS

82 Avaliação em larga escala no Brasil

83 Avaliação em larga escala no Brasil Até 1993: TCT A partir de 1995: TRI INEP SAEB SAEB e Prova Brasil Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA...Maceió (Quem sabe o bom e velho mapa do Brasil)

84 O poder da comparabilidade modelos da TRI

85 O poder da comparabilidade modelos da TRI

86 TRI itens e alunos na mesma métrica aluno 43,6% 32% 14,6% 9,8% item

87 O poder da comparabilidade modelos da TRI

88 PRINCIPAIS PRODUTOS DA TRI Comparabilidade de resultados: Entre diferentes avaliações em um mesmo período de tempo Entre diferentes avaliações em diferentes períodos de tempo Interpretação pedagógica da escala

89 Brasil Avaliações censitárias Resultados comparáveis Interpretações pedagógicas Escalas comparáveis entre avaliações estaduais e nacionais cultura de uma escala nacional única Poder da comparabilidade

90 O mapa do tamanho do mundo modelos multiníveis

91 MAPA DO TAMANHO MUNDO

92 MAPA DO TAMANHO MUNDO

93 MAPA DO TAMANHO MUNDO

94 Fatores Contextuais O que influencia o aprendizado dos alunos? Quais elementos podem proporcionar um melhor aprendizado? Qual o efeito das características dos alunos? E das características da família? Que influências externas as escolas recebem? O que as escolas podem fazer para promover uma educação de qualidade?

95 Intraescolares CLIMA ESCOLAR PRÁTICAS PEDAGÓGICAS Fatores Contextuais

96 Fatores Contextuais Dimensões trabalhadas no Questionário Contextual NÍVEL SOCIOECONÔMICO CLIMA ESCOLAR PRÁTICAS PEDAGÓGICAS

97 NÍVEL SOCIOECONÔMICO CLIMA ESCOLAR PRÁTICAS PEDAGÓGICAS ALUNO PROFICIENTE

98 Padrões de Desempenho LÍNGUA PORTUGUESA Etapa N BAIXO INTERMEDIÁRIO RECOMENDADO 5 ano EF 3 até a 225 acima de ano EF 3 até a 300 acima de ano EM 3 até a 375 acima de 300 % de alunos no Padrão Recomendado

99 Resultados da Análise Contextual PROEB 2014 LÍNGUA PORTUGUESA Clima Escolar e Práticas Pedagógicas controladas pelo Nível Socioeconômico

100

101 SAETHE 2016 PROPOSTA DE DESENHO DA AVALIAÇÃO

102 SAETHE DESENHO DA AVALIAÇÃO Série Nº de blocos Itens por bloco Itens por caderno Nº cadernos Total de itens na avaliação 2 Período LP 1 leitura/ 1 escrita 7 leitura/ 6 escrita 7 leitura + 6 escrita 1 7 leitura + 6 escrita 2EF LP 16 leitura / 12 escrita 5 leitura / 6 escrita 20 leitura + 6 escrita leitura + 36 escrita 4EF LP 16 leitura / 12 escrita 5 leitura / 6 escrita 20 leitura + 6 escrita leitura + 36 escrita 8 EF LP EF MAT EF MAT EF MAT

103 SAETHE BIB - 2 EF e 4º EF LÍNGUA PORTUGUESA CADERNO LEITURA BL1 BL2 BL3 BL4 ESCRITA E E E E E E E E E E E E12

104 SAETHE BIB - 2 EF e 4º EF MATEMÁTICA CADERNO BL1 BL2 BL3 BL

105 SAETHE BIB - 8 EF LÍNGUA PORTUGUESA E MATEMÁTICA CADERNO BLOCOS BL1 BL2 BL

106 SAETHE - ESCALAS

107 SAETHE AJUSTE DO TESTE À POPULAÇÃO

108 AJUSTE LEITURA 2EF AJUSTE LEITURA 2º PERÍODO

109 AJUSTE LEITURA 4EF

110 AJUSTE LEITURA 2º PERÍODO

111 AJUSTE ESCRITA 2º PERÍODO

112 AJUSTE ESCRITA 2EF

113 AJUSTE ESCRITA 4EF

114 AJUSTE LP 8EF

115 AJUSTE MT 2EF

116 AJUSTE MT 4EF

117 AJUSTE MT 8EF

118 MÓDULO IV A AVALIAÇÃO EM LÍNGUA PORTUGUESA E MATEMÁTICA REFLEXÕES INICIAIS

119 ALGUMAS REFLEXÕES Entendendo que itens e estudantes estão na mesma escala...

120 ALGUMAS REFLEXÕES Estudantes com até 200 pontos de proficiência são capazes de responder com êxito, no exemplo, os itens (9) e (4). 197,5

121 ALGUMAS REFLEXÕES Estudantes com até 400 pontos de proficiência são capazes de responder com êxito, no exemplo, um conjunto maior de itens. 410,5

122 OS PADRÕES DE DESEMPENHO E A ESCALA Para que tenhamos mais informações a respeito dos itens que estão captando o desenvolvimento de habilidades e competências, temos os padrões de desempenho. Os padrões de desempenho constituem uma caracterização de habilidades e competências desenvolvidas pelos estudantes de determinado ano de escolaridade, em um componente curricular. Os padrões são agrupamentos dos valores de proficiência da escala. ABAIXO DO BÁSICO BÁSICO ADEQUADO AVANÇADO Para a ESCALA SAEB, temos a escala colorida, que indica o grau de consolidação de domínios e competências para cada componente.

123 OS PADRÕES DE DESEMPENHO E A ESCALA

124 OS MATERIAIS DE DIVULGAÇÃO E APROPRIAÇÃO As devolutivas pedagógicas do SAETHE estão disponíveis no site do sistema. No endereço é possível acessar aos resultados e aos materiais de divulgação e apropriação, como a Revista do Sistema, a Revista do Gestor e a Revista do Professor, além da Escala Interativa.

125 OS RESULTADOS DO SAETHE Atualmente, o resultados disponíveis são: Participação Proficiência (TRI) Distribuição por padrão de desempenho (TRI) Percentual de acerto por descritor (TCT)

126 O USO DOS RESULTADOS

127 PARTICIPAÇÃO Acompanhar a participação dos estudantes nos testes, de modo a buscar a maior participação possível. Entender que a participação nos testes mensura a garantia do aluno de ser avaliado, decorrência de seu direito de aprender. Acreditar que, uma vez que a participação já esteja elevada, não é preciso realizar nenhuma ação para que o percentual aumente ainda mais.

128 PROFICIÊNCIA Comparar os resultados da sua escola ao longo dos anos, para a mesma etapa de escolaridade. Comparar os resultados dos diferentes componentes curriculares. Analisar os resultados a partir da leitura da escala de proficiência, observando o significado pedagógico da média, tendo em vista o desenvolvimento de habilidades e competências. Tomar a média de proficiência de maneira isolada, sem analisá-la com a ajuda da escala.

129 PADRÕES DE DESEMPENHO Identificar, em cada componente curricular e etapa, os alunos que têm apresentado maiores dificuldades de aprendizagem. Entender que os alunos que se encontram em um padrão de desempenho em um componente curricular se encontram no mesmo padrão em outro. Entender que os padrões de desempenho (cortes/intervalos) são os mesmos para todas as etapas e componentes curriculares avaliados. Reconhecer que a cada padrão correspondem níveis diferentes de aprendizagem e usar essa informação para o planejamento pedagógico.

130 PERCENTUAL DE ACERTO POR DESCRITOR Observar as habilidades avaliadas no ciclo e associá-las ao conteúdo de sala de aula. Comparar os percentuais de acerto por descritor ano a ano (diferentes ciclos), ainda que a matriz de referência seja a mesma. Observar as habilidades e identificar a associação com outras não aferidas nos testes de desempenho. Analisar as habilidades segundo as avaliações internas estou captando o desenvolvimento dessa habilidade/competência no instrumento que utilizo em sala?

131 A leitura e a análise dos resultados correspondem aos primeiros passos para o uso das informações provenientes da avaliação, ou seja, do instrumento para diagnóstico e monitoramento da qualidade da educação ofertada. Para seguir contribuindo com a melhoria da qualidade da educação e testando o direito de aprender, de estudantes inscritos na rede pública de ensino municipal, é preciso apropriar-se dos resultados.

132 A apropriação... Perpassa conhecer e divulgar as informações. Visa fortalecer a gestão democrática e valorizar o trabalho coletivo. Propõe tomadas de decisão e compartilhamento de responsabilidades (papéis definidos).

133 ATIVIDADE: LENDO OS RESULTADOS

134 ATIVIDADE: LENDO OS RESULTADOS

135 ATIVIDADE: LENDO OS RESULTADOS ESCOLA: ANO/SÉRIE: DISCIPLINA: PARTICIPAÇÃO E PROFICIÊNCIA MÉDIA INDICADOR SAETHE CICLO 201_ CICLO 201_ CICLO 2016 Participação Desempenho DISTRIBUIÇÃO DE ESTUDANTES POR PADRÃO DE DESEMPENHO PADRÃO DE DESEMPENHO CICLO MUITO CRÍTICO CRÍTICO INTERMEDIÁRIO ADEQUADO 201 % % % % 201 % % % % 2016 % Nº: % Nº: % Nº: % Nº:

136 ATIVIDADE: ANALISANDO OS RESULTADOS EM RELAÇÃO AOS RESULTADOS DE PARTICIPAÇÃO ( ) aumenta. ( ) diminui. ( ) mantém-se estável. ( ) oscila.. Em 2016, a participação registrada é de %.. Esse indicador de participação retrata a média de frequência de estudantes no decorrer do ano letivo? ( ) Sim. ( ) Não.. Liste algumas hipóteses para o atual indicador de participação da regional/escola:. Quais ações podem ser implementadas, no âmbito da escola, para aumentar o indicador de participação de estudantes na avaliação externa (se for o caso)?

137 ATIVIDADE: ANALISANDO OS RESULTADOS EM RELAÇÃO AOS RESULTADOS DE DESEMPENHO. Ao longo do tempo observado, qual é o comportamento da proficiência média da escola? ( ) Está aumentando. ( ) Mantém-se estável. ( ) Está diminuindo. ( ) Está oscilando.. Liste algumas hipóteses sobre o comportamento do indicador de desempenho da escola (proficiência média), ao longo do tempo:. Em relação à proficiência média registrada pela rede estadual, a proficiência média da escola, em 2016, é: ( ) maior do que a da rede municipal. ( ) menor do que a da rede municipal.

138 ATIVIDADE: ANALISANDO OS RESULTADOS EM RELAÇÃO À DISTRIBUIÇÃO DE ESTUDANTES POR PADRÃO DE DESEMPENHO. Ao analisar a série histórica da distribuição, é possível constatar que o percentual de estudantes nos padrões de desempenho mais baixos: ( ) tem aumentado. ( ) tem diminuído. ( ) tem-se mantido estável. ( ) tem oscilado.. Em relação a 2016, qual é o padrão de desempenho em que se encontra o maior percentual de estudantes?. Observando o percentual de estudantes em cada padrão de desempenho, é possível afirmar que a distribuição dos estudantes, ao longo do tempo, apresenta cenário: ( ) positivo. ( ) negativo. ( ) estável. ( ) oscilante.. Liste algumas hipóteses capazes de explicar esses resultados:

139 ATIVIDADE: ANALISANDO OS RESULTADOS. Quais estratégias podem ser adotadas para que os estudantes alocados nos padrões mais baixos possam melhorar o seu desempenho?. Sistematize a sua observação, indicando os destaques positivos e/ou negativos em relação aos resultados de participação, desempenho e distribuição por padrão. RESULTADOS DE DESTAQUE NA SÉRIE HISTÓRICA

140 ONDE ESTAMOS? AONDE QUEREMOS CHEGAR? COMO CHEGAREMOS?

141 ATIVIDADE: ELABORANDO A AGENDA DE TRABALHO. Defina o foco das ações e sistematize-as em um plano, com descrição de ações, prazo e responsabilidade. DECISÕES DE EXECUÇÃO AÇÃO 1: Objetivo: O que será feito? Como será feito? Quando será feito? Por quem será feito? AÇÃO 2: Objetivo: O que será feito? Como será feito? Quando será feito? Por quem será feito?

142