OFICINA DE DIVULGAÇÃO E APROPRIAÇÃO RESULTADOS SAETHE

OBJETIVOS: a) Promover a compreensão sobre a avaliação educacional no contexto de Teresina. b) Capacitar à leitura e à análise qualitativa dos resultados da avaliação externa, bem como ao uso eficaz dos materiais de divulgação e apropriação. c) Proporcionar a multiplicação dos conhecimentos sobre a avaliação educacional.

MÓDULO I A AVALIAÇÃO EDUCACIONAL E OS RESULTADOS DO SAETHE 2016

A AVALIAÇÃO DE DESEMPENHO NO BRASIL ACESSO QUALIDADE FLUXO

O HISTÓRICO DA AVALIAÇÃO NO BRASIL 1990 SAEB 1997 MATRIZES DE REFERÊNCIA 2007 IDEB/METAS 1995 METODOLOGIA TRI 2005 PROVA BRASIL

O SISTEMA DE AVALIAÇÃO EDUCACIONAL DE TERESINA (SAETHE) 2014 2EI LP/ESC 2EF LP/MT/ESC 3EF LP/MT 4EF LP/MT 8EF LP/MT/PT 2015 2EI LP/ESC 2EF LP/MT/ESC 3EF LP/MT/ESC 7EF LP/MT/PT 2016 2EI LP/ESC 2EF LP/MT/ESC 4EF LP/MT/ESC 8EF LP/MT/PT

A AVALIAÇÃO DE DESEMPENHO A avaliação envolve... COLETAR Recolher dados e informações sobre determinada realidade. DIAGNOSTICAR Produzir julgamento sobre essa realidade. DECIDIR Tomar decisão em função de um objetivo que se deseja alcançar. AGIR Traçar um estratégias de ação sobre o que é avaliado.

OS RESULTADOS Principais avanços e desafios

AVANÇOS A participação de estudantes é quase total. Provavelmente, ela corresponde à média da frequência na escola desse público.

Participação 2º Período da Educação Infantil Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL 7008 6660 95,0% RURAL 759 680 89,6% URBANA 6249 5980 95,7% 2015 GERAL 7122 6857 96,3% RURAL 689 652 94,6% URBANA 6433 6205 96,5% 2014 GERAL 7497 7033 93,8% RURAL 746 693 92,9% URBANA 6751 6340 93,9%

Participação 2º Ano do Ensino Fundamental Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL 7022 6419 91,4% RURAL 718 674 93,9% URBANA 6304 5745 91,1% 2015 GERAL 6678 6218 93,1% RURAL 555 518 93,3% URBANA 6123 5700 93,1% 2014 GERAL 6067 5602 92,3% RURAL 729 671 92,0% URBANA 5338 4931 92,4%

Participação 4º Ano do Ensino Fundamental Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL 6589 6096 92,5% RURAL 815 750 92,0% URBANA 5774 5346 92,6% 2014 GERAL 6585 6173 93,7% RURAL 815 772 94,7% URBANA 5770 5401 93,6%

Participação 8º Ano do Ensino Fundamental Edição/Localização Estudantes Previstos Estudantes Efetivos Percentual de Participação 2016 GERAL 4878 4594 94,2% RURAL 865 822 95,0% URBANA 4013 3772 94,0% 2014 GERAL 5276 4838 91,7% RURAL 741 685 92,4% URBANA 4535 4153 91,6%

AVANÇOS A distribuição de estudantes proficientes cresce a cada edição na educação infantil e também no ensino fundamental, em língua portuguesa (leitura e escrita) e matemática. Porém, em matemática no 2EF e 4EF, o crescimento do percentual de estudantes proficientes é tímido. Destaque para produção de texto no 8EF, em que o crescimento do percentual de estudantes proficientes é expressivo.

Distribuição dos Estudantes por Padrão de Desempenho 2º Período da Educação Infantil Língua Portuguesa (Leitura) 2014 2015 2016 GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 1,2 1,2 1,1 2,4 2,6 2,4 4,8 5,9 4,7 0,1 0,1 0,1 0,1 0,1 98,8 98,7 98,8 97,6 97,4 97,6 95,1 94,1 95,2 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado até 250 250 a 400 acima de 400 É possível identificar qual o pa

Distribuição dos Estudantes por Padrão de Desempenho 2º Período da Educação Infantil Língua Portuguesa (Escrita) 2014 2015 2016 GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 6,8 8,3 6,6 11,0 9,4 10,1 9,3 13,7 10,7 21,7 28,2 21,0 15,3 19,2 14,8 22,8 24,2 22,6 19,9 19,8 31,6 21,3 31,7 33,4 32,1 32,3 30,2 61,1 57,4 61,5 42,0 33,6 42,9 26,2 20,3 26,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 400 400 a 500 500 a 600 acima de 600

Distribuição dos Estudantes por Padrão de Desempenho 2º Ano do Ensino Fundamental Língua Portuguesa (Leitura) 2014 2015 2016 GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 2,9 3,4 2,8 3,4 3,7 3,3 5,2 6,4 5,0 9,0 10,0 8,9 15,0 21,7 14,4 20,0 25,8 19,2 24,4 28,3 24,0 30,9 30,1 40,4 36,9 39,5 36,5 63,7 58,3 64,4 50,6 52,1 34,2 37,9 28,3 39,2 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 400 400 a 500 500 a 600 acima de 600

Distribuição dos Estudantes por Padrão de Desempenho 2º Ano do Ensino Fundamental Língua Portuguesa (Escrita) 2014 2015 2016 GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 4,1 5,1 4,0 3,7 4,1 3,7 4,4 5,5 4,3 11,8 13,5 11,6 9,8 9,7 9,8 14,9 13,0 15,2 19,3 22,9 18,8 22,2 26,3 21,9 24,8 28,3 24,3 64,8 58,6 65,6 64,2 59,8 64,6 55,9 53,1 56,2 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 400 400 a 500 500 a 600 acima de 600

Distribuição dos Estudantes por Padrão de Desempenho 2º Ano do Ensino Fundamental Matemática 2014 2015 2016 GERAL RURAL URBANA GERAL RURAL URBANA GERAL RURAL URBANA 2,0 13,5 2,7 18,0 1,9 13,0 1,8 15,2 2,5 25,7 1,7 14,2 4,5 20,3 5,8 27,4 4,3 19,4 48,5 54,1 47,9 49,4 48,8 48,0 48,3 55,3 45,6 35,9 25,2 37,2 33,6 16,4 35,2 27,2 21,2 28,0 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 350 350 a 450 450 a 550 acima de 550

Distribuição dos Estudantes por Padrão de Desempenho 4º Ano do Ensino Fundamental Língua Portuguesa (Leitura) GERAL 21,5 21,1 42,0 15,3 2014 2016 RURAL URBANA GERAL RURAL 22,0 21,5 37,8 38,5 19,1 21,4 20,0 20,6 39,5 42,4 31,4 28,8 19,4 14,8 10,9 12,2 URBANA 37,7 19,9 31,7 10,7 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 600 600 a 650 650 a 750 acima de 750

Distribuição dos Estudantes por Padrão de Desempenho 4º Ano do Ensino Fundamental Língua Portuguesa (Escrita) GERAL 14,8 11,3 39,4 34,5 2014 2016 RURAL URBANA GERAL RURAL 20,2 14,0 17,9 18,8 15,7 10,7 16,7 12,6 39,2 40,5 43,8 47,5 23,6 36,0 21,7 21,1 URBANA 17,8 17,3 43,2 21,7 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 600 600 a 650 650 a 750 acima de 750

Distribuição dos Estudantes por Padrão de Desempenho 4º Ano do Ensino Fundamental Matemática GERAL 3,9 28,5 52,2 15,4 2014 2016 RURAL URBANA GERAL RURAL 5,8 3,7 6,6 7,2 28,8 28,4 31,5 28,1 54,8 51,8 48,5 47,9 10,6 16,0 13,4 16,8 URBANA 6,5 32,0 48,6 12,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 450 450 a 550 550 a 650 acima de 650

Distribuição dos Estudantes por Padrão de Desempenho 8º Ano do Ensino Fundamental Língua Portuguesa (Leitura) GERAL 14,4 38,5 36,7 10,4 2014 2016 RURAL URBANA GERAL RURAL 18,6 13,5 23,4 18,0 37,4 43,7 42,9 50,8 37,8 31,5 28,9 27,3 6,2 11,4 4,8 3,9 URBANA 24,3 41,6 29,1 4,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 200 200 a 250 250 a 300 acima de 300

Distribuição dos Estudantes por Nível de Desempenho 8º Ano do Ensino Fundamental Língua Portuguesa (Produção de Texto) 2014 2016 GERAL RURAL URBANA GERAL RURAL URBANA 0,3 0,1 0,3 0,2 0,3 0,1 4,9 4,4 3,5 2,2 7,3 3,7 26,9 28,5 26,7 40,2 37,5 40,8 44,2 44,8 44,1 46,1 45,4 46,2 21,2 20,7 21,2 8,5 9,6 8,3 4,1 3,5 4,2 0% 20% 40% 60% 80% 100% Inadequado Abaixo do Básico Básico Intermediário Adequado Avançado 0,0 0,1 a 2,0 2,1 a 4,0 4,1 a 6,0 6,1 a 8,0 8,1 a 10,0

DESAFIOS A distribuição de estudantes proficientes cresceu em matemática no 8EF, porém a maioria deles está concentrada nos padrões mais baixos. O desafio para a rede municipal de Teresina é seguir com crescimento expressivo do percentual de estudantes proficientes nesse componente curricular.

Distribuição dos Estudantes por Padrão de Desempenho 8º Ano do Ensino Fundamental Matemática GERAL 31,2 44,0 21,0 3,8 2014 2016 RURAL URBANA GERAL RURAL 37,1 29,9 43,6 41,6 44,5 41,4 43,2 46,4 18,8 2,7 21,5 4,1 12,3 0,9 11,0 1,0 URBANA 43,9 42,7 12,5 0,9 0% 20% 40% 60% 80% 100% Abaixo do Básico Básico Adequado Avançado até 225 225 a 275 275 a 325 acima de 325

DESAFIOS O desafio para a rede municipal de Teresina é seguir alcançando a meta projetada pelo IDEB. Nesse sentido, o sistema próprio permite o diagnóstico e o monitoramento contínuo da oferta educacional da rede municipal.

IDEB REDE MUNICIPAL IDEB OBSERVADO 5EF 2013 2015 5.0 6.1 METAS PROJETADAS 5EF 2013 2015 2017 5.3 5.6 5.8

IDEB REDE MUNICIPAL IDEB OBSERVADO 9EF 2013 2015 4.3 5.2 METAS PROJETADAS 5EF 2013 2015 2017 4.8 5.1 5.4

A AVALIAÇÃO EDUCACIONAL

ATIVIDADE: CONHECENDO A AVALIAÇÃO EXTERNA Cite algumas características da avaliação externa: Quais são as vantagens do sistema próprio de avaliação para a rede de ensino? Liste-as.

AS CARACTERÍSTICAS DA AVALIAÇÃO EXTERNA Avaliação Interna - Escola Avaliação Externa - Sistema Processo da aprendizagem Provas abertas, provas objetivas, observação, registro, portfólio TEORIA CLÁSSICA DO TESTE (TCT) Desempenho dos alunos Testes de proficiência, questionários contextuais TEORIA DA RESPOSTA AO ITEM (TRI)

OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA A avaliação educacional externa em larga escala fundamenta-se em três aspectos: FUNDAMENTO JURÍDICO FUNDAMENTO POLÍTICO FUNDAMENTO CIENTÍFICO-PEDAGÓGICO

OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA Juridicamente, há institutos legais que a orientam, como a Constituição Federal: Art. 205. A educação, direito de todos e dever do Estado e da família, será promovida e incentivada com a colaboração da sociedade, visando ao pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho. E também o Plano Nacional de Educação (PNE) 2014-2020, em que temos diretrizes, metas e estratégias para a política educacional.

OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA O PLANO ORIENTA O TRABALHO ESTIPULANDO METAS PARA A MELHORIA QUANDO A AVALIAÇÃO DIAGNOSTICA OS RESULTADOS

OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA Politicamente, a avaliação articula-se com mecanismos de monitoramento, sendo ela o próprio meio diagnóstico, com vistas à prestação de contas, para garantia do direito à aprendizagem.

OS FUNDAMENTOS DA AVALIAÇÃO EXTERNA Por fim, o fundamento científico-pedagógico da avaliação relaciona-se ao fato dela produzir informações para investigação. Por meio de metodologias particulares, a avaliação está em constante desenvolvimento.

AS VANTAGENS DO SISTEMA PRÓPRIO DE AVALIAÇÃO Desenho próprio séries e áreas do conhecimento de acordo com as necessidades da rede de ensino. Alinhamento entre currículo-ensino-avaliação. Menor periodicidade entre os ciclos avaliados e a divulgação dos resultados. Estabelecimento de padrões de desempenho estudantil e metas educacionais. Monitoramento da qualidade da educação ofertada e promoção da equidade no ensino. Diagnóstico do efeito de políticas públicas. Uso dos resultados com foco na identidade escolar.

OS OBJETIVOS DO SISTEMA DE AVALIAÇÃO EDUCACIONAL DE TERESINA (SAETHE) Levantar informações capazes de subsidiar a (re)formulação e o monitoramento das políticas públicas, visando a contribuir para a melhoria da qualidade, equidade e eficiência do ensino. Auxiliar o (re)planejamento da gestão e das práticas pedagógicas. Investigar dados e indicadores sobre fatores de influência do desempenho dos alunos inscritos na rede municipal.

ATIVIDADE: PERCEBENDO AS POSSIBILIDADES DA AVALIAÇÃO EXTERNA Quais são os possíveis usos dos resultados da avaliação para cada um dos atores educacionais abaixo: GESTOR DE REDE GESTOR DE ESCOLA PROFESSOR

OS USOS DOS RESULTADOS GESTOR DA REDE Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Ações de formação continuada de professores.

OS USOS DOS RESULTADOS GESTOR DA ESCOLA Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional.

OS USOS DOS RESULTADOS PROFESSOR Intervenção pedagógica. Elaboração de projetos especiais. Foco nos estudantes com dificuldades. Ações de recuperação, reforço, aprofundamento e desafio. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

AS ETAPAS DA AVALIAÇÃO 1 Determinação da população a ser avaliada 2 Elaboração da Matriz de Referência Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 3 Montagem dos cadernos de testes Elaboração dos testes Elaboração dos questionários contextuais 5 Análise dos resultados: TCT e TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação

OS INSTRUMENTOS DA AVALIAÇÃO: MATRIZ DE REFERÊNCIA

OS INSTRUMENTOS DA AVALIAÇÃO: ITEM

A DIVULGAÇÃO DOS RESULTADOS Teoria Clássica dos Testes (TCT) É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado. Teoria de Resposta ao Item (TRI) Produz uma medida mais robusta do desempenho dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.

A DIVULGAÇÃO DOS RESULTADOS Parâmetros Parâmetro de Discriminação a É a capacidade do item de discriminar os alunos que desenvolveram aquela habilidade daqueles que não desenvolveram. Parâmetro de Dificuldade b Está relacionado ao percentual de alunos que responderam corretamente ao item. Assim, quanto menor o percentual de acerto, maior a dificuldade do item. Parâmetro de probabilidade de acerto ao acaso c Representa a probabilidade de indivíduos com baixo traço latente responderem corretamente um item.

A DIVULGAÇÃO DOS RESULTADOS Quanto maior a coerência nos acertos aos itens (fáceis e difíceis), maior a nota do estudante. Controle da resposta aleatória (provável chute). http://escolas.missu.com.br/nota-enem/

A DIVULGAÇÃO DOS RESULTADOS Comparação de resultados de diferentes avaliações, como Saeb. Avaliação com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetêlas a longos testes. Comparação de resultados entre diferentes séries, como as do início e fim do ensino médio.

MÓDULO II OS FATORES ASSOCIADOS AO DESEMPENHO

OS FATORES ASSOCIADOS AO DESEMPENHO Quais fatores podem influenciar na aprendizagem do estudante e em seu desempenho na avaliação?

ATIVIDADE: ENTENDENDO QUAL O CONTEXTO DE TRABALHO

OS FATORES ASSOCIADOS AO DESEMPENHO: HISTÓRICO Fatores Socioeconômicos Características socioeconômicas como importantes fatores para a explicação da proficiência Relatório Coleman (1966). Escola A ação de frequentar a escola, como fator de proteção às adversidades associadas ao baixo nível socioeconômico.

OS FATORES ASSOCIADOS AO DESEMPENHO: HISTÓRICO Nível socioeconômico Escola

OS FATORES ASSOCIADOS AO DESEMPENHO Para além dos extremos, existem outras fatores contextuais que influenciam no desempenho dos alunos. Pesquisas sobre eficácia escolar comparam e analisam como diferentes fatores internos à escola influenciam no desempenho dos seus alunos, sob o pressuposto de que a escola também é um fator preponderante para o melhor desempenho por parte dos alunos.

OS FATORES ASSOCIADOS AO DESEMPENHO Soares, J.F. (2007). Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa. 37(130), p. 141.

OS FATORES EXTERNOS À ESCOLA Fatores Extraescolares Características Individuais Características Familiares Política Educacional Nível Socioeconômico Entorno da Escola Expectativas Hábitos de Estudo

OS FATORES INTERNOS À ESCOLA Fatores Intraescolares Clima Escolar Atitudes e Práticas Pedagógicas Atitudes e Práticas de Gestão Expectativas Hábitos de Estudo Infraestrutura

OS INSTRUMENTOS: QUESTIONÁRIOS Uma vez que esses fatores são importantes para o melhor desempenho do estudante, como é possível capturar essas informações dos agentes escolares? Questionários contextuais Estudante Professor Diretor

OS INSTRUMENTOS: QUESTIONÁRIOS Avaliação Educacional Desempenho Escolar Dimensões Fatores Associados Testes Medidas de Proficiência Instrumentos Resultados Questionário Índices Contextuais

A OPERACIONALIZAÇÃO Os itens dos questionários contextuais são avaliados pelos respondentes em: Escala de Concordância Concordo Totalmente Concordo Discordo Discordo Totalmente Escala de Frequência Sempre Frequentemente Raramente Nunca

A OPERACIONALIZAÇÃO Durante as aulas, muitos alunos ficam do lado de fora da sala fazendo barulho. Concordo Totalmente Concordo Discordo Discordo Totalmente Operacionalização 1 2 3 4

A OPERACIONALIZAÇÃO A minha escola está sempre preparada para receber os alunos. Concordo Totalmente Concordo Discordo Discordo Totalmente Operacionalização 4 3 2 1

ANÁLISE DESCRITIVA DOS ÍNDICES

CONDIÇÕES SOCIOECONÔMICAS DOS ESTUDANTES Recursos econômicos, culturais e sociais disponíveis aos estudantes que impactam em seu desempenho. No questionário contextual, as condições avaliadas são: Escolaridade dos pais/responsáveis Bens de consumo no domicílio Acesso a serviços públicos Atividades de lazer

ÍNDICE SOCIOECONÔMICO 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% Escolaridade dos pais 38,8% 26,6% 27,0% 19,1% 17,0% 17,5% 15,4% 14,3% 6,4% 7,5% 5,5% 4,8% Mãe/Responsável Pai/Responsável Nunca estudou ou não completou a 4ª série/5 ano (antigo primário). Completou a 4ª série/5 ano, mas não completou a 8ª série/9 ano (antigo ginásio). Completou a 8ª série/9 ano, mas não completou o Ensino Médio (antigo 2º grau). Completou o Ensino Médio, mas não completou a faculdade. Completou a faculdade. Não sei.

EXPECTATIVA Esta dimensão está relacionada as expectativas dos estudantes e professores acerca do futuro acadêmico e profissional. Eu vou conseguir passar na faculdade. Eu vou conseguir um bom emprego. Eu vou conseguir passar de ano sem dificuldade.

EXPECTATIVAS DOS ALUNOS Expectativas Concordo totalmente. Concordo. Discordo. Discordo totalmente. Eu vou conseguir um bom emprego. 48,2% 46,1% 4,6% 1,2% Eu vou conseguir passar na faculdade. 28,8% 57,0% 11,6% 2,6% Eu vou conseguir concluir o Ensino Médio sem dificuldades. 24,6% 49,7% 22,7% 3,0% Eu vou conseguir passar de ano sem dificuldades. 22,6% 48,9% 25,4% 3,2% Eu acho que fui muito bem na(s) prova(s) que acabei de fazer. 27,8% 57,3% 12,3% 2,6% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100%

PRÁTICAS PEDAGÓGICAS As práticas pedagógicas são avaliadas pela percepção dos agentes escolares acerca do ambiente da sala de aula. Meus professores respondem às dúvidas que aparecem enquanto eles dão aula. Meus professores corrigem o dever de casa em sala de aula com os alunos. Meus professores utilizam livro didático.

PRÁTICAS PEDAGÓGICAS Práticas Pedagógicas Concordo totalmente. Concordo. Discordo. Discordo totalmente. Meus professores ajudam os alunos com 42,5% 46,6% 7,0% 3,9% Meus professores corrigem os exercícios que 43,5% 49,6% 4,8% 2,0% Meus professores revisam a matéria para as 48,2% 45,9% 4 1,9% Meus professores falam sobre a importância de 45,2% 47,6% 5,2% 2,0% Meus professores utilizam livro didático. 33,7% 50,5% 12,2% 3,6% Meus professores corrigem o dever de casa em 40,1% 50,6% 6,7% 2,7% Meus professores respondem às dúvidas que 39,9% 52,0% 5,8% 2,4% Meus professores utilizam diferentes recursos 26,4% 49,7% 16,9% 7,0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

ANÁLISE COMPARATIVA DOS ÍNDICES

PERCENTUAL DE ALUNOS PROFICIENTES POR CATEGORIA DOS ÍNDICES CONTEXTUAIS 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0%,0% 20,1% 30,6% Expectativa do Aluno Abaixo ou igual a média Acima da média 24,5% 25,3% 24,4% 25,4% Percepção do Aluno sobre as Práticas Pedagógicas Índice Socioeconômico do Aluno

COMPARAÇÃO DO PERCENTUAL DE ALUNOS PROFICIENTES POR CATEGORIA DO ÍNDICE SOCIOECONÔMICO E DAS EXPECTATIVAS DOS ALUNOS 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0%,0% 20,2% Abaixo ou igual a média Expectativa do Aluno 30,1% Acima da média Índice Socioeconômico abaixo ou igual a média 20,1% Abaixo ou igual a média 30,9% Acima da média Índice Socioeconômico acima da média

COMPARAÇÃO DO PERCENTUAL DE ALUNOS PROFICIENTES POR CATEGORIA DO ÍNDICE SOCIOECONÔMICO E DA PERCEPÇÃO SOBRE AS PRÁTICAS PEDAGÓGICAS 50,0% 45,0% 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0%,0% 24,3% 24,6% 24,8% 26,1% Abaixo ou igual a média Percepção do Aluno sobre as Práticas Pedagógicas Acima da média Índice Socioeconômico abaixo ou igual a média Abaixo ou igual a média Acima da média Índice Socioeconômico acima da média

OS FATORES ASSOCIADOS AO DESEMPENHO O que esses resultados apontam?

OS FATORES ASSOCIADOS AO DESEMPENHO ALGUMAS REFLEXÕES: Atitudes, disposições e práticas dos professores podem fazer alguma diferença pelos resultados das escolas? A expectativa dos estudantes e dos professores podem influenciar o desempenho? E quando o Índice Socioeconômico dos estudantes nas escolas é alto? Em quantos pontos a proficiência média aumenta?

ATIVIDADE: ENTENDENDO QUAL O CONTEXTO DE TRABALHO ASSERTIVA SITUAÇÃO IMPACTO NA APRENDIZAGEM POSSIBILIDADES DE INTERVENÇÃO PELA ESCOLA

ATIVIDADE: ENTENDENDO QUAL O CONTEXTO DE TRABALHO - ASSERTIVAS 1 - A minha escola está sempre preparada para receber os alunos. 2 - Na minha escola professores se dão bem com o gestor da escola. 3 - Na minha escola, há uma boa interação entre professores e estudantes. 4 - Meus professores utilizam diferentes recursos para apresentar a matéria. 5 - Meus professores ajudam os alunos com dificuldades.

MÓDULO III A METODOLOGIA

SAETHE 2016 MODELOS DA REALIDADE NOS SISTEMAS EDUCACIONAIS

Avaliação em larga escala no Brasil

Avaliação em larga escala no Brasil Até 1993: TCT A partir de 1995: TRI INEP SAEB 1995 1997 1999 2001 2003 2005 2007 2009 SAEB e Prova Brasil Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA...Maceió (Quem sabe o bom e velho mapa do Brasil)

O poder da comparabilidade modelos da TRI

TRI itens e alunos na mesma métrica aluno 43,6% 32% 14,6% 9,8% 100 200 300 400 500 9 4 16 17 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 item

O poder da comparabilidade modelos da TRI

PRINCIPAIS PRODUTOS DA TRI Comparabilidade de resultados: Entre diferentes avaliações em um mesmo período de tempo Entre diferentes avaliações em diferentes períodos de tempo Interpretação pedagógica da escala

Brasil Avaliações censitárias Resultados comparáveis Interpretações pedagógicas Escalas comparáveis entre avaliações estaduais e nacionais cultura de uma escala nacional única Poder da comparabilidade

O mapa do tamanho do mundo modelos multiníveis

MAPA DO TAMANHO MUNDO

Fatores Contextuais O que influencia o aprendizado dos alunos? Quais elementos podem proporcionar um melhor aprendizado? Qual o efeito das características dos alunos? E das características da família? Que influências externas as escolas recebem? O que as escolas podem fazer para promover uma educação de qualidade?

Intraescolares CLIMA ESCOLAR PRÁTICAS PEDAGÓGICAS Fatores Contextuais

Fatores Contextuais Dimensões trabalhadas no Questionário Contextual NÍVEL SOCIOECONÔMICO CLIMA ESCOLAR PRÁTICAS PEDAGÓGICAS

NÍVEL SOCIOECONÔMICO CLIMA ESCOLAR PRÁTICAS PEDAGÓGICAS ALUNO PROFICIENTE

Padrões de Desempenho LÍNGUA PORTUGUESA Etapa N BAIXO INTERMEDIÁRIO RECOMENDADO 5 ano EF 3 até 175 175 a 225 acima de 225 9 ano EF 3 até 225 225 a 300 acima de 275 3 ano EM 3 até 300 300 a 375 acima de 300 % de alunos no Padrão Recomendado

Resultados da Análise Contextual PROEB 2014 LÍNGUA PORTUGUESA Clima Escolar e Práticas Pedagógicas controladas pelo Nível Socioeconômico

SAETHE 2016 PROPOSTA DE DESENHO DA AVALIAÇÃO

SAETHE DESENHO DA AVALIAÇÃO Série Nº de blocos Itens por bloco Itens por caderno Nº cadernos Total de itens na avaliação 2 Período LP 1 leitura/ 1 escrita 7 leitura/ 6 escrita 7 leitura + 6 escrita 1 7 leitura + 6 escrita 2EF LP 16 leitura / 12 escrita 5 leitura / 6 escrita 20 leitura + 6 escrita 12 80 leitura + 36 escrita 4EF LP 16 leitura / 12 escrita 5 leitura / 6 escrita 20 leitura + 6 escrita 12 80 leitura + 36 escrita 8 EF LP 7 13 39 7 91 2 EF MAT 16 6 24 8 96 4 EF MAT 16 6 24 8 96 8 EF MAT 7 13 39 7 91

SAETHE BIB - 2 EF e 4º EF LÍNGUA PORTUGUESA CADERNO LEITURA BL1 BL2 BL3 BL4 ESCRITA 1 1 5 9 13 E1 2 2 6 10 14 E2 3 3 7 11 15 E3 4 4 8 12 16 E4 5 1 6 11 16 E5 6 2 7 12 13 E6 7 3 8 9 14 E7 8 4 5 10 15 E8 9 1 7 10 14 E9 10 2 8 11 15 E10 11 3 5 12 16 E11 12 4 6 9 13 E12

SAETHE BIB - 2 EF e 4º EF MATEMÁTICA CADERNO BL1 BL2 BL3 BL4 1 1 5 9 13 2 2 6 10 14 3 3 7 11 15 4 4 8 12 16 5 1 6 11 16 6 2 7 12 13 7 3 8 9 14 8 4 5 10 15

SAETHE BIB - 8 EF LÍNGUA PORTUGUESA E MATEMÁTICA CADERNO BLOCOS BL1 BL2 BL3 1 1 2 4 2 2 3 5 3 3 4 6 4 4 5 7 5 5 6 1 6 6 7 2 7 7 1 3

SAETHE - ESCALAS

SAETHE AJUSTE DO TESTE À POPULAÇÃO

AJUSTE LEITURA 2EF AJUSTE LEITURA 2º PERÍODO

AJUSTE LEITURA 4EF

AJUSTE LEITURA 2º PERÍODO

AJUSTE ESCRITA 2º PERÍODO

AJUSTE ESCRITA 2EF

AJUSTE ESCRITA 4EF

AJUSTE LP 8EF

AJUSTE MT 2EF

AJUSTE MT 4EF

AJUSTE MT 8EF

MÓDULO IV A AVALIAÇÃO EM LÍNGUA PORTUGUESA E MATEMÁTICA REFLEXÕES INICIAIS

ALGUMAS REFLEXÕES Entendendo que itens e estudantes estão na mesma escala...

ALGUMAS REFLEXÕES Estudantes com até 200 pontos de proficiência são capazes de responder com êxito, no exemplo, os itens (9) e (4). 197,5

ALGUMAS REFLEXÕES Estudantes com até 400 pontos de proficiência são capazes de responder com êxito, no exemplo, um conjunto maior de itens. 410,5

OS PADRÕES DE DESEMPENHO E A ESCALA Para que tenhamos mais informações a respeito dos itens que estão captando o desenvolvimento de habilidades e competências, temos os padrões de desempenho. Os padrões de desempenho constituem uma caracterização de habilidades e competências desenvolvidas pelos estudantes de determinado ano de escolaridade, em um componente curricular. Os padrões são agrupamentos dos valores de proficiência da escala. ABAIXO DO BÁSICO BÁSICO ADEQUADO AVANÇADO Para a ESCALA SAEB, temos a escala colorida, que indica o grau de consolidação de domínios e competências para cada componente.

OS PADRÕES DE DESEMPENHO E A ESCALA

OS MATERIAIS DE DIVULGAÇÃO E APROPRIAÇÃO As devolutivas pedagógicas do SAETHE estão disponíveis no site do sistema. No endereço www.saethe.caedufjf.net é possível acessar aos resultados e aos materiais de divulgação e apropriação, como a Revista do Sistema, a Revista do Gestor e a Revista do Professor, além da Escala Interativa.

OS RESULTADOS DO SAETHE Atualmente, o resultados disponíveis são: Participação Proficiência (TRI) Distribuição por padrão de desempenho (TRI) Percentual de acerto por descritor (TCT)

O USO DOS RESULTADOS

PARTICIPAÇÃO Acompanhar a participação dos estudantes nos testes, de modo a buscar a maior participação possível. Entender que a participação nos testes mensura a garantia do aluno de ser avaliado, decorrência de seu direito de aprender. Acreditar que, uma vez que a participação já esteja elevada, não é preciso realizar nenhuma ação para que o percentual aumente ainda mais.

PROFICIÊNCIA Comparar os resultados da sua escola ao longo dos anos, para a mesma etapa de escolaridade. Comparar os resultados dos diferentes componentes curriculares. Analisar os resultados a partir da leitura da escala de proficiência, observando o significado pedagógico da média, tendo em vista o desenvolvimento de habilidades e competências. Tomar a média de proficiência de maneira isolada, sem analisá-la com a ajuda da escala.

PADRÕES DE DESEMPENHO Identificar, em cada componente curricular e etapa, os alunos que têm apresentado maiores dificuldades de aprendizagem. Entender que os alunos que se encontram em um padrão de desempenho em um componente curricular se encontram no mesmo padrão em outro. Entender que os padrões de desempenho (cortes/intervalos) são os mesmos para todas as etapas e componentes curriculares avaliados. Reconhecer que a cada padrão correspondem níveis diferentes de aprendizagem e usar essa informação para o planejamento pedagógico.

PERCENTUAL DE ACERTO POR DESCRITOR Observar as habilidades avaliadas no ciclo e associá-las ao conteúdo de sala de aula. Comparar os percentuais de acerto por descritor ano a ano (diferentes ciclos), ainda que a matriz de referência seja a mesma. Observar as habilidades e identificar a associação com outras não aferidas nos testes de desempenho. Analisar as habilidades segundo as avaliações internas estou captando o desenvolvimento dessa habilidade/competência no instrumento que utilizo em sala?

A leitura e a análise dos resultados correspondem aos primeiros passos para o uso das informações provenientes da avaliação, ou seja, do instrumento para diagnóstico e monitoramento da qualidade da educação ofertada. Para seguir contribuindo com a melhoria da qualidade da educação e testando o direito de aprender, de estudantes inscritos na rede pública de ensino municipal, é preciso apropriar-se dos resultados.

A apropriação... Perpassa conhecer e divulgar as informações. Visa fortalecer a gestão democrática e valorizar o trabalho coletivo. Propõe tomadas de decisão e compartilhamento de responsabilidades (papéis definidos).

ATIVIDADE: LENDO OS RESULTADOS

ATIVIDADE: LENDO OS RESULTADOS ESCOLA: ANO/SÉRIE: DISCIPLINA: PARTICIPAÇÃO E PROFICIÊNCIA MÉDIA INDICADOR SAETHE CICLO 201_ CICLO 201_ CICLO 2016 Participação --- --- Desempenho DISTRIBUIÇÃO DE ESTUDANTES POR PADRÃO DE DESEMPENHO PADRÃO DE DESEMPENHO CICLO MUITO CRÍTICO CRÍTICO INTERMEDIÁRIO ADEQUADO 201 % % % % 201 % % % % 2016 % Nº: % Nº: % Nº: % Nº:

ATIVIDADE: ANALISANDO OS RESULTADOS EM RELAÇÃO AOS RESULTADOS DE PARTICIPAÇÃO ( ) aumenta. ( ) diminui. ( ) mantém-se estável. ( ) oscila.. Em 2016, a participação registrada é de %.. Esse indicador de participação retrata a média de frequência de estudantes no decorrer do ano letivo? ( ) Sim. ( ) Não.. Liste algumas hipóteses para o atual indicador de participação da regional/escola:. Quais ações podem ser implementadas, no âmbito da escola, para aumentar o indicador de participação de estudantes na avaliação externa (se for o caso)?

ATIVIDADE: ANALISANDO OS RESULTADOS EM RELAÇÃO AOS RESULTADOS DE DESEMPENHO. Ao longo do tempo observado, qual é o comportamento da proficiência média da escola? ( ) Está aumentando. ( ) Mantém-se estável. ( ) Está diminuindo. ( ) Está oscilando.. Liste algumas hipóteses sobre o comportamento do indicador de desempenho da escola (proficiência média), ao longo do tempo:. Em relação à proficiência média registrada pela rede estadual, a proficiência média da escola, em 2016, é: ( ) maior do que a da rede municipal. ( ) menor do que a da rede municipal.

ATIVIDADE: ANALISANDO OS RESULTADOS EM RELAÇÃO À DISTRIBUIÇÃO DE ESTUDANTES POR PADRÃO DE DESEMPENHO. Ao analisar a série histórica da distribuição, é possível constatar que o percentual de estudantes nos padrões de desempenho mais baixos: ( ) tem aumentado. ( ) tem diminuído. ( ) tem-se mantido estável. ( ) tem oscilado.. Em relação a 2016, qual é o padrão de desempenho em que se encontra o maior percentual de estudantes?. Observando o percentual de estudantes em cada padrão de desempenho, é possível afirmar que a distribuição dos estudantes, ao longo do tempo, apresenta cenário: ( ) positivo. ( ) negativo. ( ) estável. ( ) oscilante.. Liste algumas hipóteses capazes de explicar esses resultados:

ATIVIDADE: ANALISANDO OS RESULTADOS. Quais estratégias podem ser adotadas para que os estudantes alocados nos padrões mais baixos possam melhorar o seu desempenho?. Sistematize a sua observação, indicando os destaques positivos e/ou negativos em relação aos resultados de participação, desempenho e distribuição por padrão. RESULTADOS DE DESTAQUE NA SÉRIE HISTÓRICA

ONDE ESTAMOS? AONDE QUEREMOS CHEGAR? COMO CHEGAREMOS?

ATIVIDADE: ELABORANDO A AGENDA DE TRABALHO. Defina o foco das ações e sistematize-as em um plano, com descrição de ações, prazo e responsabilidade. DECISÕES DE EXECUÇÃO AÇÃO 1: Objetivo: O que será feito? Como será feito? Quando será feito? Por quem será feito? AÇÃO 2: Objetivo: O que será feito? Como será feito? Quando será feito? Por quem será feito?

capsaethe@caed.ufjf.br