Oficina de Apropriação de Resultados. Paebes 2013

Transcrição

1 Oficina de Apropriação de Resultados Paebes 2013

2 Oficina de Apropriação de Resultados de Ciências

3 Objetivos Interpretar os resultados da avaliação do Programa de Avaliação da Educação Básica do Espírito Santo (PAEBES); Discutir e elaborar estratégias de intervenção na escola.

4 Conhecendo o outro...

5 AVALIAÇÕES EDUCACIONAIS

6 Terminologia Avaliação Processual Avaliação Interna Avaliação Contínua X Avaliação Sistêmica Avaliação Externa Avaliação em Larga Escala Notas X Proficiências Avaliações censitárias X Avaliações por amostragem

7 Avaliação educacional: Pequena Escala e Larga Escala Tipos de Avaliação Educacional Avaliação Diagnóstica Formativa Somativa

8 AVALIAÇÃO EDUCACIONAL Avaliação Interna/Escola Avaliação Externa/Sistemas Processo da aprendizagem Desempenho dos estudantes Provas abertas Provas objetivas Observação/Registro Portfólio Testes de proficiência Questionários contextuais TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM

9 Medidas Educacionais

10

11

12

13 Avaliações em Larga Escala

14 Avaliações em Larga Escala

15 Sistemas de Avaliação e o CAEd

16 O PAEBES

17 PAEBES: Programa de Avaliação da Educação Básica do Espírito Santo O PAEBES foi instituído pela Secretaria de Educação do Estado do Espírito Santo SEDU-ES no ano de Com o objetivo de avaliar, de modo permanente e contínuo, o sistema de ensino. Esse programa visa diagnosticar o desempenho dos alunos em diferentes áreas do conhecimento e níveis de escolaridade, bem como subsidiar a implementação, a reformulação e o monitoramento de políticas educacionais.

18 PAEBES: Programa de Avaliação da Educação Básica do Espírito Santo Desde que foi instituído, o PAEBES avaliou diferentes anos/séries dos ensinos Fundamental e Médio em disciplinas como Língua Portuguesa, Matemática, Física, Química e Biologia. Atualmente tem como objetivo avaliar as competências e habilidades, na área de Língua Portuguesa, Matemática e Ciências, desenvolvidas pelos alunos das redes Estadual e Municipal que aderirem ao programa, em turmas da 4ª série/5º ano e 8ª série/9º ano do Ensino Fundamental além dos alunos do 1º ano do Ensino Médio.

19 Programa de Avaliação da Educação Básica do Espírito Santo Edições: 2008, 2009, 2010, 2011, 2012, 2013 Etapas avaliadas: 5º EF, 9º EF, 3º EM Disciplinas avaliadas em 2013 Língua Portuguesa Matemática Ciências da Natureza

20 Programa de Avaliação da Educação Básica do Espírito Santo ALFA Etapas avaliadas: 1º EF, 2º EF, 3º EF Disciplinas avaliadas Língua Portuguesa (leitura e escrita) Matemática

21 Matriz de Referência

22 MATRIZ DE REFERÊNCIA Validade Construída a partir do currículo vigente (PCN), além de pesquisas em livros didáticos e debates com educadores em atividade nas redes de ensino e especialistas em educação.

23 Matriz de Referência Apresenta habilidades que estão no currículo. Podem apresentar descrições de habilidades diferentes do que está apresentado no currículo, mas relacionadas ao mesmo conteúdo. Apresenta habilidades possíveis de aferir em um teste de múltipla escolha.

24 Matriz de Referência Elemento base de origem dos testes utilizados no Paebes. Garante legitimidade e transparência à avaliação. A Matriz não esgota o conteúdo a ser trabalhado em sala de aula e, portanto, não pode ser confundida com propostas curriculares, estratégias de ensino ou diretrizes pedagógicas.

25 Matriz de Referência É formada por um conjunto de tópicos ou temas que representam uma subdivisão de acordo com conteúdo, competências de área e habilidades. Cada tema apresenta um conjunto de habilidades. Cada habilidade é descrita por um descritor. Os descritores apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala.

26 O que compreendemos por Competências e Habilidades? Exemplo: Para realizar procedimentos básicos de leitura, por exemplo, o estudante precisa acionar diversas habilidades leitoras tais como, localizar, identificar, inferir e distinguir elementos textuais presentes na superfície textual ou sugeridas pelo texto. O conjunto dessas habilidades em tópicos/eixos temáticos constituem uma competência

27 Domínio agrupa por afinidade um conjunto de habilidades indicadas pelos descritores Elementos que compõem a Matriz Descritores associam o conteúdo curricular a operações cognitivas, indicando as habilidades que serão avaliadas por meio de um item.

28

29

30 Matriz de Referência de Avaliação de Ciências I. Matéria e Energia II. Terra e universo III. Vida e Ambiente IV. Ser humano e Saúde V. Tecnologia e Sociedade

31 Atividade Matriz de Referência Primeira parte: Formação de grupos com 4 pessoas. Atividade de cada grupo: descrever e distinguir os conteúdos trabalhados em cada um dos tópicos da disciplina (o grupo poderá relacionar conteúdos de modo geral, para todas as etapas de escolaridade, ou limitar apenas uma etapa avaliada pelo programa). Discutir com os participantes da turma, os conteúdos apontados.

32 Atividade Matriz de Referência Segunda parte: Cada grupo ficará responsável por um tópico da disciplina. dividir os tópicos entre os grupos, sendo que pelo número de grupos, possivelmente, os tópicos serão repetidos). Atividade de cada grupo: discutir os conteúdos do tópico selecionado; desenvolver uma atividade para sala de aula, com base em um ou mais conteúdos apresentados. Entregar a Matriz de Referência.

33 Atividade Matriz de Referência Atividade de cada grupo: Associar os conteúdos das atividades com os descritores da matriz. Quais os conteúdos abordados na atividade? Quais deles estão presentes na matriz? Quais desses conteúdos não estão presentes na matriz? Apresente possíveis motivos para esses conteúdos não serem avaliados pelo programa. Cada grupo apresentará sua atividade, apontando os conteúdos trabalhados e associando-os ao currículo e aos descritores da matriz.

34 Questão 1 Os casos de Dengue vem aumentando consideravelmente no Brasil. Das alternativas abaixo, indique a única que não representa medidas de prevenção da doença. a) Não deixar água acumulada em recepientes. b) Evitar o contato com pessoas doentes. c) Tampar as caixas d` água. d) Não acumular lixo em áreas abertas.

35 Questão 2 Medidas de saneamento básico são fundamentais na prevenção de qual doença? a) Dengue. b) Amebíase. c) Raiva. d) Gripe.

36 Questão 3 Em relação aos tipos de solo estudados, é possível identificar características específicas entre eles. Identifique a seguir o tipo de solo ideal para a agricultura. a) Arenoso. b) Argiloso. c) Humífero. d) Cascalhado.

37 Questão 4 Atente-se à frase: Na natureza nada se perde, nada se cria, tudo se transforma. As cadeias e teias alimentares obedecem um fluxo, onde um ser vivo serve de alimento para outro que depois morre. Depois de morto, as bactérias juntamente com os fungos agem sobre seu corpo fazendo a decomposição, devolvendo-o à natureza. Sobre a importância da ação das bactérias e dos fungos, na natureza, conclui-se que: a) Não é importante. b) Só produzem mais lixo para a natureza. c) Fazem a reciclagem da matéria. d) Fungos e bactérias são exemplos de produtores.

38 Das matrizes aos itens dos Testes de Proficiência

39 Composição dos testes

40 Descritor D2 Reconhecer a composição ou as propriedades do ar atmosférico. O item é uma questão utilizada nos testes de uma Avaliação externa e se caracteriza por avaliar uma única habilidade indicada por um descritor da Matriz de Referência.

41 CONSTRUÇÃO E ANÁLISE DE ITENS

42 Características do item

43 Características do item

44 Características do item

45 Enunciado Suporte Paebes 2013 Exemplo I: Distrator Gabarito Comando Distratores

46 O que podemos notar? As atividades podem propiciar o desenvolvimento de diversas habilidades. O item avalia apenas uma habilidade. Atividades são desenvolvidas com base em diversos instrumentos e recursos didáticos. O item é, geralmente, desenvolvido por meio de questões de múltipla escolha.

47 Análise de Itens Para compreender melhor o que avaliam os descritores e quais são as possibilidades de resposta dadas pelos estudantes, vamos analisar alguns itens.

48 Atividades e Itens

49 Gabarito: A) divisibilidade. Esse item avalia a habilidade de os estudantes identificarem a propriedade geral da matéria em uma situação do cotidiano. Eles deveriam reconhecer que a propriedade geral da matéria observada na quebra do giz é a divisibilidade. O desenvolvimento dessa habilidade é importante e essencial por contribuir para a compreensão de muitos fenômenos.

50 Atividades e Itens

51 Gabarito: C) o aparecimento de buracos na camada de ozônio. Esse item avalia a habilidade de reconhecer causas de problemas ambientais. Para resolvê-lo, os estudantes deveriam, a partir do texto apresentado, reconhecer a emissão de gases do tipo clorofluorcarbono (CFC) como causa do surgimento de buracos na camada de ozônio. O desenvolvimento dessa habilidade mostra-se importante, uma vez que pode contribuir para a promoção de ações antrópicas menos impactantes ao meio ambiente.

52 Atividades e Itens

53 Gabarito: C) cinética apenas Esse item avalia a habilidade de reconhecer o princípio da conservação da energia. Para resolvê-lo, o estudante deveria reconhecer que a energia não é criada nem destruída, mas transformada de uma forma para outra. Durante a descida, a energia do esquiador, que no ponto 1 está toda na forma de energia potencial gravitacional, é gradualmente transformada em energia cinética, enquanto sua velocidade vai aumentando. Quando o esquiador atinge o ponto mais baixo da trajetória, ponto 3, sua energia foi toda transformada em energia cinética.

54 Atividades e Itens

55 Gabarito B) Obesidade Esse item avalia a habilidade de reconhecer comportamentos de risco à saúde coletiva e individual. Para resolvê-lo, os estudantes deveriam extrair informações do texto apresentado e identificar que o hábito citado compromete a saúde individual, ocasionando problemas de obesidade.

56

57 Gabarito A) Alumínio Esse item avalia a habilidade de reconhecer bons materiais condutores de eletricidade.

58

59 Gabarito B) Argiloso Esse item avalia a habilidade de diferenciar os tipos de solo. Para resolvê-lo, os estudantes deveriam, a partir de informações extraídas do texto sobre a composição e características do solo, diferenciar o solo argiloso dos demais tipos.

60

61 Gabarito A) Química Esse item avalia a habilidade de os estudantes reconhecerem transformações químicas importantes para o cotidiano. Eles deveriam observar a imagem e identificar que a fermentação é uma transformação química. O desenvolvimento dessa habilidade é importante, pois contribui para o entendimento de muitos processos que ocorrem diariamente, como o metabolismo, cozimento de alimentos, entre outros exemplos.

62

63 Gabarito D) F4 Esse item avalia a habilidade de reconhecer conceitos básicos da genética. Para resolvê-lo, os estudantes deveriam interpretar o esquema apresentado e identificar qual indivíduo apresentará a doença autossômica recessiva. O desenvolvimento dessa habilidade contribui para avanços no conhecimento sobre o que determina tais semelhanças e como se dá a hereditariedade.

64

65 Gabarito D) Destilação Esse item avalia a habilidade de reconhecer os principais processos de separação de misturas. Para resolvê-lo, os estudantes deveriam reconhecer que o processo de separação representado no suporte é a destilação. O desenvolvimento dessa habilidade contribui para avanços no campo das competências referentes à compreensão e realização de análises químicas.

66 INTERPRETAÇÃO DOS RESULTADOS

67 - INTERVALOS DA ESCALA DE PROFICIÊNCIA NÍVEIS. - PADRÕES DE DESEMPENHO.

68 Padrões de Desempenho Estudantil CARACTERIZAÇÃO DO DESEMPENHO ESCOLAR GRAU DE REALIZAÇÃO DAS AÇÕES EDUCACIONAIS POLÍTICAS PÚBLICAS VOLTADAS À PROMOÇÃO DA EQUIDADE ESTABELECIMENTO E MONITORAMENTO DAS METAS DE QUALIDADE EDUCACIONAL PADRÕES DE DESEMPENHO ESTUDANTIL IDENTIFICAÇÃO DO PERCENTUAL DE ESTUDANTES EM RISCO PEDAGÓGICO (EVASÃO, REPROVAÇÃO OU ABANDONO)

69 Padrões de Desempenho Os Padrões de Desempenho são agrupamentos a partir da proficiência obtida nas avaliações em larga escala por meio da Teoria de Resposta ao Item (TRI). Esses padrões podem ser divididos em três ou quatro níveis, de acordo com as diretrizes pedagógicas adotadas pelos municípios e estados. O agrupamento visa facilitar a interpretação pedagógica das habilidades desenvolvidas pelos estudantes, pois apresenta a descrição das habilidades distintivas de cada um de seus intervalos, em um continuum, do nível mais baixo ao mais alto.

70 Padrões de Desempenho Estudantil Possibilitam análise da distância de aprendizagem entre o percentual de alunos que se encontram nos níveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. São categorias definidas a partir de cortes numéricos, com base nas metas educacionais estabelecidas pelo Paebes. Esses cortes dão origem a quatro Padrões de Desempenho

71 Níveis Abaixo do básico Básico Proficiente Avançado

72 Cortes dos Padrões de Desempenho de Ciências 8ª série/ 9º ano do Ensino Fundamental Os estudantes classificados nesse padrão de desempenho revelam ter desenvolvido competências e habilidades que se encontram aquém das esperadas para o período de escolarização em que se encontram. Ao final do Ensino Fundamental, eles desenvolveram habilidades elementares, relacionadas mais com a sua vivência e o conhecimento apreendido no cotidiano do que com a internalização de conceitos propriamente científicos.

73 Cortes dos Padrões de Desempenho de Ciências 8ª série/ 9º ano do Ensino Fundamental Os estudantes que se encontram nesse padrão de desempenho demonstram ter apenas iniciado o processo de sistematização das habilidades consideradas básicas e essenciais ao término do Ensino Fundamental.

74 Cortes dos Padrões de Desempenho de Ciências 8ª série/ 9º ano do Ensino Fundamental Os estudantes nesse padrão de desempenho demonstram ter ampliado o leque de habilidades tanto no que diz respeito à quantidade quanto no que se refere à complexidade. Eles correspondem às expectativas em relação à aprendizagem dos conceitos científicos considerados essenciais ao final do Ensino Fundamental.

75 Cortes dos Padrões de Desempenho de Ciências 8ª série/ 9º ano do Ensino Fundamental Os estudantes agrupados nesse padrão de desempenho demonstram ter atingido um nível de desenvolvimento avançado para a etapa de escolarização em que se encontram.

76 RESULTADOS

77 Resultados PARTICIPAÇÃO DISTRIBUIÇÃO DO PERCENTUAL DE ESTUDANTES POR NÍVEL DE PROFICIÊNCIA E PADRÃO DE DESEMPENHO PROFICIÊNCIA MÉDIA MÉDIAS COMPARADAS APRESENTAÇÃO DOS RESULTADOS EVOLUÇÃO DO PERCENTUAL DE ESTUDANTES POR PADRÃO DE DESEMPENHO

78 Resultados por Participação

79 Sabe 2013 Resultados de Participação De que forma você acha que a participação pode interferir nos resultados? Pense em aspectos positivos e negativos.

80 Resultados por Proficiência Média

81 Abaixo do Básico Básico Proficiente Avançado Regional 265,1 Espírito Santo 250,4 Escola 284,2

82 Resultados de Proficiência Média Como podemos comparar os resultados de Proficiência Média?

83 Resultados de Padrão de Desempenho

84 Resultados de Padrão de Desempenho Podemos analisar o número de alunos por padrão de desempenho. Qual o padrão caracteriza o desempenho dos estudantes de sua escola?

85 Percentual de Alunos por Nível de Proficiência e Padrão de Desempenho Níveis Padrões

86 Percentual de Alunos por Nível de Proficiência e Padrão de Desempenho Níveis Padrões

87 Percentual de Alunos por Nível de Proficiência e Padrão de Desempenho Níveis Padrões

88 Sabe 2013 Atividade Resultados Entregar os resultados para os grupos; Comparar os resultados, quando possível, de ciclos diferentes (2011, 2012 e 2013) em uma mesma escola. O que podemos notar ao observar a proficiência média dos estudantes? E em relação ao percentual de alunos em cada padrão de desempenho? Encontramos diferenças? Quais seriam?

89 Sabe 2013 Resultados Observe a participação dos estudantes na escola. Qual seria o percentual de participação na avaliação aplicada na escola? Este percentual é significativo? Em relação à participação, o número de alunos avaliados corresponde ao número de alunos que frequentam a escola? Quem são os alunos que não fizeram a avaliação? Como possibilitar a participação desses alunos nas próximas avaliações? Como melhorar a frequência desses alunos na escola?

90 Sabe 2013 Resultados Observe a proficiência média da sua escola em cada etapa de escolaridade O que podemos observar ao associar a proficiência média aos padrões de desempenho em cada etapa? Quais são as habilidades desenvolvidas pelos alunos em cada etapa de escolaridade, considerando o resultado da proficiência média? Quais seriam os conhecimentos mínimos esperados em cada etapa de escolaridade? (quais as habilidades que os alunos ainda não desenvolveram?).

91 Gestores Professores Estudantes

92 Gestores REDE ESCOLA Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Políticas de incentivos diretos ou indiretos. Ações de formação continuada de professores. Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional.

93 Professores Intervenção pedagógica. Elaboração de projetos especiais. Foco nos estudantes com dificuldades. Ações de recuperação escolar. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

94 Estudantes Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares. Informações sobre a qualidade dos serviços educacionais oferecidos.

95 Resultados 1) Observe a participação dos estudantes na escola. Qual é o percentual de participação dos estudantes na avaliação aplicada nesta escola? 1. Acima de 80%. 2. Abaixo de 80%.

96 Dúvidas?

97 Ninguém é tão grande que não possa aprender, nem tão pequeno que não possa ensinar. Esopo