Oficina de Apropriação de Resultados de 2012 Sistema Baiano de Avaliação Educacional (Sabe)

Transcrição

1 Oficina de Apropriação de Resultados de 2012 Sistema Baiano de Avaliação Educacional (Sabe) Avalie Ensino Médio Linguagens, Códigos e suas Tecnologias Álvaro Dyogo e Josiane Toledo

2 Objetivo Realizar a análise pedagógica dos resultados das avaliações de desempenho aplicadas na Bahia, no SABE Avalie Ensino Médio, para o (re)planejamento de ações pedagógicas.

3 Matriz de Referência

4 Como a Matriz de Referência dá origem aos testes? Constitui um parâmetro de orientação; Apresenta o objeto da avaliação; Caráter de universalidade; Orienta a elaboração de itens.

5 As matrizes de referência não englobam todo o currículo escolar.

6 Um recorte é feito com base no que é possível aferir por meio do tipo de instrumento de medida utilizado na avaliação e que, ao mesmo tempo, é representativo do que está contemplado nos currículos.

7 A Matriz de Linguagens, Códigos e suas tecnologias está estruturada em domínios: I. Suportes e gêneros textuais: suas funções Comunicativas; II. Reconstrução dos processos de tematização: tópicos e subtópicos temáticos; III. Modos de recepção de diferentes discursos: implícitos, pressupostos e subentendidos; IV. Processos de referenciação e textualização (ou textualidade e textualização); V. Variação linguística no português brasileiro; VI. Estéticas literárias e seus contextos históricos; VII. Representações literárias: diversidade e universalidade; VIII. Produções artísticas e seus contextos.

8 Matriz de Referência para Avaliação Elemento base de origem dos testes utilizados no Avalie Ensino Médio. Garante legitimidade e transparência à avaliação.

9 Matriz de Referência para Avaliação É formada por um conjunto de descritores que, agrupados em domínios, apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala.

10 Algumas interpretações teóricas - Competências Referem-se às diferentes modalidades estruturais da inteligência que compreendem determinadas operações que o sujeito utiliza para estabelecer relações com e entre os objetos físicos, conceitos, situações, fenômenos e pessoas. PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993

11 Algumas interpretações teóricas - Habilidades As habilidades instrumentais referemse especificamente ao plano do saber fazer, e decorrem, diretamente, do nível estrutural das competências já adquiridas e que se transformam em habilidades. PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993

12 Descritores Têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo aluno que se traduzem em certas habilidades.

13 Descritores Constituem uma sumária descrição das habilidades esperadas ao final de cada período escolar avaliado.

14 O que é um item? É uma questão do teste de larga escala. Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

15 Domínio

16 Considerar Grau de Dificuldade diz respeito à adequação entre a formulação do item e a capacidade de resposta do estudante. Discriminação capacidade do item de distinguir estudantes com diferentes níveis de habilidade.

17 O item e suas partes Suporte Enunciado Gabarito Distratores Comando

18 Características de um bom item - Enunciado redigido de forma direta e afirmativa; - Vocabulário adequado ao nível de escolaridade do estudante; - Enunciado com suporte (uma figura, um recorte de jornal ou revista, uma fotografia etc.) em sua elaboração; - Relação direta com um único descritor da Matriz de Referência.

19 Características de um bom item - Excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou orientação sexual; - Observar as normas da ABNT na apresentação de textos e figuras; - Não utilizar pegadinhas nem dicas ; - Não utilizar termos como sempre, nunca, todo, ente. totalm

20 Características de um bom item Quanto à Redação Enunciado: deve ser claro, preciso e conciso. Gabarito: exclusivamente um. Distratores: devem ser plausíveis. Suportes: devem conter informações relevantes.

21 Atividade 1: Os itens do teste Resolvam os itens. Identifiquem a habilidade avaliada pelo item em análise. Elaborem hipóteses cognitivas para os distratores (alternativas erradas). Identifiquem o domínio.

22 Atividade 1: Os itens do teste Resolvam os itens. Identifiquem a habilidade avaliada pelo item em análise. Elaborem hipóteses cognitivas para os distratores (alternativas erradas). Identifiquem o domínio.

23 Apresentem os itens! Vamos montar a nossa matriz!

24 Matriz de Referência Agora vamos relacionar a nossa matriz com a matriz de Avaliação do SABE! Percebem as semelhanças?

25 Domínio Descritores

26 Domínio Descritores

27 Domínio Descritores

28 Domínio Descritores

29 Domínio Descritores

30 Domínio Descritores

31 Domínio Descritores

32 Domínio Descritores

33 Linguagens, Códigos e suas Tecnologias 2ª SÉRIE EM 80,0 70,0 68,0 65,3 68,7 70,9 70,1 60,0 50,0 40,0 30,0 59,7 60,3 24,9 50,4 56,6 36,6 53,8 33,6 41,6 59,2 44,7 37,4 59,8 50,6 31,2 49,3 37,1 51,6 24,7 39,5 53,0 32,5 39,3 35,8 20,0 10,0 8,8 0,0 D01 D02 D03 D04 D05 D06 D07 D08 D09 D10 D11 D12 D13 D14 D15 D16 D17 D18 D19 D21 D22 D23 D24 D25 D26 D27 D28 D29 D30 D31 Suportes e gêneros textuais Reconstrução dos processos de tematização Modos de recepção de diferentes discursos Processos de referenciação e textualização Variação linguística Estéticas literárias Produções artísticas Representações literárias

34 Vamos olhar para cada descritor e observar o percentual de acerto! Questões: Os resultados encontrados correspondem ao que observamos na sala de aula? Os menores percentuais são de descritores referente a conteúdos que os alunos tem mais dificuldades em sala de aula?

35 Vamos olhar para cada descritor e observar o percentual de acerto! Questões: Podemos relacionar o percentual de acerto de um descritor com outro um descritor? Ou seja, podemos dizer que se algum descritor tem percentual baixo, logo o outro também terá? Podemos dizer que se um descritor tem percentual baixo porque o percentual de acerto de um outro descritor também foi baixo? Tente identificar! Podemos dizer que um percentual de acerto de um descritor foi alto porque a habilidade é mais simples?

36 Vamos olhar para cada descritor e observar o percentual de acerto! Vamos observar os percentuais de acerto para cada domínio. Como fizemos anteriormente, tentem levantar interpretações pedagógicas que auxiliem o trabalho do professor na sala de aula.

37 Interpretação pedagógica dos resultados Linguagens, Códigos e suas Tecnologias

38 Proficiência média médias comparadas Participação Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho Evolução do percentual de alunos por padrão de desempenho

39 Vejamos a interpretação de um resultado fictício.

40

41 Vamos ver cada uma dessas partes!

42 Resultado de participação

43 Participação De que forma você acha que a participação pode interferir nos resultados?

44 Participação Quando o percentual de participação está acima de 80%, podemos generalizar este resultado para toda a turma/ou município/ ou projeto. Quando o percentual estiver abaixo de 80%, vamos considerar apenas os alunos que efetivamente realizaram o teste.

45 Resultado de desempenho Vamos pensar nos resultados de Bahia, DIREC e Escola, quais as primeiras considerações extraídas desse resultado? Tente comparar!

46 Resultado de Padrão de Desempenho

47 No slide anterior, vamos pensar nos resultados dos Padrões de Desempenho, mas o que são esses Padrões?

48 Padrões de Desempenho

49 Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Estabelecimento e monitoramento das metas de qualidade educacional Padrões de desempenho estudantil Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

50

51

52

53

54

55

56

57

58

59 Resultado de Padrão de Desempenho

60 E se relacionarmos o percentual com o número de estudantes em cada padrão? Veja como realizar este cálculo:

61 100% dos alunos são 8804 alunos que realizaram a avaliação. Então, 13,2% (Padrão Muito Crítico) são quantos alunos? 100X = 8804*13,2 X = % ,2 % X Aproximadamente 1162 alunos do estado estão no Padrão Inicial.

62 Vamos realizar o cálculo para os Padrão Crítico: demais Padrões? Padrão Básico: Padrão Avançado:

63 Podemos, ainda, comparar os resultados de 2011 e 2012

64 Vejam, por outra representação, a distribuição dos alunos por padrão de desempenho

65 Atividade Prática Em grupos, analisem os resultados : - Identifique as proficiências médias. - Compare as proficiências médias do ano atual com as proficiências da avaliação do ano anterior. O que podemos dizer dessa comparação? - Compare a proficiência média da escola com a proficiência da Bahia e da Direc.

66 Atividade Prática - Identifique o percentual de participação e interprete esse resultado. - Identifique o percentual de alunos em cada padrão de desempenho. - Identifique o padrão de desempenho que representa a proficiência média da escola. - Calcule o número de alunos em cada padrão de desempenho. - O que mais podemos interpretar nesses resultados?

67 Uso dos resultados

68 1. Gestor De Rede: Planejamento e execução de políticas públicas; Criação de metas de qualidade e equidade educacionais; Implementação de medidas de responsabi-lização; Políticas de incentivos diretos ou indiretos; Ações de formação continuada de professores. De Escola: Elaboração do projeto da escola Monitoramento da qualidade de ensino Subsídio para avaliação institucional

69 Uso dos Resultados Intervenção pedagógica 2. Professor Elaboração de projetos especiais Foco nos estudantes com dificuldades Ações de reforço escolar Planejamento das ações de sala de aula Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

70 Uso dos Resultados 3. estudante Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares Informações sobre a qualidade dos serviços educacionais oferecidos

71 Obrigado! Álvaro Dyogo Josiane Toledo