OFICINA DE APROPRIAÇÃO DE RESULTADOS Luís Cláudio Rodrigues de Carvalho

Transcrição

1 OFICINA DE APROPRIAÇÃO DE RESULTADOS 2011 Luís Cláudio Rodrigues de Carvalho

2 O CAEd Centro de Políticas Públicas e Avaliação da Educação, da UFJF, é uma instituição que elabora e desenvolve programas de avaliação sobre o rendimento escolar dos alunos de escola públicas, promovidos pelas Secretarias Estaduais de Educação. Também cria e promove cursos de formação, qualificação e aprimoramento aos profissionais da Educação de diversos Estados do Brasil, além de desenvolver software para a gestão de escolas públicas (como por exemplo, os projetos SisLame e SIMADE) com o objetivo de modernizar a gestão educacional. O CAEd também presta serviços de apoio para o desenvolvimento de projetos educacionais promovidos por iniciativas privadas, a exemplo de algumas ações da Fundação Roberto Marinho, do Instituto Unibanco e da Fundação Oi Futuro.

3

4 AVALIAR É refletir sobre uma determinada realidade, a partir de dados e informações, e emitir um julgamento que possibilite uma ação.

5 Tipos de Avaliação Avaliação Interna Processo de Aprendizagem Diversos Instrumentos de Avaliação Avaliação Formativa Teoria Clássica dos Testes (Nota) Avaliação Externa Produto (habilidades) Teste de Múltipla Escolha Teoria de Resposta ao Item (TRI)

6 Por que avaliar um sistema educacional Obter informações sobre o nível de desenvolvimento das habilidades dos estudantes com vistas à implementação de políticas públicas e à organização dos processos de ensino e de aprendizagem

7 Algumas características do SABE Quais são os objetivos do Sistema Baiano de Educação? O que o Avalie Ensino Médio avaliou em sua edição de 2011? Você acha que os resultados dessa avaliação podem ser utilizados para a melhoria da educação em nossa escola? Se sim, como?

8 Rede Estadual e Municipal Avalie Alfa: Língua Portuguesa e Matemática 2º ano EF. Rede Estadual Avalie Ensino Médio: Linguagens e Códigos, Matemática, Ciências Humanas e Ciências Naturais 1ª SÉRIE DO ENSINO MÉDIO; 2ª SÉRIE DA EDUCAÇÃO PROFISSIONAL INTEGRADA AO ENSINO MÉDIO.

9 Alguns objetivos do Avalie Ensino Médio Desempenho escolar; Análise dos resultados possibilita intervenção pedagógica; Dados do Avalie Ensino Médio devem fazer parte da proposta de melhoria da qualidade da educação ofertada pela escola.

10 O CAEd e o Sistema Baiano de Educação Nessas avaliações, utilizam-se instrumentos chamados de testes de proficiência e também questionários contextuais aplicados aos estudantes, professores e diretores das unidades escolares, com o objetivo de oferecer à sociedade uma medida do desempenho escolar.

11 Como são construídos os testes de proficiência que permitem medir o desempenho escolar?

12

13 Objetivo Analisar e interpretar os resultados do SABE para (re)planejamento das ações pedagógicas implementadas em sala de aula, a serem definidas pelas escolas envolvidas no processo de avaliação.

14 Seção 1 Matriz de Referência

15 Como a Matriz de Referência dá origem aos testes? Constitui um parâmetro de orientação; Apresenta o objeto da avaliação; Caráter de universalidade; Orienta a elaboração de itens.

16 Ressaltamos que as matrizes de referência não englobam todo o currículo escolar. Um recorte é feito com base no que é possível aferir por meio do tipo de instrumento de medida utilizado na avaliação e que, ao mesmo tempo, é representativo do que está contemplado nos currículos.

17 A Matriz de Linguagens e suas tecnologias está estruturada em tópicos: I. Suportes e gêneros textuais: suas funções Comunicativas; II. Reconstrução dos processos de tematização: tópicos e subtópicos temáticos; III. Modos de recepção de diferentes discursos: implícitos, pressupostos e subentendidos; IV. Processos de referenciação e textualização (ou textualidade e textualização); V. Variação linguística no português brasileiro; VI. Oralidade e escrita: processos de retextualização; VII. Estéticas literárias e seus contextos históricos; VIII. Representações literárias: diversidade e universalidade; IX. Análise e crítica de produções artísticas.

18 Concepções que fundamentam a construção da matriz de Linguagens e códigos Língua: interação entre sujeitos em contextos sociais específicos. Letramento: práticas sociais de leitura e escrita que se constituem na interação entre sujeitos ou grupos de sujeitos. Papel da escola: instância de aprendizagem da escrita em seus aspectos gráficos e formais e de vivências de práticas de letramento.

19 Matriz de Referência para Avaliação Elemento base de origem dos testes utilizados no Avalie Ensino Médio. Garante legitimidade e transparência à avaliação. É formada por um conjunto de descritores que, agrupados em tópicos/temas, apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala. Não abarca todo currículo escolar. Por isso, não pode ser confundida com parâmetros curriculares, Base Curricular Comum - BCC, procedimentos ou estratégias de ensino ou Orientações Teórico- Metodológicas - OTM, nem com o conteúdo a ser trabalhado pelo professor em sala de aula.

20 Algumas interpretações teóricas Competências e Habilidades Competências referem-se às diferentes modalidades estruturais da inteligência que compreendem determinadas operações que o sujeito utiliza para estabelecer relações com e entre os objetos físicos, conceitos, situações, fenômenos e pessoas. As habilidades instrumentais referem-se especificamente ao plano do saber fazer e decorrem, diretamente, do nível estrutural das competências já adquiridas e que se transformam em habilidades. PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993

21 MATRIZ DE REFERÊNCIA Conjunto de descritores Conteúdo programático na área de conhecimento a ser avaliada Nível de operação mental necessário para a aprendizagem Descritores originados do cruzamento entre conteúdos programáticos e as habilidades e competências cognitivas que lhes são próprias.

22 Aspectos a considerar sobre Descritores Os descritores têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo aluno que se traduzem em certas habilidades. Constituem uma sumária descrição das habilidades esperadas ao final de cada período escolar avaliado.

23 O QUE É UM ITEM? É uma questão do teste de larga escala. Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

24 Aspectos a considerar sobre Descritores

25 Das Matrizes aos itens dos testes de proficiência Agrupa as habilidades passíveis de avaliação em um teste de proficiência. Matriz Tema Tópico Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades. Item Descritor Avalia apenas uma única habilidade Descreve cada uma das habilidades da Matriz

26 Grau de Dificuldade diz respeito à adequação ent re a formulação do it em e a capacidade de resposta do estudante. Considerar Discriminação capacidade do item de dist inguir est udant es com diferentes níveis de habilidade.

27 O ITEM E SUAS PARTES Enunciado Suporte Distratores Distratores Gabarito Distratores Comando

28 - redigir o enunciado de forma direta e afirmat iva; - utilizar vocabulário adequado ao nível de escolaridade do estudante;

29

30 - incluir no enunciado uma figura, um recorte de j ornal ou revista, uma fotografia,em sua elaboração; - redigir o enunciado de forma direta e afirmativa; - utilizar vocabulário adequado ao nível de escolaridade do estudante;

31 - excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou orientação sexual; - observar as normas da ABNT na apresentação de textos e figuras; - não utilizar pegadinhas nem dicas ; - não utilizar termos como sempre, nunca, todo, totalmente.

32 estar diretamente relacionada a um único descritor da Matriz de Referência; formular de maneira positiva; a tarefa desej ada em conexão com o problema proposto.

33 Quanto à Redação Enunciado: deve ser claro, preciso e conciso. Gabarito: exclusivamente um. Distratores: devem ser plausíveis. Suportes: devem conter informações relevantes.

34 Atividade 1: Os Itens do Teste Resolvam os itens. Identifiquem a habilidade avaliada pelo item em análise. Elaborem hipóteses cognitivas para os distratores (alternativas erradas).

35 Gabarito:D D01: Reconhecer o objetivo comunicativo e/ou a função sociocomunicativa de um gênero textual

36 Gabarito:A D02: Identificar o leitor alvo de um texto considerando sua forma, assunto, tema, indícios gráficos, notacionais e imagens.

37 Gabarito:C D03: Estabelecer, em textos de diferentes gêneros, relações de sentido entre recursos verbais e não verbais.

38 Gabarito:A D04: Reconhecer em novas formas de interação entre o leitor e o texto, a relação entre o discurso e as inovações tecnológicas.

39 Gabarito:D D06: Identificar informações explícitas em um texto.

40 Gabarito:B D07:Inferir tema ou assunto principal do texto.

41 Gabarito: E D08: Diferenciar ideias centrais de secundárias.

42 Gabarito:B D09:Comparar textos que tratam de um mesmo quanto ao tratamento dado a esse tema, em relação ao leitor, ao suporte e às intencionalidades.

43 Gabarito:B D10: Distinguir fato de opinião relativa a esse fato.

44 Gabarito:D D11:Avaliar posições distintas entre duas ou mais opiniões relativas ao mesmo fato ou mesmo tema.

45 Gabarito:D D12:Inferir informações implícitas em textos de diferentes gêneros.

46 Gabarito:B D13: Inferir efeitos de ironia e humor em um texto.

47 Gabarito:D D14: Inferir o significado de palavras e expressões usadas em um texto.

48 Gabarito:B D15:Estabelecer relações entre partes de um texto, identificando repetições ou substituições.

49 Gabarito:A D16: Reconhecer recursos linguístico de conexão textual (coesão sequencial) em um texto

50 Gabarito:A D17: Reconhecer a função de diferentes composições tipológicas em textos diversos.

51 Gabarito:B D20: Identificar, em textos de diferentes gêneros, as marcas linguísticas que singularizam as variedades linguísticas sociais, regionais e de registro.

52 Gabarito:E D22: Identificar marcas linguísticas típicas da oralidade.

53 D23: Reconhecer elementos que caracterizam a literariedade de um dado texto, como objeto estético e semiológico. Gabarito:D

54 Gabarito:E D26: Estabelecer relações intertextuais entre textos literários da contemporaneidade e diferentes manifestações literárias e culturais.

55 Gabarito:D D27:Interpretar efeito de sentido decorrente do uso de figuras de linguagem no texto.

56 Gabarito:D D28:Analisar as diversas produções artísticas como meio de explicar diferentes culturas, padrões de beleza e preconceitos.

57 Gabarito:A D31:Identificar diferentes modalidades e funções da música.

58

59

60

61

62 100,0 1ª SÉRIE EM - LINGUAGENS, CÓDIGOS E SUAS TECNOLOGIAS Rede Estadual 80,0 60,0 40,0 20,0 44,7 63,8 44,4 34,9 24,2 59,7 51,8 37,2 50,7 31,7 43,3 61,1 55,9 66,6 41,5 44,9 41,5 41,9 35,7 38,6 38,5 38,8 27,1 27,0 26,8 32,1 22,1 27,0 29,1 33,9 28,2 23,1 0,0

63 90,0 80,0 70,0 60,0 50,0 40,0 30,0 20,0 10,0 0,0 57,6 69,5 50,8 2ª SÉRIE EDUCACAO PROFISSIONAL INTEGRADO - LINGUAGENS, CÓDIGOS E SUAS TECNOLOGIAS Rede Estadual 40,1 28,1 67,7 57,2 47,1 58,1 38,7 53,2 67,4 64,0 77,2 51,0 39,2 31,8 31,2 50,2 45,0 36,4 29,6 25,5 29,9 46,9 35,6 33,3 29,5 25,6 53,0 47,8 44,7

64 Objetivos da oficina Nessa etapa da nossa oficina, iremos: apresentar a descrição dos Intervalos de Proficiência de Linguagens, códigos e suas tecnologias e a sua relação com as Matrizes de Referência para a Avaliação. interpretar os Intervalos de Proficiência de Linguagens, códigos e suas tecnologias considerando os agrupamentos de seus intervalos (Padrões de Desempenho Estudantil). analisar e interpretar pedagogicamente os resultados

65 Seção 2 Interpretação pedagógica dos resultados

66

67

68

69

70 PADRÕES DE DESEMPENHO

71

72

73

74

75

76

77

78

79

80

81

82

83 Os padrões de desempenho estudantil são os balizadores dos diferentes graus de realização educacional alcançados pela escola. Por meio deles é possível analisar a distância de aprendizagem entre o percentual de estudantes que se encontra nos níveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. A distância entre esses extremos representa, ainda que de forma alegórica, o abismo existente entre aqueles que têm grandes chances de sucesso escolar e, consequentemente, maiores possibilidades de acesso aos bens materiais, culturais e sociais; e aqueles para os quais o fracasso escolar e a exclusão social podem ser mera questão de tempo, caso a escola não reaja e promova ações com vistas à promoção da equidade.

84

85 Formas de Apresentação dos Resultados Proficiência média médias comparadas Participação Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho Evolução do percentual de alunos por padrão de desempenho

86

87

88 Como você interpreta a participação?

89 Se 20 fosse o número de estudantes que NÃO participaram da avaliação no MUNICIPIO? Como seria esse percentual?

90 Participação De que forma você acha que a participação pode interferir nos resultados de nossa escola? Pense em aspectos positivos e negativos!

91

92 Quais são as habilidades desenvolvidas por aproximadamente 22,7% dos estudantes? E por 52,3% dos estudantes? E por 22,7% dos estudantes? E por 2,3% dos estudantes?

93 Número de alunos Percentual %? 22,7%

94 Número de Alunos Percentual %? 22,7% Cálculo... variação proporcional direta? = x ,7 = 100.x 998,8 = 100.x 998,8 /100 = x 9,98= x X= 10

95

96

97

98

99 Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Estabelecimento e monitoramento das metas de qualidade educacional Padrões de desempenho estudantil Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

100 Vamos localizar as proficiências médias nos níveis de proficiência? Qual é o percentual de estudantes do ESTADO que estão MUITO CRÍTICO, CRÍTICO, BÁSICO e AVANÇADO? Qual é a quantidade de estudantes do ESTADO em cada padrão de desempenho? Qual é o percentual de estudantes da sua ESCOLA que estão MUITO CRÍTICO, CRÍTICO, BÁSICO e AVANÇADO? Qual é a quantidade de estudantes da sua escola em cada padrão de desempenho? Como você interpreta a posição de sua escola em relação ao resultado do estado? Como você interpreta a participação de estudante no ESTADO e em sua escola? Essa participação é representativa? 100

101

102

103

104

105

106

107

108

109 Média Final: 0 (zero) C1 (norma culta) = 0 C2 (tema) = 0 C3 (tipologia) = 0 C4 (coesão/coerência) = 0 O estudante reconhece o tema, mas não consegue estruturar sua escrita de modo que a mesma constitua-se como um texto. Texto desarticulado. INICIANTE O estudante já faz uso do sistema de escrita, mas desconhece suas convenções. Nesse caso, o estudante apresenta uma escrita confusa e desconexa.

110 C2 (tema): predomínio de paráfrases de um dos textos motivadores. Só apresenta autoria na segunda parte do texto, mas de forma desconexa. C3 (tipologia): o texto produzido tangenciou a tipologia argumentativa. Nota-se apenas alguns traços na segunda parte. C1 (norma culta): estruturas frasais, predominantemente, nominais ou períodos simples. Média Final: 2 C1 (norma culta) = 3 C2 (tema) = 3 C3 (tipologia) = 1 C4 (coesão/coerência) = 1 INICIANTE AVANÇADO C4 (coesão/coerência): o texto não estabelece progressão harmônica. O estudante demonstra domínio insuficiente da normapadrão e dos articuladores coesivos, compreende a proposta equivocadamente e, por isso, sua produção tangencia o tema e a tipologia textual solicitados.

111 C1 (norma culta): supressão de letras, desvios ortográficos e ausência de letra maiúscula etc. C4 (coesão/coerência): o único elemento utilizado para estabelecer a progressão textual é a vírgula, que aparece exaustivamente no texto. C2 (tema) e C3 (tipologia): ideias do senso comum, parafraseadas dos textos motivadores., sem defender um ponto de vista pessoal. Média Final: 3,25 C1 (norma culta) = 4 C2 (tema) = 4 C3 (tipologia) = 2 C4 (coesão/coerência) = 3 ATIVO Constrói sua produção textual de forma mediana, desenvolvendo a temática proposta a partir de argumentos do senso comum, cópias recorrentes de trechos dos textos motivadores, demonstrando ainda pouco domínio do tipo textual argumentativo, com muitas inadequações na utilização dos recursos coesivos.

112 C1 (norma culta): desvios ortográficos recorrentes: uso inadequado de verbo, acentuação gráfica, escolha equivocada de termos. C2 (tema) e C3 (tipologia): argumentação previsível e, às vezes, incoerente, sem indícios de autoria. C4 (coesão/coerência): ideias sem articulação e ausência de conectivos, principalmente no segundo parágrafo. Média Final: 5,25 C1 (norma culta) = 6 C2 (tema) = 6 C3 (tipologia) = 5 C4 (coesão/coerência) = 4 INTERATIVO Esse estudante já se encontra em um nível considerado básico, porque demonstra domínio adequado da norma-padrão, mas ainda apresenta alguns desvios gramaticais e de convenções da escrita. Quanto ao tema e à tipologia textual delimitados, ele apresenta adequação argumentativa, mas seu texto ainda apresenta ideias previsíveis, ainda com significativa inadequação na utilização dos recursos coesivos

113 Domínio da norma-padrão, com desvios escassos, na maioria de pontuação. Argumentação consistente e bom domínio do tipo textual argumentativo. Poucas inadequações na utilização dos recursos coesivos Média Final: 7,75 C1 (norma culta) = 9 C2 (tema) = 8 C3 (tipologia) = 7 C4 (coesão/coerência) = 7 INTERATIVO AVANÇADO Esse estudante já está em visa de se tornar um escritor proficiente, pois apresenta desvios escassos, que não podem ser desconsiderados porque afetam a inteligibilidade textual em alguns casos.

114 Resultado geral dos estudantes de acordo com as competências linguístico-textuais aferidas COMPETÊNCIAS Registro (Competência I) Tema (Competência II) Tipologia textual (Competência III) INICIANTE (Nível 0) INICIANTE AVANÇADO (Nível I: 0,1 pt a 2,0 pts) NÍVEIS (% de estudantes) ATIVO INTERATIVO INTERATIVO AVANÇADO (Nível II: 2,1pts a 4,0pts) (Nível III: 4,1pts a 6,0 pts) (Nível IV: 6,1pts a 8,0pts) PROFICIENTE (Nível V: 8,1pts a 10pts) TOTAL 10,2 1,6 16,8 44,3 24,3 2,8 100% 10,4 4,5 25,2 38,5 18,9 2,4 100% 10,5 4,6 27,5 39,1 16,6 1,7 100% Coesão/coerência (Competência IV) 10,7 5,4 27,2 39,6 15,6 1,5 100%

115 Proficiência geral dos estudantes Percentual de estudantes

116 Uso dos Resultados 1. Gestor De Rede: Planejamento e execução de políticas públicas; Criação de metas de qualidade e equidade educacionais; Implementação de medidas de responsabilização; Políticas de incentivos diretos ou indiretos; Ações de formação continuada de professores. De Escola: Elaboração do projeto da escola Monitoramento da qualidade de ensino Subsídio para avaliação institucional

117 Intervenção pedagógica Uso dos Resultados 2. Professor Elaboração de projetos especiais Foco nos estudantes com dificuldades Ações de reforço escolar Planejamento das ações de sala de aula Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

118 Uso dos Resultados 3. Estudante Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares Informações sobre a qualidade dos serviços educacionais oferecidos

119 Muito obrigado! Luís Cláudio Rodrigues de Carvalho