OFICINA DE APROPRIAÇÃO DE RESULTADOS 2011
AVALIAR É refletir sobre uma determinada realidade, a partir de dados e informações, e emitir um julgamento que possibilite uma ação.
O CAEd Centro de Políticas Públicas e Avaliação da Educação, da UFJF, é uma instituição que elabora e desenvolve programas de avaliação sobre o rendimento escolar dos alunos de escola públicas, promovidos pelas Secretarias Estaduais de Educação. Também cria e promove cursos de formação, qualificação e aprimoramento aos profissionais da Educação de diversos Estados do Brasil, além de desenvolver software para a gestão de escolas públicas (como por exemplo, os projetos SisLame e SIMADE) com o objetivo de modernizar a gestão educacional. O CAEd também presta serviços de apoio para o desenvolvimento de projetos educacionais promovidos por iniciativas privadas, a exemplo de algumas ações da Fundação Roberto Marinho, do Instituto Unibanco e da Fundação Oi Futuro.
Tipos de Avaliação Avaliação Interna Processo de Aprendizagem Diversos Instrumentos de Avaliação Avaliação Formativa Teoria Clássica dos Testes (Nota) Avaliação Externa Produto (habilidades) Teste de Múltipla Escolha Teoria de Resposta ao Item (TRI)
Por que avaliar um sistema educacional Obter informações sobre o nível de desenvolvimento das habilidades dos estudantes com vistas à implementação de políticas públicas e à organização dos processos de ensino e de aprendizagem
Algumas características do SAEPI Quais são os objetivos do SAEPI? O que o SAEPI avaliou em sua edição de 2011? Você acha que os resultados dessa avaliação podem ser utilizados para a melhoria da educação em nossa escola? Se sim, como?
Algumas características do SAEPI Programa que visa diagnosticar o desempenho dos estudantes em diferentes áreas do conhecimento e níveis de escolaridade, bem como subsidiar a implementação, a (re)formulação e o monitoramento de políticas educacionais, contribuindo ativamente para a melhoria da qualidade da educação no estado.
Alguns objetivos do SAEPI Desempenho escolar; Análise dos resultados possibilita intervenção pedagógica; Dados do SAEPI devem fazer parte da proposta de melhoria da qualidade da educação ofertada pela escola
Seção 1 Matriz de Referência
Aspectos a serem considerados em uma Matriz Constitui um parâmetro de orientação para avaliação; Apresenta o objeto da avaliação; Caráter de universalidade; Orientação na elaboração de itens.
Ressaltamos que as matrizes de referência não englobam todo o currículo escolar. Um recorte é feito com base no que é possível aferir por meio do tipo de instrumento de medida utilizado na avaliação e que, ao mesmo tempo, é representativo do que está contemplado nos currículos. Vejamos um exemplo:
Conteúdo: Probabilidade e Estatística Exemplo: Tabelas Construção de Tabelas Simulação de Pesquisas Gráficos Construção de Gráficos Elaboração e aplicação de questionários Interpretação dos resultados da Pesquisa Resolver problemas envolvendo informações apresentadas em Gráficos e Tabelas Ler, selecionar e interpretar informações em Gráficos
A Matriz de Matemática está estruturada em TEMAS: I Espaço e Forma; II Grandezas e Medidas; III Números e Operações / Álgebra e Funções; IV Tratamento da Informação.
Destes temas selecionados: Espaço e Forma, Grandezas e Medidas, Números e Operações e Tratamento da Informação temos cada um deles representando conteúdos com base nos quais são elaborados descritores que expressam habilidades em Matemática.
Matriz de Referência para Avaliação Elemento base de origem dos testes utilizados no SAEPI. Garante legitimidade e transparência à avaliação. É formada por um conjunto de descritores que, agrupados em tópicos/temas, apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala. Não abarca todo currículo escolar. Por isso, não pode ser confundida com parâmetros curriculares, Base Curricular Comum - BCC, procedimentos ou estratégias de ensino ou Orientações Teórico-Metodológicas - OTM, nem com o conteúdo a ser trabalhado pelo professor em sala de aula.
Como a Matriz de Referência dá origem aos testes? Constitui um parâmetro de orientação; Apresenta o objeto da avaliação; Caráter de universalidade; Orienta a elaboração de itens.
MATRIZ DE REFERÊNCIA Conjunto de descritores Conteúdo programático na área de conhecimento a ser avaliada Nível de operação mental necessário para a aprendizagem Descritores originados do cruzamento entre conteúdos programáticos e as habilidades e competências cognitivas que lhes são próprias.
Algumas interpretações teóricas Competências e Habilidades Competências referem-se às diferentes modalidades estruturais da inteligência que compreendem determinadas operações que o sujeito utiliza para estabelecer relações com e entre os objetos físicos, conceitos, situações, fenômenos e pessoas. As habilidades instrumentais referem-se especificamente ao plano do saber fazer e decorrem, diretamente, do nível estrutural das competências já adquiridas e que se transformam em habilidades. PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993
Aspectos a considerar sobre Descritores Os descritores têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo estudante que se traduzem em certas habilidades. Constituem uma sumária descrição das habilidades esperadas ao final de cada período escolar avaliado.
Aspectos a considerar sobre Descritores A função dos descritores é, portanto, indicar as habilidades que serão objeto de avaliação, no conjunto de itens que compõe o teste em cada período de escolaridade. Os descritores: - pretendem indicar quais as habilidades que se espera que os alunos tenham desenvolvido; - constituem a referência para a elaboração dos itens que devem compor o teste de desempenho. É a matéria-prima para elaboração dos itens. 21
O QUE É UM ITEM? É uma questão do teste de larga escala. Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.
Das Matrizes aos itens dos testes de proficiência Agrupa as habilidades passíveis de avaliação em um teste de proficiência. Matriz Tema Tópico Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades. Item Descritor Avalia apenas uma única habilidade Descreve cada uma das habilidades da Matriz
Grau de Dificuldade diz respeito à adequação entre a formulação do item e a capacidade de resposta do estudante. Considerar Discriminação capacidade do item de distinguir estudantes com diferentes níveis de habilidade.
O ITEM E SUAS PARTES Suporte Comando Distratores Gabarito
- enfocar uma única situação-problema; - incluir no enunciado uma figura, um recorte de jornal ou revista, uma fotografia,ua elaboração; - redigir o enunciado de forma direta e afirmativa; - utilizar vocabulário adequado ao nível de escolaridade do estudante;
- excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou orientação sexual; - observar as normas da ABNT na apresentação de textos e figuras; - não utilizar pegadinhas nem dicas ; - não utilizar termos como sempre, nunca, todo, totalmente.
estar diretamente relacionada a um único descritor da Matriz de Referência; formular de maneira positiva; a tarefa desejada em conexão com o problema proposto.
Quanto à Redação Enunciado: deve ser claro, preciso e conciso. Gabarito: exclusivamente um. Distratores: devem ser plausíveis. Suportes: devem conter informações relevantes.
Como são construídos os testes de proficiência que permitem medir o desempenho escolar?
Objetivos da oficina Agora, vamos analisar os descritores da matriz de referência do SAEPI que norteiam a elaboração dos itens presentes nos testes de Matemática.
Aspectos a considerar sobre Descritores Os descritores têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo aluno que se traduzem em certas habilidades. Constituem uma sumária descrição das habilidades esperadas ao final de cada período escolar avaliado.
Como a Matriz de Referência dá origem aos testes? Constitui um parâmetro de orientação; Apresenta o objeto da avaliação; Caráter de universalidade; Orienta a elaboração de itens.
Objetivo Analisar e interpretar os resultados do SAEPI para (re)planejamento das ações pedagógicas implementadas em sala de aula, a serem definidas pelas escolas envolvidas no processo de avaliação.
Atividade 1: Os Itens do Teste Resolvam os itens. Identifiquem a habilidade avaliada pelo item em análise. Elaborem hipóteses cognitivas para os distratores (alternativas erradas).
Acertos por descritor SAEPI MT 9EF
Seção 2 Interpretação pedagógica dos resultados
Formas de Apresentação dos Resultados Proficiência média médias comparadas Participação Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho Evolução do percentual de alunos por padrão de desempenho
Os padrões de desempenho estudantil são os balizadores dos diferentes graus de realização educacional alcançados pela escola. Por meio deles é possível analisar a distância de aprendizagem entre o percentual de estudantes que se encontra nos níveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. A distância entre esses extremos representa, ainda que de forma alegórica, o abismo existente entre aqueles que têm grandes chances de sucesso escolar e, consequentemente, maiores possibilidades de acesso aos bens materiais, culturais e sociais; e aqueles para os quais o fracasso escolar e a exclusão social podem ser mera questão de tempo, caso a escola não reaja e promova ações com vistas à promoção da equidade.
Grau de realização das ações educacionais Caracterização do desempenho escolar Políticas públicas voltadas à promoção da equidade Estabelecimento e monitoramento das metas de qualidade educacional Padrões de desempenho estudantil Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)
SAEPI 2011 Formas de Apresentação dos Resultados Proficiência média médias comparadas Participação Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho Evolução do percentual de alunos por padrão de desempenho
.
. Vamos observar a escala... Vamos localizar as proficiências médias na escala de proficiência? Como você interpreta a posição de sua escola?
Como você interpreta a participação?
Se 7 fosse o número de estudantes que NÃO participaram da avaliação no MUNICIPIO? Como seria esse percentual? 80%
. Participação De que forma você acha que a participação pode interferir nos resultados de nossa escola? Pense em aspectos positivos e negativos! Tempo para os participantes pensarem e apontarem esses aspectos... Apontar percentual suficiente para retratar a realidade da escola. Exemplo (próximo slide)
Quais são as habilidades desenvolvidas por aproximadamente 38,7% dos estudantes? E por 48,4% dos estudantes? E por 12,9% dos estudantes?
12 15 4
Número de Alunos Percentual 31 100%? 38,7% Cálculo... variação proporcional direta? = x 31. 38,7 = 100.x 1199,7 = 100.x 1199,7/100 = x 11,997 = x X= 12 73
1 1 3 7
Retomando os conceitos Vocês viram que, na escala de proficiência, existem diferentes cores. O que isso quer dizer? Quais são os intervalos, na escala de proficiência, para cada padrão de desempenho?
Vamos localizar as proficiências médias na escala de proficiência? Qual é o percentual de estudantes do MUNICÍPIO que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO? Qual é a quantidade de estudantes do MUNICÍPIO em cada padrão de desempenho? Qual é o percentual de estudantes da sua ESCOLA que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO? Qual é a quantidade de estudantes da sua escola em cada padrão de desempenho? Como você interpreta a posição de sua escola em relação ao resultado do município? Como você interpreta a participação de alunos no MUNICÍPIO e em sua escola? Essa participação é representativa? Qual é o percentual de estudantes do Município nos intervalos anteriores ao padrão de 77 desempenho Básico? E na sua escola?
Uso dos Resultados 1. Gestor De Rede: Planejamento e execução de políticas públicas; Criação de metas de qualidade e equidade educacionais; Implementação de medidas de responsabilização; Políticas de incentivos diretos ou indiretos; Ações de formação continuada de professores. De Escola: Elaboração do projeto da escola Monitoramento da qualidade de ensino Subsídio para avaliação institucional
Uso dos Resultados 2. Professor Intervenção pedagógica Elaboração de projetos especiais Foco nos estudantes com dificuldades Ações de reforço escolar Planejamento das ações de sala de aula Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica
Uso dos Resultados 3. estudante Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares Informações sobre a qualidade dos serviços educacionais oferecidos
Quais ações pedagógicas podemos implementar em sala de aula para o desenvolvimento de habilidades nesses grupos de estudantes?
OFICINA DE APROPRIAÇÃO DE RESULTADOS 2011