Oficina de Apropriação de Resultados de 2012 Sistema Baiano de Avaliação Educacional (Sabe) Avalie Alfa Alfabetização Acácia Bedim
Objetivo Realizar a análise pedagógica dos resultados das avaliações de desempenho, aplicadas na Bahia no SABE Avalie Alfa para o (re) planejamento de ações pedagógicas.
Seção 1 Matriz de Referência
Matriz de Referência para Avaliação Elemento base de origem dos testes utilizados no AVALIE. Garante legitimidade e transparência à avaliação. É formada por um conjunto de descritores que, agrupados em tópicos/temas, apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala. Não abarca todo currículo escolar. Por isso, não pode ser confundida com parâmetros curriculares, Base Curricular Comum - BCC, procedimentos ou estratégias de ensino ou Orientações Teórico-Metodológicas - OTM, nem com o conteúdo a ser trabalhado pelo professor em sala de aula.
Como a Matriz de Referência dá origem aos testes? Constitui um parâmetro de orientação; Apresenta o objeto da avaliação; Caráter de universalidade; Orienta a elaboração de itens.
Competências e Habilidades Algumas interpretações teóricas Competências referem-se às diferentes modalidades estruturais da inteligência que compreendem determinadas operações que o sujeito utiliza para estabelecer relações com e entre os objetos físicos, conceitos, situações, fenômenos e pessoas. As habilidades instrumentais referem-se especificamente ao plano do saber fazer e decorrem, diretamente, do nível estrutural das competências já adquiridas e que se transformam em habilidades. PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993
A Matriz de Alfabetização em Língua Portuguesa está estruturada em Eixos: I Apropriação do sistema da escrita; II Leitura; III Procedimentos de escrita.
A Matriz de Matemática para o 2º ano está estruturada em Domínios: I Espaço e forma; II Grandezas e Medidas; III Números e operações/ Álgebra e funções; IV Tratamento da informação.
Aspectos a considerar sobre Descritores Os descritores têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo aluno que se traduzem em certas habilidades. Constituem uma sumária descrição das habilidades esperadas ao final de cada período escolar avaliado.
Das Matrizes aos itens dos testes de proficiência Agrupa as habilidades passíveis de avaliação em um teste de proficiência. Matriz Eixo/ Domínio Representa uma subdivisão de acordo com o conteúdo, competênci as de área e habilidades. Item Descritor Avalia apenas uma única habilidade Descreve cada uma das habilidades da Matriz
O QUE É UM ITEM? É uma questão do teste de larga escala. Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.
Grau de Dificuldade diz respeito à adequação entre a formulação do item e a capacidade de resposta do estudante. Considerar Discriminação capacidade do item de distinguir estudantes com diferentes níveis de habilidade.
O ITEM E SUAS PARTES Enunciado Comando Suporte Distrator Gabarito Distrator Distrator
Enunciado Distrator Comando Distrator Distrator Gabarito
- enfocar uma única situação-problema; - incluir no enunciado uma figura, um recorte de jornal ou revista, uma fotografia,ua elaboração; - redigir o enunciado de forma direta e afirmativa; - utilizar vocabulário adequado ao nível de escolaridade do estudante;
- excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou orientação sexual; - observar as normas da ABNT na apresentação de textos e figuras; - não utilizar pegadinhas nem dicas ; - não utilizar termos como sempre, nunca, todo, totalmente.
estar diretamente relacionada a um único descritor da Matriz de Referência; formular de maneira positiva; a tarefa desejada em conexão com o problema proposto.
Quanto à Redação Enunciado: deve ser claro, preciso e conciso. Gabarito: exclusivamente um. Distratores: devem ser plausíveis. Suportes: devem conter informações relevantes.
Atividade 1: Os Itens do Teste 1) Resolvam os itens. 2) Elaborem hipóteses cognitivas para os distratores (alternativas erradas). 3) Identifiquem a habilidade avaliada pelo item em análise. 4) Identifiquem o domínio(mat)/eixo(lp)
Apresentem os itens! Vamos montar a nossa matriz!
Matriz de Referência Agora vamos relacionar a nossa matriz com a matriz de Avaliação do SABE! Percebem as semelhanças?
Resultado do percentual de acerto por descritor 100,0 90,0 80,0 70,0 60,0 50,0 40,0 30,0 20,0 10,0 0,0 49,7 Escrita - LP - 2 EF Estadual 47,1 D15 D16 D17 D18 9,7 29,4
Vamos olhar para cada descritor e observar o percentual de acerto! Questões: Os resultados encontrados correspondem ao que observamos na sala de aula? Os menores percentuais são de descritores referente a conteúdos que os alunos tem mais dificuldades em sala de aula?
Vamos olhar para cada descritor e observar o percentual de acerto! Questões: Podemos relacionar o percentual de acerto de um descritor com outro um descritor? Ou seja, podemos dizer que se algum descritor tem percentual baixo, logo o outro também terá? Podemos dizer que se um descritor tem percentual baixo porque o percentual de acerto de um outro descritor também foi baixo? Tente identificar! Podemos dizer que um percentual de acerto de um descritor foi alto porque a habilidade é mais simples?
Vamos olhar para cada descritor e observar o percentual de acerto! Vamos observar os percentuais de acerto para Leitura e Matemática. Como fizemos anteriormente, tentem levantar interpretações pedagógicas que auxiliem o trabalho do professor na sala de aula.
Resultado do percentual de acerto por descritor 100,0 90,0 80,0 70,0 60,0 50,0 40,0 30,0 20,0 10,0 0,0 77,7 82,8 57,6 34,2 59,3 Leitura LP 2 ano Estadual 50,3 77,3 D01 D02 D03 D04 D05 D06 D07 D08 D09 D10 D11 D12 D13 D14 82,6 54,6 39,9 47,9 34,1 50,5 40,0
Resultado do percentual de acerto por descritor 100,0 90,0 80,0 70,0 60,0 50,0 40,0 30,0 20,0 10,0 0,0 63,1 78,8 95,4 81,9 93,8 63,7 Matemática 2 EF Estadual 68,1 50,6 55,1 93,9 87,8 59,7 66,1 66,6 37,6 75,4 73,6 D01 D02 D03 D04 D05 D06 D07 D08 D09 D10 D11 D12 D13 D14 D15 D16 D17
Seção Interpretação Pedagógica dos Resultados
Resultados Avalia BH EJA Participação Proficiência média médias comparadas Distribuição do percentual de alunos por nível de proficiência e Padrão de Desempenho Percentual de acerto por descritor
Vejamos a interpretação de um resultado (fictício) de Escrita.
Vamos ver cada uma dessas partes!
Resultado de participação
Participação De que forma você acha que a participação pode interferir nos resultados?
Participação Quando o percentual de participação está acima de 80%, podemos generalizar este resultado para toda a turma/ou município/ ou projeto. Quando o percentual estiver abaixo de 80%, vamos considerar apenas os alunos que efetivamente realizaram o teste.
Resultado de desempenho Vamos pensar nos resultados de Bahia, DIREC e Escola, quais as primeiras considerações extraídas desse resultado? Tente comparar estes resultados.
Resultado de Padrão de Desempenho
No slide anterior, vamos pensar nos resultados dos Padrões de Desempenho, mas o que são esses Padrões?
Padrões de desempenho
Padrões de Desempenho Grau de realização das ações educacionais Caracterização do desempenho escolar Políticas públicas voltadas à promoção da equidade Estabelecimento e monitoramento das metas de qualidade educacional Padrões de desempenho estudantil Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)
Agora vamos relacionar as características dos padrões com os resultados encontrados!
Resultado de Padrões de Desempenho
E se relacionarmos o percentual com o número de estudantes em cada padrão? Veja como realizar este cálculo:
100% dos alunos são 8804 alunos que realizaram a avaliação. Então, 13,9% (Padrão Inicial) são quantos alunos? 100X = 8804*13,9 X = 1224 100% - 8804 13,9 % X Aproximadamente 1224 alunos do estado estão no Padrão Inicial.
Vamos realizar o cálculo para os demais Padrões? Padrão Intermediário: Padrão Básico: Padrão Avançado:
Podemos, ainda, comparar os resultados de 2011 e 2012
Vejam, por outra representação, a distribuição dos alunos por padrão de desempenho
Atividade Prática Em grupos, analisem os resultados de Matemática e LP - Leitura: - Identifique as proficiências médias. - Compare as proficiências médias do ano atual com as proficiências da avaliação do ano anterior. O que podemos dizer dessa comparação? - Compare a proficiência média da escola com a proficiência da Bahia e da Direc.
Atividade Prática - Identifique o percentual de participação e interprete esse resultado. - Identifique o percentual de alunos em cada padrão de desempenho. - Identifique o padrão de desempenho o qual representa a proficiência média da escola. - Calcule o número de alunos em cada padrão de desempenho. - O que mais podemos interpretar nesses resultados?
Resultados Leitura
Matemática
Uso dos resultados