Avaliação Diagnóstica Programa Brasil Alfabetizado Diretoria de Políticas de Educação de Jovens e Adultos Ministério da Educação do Brasil Santiago de Chile Dezembro de 2008
Programa Brasil Alfabetizado Criação do Programa; Finalidade; Funcionamento; Características do público atendido; Abrangência do Programa.
Plano de Avaliação do Programa Brasil Alfabetizado Sistema de avaliações para o Programa Brasil Alfabetizado instituido em 2004. Este sistema objetiva: a) Subsidiar os gestores do Programa; b) Adequar o Programa à realidade de sua execução; c) Melhorar a eficiência e efetividade. Inicialmente, foram propostas avaliações: a) Ex-ante b) Ex-post
Plano de Avaliação do Programa Brasil Alfabetizado Foram utilizadas 36 avaliações agregadas em 18 funções. Estas foram distribuídas em quatro macrofunções, a saber: a) Mobilização de recursos; b) Eficiência no uso dos recursos; c) Eficácia das ações realizadas; d) Seleção adequada dos beneficiários. Foi elaborada uma amostra de alfabetizandos, de alfabetizadores e de turmas para aplicação de questionários sócio-econômico, de gestão e o Teste Cognitivo, além do próprio entrevistador responder a um roteiro para observações.
Avaliação Diagnóstica do Programa Brasil Alfabetizado A Avaliação Diagnóstica do Programa Brasil Alfabetizado é composta de quatro eixos de ações: a) Avaliação Cognitiva Amostral; b) Avaliação Cognitiva Universal; c) Aplicação do INAF; d) Interação com a Provinha Brasil.
Avaliações Cognitivas Amostral e Universal As Avaliações Cognitivas têm por finalidade revelar quais as competências e habilidades que os alunos possuem em leitura, escrita e matemática. Eixos de avaliação cognitiva integrados: a) Avaliação Amostral; b) Avaliação universal; As avaliações possuem a mesma matriz de referência cognitiva e banco de itens comum. Elas se diferenciam nos métodos de aplicação, de correção e nos objetivos.
Avaliação amostral A avaliação amostral permite: O acompanhamento do processo de alfabetização e aferição de resultados; A construção de uma escala de níveis de aprendizagem que traz subsídios para a equipe pedagógica do programa; Com custos relativamente baixos, fornecer um retrato da situação da população avaliada.
Avaliação Universal Avaliação Universal visa: Fornecer instrumental de avaliação diagnóstica para as Secretarias Estaduais e Municipais de Educação; Permitir que as instituições parceiras encaminhem para a Educação de Jovens e Adultos aqueles alunos que já dominem determinadas competências e habilidades; Permitir que os alfabetizadores planejem as atividades de sala de aula de acordo com as especificidades de cada alfabetizando.
Histórico da Avaliação Cognitiva Amostral Ano 2003 Teste de Aplicação individual; Pré-teste com 200 alfabetizandos; Ano 2004 Teste de aplicação coletiva; Pré-teste com 600 alfabetizandos; Ano 2005 Teste de aplicação coletiva no âmbito do PBA; Aplicação de testes de entrada e saída com os mesmos alfabetizandos; 1400 aplicações (entrada e saída).
Histórico da Avaliação Cognitiva Amostral Anos 2006 e 2007 Teste de aplicação coletiva; Aplicação no âmbito do Plano de Avaliação do Programa Brasil Alfabetizado; Aplicação de testes de entrada e saída com os mesmos alfabetizandos; 4.000 aplicações (entrada e saída).
INAF Índice de Alfabetismo Funcional O INAF Indicador de Alfabetismo Funcional do Instituto Paulo Montenegro, revela os níveis de alfabetismo funcional da população adulta brasileira. Principais objetivos: a) Oferecer informações sobre as habilidades e práticas de leitura, escrita e matemática de brasileiros entre 15 e 64 anos; b) Estimular iniciativas da sociedade civil; c) Subsidiar a formulação de políticas públicas nas áreas de educação e cultura.
Provinha Brasil Provinha Brasil - instrumento de avaliação cognitiva para a alfabetização infantil, do INEP. Integração entre Provinha Brasil e Teste Cognitivo do Programa Brasil Alfabetizado: 1) Compatibilização entre as escalas; 2) Inclusão de itens comuns aos dois estes permitindo: a) Trabalho integrado; b) Fortalecimento da qualidade e da continuidade da educação.
Definição dos domínios da Aprendizagem Matrizes de Referência : É uma referência de avaliação, não abrange todas as capacidades; Descrevem conhecimentos considerados fundamentais em Leitura/Escrita e em Matemática. Apresentam um conjunto de capacidades e de conhecimentos passíveis de serem verificados. Está fundamentada também nos pressupostos do letramento.
Formato dos instrumentos de Avaliação Na Avaliação Cognitiva Amostral: a) 20 cadernos de prova b) Metodologia- Blocos Incompletos Balanceados - B.I.B c) 10 itens de Leitura/Escrita, 2 itens de Leitura individual, 12 itens de Matemática. Na Avaliação Cognitiva Universal: a) 02 cadernos de prova; b) Manual do Aplicador; c) Cadernos do Aplicador; d) Gabaritos Comentados. Diagramações adaptadas à realidade do público-alvo.
Metodologia de análise de resultados Na Avaliação Cognitiva Amostral: Testes aplicados e corrigidos por uma instituição de pesquisa; Teoria de Resposta ao Item (TRI), de 3 parâmetros; Na Avaliação Cognitiva Universal: Testes aplicados e corrigidos localmente (equipes das Secretarias de Educação). Teoria de Resposta ao Item (TRI) de 1 parâmetro.
Divulgação dos Resultados Avaliação Cognitiva Amostral Instituição de pesquisa de campo - aplicação dos testes, correção, constituição dos bancos de dados e processamento das informações; Instituição especialista em medidas educacionais e alfabetização - faz a análise psicométrica e pedagógica. Avaliação Cognitiva Universal Aplicada e corrigida pelas equipes das Secretarias Estaduais e Municipais de Educação; Resultados são informados via Sistema (on line) para análise por intermédio da utilização da TRI de 1 parâmetro.
Principais Resultados Análise dos dados : Modelo Multinível No teste de matemática : homens, mais jovens, com necessidade de lentes corretivas, que declararam saber ler e escrever ao final do curso e que já haviam freqüentado a escola se saem melhor no teste. No âmbito das turmas, o estudo demonstrou que quanto maior o percentual de alunos com necessidades especiais, pior o desempenho médio da turma. Outras variáveis significativas foram: índice de planejamento pedagógico e percentual de alfabetizandos na turma que receberem visitas de agentes de saúde em seus domicílios.
Principais Resultados No teste de Leitura/escrita, as variáveis significativas no nível aluno foram: idade, se é portador de necessidades especiais, se sabe ler e escrever e se já freqüentou a escola. O maior efeito foi na variável saber ler e escrever. Dentre as variáveis da turma, destacaram-se: percentual de alunos portadores de necessidades especiais, número de dias de aula por semana e percentual de alfabetizandos cuja mãe sabia ler e escrever. Também no caso agregado, quanto maior o percentual de alunos com necessidades especiais, pior o desempenho médio da turma.
Principais Êxitos Na Avaliação Cognitiva Amostral: Elaboração de instrumentos de avaliação específicos; Constituição de banco de itens de avaliação; Construção da escala nacional de proficiência em Leitura/Escrita e Matemática para o processo de alfabetização; Avaliação formativa da equipe técnica do Ministério da Educação; Subsídios para aperfeiçoamento e redesenho das ações do Programa Brasil Alfabetizado; Subsídios para o desenho das estratégias da Avaliação Cognitiva Universal.
Principais Êxitos Na Avaliação Cognitiva Universal: Adesão das instituições parceiras; Construção de documentos de apoio; Construção de estratégias para incentivar a continuidade de estudos em Educação de Jovens e Adultos; Atualização dos conhecimentos do professor por meio da análise dos eventuais erros dos alunos; Desenvolvimento de atividades pedagógicas específicas para cada turma.
Principais dificuldades Avaliação Cogntiva Amostral: Temporalidade da consolidação e análise dos resultados; Os eventuais atrasos na disponibilização dos resultados; Atuação em resposta: O MEC vem trabalhando junto às instituições responsáveis e aos parceiros para traçar uma estratégia conjunta para fazer frente a este desafio.
Principais dificuldades Avaliação Cognitiva Universal: A construção de estratégias adequadas para coleta dos resultados por intermédio de sistema de informação on line; Processo paulatino de adesão dos parceiros, internalizando o caráter diagnóstico da avaliação.
Considerações sobre a Avaliação de aprendizagem na Educação de Jovens e Adultos A experiência brasileira tem demonstrado a necessidade de um trabalho em duas frentes: a) Rigor na aplicação e análise dos resultados; b) Subsidiar o trabalho pedagógico dentro de sala de aula; Estratégia dupla: a) Estruturação de uma pesquisa externa; b) Envolvimento dos professores em um trabalho que garanta sua autonomia e incentive o respeito e valorização das especificidades e dos saberes dos sujeitos na Educação de Jovens e Adultos.
Considerações sobre a Avaliação de aprendizagem na Educação de Jovens e Adultos Aspectos relevantes: A participação de instituições com especialização em determinadas dimensões da avaliação; A integração da avaliação cognitiva com outras avaliações; O desenvolvimento de uma rede de aprendizagem e produção de conhecimento que potencializa: a) elaboração de instrumentos; b) metodologia, aplicações e interpretação dos resultados.
OBRIGADO Ministério da Educação do Brasil MEC Secretaria de Educação Continuada, Alfabetização e Diversidade Diretoria de Políticas de Educação de Jovens e Adultos Endereço: Esplanada dos Ministérios, Bloco L, Sala 711 CEP 70047-900 Brasília DF. Brasil. Telefone: 55-61-21049530 Fax: 55-61-21049423 http://www.mec.gov.br/secad e-mail: deja@mec.gov.br