A relevância do monitoramento e da avaliação para a Fundação Roberto Marinho SETEMBRO 2013

Tamanho: px

Começar a partir da página:

Download "A relevância do monitoramento e da avaliação para a Fundação Roberto Marinho SETEMBRO 2013"

Mauro das Neves de Barros
6 Há anos
Visualizações:

1 A relevância do monitoramento e da avaliação para a Fundação Roberto Marinho SETEMBRO 2013 Autoras: Guimarães, Vilma Pinto, Mônica Dias Soares, Rosalina Maria

2 AFRM Origem e finalidade: Uma Fundação familiar criada em 1977 visando contribuir para a melhoria da qualidade de vida da população brasileirapor meiode projetos que reunissem comunicação e educação Eixo educacional em diferentes áreas: Educação e implementação Educação Profissional Meio Ambiente Patrimônio Canal Futura Avaliação (M&A) anterior à institucionalização do Núcleo de Pesquisa e Avaliação

3 Nãosãoasrespostasquemovemomundo:sãoasperguntas Há 10 anos atrás: Quais os resultados e impactos dos projetos da FRM? Composição do Núcleo de Pesquisa e Avaliação Para que avaliar? Relevância dos projetos para os stakeholdersdas diferentes áreas Aprimorar os projetos Comunicar e celebrar os resultados junto a diferentes públicos

4 Como fazemos para Refletir sobre as reais possibilidades de alcance de um projeto social Aumentar o envolvimento e a utilidade da avaliação Modelos Lógicos Ferramenta de gestão Pfeiffer, 2000 Kellogg Foundation, 2004

5 Como planejar avaliações relevantes? Envolvendo os interessados na definição das aprendizagens que se deseja ter Quem precisa aprender com a avaliação? O que precisa aprender? Com que propósito? Quando? Perguntas avaliativas Davidson, 2004 Chianca, 2013

6 O dia a dia do Núcleo de Pesquisa e Avaliação Licitar e contratar a partir de briefingelaborado com a área gestora do projeto Aproximar o avaliador com os projeto e as equipes da FRM Disponibilizar e refletir junto com avaliador sobre as Informações do monitoramento Acompanhar e sugerir melhorias do cadastro dos projetos (base de dados) Planejar com o avaliador a coleta de dados: acordos de datas, comunicação, autorizações Validar os instrumentos (questionários, roteiros, etc) Planejar o formato e tamanho do relatório Validar a qualidade do relatório Realizar leitura e encontros para entendimento/reflexão sobre as informações Estimular o uso da avaliação

7 Caso em destaque M&A do projeto Igarité/EJA Educação e Implementação

8 O projeto Igarité/EJA Onde? Amazonas Para quê? Oferecer a jovens e adultos a oportunidade de concluir, com qualidade, a 1ªetapadoEFem2anos(2º,3º,4ºe5ºanos) Parceria: Secretaria de Educação do Estado do Amazonas Desafios: Distâncias das comunidades, escassez de professores especialistas, comunidades indígenas de diversas etnias Estratégias: Centro de Mídias de Educação do Amazonas + Materiais do Telecurso + Metodologia Telessala + ações estruturantes (formação dos professores, acompanhamento, avaliação no processo) Professor especialista no estúdio e interatividade com os professores e alunos das demais salas de aula

9 Oprojeto Igarité/EJA

10 Metodologia Telessala

11 Monitoramento do Igarité/EJA Duplo objetivo: Coletar informações para identificar desafios enfrentados na implementação Apoiar a prática docente (formação em serviço) Periodicidade e nº de visitas: 3x ao ano dois dias em cada sala de aula Diagnóstico de leitura e matemática Implementação da Metodologia Planejamento

12 Avaliação do Igarité/EJA Com qual finalidade? Identificar o desenvolvimento de habilidades e competências dos estudantes Qual metodologia? ENCCEJA: Exame Nacional de Certificação de Competências de Jovens e Adultos Não tínhamos acesso a itens calibrados SAEB: Sistema de Avaliação da Educação Básica Mensurar habilidades e competências de estudantes do ensino regular INAF: Indicador de Alfabetismo funcional Medirograu de alfabetismo funcional da população brasileira adulta através das habilidades e práticas de leitura, escrita e de cálculo aplicadas ao cotidiano

13 Metodologia INAF Teoria de Resposta ao Item (TRI) Metodologia estatística que propõe modelos teóricos para Representar o comportamento dos itens Indicar a habilidade dos jovens e adultos Níveis de Alfabetismo Analfabeto Rudimentar Básico Pleno Indivíduo que não consegue realizar tarefas simples que envolvem a leitura de palavras e frases, ainda que uma parcela deste grupo consiga ler números familiares (números de telefone, preços, etc.) Pessoa cujas habilidades não mais impõem restrições para compreender e interpretar textos em situações usuais

14 Etapas da avaliação Modelo Longitudinal Linha de Base + Intermediária + Somativa Linha de base + somativa: teste cognitivo e questionário contextual Fase intermediária: qualitativa para entender a operacionalização da metodologia

15 Resultados da avaliação Número de participantes Absolutos Matriculados Matriculados % Frequentando % Presentes na aplicação % Preencheram % Distribuição dos estudantes por cor/raça Absoluto % Branco 46 8 Pardo Preto 37 7 Amarelo 6 1 Indígena Não Respondeu 9 2 Total

16 Resultados da avaliação Teste cognitivo Itens de maior acerto: apoio visual, sem necessidade de leitura de texto escrito Muitos itens sem respostas: em especial aqueles de dificuldade mediana e mais complexos Abordagem qualitativa Cultura indígena e avaliação q Mediação tecnológica (possibilidades e desafios) Não foi possível usar a TRI Teoria Clássica: acerto e erro

17 Lições Aprendidas A importância do envolvimento dos stakeholdersna construção do ML e dos modelos de avaliações: são processos de amadurecimento coletivo A relevância do desenho longitudinal da avaliação: uso no processo É preciso jogo de cintura para lidar com os desafios e ainda assim fazer bons usos dos resultados As avaliações podem sim gerar aprendizagens: Para o projeto Para a própria avaliação

18 Obrigada! Contatos:

Documentos relacionados

O CAEd está organizado em cinco unidades:

O CAEd está organizado em cinco unidades: O Centro de Políticas Públicas e Avaliação da Educação (CAEd), da Universidade Federal de Juiz de Fora, é uma instituição que operacionaliza (elabora e desenvolve) programas estaduais e municipais destinados