As seis apresentações em power point estão disponíveis em

Transcrição

1 Conteúdo transcrito do Diálogo do Projeto Avaliação, realizado em 13 de junho de 2013, na sede da Ação Educativa, em São Paulo. A iniciativa é promovida pelo Instituto Fonte, com apoio da Fundação Itaú Social. Coordenadoras: Martina Rillo Otero e Madelene Barboza, diretoras do Instituto Fonte. O tema desse encontro foi A integração entre a avaliação e gestão no mundo real. Seis convidadas apresentaram a experiência vivida em diferentes instituições: 1) Avaliação no Projeto Pérola: sistema de monitoramento e avaliação de projeto que realiza a inclusão social através de cursos profissionalizantes (Tâmara Evelyn Custódio Machado). 2) Avaliação do Programa Infância Ideal, do Instituto Camargo Correa: investigação dos resultados do investimento social privado e sua contribuição para a construção do relacionamento da empresa com a comunidade (Juliana Di Thomazo). 3) Avaliação das ações de formação cultural da Associação EMCANTAR: conjunto de ferramentas avaliativas que enfocam os resultados de projetos com objetivos artísticos e de desenvolvimento humano (Ana Carolina Ferreira Francisco). 4) Avaliação do Projeto A Força da Cor, da ACM-SP: processo participativo que enfocou os resultados de projeto que visa fortalecer as relações etnicorraciais na comunidade do Jabaquara (Nelci Abilel). 5) Rizoma - um instrumento de gestão e avaliação de processos, aplicado no Projeto Formação de Educadores com Arte e Cultura, da Associação Arte Despertar e na Associação Hurra! - Esporte: escola para a vida (Joyce Menasce Rosset). 6) Sistema de Monitoramento e Avaliação do Instituto Compartilhar: uso do sistema de monitoramento e avaliação no Núcleo Forte do Leme, do projeto Esporte em Ação (Ana Elisa Gugisnki Caron). As seis apresentações em power point estão disponíveis em Confira também as fotos do evento em

2 Martina Rillo Otero Este é um espaço de diálogo, dentro do Projeto Avaliação. Acho que vários de vocês já conhecem. Esse projeto teve início em 2008 e desde então há esses espaços de troca de informação e de discussão de temas. Vou fazer uma apresentação muito rápida sobre o Instituto Fonte. Somos uma organização que trabalha para o desenvolvimento de organizações e iniciativas sociais. A gente tem sede em São Paulo, mas atuamos nacionalmente. A gente finaliza diversos tipos de processos que estão relacionados com o desenvolvimento de iniciativas, entre eles avaliação. Fazemos consultorias e também promovemos oficinas e produção de conhecimento. O Projeto Avaliação é uma dessas iniciativas dentro do nosso escopo, do nosso interesse em avaliação. O Projeto tem apoio da Fundação Itaú social e tem por objetivo fortalecer o campo de avaliação. A gente faz isso basicamente através de três eixos de ação: o primeiro é a promoção desses espaços de troca. Percebemos que dentro da área de avaliação faltam espaços abertos, democráticos, para discussão de temas relacionados à avaliação. A gente também produz pesquisas sobre o campo de atuação da avaliação. Se nos diálogos a gente discute temas como indicadores, avaliação participativa, temas específicos da área de avaliação, a gente produz pesquisas sobre o campo de atuação, quem são os avaliadores, como as organizações fazem avaliação, como elas pensam avaliação, para que elas usam avaliação. Já realizamos três pesquisas (acesse

3 A gente fez também dissertações e teses relacionadas à avaliação. Essa é uma marca do Projeto. Então, a gente produz conhecimento e a gente fala muito sobre a prática. Dentro da academia tem outra pegada, né. Acho que tem uma consistência, um foco acadêmico mesmo. A gente tem se preocupado muito em voltar o nosso estudo, a nossa atenção para o estudo da prática. Esse é o terceiro eixo de trabalho. Então, há os diálogos, que são espaços de encontros; as pesquisas; e a gente também tem feito sistematização de casos práticos de avaliação. A gente tem experimentado sistematizar casos, usar estudos de casos para ensinoaprendizagem de avaliação. Participamos também de vários espaços de avaliação. Tem a Rede Brasileira de Monitoramento e Avaliação, não sei se vocês conhecem. Podem procurar na internet. A gente viaja ao exterior para participar de congressos; tem a Associação Americana de Avaliação; além de ser uma ótima oportunidade para para estudar, levamos um pouco do conhecimento que é produzido no Brasil para fora. Acho que do projeto é isso, né? Eu falei meu nome? Martina, sou consultora do Instituto Fonte. Vou apresentar o tema de hoje, porque a gente chegou nesse tema e a Madelene explicará como a gente vai funcionar hoje. Estamos inovando com relação ao formato desses diálogos. O tema é a integração entre avaliação e gestão no mundo real. Como a gente estava dizendo, muitas vezes o que a gente vê são depoimentos, fala ou artigos de profissionais que atuam com avaliação falando sobre avaliação, o potencial da avaliação, o que deve ser feito na avaliação. A pesquisa com ONGs e com avaliadores mostra que ainda é um grande desafio para a avaliação que ela seja de fato um processo útil, que ela não seja um belo relatório guardado na gaveta. Então, trazendo um pouco esse desafio que é da prática, a gente resolveu trazer esse tema, integração entre avaliação e gestão a partir de relatos de gestores, de iniciativas que passaram por avaliações. Então, hoje a gente tem seis casos generosos, pessoas super dispostas de apresentar como foi o processo de ter passado por uma avaliação e trazendo um pouco essa discussão, que desafios foram encontrados na implementação dessa avaliação que levaram ela a ser útil, que facilitaram a gestão ou que não facilitaram a gestão. Hoje o nosso foco não é ficar entendendo tanto o passo a passo de cada um dos processos de avaliação. Vamos aprender a partir de cada caso, essa é a idéia. Essas são algumas perguntas que podem inspirar a gente: - Como as organizações realizam suas avaliações? - Em que medida elas têm sido úteis para a gestão? - Quais os principais desafios para que a avaliação contribua com a gestão? - Como lidar com esses desafios? Ao escutar cada um dos relatos, vamos tentar ir identificando alguns pontos que se relacionam com elas. Acho que o Carlos vai dar as boas vindas da Fundação Itaú Social. Carlos Eduardo Garrido - Obrigado Martina. Eu sou o Carlos, trabalho na Fundação Itaú Social, queria dar as boas vindas a todos em nome da FIS e agradecer bastante a parceria

4 com o Instituto Fonte. Como a Martina falou, é um espaço que a gente tem tido bastante troca, construindo conhecimento, sistematizado muitos materiais que estão disponíveis no nosso site e no site do Instituto Fonte também. Eu tenho uma apresentação Martina que é rapidinho. Aqui é um pouco do objetivo da Fundação, que é formular, implantar e disseminar metodologias voltadas à melhorias de políticas públicas na área educacional e avaliação de projetos sociais, que é onde vou contextualizar um pouco aqui porque a gente é parceiro do Fonte. Aqui são um pouco os nossos eixos que acho que todo mundo já conhece. E vou falar um pouco do programa de avaliação econômica de projetos sociais que temos na Fundação Itaú Social. Ele tem como foco de atuação ampliar a disseminação de conceitos sobre avaliação econômica de projetos sociais, incentivar e contribuir para a prática de avaliação e consolidar os conhecimentos relacionados à avaliação econômica. O público-alvo, o terceiro setor, servidores públicos, universitários. Aqui um pouco das nossas frentes de ações estratégicas. Então, lá na Fundação a gente oferece curso de avaliação econômica de projetos sociais e estou vendo aqui algumas pessoas que fizeram, algumas oficinas que a gente está lançando esse ano que são oficinas de 8h para tratar desse tema, com o objetivo de envolver aqueles que não tem 72h para participar de um curso, mas que querem saber um pouco sobre esse conceito. Seminários que todos aqui são sempre convidados, encontros temáticos com secretarias que envolvem gestores públicos, que tem uma frente de projetos e políticas públicas. Então, a gente leva esse tema até eles também. Uma rede de ex-alunos que a gente está construindo agora, as avaliações propriamente ditas por que a gente faz avaliação dos nossos projetos que a gente realiza na Fundação. Ter projetos próprios e apoiar projetos de parceiros também é uma frente de atuação nossa. E na articulação de parcerias, temos o Fonte como grande parceiro, um grande apoio. Então, essa é a estrutura do programa. A avaliação econômica acho que muitos aqui conhecem, ela tem um escopo específico de atuação, é mais quantitativa, que não tira força das outras metodologias também, do uso que a gente faz delas para poder qualificar um pouco a avaliação econômica que a gente prática lá na Fundação. Eu vou colocar o último slide que acho que pode contribuir quem faz parte de alguma organização. Não sei quantos já ouviram falar do Prêmio Itaú Unicef aqui. Um recado, inscrições até dia 17. Quem quiser participar é só entrar no site É uma ação grande. Não é só o prêmio, tem toda uma ação de formação dessas organizações que atuam com educação integral. Então, quem quiser participar está aí. Obrigado a todos. Madelene Barboza - Bom dia, eu sou Madelene, faço dupla com a Martina na coordenação do Projeto Avaliação. Primeiro a gente está super agradecida por ter seis pessoas que toparam esse desafio. Como a Martina já avisou, a nossa dinâmica hoje é inovadora para o projeto. A gente nunca testou essa forma e achamos que podia ser interessante tentar fazer algo mais dinâmico e também abrir para maior diversidade mesmo, né. A gente poder escutar mais pessoas apresentando. Isso também nos traz desafios, um belo desafio para nossas seis apresentadoras que têm 10 minutos para contar o eu caso, sua experiência. Elas já estão treinando a semana toda. E o desafio para vocês porque vocês vão escutar seis apresentações, sem pausas para fazer perguntas. Tentem manter essas perguntas guias em mente enquanto vocês observam,

5 escutam essas apresentações. Após a apresentação dos seis casos, vamos parar para um café e na hora que a gente voltar do café, a gente vai fazer um pequeno exercício e uma conversa com essa idéia da gente tentar extrair aprendizagem sobre a relação entre avaliação e gestão a partir desses casos. Ou seja, a gente não vai entrar na conversa sobre cada um desses casos, não vamos abrir para perguntas para aprofundar cada uma dessas experiências, elas vão servir como nosso insumo para aprender sobre o tema em geral. Eu vou chamar a nossa primeira convidada, que é a Tâmara Evelyn Custódio Machado, que vai apresentar a avaliação no Projeto Pérola: sistema de monitoramento e avaliação de projeto que realiza a inclusão social através de cursos profissionalizantes. Muito bemvinda. Tâmara Evelyn Custódio Machado - Bom dia. O meu nome é Tâmara Custódio, estou representando aqui o Projeto Pérola, uma organização de Sorocaba que visa à inclusão digital e social de jovens carentes e da comunidade em geral com vulnerabilidade social. A gente trabalha em oito cidades do interior e estamos hoje com 53 unidades. Eu venho trazer para vocês o nosso projeto, nosso coração, a essência do Pérola, que é o ciclo virtuoso. Funciona mais ou menos assim: a gente trabalha com cursos profissionalizantes. Então, uma vez que a pessoa se torna um aluno do projeto, ela passa a ser vista pelo projeto como uma forma de meritocracia. A gente trabalha muito com meritocracia. Uma vez que ela entra como aluno, ela começa a ser observada, começa a ser avaliada para poder passar por uma série de ciclos. Os melhores alunos (destaques) ganham um computador.

6 Além disso, têm a oportunidade de fazer um processo seletivo dentro do projeto. Hoje temos 266 funcionários que são ex-alunos do Pérola. Então, uma vez que a pessoa entra como um funcionário é traçado com ele um plano de carreira, onde ele quer chegar, qual área de atuação e até onde ele pode ir dentro do próprio projeto. Todos os líderes, todos empreendedores internos como a gente chama, são ex-alunos. Eu sou diretora (com mais dois diretores) e também sou ex-aluna. Eu participei há 10 anos. A pessoa vai para o mercado de trabalho com o intuito de poder trabalhar no que ela faz... A Pérola é uma escola, uma escada para o mercado de trabalho e a gente faz a mensuração, faz assim, o que aconteceu na vida dessa pessoa e qual o impacto social que a gente teve na vida dessa pessoa. Assim como o nosso trabalho funciona como um funil, nosso sistema também funciona como um funil, começando com a comunidade que pode ser desde os 7 anos até quanto quiser e puder. Nessa comunidade hoje a gente está com mais de 60 mil usuários. A gente trabalha com cyber social, está com mais de 63 mil usuários. Pelo sistema, temos o controle das pessoas, quem são, de onde vem, quais são as informações. Quando ela passa a ser um aluno do projeto, a gente pega todo esse histórico dela. Então, se no cyber social ela teve uma advertência, vamos trabalhar com ela na cidadania. Aí que vêm as nossas intervenções, a partir do momento que temos o cadastro da pessoa. Esses sistemas foram todos desenvolvidos por ex-funcionários do Pérola que estudaram o sistema de informação e desenvolveram esses sistemas. A ideia é eles serem integrados. Depois do sistema de alunos, a pessoa quando entra como colaborador é puxado também essas informações e ele vai para o sistema de gestão de pessoas, sistema integrado de gestão, sistema de metas e aqui que a gente controla como a pessoa cresce dentro do Pérola, qual é a avaliação que a gente tem dessa pessoa. E um detalhe importante é que um dos critérios no processo seletivo é ter ido bem nos cursos, ter uma nota boa nesse sistema. Um desafio nosso são os que os saem para o mercado de trabalho. Essa é a nossa maior dificuldade de avaliação: a gente não consegue ter o controle de todas as pessoas que saem. A maioria a gente consegue controlar como está hoje. Hoje a gente vai focar nesse processo do colaborador, como a gente faz essa avaliação. Eu coloquei um exemplo que é a avaliação 360 graus, como essa pessoa é promovida... Uma das ideias dela ser promovida é através do desempenho que ela tem. As pessoas colocam no sistema qual nota dá para essa pessoa e essa pessoa já recebe a nota essa pessoa não passou, aí a gente faz a interferência onde ela não passou, porque a Bárbara foi tão mal, onde temos que avaliar a Bárbara, quais são os treinamentos que temos que dar, porque esses funcionários são os nossos primeiros atendidos no projeto, são ex-alunos lapidados, essa que é a ideia. Esse daqui também é um exemplo de perfil de avaliação e a ideia é ver o nível de escolaridade das pessoas, a gente faz avaliação de qual é a área de atuação, por exemplo, o que deu mais aqui é recursos humanos e administração. Então, a gente vai no mercado de trabalho procurar empresas que precisam dessas pessoas para trabalhar. Então, através daqui que vamos procurar no mercado de trabalho, como a gente estuda o mercado para essas pessoas serem engajadas no projeto. Há uns três anos a gente fechou uma turma na faculdade de Sorocaba, 50 bolsas para sistema de informação. A gente

7 descobriu que tecnologia da informação é o que pega bastante entre os jovens. A média de idade lá é 21 anos, pessoal bem jovem, assim como eu. As mudanças que a gente fez na gestão através das nossas avaliações. A gente tem hoje 266 funcionários CTL registrados no sistema e desses 83% são ex-alunos, de 95% é primeiro emprego. A gente começou a fazer o levantamento de quantas pessoas saíram, que é mais ou menos o mesmo tanto, 256 já passaram pelo Pérola. Essa informação foi muito legal porque 60% deles estão empregados na área de atuação que descobriram no Pérola e que se formaram no projeto. As pessoas que foram desligadas, 20% foram desligadas por comportamento. A gente descobriu que as pessoas são contratadas por competência e são desligadas por comportamento. Foi um ganho para gente descobrir isso através da avaliação. Desses 20%, 55% são ex-alunos, o que também trouxe uma indagação por que tanta gente é desligada por comportamento?. No geral 552 já passaram pelo projeto, só que dos alunos que a gente tem que é mais de 29 mil, a gente só consegue empregar 2,5% porque realmente temos um número bastante considerável. Através dessas percepções, que mudanças a gente pode fazer na gestão? O que pode fazer diferente através de pontos positivos e negativos analisados? Precisamos muito investir em capacitação comportamental, no sentido de como tenho que me portar no mercado de trabalho, como tenho que ser, o que devo fazer e não fazer, para não chegar numa outra empresa e ser desligado por qualquer coisa que poderia fazer diferente. Aqui a gente resolveu dar um apoio psicológico porque a gente descobriu que a maioria das pessoas que são desligadas tem muitas dificuldades familiares, dificuldade social, por isso não conseguem se manter no mercado de trabalho. Se eles tiverem um apoio psicológico, se passarem por vários cursos comportamentais, poderão conseguir. Uma das coisas que a gente percebeu é o ingresso no mercado de trabalho passar do aluno para o próprio mercado, não passar pelo Pérola. Hoje o Pérola é um gargalo legal porque, na verdade, é uma escola profissional, mas ele acaba sendo um gargalo de tantas coisas que a gente pode fazer na sociedade. Então, a ideia que a gente pode é fortalecer nossos cursos com os alunos e esses alunos passarem direto para o mercado de trabalho através de um projeto que criamos, que funciona como uma agência social, com toda característica de uma agência de empregos, mas voltado à pessoa da comunidade, à pessoa marginalizada, digamos assim, que poderia conseguir uma vaga tanto quanto qualquer pessoa que tem dinheiro para pagar uma faculdade. Essas foram as maiores constatações e as maiores mudanças que a gente fez através das avaliações. Eu vou estar aqui à disposição e a gente vai conversando. Madelene Barboza- Obrigado pela apresentação e pelo cuidado com relação ao tempo. A gente vai escutar agora a Juliana Di Thomazo, que vai falar sobre Avaliação do Programa Infância Ideal, do Instituto Camargo Correa: investigação dos resultados do investimento social privado e sua contribuição para a construção do relacionamento da empresa com a comunidade.

8 Juliana Di Thomazo - Bom dia. Meu nome é Juliana, sou do Instituto Camargo Correa. Eu estou com um pouco de falta de ar por conta da gestação, mas está tudo bem. O ICC é um instituto criado pelos acionistas do grupo Camargo Correa, que é muito grande, tem desde a construtora que todo mundo conhece e que geralmente constrói as hidroelétricas, mas o grupo também tem empresas como Alpargatas, que faz as Havaianas, tem empresas de cimento, é diversificado e atua no mundo inteiro. As donas do grupo criaram o ICC para orientar as ações de investimento social do grupo. Então, as ações de investimento social não são aquelas que uma empresa tem que fazer quando vai construir uma hidroelétrica e que ela é obrigada a fazer algumas ações de compensação. O ICC faz ações de investimento social privado, está fora das compensações legais. Tem o desafio de atuar no Brasil todo, com a diversidade do Brasil e das empresas. O ICC tem três programas que a gente chama de estruturantes: o Infância Ideal, que é o programa que eu coordeno e que trabalha com direito da infância; Escola Ideal e Futuro Ideal. Escola Ideal trabalha com escolas de ensino fundamental e Futuro Ideal com geração de trabalho e renda. A gente ainda tem um programa transversal de incentivo ao voluntariado. Vamos para a avaliação. A gente ano passado chamou a Fundação Dom Cabral para trabalhar com a gente um estudo de caso do primeiro município onde começamos implantar o programa Infância Ideal. Esse município tem hoje o Programa Infância Ideal e Escola Ideal, mas a gente começou o processo com o Infância Ideal. Então, a gente chamou a Fundação Dom Cabral para ajudar a gente olhar o caminho que a gente estava fazendo, dialogar melhor com as empresas do grupo sobre este caminho. O caminho desse processo foi o seguinte: a Fundação Dom Cabral trouxe para gente

9 alguns conceitos como capital social, valor compartilhado... Então, trouxe algumas perguntas, alguns marcos conceituais que ajudassem a gente a dialogar melhor com as empresas. Um dos conceitos que a gente trabalhou nesse processo foi de licença social. Não é essa licença legal, é a aceitação da comunicação em relação à empresa que está implantada lá. Eu estou falando de uma empresa que é Pedro Leopoldo, onde temos implantado uma fábrica de cimentos. A fábrica foi comprada pela Camargo Correa e aconteceu um processo de demissão muito grande e tinha uma relação super delicada com a comunidade. Uma dificuldade inicial nesse processo com a comunidade, mas isso no decorrer da implantação do programa e pela metodologia que a gente tinha escolhido, a nossa sensação era de que essa relação estava melhorando. Então, quando a gente chama a Fundação Dom Cabral, a gente fala isso é a nossa percepção, a nossa sensação ou isso realmente está melhorando. O ICC está ajudando a empresa no diálogo com a comunidade?. Por isso que esse conceito de licença social para operar dialogou muito com essa nossa aceitação. Tinham algumas perguntas rastreadoras e a Fundação Dom Cabral fez entrevistas com todas as partes interessadas, pelo menos 40 entrevistas desde acionistas, CEO do grupo Camargo Correa que forma o conselho do Instituto Camargo Correa e a todas as partes do município. Então, foram 40 entrevistas e depois a apresentação de um relatório final. Foi um processo de estudo de caso feito pela Fundação Dom Cabral com alguma participação nossa nessa definição de qual era o foco. Foi a Fundação Dom Cabral que fez o relatório. Com base nas perguntas inspiradoras, em que estágio estava a licença social para operar? aí tem desde uma recusa até uma cumplicidade entre empresa e comunidade. Após o investimento social, isso havia mudado. O que esses resultados nos trouxeram? Primeiro o estudo de caso mostrou que realmente a comunidade via de outra forma a empresa Camargo Correa e a fábrica de cimentos do município, isso foi demonstrado através de todas as entrevistas. O que ajudou isso, no nosso diálogo com as demais empresas. Vou falar rapidamente da metodologia. Para gente implantar o programa no município, a gente forma um grupo que chama Comitê de Desenvolvimento Comunitário com representantes dos conselhos tutelares, das organizações sociais e do poder público para juntos definirem dentro da infância onde vai ser investido o recurso e qual vai ser o projeto. A gente constrói junto com o município o projeto. A questão é que esse processo é um processo muito demorado. A construção conjunta desses processos exige tempo e a gente tinha uma pressão das empresas queremos o resultado desses projetos. Esse estudo ajudou a gente a mostrar para as empresas que o resultado não era só o resultado dos projetos que a gente ia apoiar e colocar o recurso direto, esse processo de construção com a comunidade criou uma relação de confiança muito forte, da percepção de que a Camargo Correa estava ouvindo o município, respeitando o tempo do município, os valores do município e o que o município já tinha. Então, isso foi muito forte para gente. Agora a gente está no momento de pensar os programas e ver que isso é um resultado, de mostrar para o conselho e para as outras empresas que isso é um resultado. A estratégia de construir projetos com a comunidade está ajudando a gente nesse diálogo com o conselho. Qual tem sido o nosso desafio? Primeiro que o grupo Camargo Correa é uma empresa formada por 80% homens e engenheiros. O nosso trabalho final é um relatório grande.

10 Qual está sendo nosso desafio: primeiro manter vivo esse relatório. Você manda um relatório desses para um engenheiro gerente de uma planta, ele não vai ler. A gente tem esse conceito, tem esse resultado, mas como a gente traduz isso na linguagem do engenheiro que só vê números e planilhas? Esse tem sido um dos nossos desafios. O outro é que o ICC é muito enxuto e a gente conta com os municípios para desenvolver esse trabalho, conta com um grupo de apoio de funcionários que a gente chama de Comitê de Incentivo ao Voluntariado. Como a gente está usando essa avaliação? Mostrando para as empresas que eles estão diretamente relacionados com a comunidade. Não adianta ser o Instituto na ponta, na relação com a comunidade. O fato de ter o gerente da planta envolvido, o fato de ter o gerente de RH, funcionários do grupo que moram no município nessa relação com a comunidade é o que faz a diferença. A gente pode continuar isso. O Instituto orienta, o Instituto que faz o investimento, participa, mas a planta local, a obra, a empresa, a fábrica precisa assumir essa relação com a comunidade. E assumir relação com a comunidade significa sair do seu lugar e respeitar o tempo da comunidade, que também é um dos nossos desafios. A gente fala isso nas fábricas: construir projeto social não é fábrica de cimento que você coloca de um lado e sai do outro do jeito que você planejou, tem um tempo. Então, a gente está usando muito esse estudo de caso nesse diálogo. Acho que é isso. Mostrou para gente a importância do voluntariado. O grupo de voluntariado é um programa transversal que é importante. Na relação com a comunidade ele se mostrou mais importante do que a gente achava que era porque ele mobilizou muito não só os voluntários da empresa, como os voluntários do município. O município se envolveu nas ações de voluntariado. Só mais um desafio que é: a gente fez esse estudo num lugar onde tem uma fábrica de cimentos, mas a Camargo Correa constrói uma hidroelétrica o tempo é outro, o impacto é outro, a relação com a comunidade é mais delicada. Então, agora estamos trabalhando em cima disso, a nossa forma de trabalhar com a construtora Camargo Correa. É isso. Madelene Barboza - Agora vou convidar a Ana Carolina para falar sobre a avaliação das ações de formação cultural da Associação EMCANTAR: conjunto de ferramentas avaliativas que enfocam os resultados de projetos com objetivos artísticos e de desenvolvimento humano.

11 Ana Carolina Ferreira Francisco - Bom dia. O meu nome é Ana Carolina, sou artista, educadora e gestora de projetos do EMCANTAR. O EMCANTAR é uma ONG de Minas Gerais que completou em dezembro do ano passado 16 anos e que surgiu como um grupo artístico em uma situação que um adulto observava... Na região onde a gente estava o acesso a cultura era muito restrito e ele queria fazer artes, aí convidou crianças para cantar. Nisso ele percebeu um processo de formação e desenvolvimento humano. A gente tem seis anos de história, mais de 15 mil crianças atendidas. Eu vou falar primeiro da EMCANTAR para poder entrar nos projetos sociais de formação que é o que vou comentar aqui. O EMCANTAR atua desde 1996 por meio do grupo artístico dos projetos sociais de formação. Tem por um lado toda produção estética, com espetáculos, CDs, DVD. Há também o trabalho de formação artística com crianças e adolescentes. A nossa missão é promover encantamento por mediações artísticas e educacionais, associando música, literatura e artes cênicas em produções coletivas para o desenvolvimento humano Os nossos projetos sociais de formação têm foco cultural. A matéria é cultura para promover essa formação artística, promover esse acesso social... A gente vive num país que tem uma diversidade cultural imensa, mas por outro lado tem exclusão cultural também muito grande. Na cidade que eu nasci não tem cinema, não tem museu, não tem teatro. Tudo que eu conheço de artes tem a ver com esse trabalho do EMCANTAR. Além da formação artística, esse desenvolvimento humano. A gente foi percebendo que a vivencia artística coletiva desenvolve outras habilidade que nos qualificam com a vida. Eu também entrei participando do projeto e hoje respondo por toda essa ação de formação. A gente faz para alunos de escolas públicas da região periférica de Uberlândia.

12 Todos os nossos projetos têm o produto cultural porque é ele que motiva, que movimenta as crianças nesse processo. Para elas, elas estão fazendo uma produção artística, mas a gente sabe de toda habilidade que ela está desenvolvendo, desde trabalho em equipe, negociar, se organizar, por aí vai. A maior parte dos nossos trabalhos hoje é realizado com o Instituto Alderme, que é um instituto empresarial, não sei se vocês conhecem, é um grupo forte em Minas Gerais, que também criou o instituto para operacionalizar as ações sociais da empresa. Juntos a gente desenvolve o programa de educação integral com o objetivo de promover o desenvolvimento humano. O EMCANTAR faz isso também na arte. É como se fossem escalas no processo de formação. No primeiro momento a gente oferece as oportunidades. Em relação ao desenvolvimento humano, a gente acredita que a pessoa é fruto das escolhas e oportunidades, por isso primeiro temos que dar as oportunidades. A gente mensura isso com índices de ampliação do repertório cultural, que é uma coisa simples, o que a gente levou para a crianças, que só reforça que a gente vive num país que exclui culturalmente. Depois a gente faz os projetos que têm a vivencia artística e o produto cultural. Como a gente mensura os indicadores de desenvolvimento artísticos é o que vou trazer para vocês agora. A nossa principal finalidade com esses projetos é essa questão das habilidades e competência para vida e o trabalho. Nós sistematizamos uma tecnologia educacional; como vivenciar coletivamente a arte desenvolve habilidades e competência para vida e para o mundo do trabalho. Como mensurar isso é o nosso grande desafio: nós estamos nesse processo de descobrir como mensurar mudança de comportamento, como mensurar desenvolvimento de habilidade em 200, 300 crianças é um tremendo desafio. Nós estamos com o primeiro e segundo mais bem consolidados que vou comentar aqui. Como foi o caminho que a gente escolheu? Primeiro a gente avalia pelo projeto porque cada projeto tem uma linguagem artística definida, música, teatro. Todo desenvolvimento artístico eu parto da linguagem e dentro da linguagem construo os indicadores. Cada indicador tem um objetivo, a ferramenta, como ele vai ser mensurado. A gente faz aplicação inicial e final. Então, a criança entra no projeto e a gente aplica o indicador, no final aplica o mesmo indicador. Alguns eventos, prova de leitura, questionário, dinâmicas musicais... Na parte da música é difícil fazer questionário e a gente faz avaliação mais vivencial. No final a gente compara os resultados, analisa e elabora os relatórios. Eu trouxe um exemplo que é o projeto ideias, que a gente faz há 3 anos e ele tem como principal linguagem a literatura, e o foco dele é fazer vivência e reação literárias. O conteúdo é leitura e escrita literária, que tem um produto cultural que é o livro. A gente já está indo para a terceira edição desse livro com as crianças. Um dos indicadores que a gente trabalha é capacidade interpretativa. Observamos qual é a capacidade de interpretação de texto que ele tem, que é inclusive uma carência da escola. É por isso que a escola é parceira nosso nesses trabalhos. Como a gente faz? Aplicamos uma prova. Eu trouxe os resultados de 2012 para gente poder observar. Aplica a prova no início e no final, a gente chegou nesse resultado no final do ano passado: entre 0 e 100 e aumenta de 60 a 100 pontos com o passar do ano. A grande questão é: isso é fruto só do projeto? Não sabemos. Para que serviu fazer toda avaliação, os resultados apontam a forma como os conteúdos estão sendo trabalhados e aprendidos. Já é uma autoavaliação de como esse conteúdo está sendo trabalhado e se a criança está aprendendo. Outra coisa, esses resultados vem

13 reafirmando as crenças que fundamento a nossa atuação, seja ela empresa, seja ela governo... Projeto social é uma coisa bem inatingível, cultural então Hoje a gente consegue fazer informativos que trazem alguns dados desse trabalho. Aí os desafios que são sempre os mesmos. Essas fotos aqui são dos produtos culturais que a gente faz com as crianças, é muito mais mensurável. Quais são os desafios? É diferente de um projeto que tem foco na melhoria do ensino que você pode comparar o dado do seu projeto com o dado de outras escolas, com dados de Idec. Na área cultural é complicado fazer isso, não temos ainda parâmetros de outras instituições e nem dados oficiais para fazer essa comparação. O mapeamento sociocultural da comunidade é outra questão porque se eu trabalho com ampliação de oportunidade, ampliação de repertório cultural, eu preciso conhecer melhor a minha comunidade. Eu estou falando de uma comunidade de quase 40 mil pessoas, de uma região que não teve nem pesquisa do IBGE no ano passado. Foi a parte da cidade que foi excluída da pesquisa. Então, é um outro desafio porque a gente não tem braços suficientes. Indicadores relacionados aos comportamentos, aquela coisa que comentei. Uma coisa é melhorar a interpretação de texto, mas a gente percebe que melhorou a comunicação, que ele está mais doce, que ele sabe resolver um problema, mas não consigo ter indicadores com relação a isso. Nós estamos observando para ver se conseguimos chegar numa resposta. Eu estou muito feliz de estar aqui não porque estou trazendo a experiência, mas porque posso estar aqui para aprender. Lá não tem isso. É duro investir na formação de equipe. A gente tem pelejado para poder ler, pesquisar e se formar, mas ainda é uma questão muito difícil. Ainda é complicado a informação, não tem tempo dedicado para isso. O patrocinador também não tem grandes condições de investir e a gente fica trabalhando bastante para poder aprimorar o processo que estamos fazendo. Obrigada gente. Madelene Barboza - Agora vou convidar a Nelci para falar sobre a Avaliação do Projeto A Força da Cor, da ACM-SP: processo participativo que enfocou os resultados de projeto que visa fortalecer as relações etnicorraciais na comunidade do Jabaquara.

14 Nelci Abilel - Bom dia. Eu sou da ACM, Associação Cristã de Moços, acredito que é uma das instituições mais antiga daqui... Ela é internacional, tem mais de 150 anos e só em São Paulo tem mais de 100 anos. Eu vim compartilhar com vocês uma experiência de avaliação externa que fizemos no ano passado com o apoio do Instituto Fonte. Eu não vou falar do projeto, mais do processo que foi a avaliação externa. Nós somos uma das unidades de desenvolvimento social da ACM. ACM não é só esportes. Só em São Paulo ela tem mais unidade de assistência social do que de unidades esportivas e temos convênio com a prefeitura. Eu coordeno uma das unidades de desenvolvimento social da ACM lá no bairro do Jabaquara. Somos um Centro de Desenvolvimento Comunitário (CDM) Leite das Neves. Esse nome é em homenagem a menina que morreu vítima da radiação ao contato com o Césio 137, naquele acidente em Goiânia. Estamos lá desde 1996 e sempre tivemos uma vocação num trabalho com cultura regional. Em 2007, em função dos problemas que a gente tinha com atitudes discriminatórias raciais entre crianças, adolescentes jovens, na família, na escola, nós começamos uma ação bem pontual para questão de construção de identidade racial. Ela foi se fortalecendo, era um projeto e ela foi tomando a espinha dorsal da unidade, apresentamos esse projeto pra o Prêmio Unicef em 2009 e fomos semi-finalistas. Em 2011 apresentamos novamente e fomos vencedores. Eu comecei a trabalhar com avaliação antes do Instituto Fonte. Conheci o Eduardo Marino que é um consultor e também especialista em avaliação e me apaixonei por avaliação. A gente começou com a Rebeca, depois com o Eduardo, esse bichinho da avaliação mordeu a gente.

15 Através do Marco Zero nós começamos a formular, trabalhar muito internamente nosso processo de avaliação, que era um processo sistemático de questionários que a gente construía em pesquisas de satisfação para avaliar o trabalho com crianças e adolescentes, com todo público que a gente trabalhava, parceiros, famílias, autoavaliação. Então, a metodologia que a gente usa é muito parecida com a metodologia que a Ana apresentou, que é a metodologia denominada Marco Zero. Tem a sua avaliação inicial, o monitoramento trabalhando as fragilidades e potencialidades, depois a avaliação de resultados com os mesmos indicadores que a gente utilizou no começo. Esses instrumentais são construídos pela equipe interna com auxilio também da supervisão da ACM. Quando a gente trabalha na área de assistência o foco é em convivência social. Como a gente tem a espinha dorsal na questão da identidade racial, a gente não tinha perguntas muitas claras na questão para saber as mudanças em relação a identidade racial. Então, foi aí que com o Prêmio Itaú Unicef nós recebemos uma doação e parte dessa doação a gente investiu na contratação de avaliação externa, foi primeira avaliação externa da ACM São Paulo, com o projeto A Força da Cor. O projeto ficou muito grande. Ele era um projeto de uma ação bem pontual, que depois ficou incorporado pela família, depois foi saindo da unidade e foi indo para a escola, foi incorporando parceiros, foi trazendo família, foi trazendo movimento negro, foi trazendo órgãos públicos, foi trazendo muita gente e o projeto ficou muito grande. A proposta era de avaliação participativa e os caminhos que a gente percorreu, a primeira coisa era definir a equipe de profissionais que iam trabalhar com essa avaliação; depois tivemos encontros de formação, construção da linha do tempo, a construção das perguntas orientadoras. A gente sonhava com uma matriz avaliativa, né. É tão difícil fazer. Aí nós conseguimos ter uma matriz avaliativa e o processo de coleta de informações foi bem grande, teve que avaliar toda população envolvida, que foi criança e adolescente, os professores da escola parceira que trabalhavam com as questões étnico-raciais, com as famílias. A ACM há 5 anos trabalha com a população negra do Jabaquara para incentivar a participação na marcha da consciência negra nacional e essa marcha foi gerada e sonhada por nós profissionais no primeiro ano. Nós temos também um grupo de maracatu e somos referência em cultura na região do Jabaquara. Construímos 12 recomendações. Aí amostra dos resultados do projeto para a comunidade envolvida teve a representação de todo esse público aqui. O que a gente foi descobrindo nesse caminho juntos aqui, que hoje por ter um público muito grande nesse projeto, com a avaliação a gente tem mais clareza hoje da amplitude do nosso projeto. A avaliação participativa para mim em especial mostrou um aumento do sentimento de pertencimento da equipe. Eu acredito que você não consegue dar cabo de nenhum projeto se você não tiver uma equipe comprometida. Nesse projeto a gente tinha alguns profissionais-referência e outros que tinham algumas ações menores; nesse processo eu pude enxergar que aquelas pessoas que tinham uma ação menor estavam tão envolvidas quanto aquelas que eram referência. E foi uma surpresa nesse processo da construção da linha do tempo o quanto as pessoas precisam também de oportunidade para se colocar. Na hora de você fazer o instrumental, a gente aprendeu muito, na hora de você escolher o público, de você montar o seu questionário, de você aplicar, o jeito que você bota a foto, o detalhe da foto, faz toda diferença no resultado. Foi montado

16 um jogo para se aplicar com crianças e a posição de uma boia definia o resultado. Então, tivemos muito cuidado na hora de fazer o instrumental. A gente precisa de muitos olhares para sabermos quanto estamos sendo assertivos. Ela nos impulsiona sobre esse querer que não é mais nosso, também é do outro, quando você envolve uma gama muito grande de pessoas. Quais são os nossos próximos passos? Trouxe aqui três desafios que a gente considera bem especiais e a gente está focando em cima deles. Quem trabalha com educação, quem trabalha com cultura, quem trabalha com a assistência social, sabe das dificuldades dessa nova família que se apresenta para gente e a dificuldade de participação dessas famílias. Foi um grande desafio nos resultados da avaliação essa família. Então, estamos nessa luta de reviver e melhorar as estratégias de participação para que essa família se reconheça no projeto. Como nós temos a marcha e várias pessoas nessa marcha, é praticar esse desapego porque anteriormente era nosso e agora é do outro, né. E criar o hábito de parar para registrar. A gente tem muita memória afetiva e pára muito pouco para registrar. Nós temos aqui o rei e a rainha do maracatu, ali é um cartaz de uma marcha da consciência negra. Eu escrevi um pequeno texto, não vai demorar mais de 50 segundos, usando uma licença poética do Eduardo Marino. Eu fiz uma pergunta e ele respondeu que eu tinha que destampar as panelas, né. Então, eu escrevi um texto assim, chamado: Destampando as panelas Sempre gostei de cozinhar e compartilhar o alimento com amigos Escolhi com muito carinho a minha melhor receita Quando inesperadamente estes mesmos amigos decidiram por ajudar a fazer o prato Bem, aceitei com um pouco de relutância, afinal era a minha receita. Entre um toque aqui, uma mexida ali, uma mudança acolá, bota tempero, muda cheiro Pronto, o prato já não era mais o mesmo Entre um mix de frustração, resistência, surpresa e celebração Não é que o prato virou outra coisa bem diferente, mas ainda conservava a sua essência. Já não era mais meu, era nosso e agora todos tínhamos o compromisso de cuidar e compartilhar o novo alimento com outros amigos. Obrigada! Madelene Barboza - Vou chamar agora a Joyce, vai falar um pouco sobre Rizoma - um instrumento de gestão e avaliação de processos, aplicado no Projeto Formação de Educadores com Arte e Cultura, da Associação Arte Despertar e na Associação Hurra! - Esporte: escola para a vida.

17 Joyce Menasce Rosset - Hoje vou apresentar um rizoma que é um conceito aplicado na gestão e na avaliação de projetos. Como o rizoma surgiu para gente: surgiu um projeto de formação de educadores com arte e cultura, desenvolvido pela Associação Arte Despertar. A gente tinha um desafio porque a Arte Despertar tem como filosofia trabalhar com a co-construção. Então, a questão dos conteúdos sempre teve uma interação com o público no qual iria se trabalhar. Aí as perguntas que vem é como você vai desenvolver um conteúdo e a gente já tinha como experiência que esse público tinha uma carência, uma fragilidade formativa. Os educadores de creche onde a gente foi trabalhar geralmente apresentam uma deficiência, uma carência de formação. Como a gente vai construir esses conteúdos sobre uma base que já tem uma série de fragilidades? Esse era um dos desafios. Por onde começar? Aí plagiando a Nelci: quais perguntam nós vamos nos fazer?. Dentro do universo todo dos conteúdos da educação infantil, quais os conteúdos que a gente vai precisar fundamentar para poder desenvolver aqueles conteúdos que a gente está levando e construir com elas? Com esse público o que vai ficar como significativo para eles? Aí vem a grande pergunta que é como enxergar respostas num universo enorme de informações coletadas e que, a medida do caminho, com o tempo e com o espaço, vão se alterando? Chegou nessa estrada o conceito filosófico do Rizoma, que foi criado por Deleuze e Guattari, que são dois filósofos franceses contemporâneos que tiveram um trabalho bem grande da década de 70 até a década de 90. Eles se contrapuseram aquela noção que vem desde Descartes, que a construção de conhecimento tem uma figura de uma árvore, onde tudo nasce por uma raiz, conflui para um tronco e se ramifica. O que acontece com tudo isso, essas ramificações nunca se interconectam, a não ser que elas passem

18 novamente por um centro, por um núcleo. Eles pensaram que o conhecimento humano está mais centrado dentro de uma conformação de rede, que até faz alusão à nossa própria anatomia cerebral. Eles trouxeram uma outra metáfora que não a da árvore, que é a do rizoma, que são as raízes da grama. As raízes da grama conectam todos os tufos com todos eles, nenhum é mais importante que o outro. A gente não tem hierarquia. A própria rede confere uma força ao sistema, porque se você arrancar um tufo de grama a rede vai suprir a falta que aquele tufo teria fisiologicamente e outros tufos podem surgir se o terreno assim permitir. A gente tem a multiplicidade. Isso é um modelo orgânico e dinâmico para gente enxergar o processo de formação e o processo de gestão do projeto. Eles foram muito brilhantes porque eles chegaram ao ponto de concretizar uma forma de enxergar um caminhar. Eles têm uma série de princípios e regras que te dão até como construir, como levar isso tudo para uma figura concreta, que é um mapa. A gente começa esse mapa fazendo uma grande leitura de território, onde vamos levantar tudo de forma bem democrática, bem aberta. Aí também falando sobre o que a Tamara falou do Pérola, singularidades, demandas, essas particularidades tem que estar com canais abertos para elas chegarem porque senão não vamos ter um terreno verdadeiro. Pensando nesse levantamento de território mais os grandes objetivos do projeto, vamos ter pinçar de pensar nos grandes eixos e sub-eixos do trabalho. Aí vamos ver como isso funciona. Então, a gente tem o primeiro mapa que foi desenvolvido no projeto da Arte Despertar, projeto da formação dos educadores, que é o Marco Zero. Esse projeto começou em fevereiro de 2011 e em julho de 2011 conseguimos chegar nos eixos de trabalho. Vamos pegar um exemplo: a gente tem o objetivo das propostas, como essa educadora estrutura, planeja, organiza a sua proposta, se ela é uma professora medidora ou se é uma pessoa mais impositiva que leva um conteúdo fechado. Para trabalhar o objetivo das propostas eu tenho uma série de sub-eixos que eu percebi, que vão me dar indícios de ações para eu poder desenvolver esse eixo principal, um deles é trabalhar com elas foco do processo, estrutura de aula. Seis meses depois a gente percebeu que, apesar de a gente estar trabalhando aquele núcleo de ações todos em cima do objetivo das propostas, os resultados não estavam muito bons, não estavam como a gente queria. O que a gente fez: tínhamos durante todo processo uma abertura para perceber todas as questões que estavam chegando nesse trabalho e uma questão que estava aflorando demais, que estava fazendo muito parte das nossas reuniões de reflexão com todo público que era a questão da rotina nas creches. A rotina para elas era vista como um eterno esperar, esperar pelo lanche, esperar pelo almoço, esperar pela hora do sono e esperar pela hora de ir embora. A rotina não era vista como um processo de organização da aprendizagem em si. Temos que trabalhar a rotina com elas porque está premente, aí fizemos um novo eixo. Quando chegou em 2012, a gente percebeu que a questão da rotina era tão importante e quando a gente trabalhava ações em cima da rotina, a gente tinha reflexo em todos os outros eixos de trabalho. Então, a rotina passou de sub-eixo para eixo e por meio das ações trabalhadas para significar a rotina a gente obteve resultado em todo conjunto do trabalho. Aí a gente fez uma avaliação no final do processo, onde a gente pode perceber qualitativamente... O reflexo disso tudo está na Hurra, Associação esporte pela vida, que é uma ONG que trabalha com formação de professores de educação física nos CEUs e a ferramenta de

19 trabalho deles é um esporte muito rico e cheio de princípio que é o rugbi. Até se vocês acharem um pouco estranho, é legal depois pesquisar porque é muito interessante. Lá o rizoma está sendo usado até num passo antes, estamos construindo toda metodologia. A ONG é uma associação nova e nós estamos reunindo todas as experiências, refletindo sobre essas experiências, essa primeira metodologia, esse primeiro período da Hurra e estamos construindo com a equipe essa identificação, reflexão e avaliação de tudo que eles estão fazendo. Eu achei muito legal a fala da Nelci sobre gerar comprometimento com a equipe. Acho que tem tudo a ver mesmo. Quando a gente se envolve num processo desse o comprometimento realmente acontece. Esse é o grande rizoma da Hurra (mostra o slide). Esse rizoma não é necessariamente o rizoma do processo do dia a dia, talvez se a gente recortar um pedacinho é aquele que vai guiar a equipe de ponta. Aqui a gente está com toda metodologia da Hurra. Esse rizoma já está um pouco mais avançado no sentido de ter cores para identificar as famílias, apesar que as conexões, cada vez que a gente achar possível, elas podem ocorrer, né. A ideia é que esse rizoma vá orientar toda sistematização e vai fazer parte de um índice mesmo da metodologia para que todo mundo tenha facilidade de consultar, se informar e se formar em cima dessa metodologia. A gente não pode esquecer que é um registro flexível e que pode agregar projetos futuros, e que pode reavaliar projetos passados sempre. Madelene Barboza - Obrigada Joyce, é muito interessante. É uma metodologia que estrutura o pensar o projeto e em particular a avaliação. Eu vou chamar agora a Ana Elisa, que vai apresentar o Sistema de Monitoramento e Avaliação do Instituto Compartilhar: uso do sistema de monitoramento e avaliação no Núcleo Forte do Leme, do projeto Esporte em Ação.

20 Ana Elisa Gugisnki Caron Bom dia. Eu vou falar do sistema de monitoramento e avaliação do Instituto Compartilhar que começou a ser desenvolvido no núcleo Forte do Leme. O Instituto Compartilhar é uma ONG que trabalha com projetos socioesportivos e tem como missão o desenvolvimento humano através do esporte. O diretor presidente da ONG é o Bernardinho, técnico da seleção de vôlei. O diferencial do nosso trabalho é, além de trabalhar com uma metodologia apropriada que acompanhe o crescimento das crianças e adolescentes que trabalhamos, que a gente ensina mais do que o esporte. A gente se preocupa em ensinar o esporte com valores, um trabalho bem específico em cima do ensino e formação de valores das crianças. Trabalhamos com crianças de 8 a 14 anos e atendemos aproximadamente crianças e adolescentes em 5 estados brasileiros. O Esporte em Ação é um dos projetos do Instituto Compartilhar, um dos projetos socioesportivos que a gente trabalha sempre vôlei com mais uma modalidade. No caso do Forte do Leme, que é onde o sistema de avaliação começou a ser desenvolvido, a gente trabalha com vôlei, capoeira e vôlei de praia. Pelos anos de trabalho do projeto socioesportivo e até mesmo o que a gente escuta muito, é que o esporte é uma importante ferramenta de educação. Até pelo nosso atual momento de Copa e Olimpíadas, a gente escuta muito isso. A gente tinha uma preocupação de confirmar, realmente, qual o impacto da prática esportiva no comportamento dos alunos? Essa foi a nossa hipótese e nossa pergunta inicial. A gente se questionava porque isso é muito falado empiricamente. Quem é da área esportiva sabe que isso realmente acontece, mas a gente queria comprovar. A gente encontrou alguns desafios. Na questão de como você medir uma mudança de comportamento, é difícil porque você não tem uma escala que fale ele mudou 50% do comportamento dele. Então, a gente passou por esse problema também de encontrar indicadores para isso. Como foi o caminho da nossa avaliação: a Comunitas foi chamada para nos auxiliar nesse processo de desenvolver esse sistema de monitoramento e avaliação. Inicialmente a gente teve a construção da linha de base do núcleo, na qual a coloca todos os objetivos, o que a gente quer, quais as metas, quais os indicadores, define o que a gente quer para o núcleo e quais são os nossos objetivos. Depois disso, a gente teve os monitoramentos quantitativos e qualitativos. Os monitoramentos quantitativos a gente acompanha índices de taxas de ocupação, taxa de frequência, taxa de evasão, cumprimento da carga horária, quantas aulas planejadas para quantas aulas dadas e a gente também tem os monitoramentos qualitativos que são entrevistas com todos atores participantes dos projetos. Os alunos são ouvidos, os professores são ouvidos, os parceiros são ouvidos, os professores da escola onde o projeto atua também são escutados. A gente tem a avaliação de resultado que foi feito após três anos... O projeto Forte do Leme iniciou em 2007 e a gente foi de 2007 a 2012, completamos o ciclo de cinco anos e fez uma avaliação de impacto no final do ano passado. Estamos falando especificamente no caso do Forte do Leme, mas esse processo de monitoramento e avaliação foi estendido para todos os projetos do Instituto Compartilhar conforme ele foi sendo formatado e colocado em prática. Quais os impactos que teve na gestão não só desse projeto, mas de todo o instituto? A escolha dos objetivos para os projetos não era muito completa. A gente não refletia sobre isso. Quando a gente passou a estruturar essa linha de base, a gente viu que os

21 objetivos que a gente colocava, nós tínhamos que ter meios para cumprir esses objetivos. As metas que a gente estabelecia, nós tínhamos que ter indicadores, instrumentos para poder medir isso e, muitas vezes, só estava no papel. Quando a gente foi fazer a relação de cada item, de como a gente vai alcançar, de como vai medir, a gente viu que ou estava faltando instrumentos, ou estava sobrando objetivos. Estava só no papel, na prática não se aplicava. Isso foi uma coisa bastante importante na gestão. Acompanhamento rígido de indicadores quantitativos. Como a gente está espalhado em vários lugares, as informações não eram padronizadas, cada núcleo ou cada projeto fazia um tipo de acompanhamento das evasões, o que era considerado evasão e o que não era, acompanhamento de frequência, tinha falta justificada ou não. A gente não tinha um acompanhamento rígido, essas informações vinham de maneiras diferentes e aí a gente não conseguia consolidar e muitos menos comparar. Como a gente ia comparar coisas diferentes? Esse acompanhamento rígido, estabelecimento de padrões, de como vai ser feito, foi muito importante para o instituto como um todo. A gente passou a comparar desempenhos e poder estabelecer as metas de uma forma que ficasse mais real, que os dados fossem realmente significativos e não tivesse distorções entre o que a gente recebia. Fluxo completo de informações com ações encadeada. A partir dos monitoramentos a gente começou a escutar os atores envolvidos e, às vezes, o que a gente escutava não era o que a gente tinha proposto. No primeiro momento você tem uma barreira... Os monitoramentos são feitos por uma pessoa externa, não é ninguém da nossa equipe para justamente não contaminar não foi isso que eu quis dizer, não foi isso que eles entenderam, eu falei diferente. Isso é um dos pontos. Depois a gente conseguiu completar o ciclo... No primeiro momento a gente só recebia o relatório identificando os problemas, identificando as oportunidades, as coisas boas e a gente não devolvia para quem realmente estava na ponta, os professores, alunos e pais de alunos, ficava meio truncado. Então, a gente estabeleceu uma devolutiva. Vinham os relatórios com as informações, os coordenadores lêem e estabelecem prazos e responsáveis para resolver os problemas, aí a gente consegue fechar o ciclo das necessidades devolvendo uma ação para resolver isso. Isso também com os relatórios mensais de professores, fazemos também uma devolutiva e todos coordenadores lêem os relatórios e devolvem, para que isso fique um processo significativo. Quando você faz alguma coisa que ninguém lê e ninguém te dá um retorno fica só burocrático. Então, é trabalhoso fazer devolutiva dos relatórios, mas é importante para quem está fazendo, os professores que estão na ponta. É importante a sistematização da metodologia para melhorar a aplicação dos núcleos, para gente garantir um processo das aulas que a gente tem. Então, com caderno de planejamento, aulas programadas, relatórios, para que os professores que estão distantes da gente saibam exatamente o que precisam fazer. A gente não está acompanhando o dia a dia porque a gente está em vários lugares. Então, esse material de apostila, de caderno, de capacitação a distância, nós tivemos que aprimorar muito isso e facilitou tanto para gente porque a gente sabe que uma aula está sendo dada dentro minimamente dos padrões de qualidade que a gente espera e para os professores também porque ele tem material de subsídio, de apoio para poder trabalhar da forma que é esperado dele. Acho que esses foram os principais impactos que a gente teve na gestão.

22 A gente teve alguns desafios que as meninas comentaram. A gente acaba vendo pontos em comum entre todas as organizações, de você poder ter algum instrumento... A gente trabalhou muito em cima de percepções. A Ana falou que não tinha indicadores para medir mudança de comportamento, isso é verdade. A gente trabalhou em cima de percepções, quais foram as percepções dos alunos, as percepções dos pais, as percepções dos professores para essa mudança de comportamento. Então, um dos desafios é que a gente consiga também sistematizar isso num questionário, em alguma forma para poder medir sem precisar ter uma pessoa porque acaba custando bastante dinheiro para fazer essa avaliação. Então, é um questionário que os próprios alunos possam resolver e a gente possa ter essas informações também. O que a gente achou no resultado da avaliação de impacto que foi feito no final do ano passado. Os alunos que participam do programa, do projeto, eles são mais satisfeitos e felizes por estarem participando com a gente. Quanto maior tempo eles ficam com a gente, mais eles aprendem valores. Outro desafio é que a gente consiga a partir desses dados fazer com que os alunos permaneçam mais tempo, eles não saiam no primeiro ano, que fiquem 2, 3, 4 anos. Isso é um dos desafios também. Algumas percepções de perda de timidez, de ter uma aceitação melhor de si mesmo, de poder aprender sabendo que pode errar. Quando a gente fala de esportes, a gente pensa muito em técnica, fazer o gesto correto. O aluno pode aprender sabendo que tem a possibilidade de errar. E a questão de socialização e relacionamento dentro do projeto. Esses foram os nossos principais achados. Mais alguns desafios que temos pela frente também, a questão de acompanhamento dos ex-alunos, o que isso impactou... Nessa avaliação de impacto que a gente fez, nós conversamos com alguns alunos que já saíram do projeto e que estão com 15, 16 anos, mais velhos. A percepção que eles têm do que eles aprenderam dentro do projeto muda com a maturidade. Quanto mais velhos, eles dão, as vezes, mais valor porque eles viram... Esse acompanhamento também é importante e a gente precisa desenvolver também uma forma de chegar aos ex-alunos. A gente acaba achando muitas coisas em comum para todo mundo. Plenária de perguntas após o intervalo e exercício em grupo

23 Erika Cristina Vieira da Silva - Bom dia. Meu nome é Érica, do Centro Social Nossa Senhora do Bom Parto. O nosso grupo de discussão percebeu no geral uma resignificação porque às vezes a gente acaba caindo naquela mania que é sempre assim que eu faço, sempre foi assim, enfim, eu acho que resignificar a maneira do trabalho, a essência do trabalho, a avaliação trouxe muito isso, as experiências de avaliações. Outra coisa bem significativa foram assim as diferentes metodologias que a gente percebeu, como isso tem que fazer sentido para a organização porque às vezes de um jeito para uma organização é bom, mas desse mesmo jeito para outra às vezes não dá certo. Então esse processo tem que ter um significado, senão não adianta muito para a organização ter algo... Fazer só para quê? Só para gerar o relatório e colocar na gaveta se isso não traz nenhum benefício para a organização? Então acho que foram alguns desses pontos que a gente levantou principalmente e acho que vários outros pontos que foram levantados quando a gente falava de uma conversa puxando outra que a gente via assim. Hoje o cenário das organizações é um tema imprescindível, mas que de muito difícil implantação seja por conta de nós não termos essa cultura de parar para pensar, refletir, porque o nosso histórico é de ativismo mesmo, ou seja, por conta da dificuldade de um investimento para isso. Então a Nelci (ACM) colocou muito bem que conseguiu fazer porque teve o recurso de um prêmio. Então como é isso nas organizações? Porque hoje o investimento social ele é para atividade fim, não é para atividade meio. Então as organizações que se virem com as atividades meio. E aí como fazer isso se a gente nem tem fins lucrativos? Então a gente foi levantando essas coisas e outras foram surgindo e a gente teve que parar. Leila Andrade Oi, meu nome é Leila. Eu trabalho aqui na Ação Educativa, trabalho em um dos projetos chamado Nossa Escola Pesquisa Opinião. A gente discutiu um pouco e a gente conseguiu identificar que em todos os projetos a avaliação serviu para reflexão sobre as ações da gestão. Acho que muito mais do que olhar os resultados dessas ações, mas olhar para sua própria prática e dizer "é isso que estamos fazendo, estamos no caminho certo". Então conhecer a comunidade com a qual a gente trabalha e olhar nossas ações porque o dia a dia está sempre impregnado de muita coisa difícil no sentido de que fazemos a coisa certa, estamos no caminho certo e esse olhar externo faz muito bem porque nos coloca em outro lugar para olhar essas avaliações, esses trabalhos. Eu vou tentar responder às questões. Os desafios que foram enfrentados é o desafio que a gente enfrenta principalmente na área de educação que é a área que eu trabalho, avaliar aprendizagens... Eu percebi, não sei se é falha minha, mas a gente percebeu como essas pessoas, esses sujeitos que são nossos parceiros como eles... O que eles aprendem? Esse eu acho que é um grande desafio para todos nós porque inclusive aquelas que trabalham com comportamento, com mudanças comportamentais, o pessoal que trabalha com esporte, com cultura, avaliar isso a curto prazo, mostrar resultados às vezes para financiadores. Isso é complicado porque a gente sabe como a representante que falou da Camargo Correa não é produzir cimento. A gente está falando de gente, estamos falando de pessoas, estamos falando de uma heterogeneidade muito grande. Então eu acho que ainda têm desafios, esses desafios de avaliar as aprendizagens, avaliar os comportamentos, as transformações que nós produzimos, inclusive o que ele mencionou de uma forma muito

24 correta é como dizer que aquelas crianças estarão melhores ou piores se nós não estivéssemos ali. Então esse eu acho que é um grande desafio que permanece. Obrigado. Madelene Barboza - Olha que interessante isso que vocês falaram. Se eu entendi certo vocês viram que mesmo se a avaliação é do projeto ou do resultado isso também pode trazer informações importantes sobre o público-alvo e também sobre a gestão da própria organização. Então o processo de avaliação não é um processo restrito, ele parece que envolve muito mais da organização do que só o projeto. Arnaldo Motta - Eu sou o Arnaldo. Sou do Instituto Fonte. Eu tive o privilégio de estar nesse grupo com as meninas e uma imagem que veio à nossa conversa foi a imagem do espelho, foi uma imagem muito rica, quer dizer, a avaliação com o espelho. De repente se porta de formas diferentes diante de um espelho. A gente tem aqueles momentos que a gente passa por um espelho, olha aquilo que nos interessa e existem aqueles momentos onde a gente pára em frente ao espelho e olha de verdade. São duas formas de olhar para a gente, muito diferente, e me parece que a avaliação é bem nesse sentido de botar a gente diante do espelho e colocar a gente para olhar mesmo para aquelas questões que normalmente a gente repara, mas não identifica ou passa batido, ou não dá valor, enfim... E nesse sentido duas coisas são importantes, uma é o nosso momento para poder receber essas informações que o espelho nos mostra. A avaliação não é nem para qualquer um nem em qualquer momento. Então tem que ter uma certa prontidão seja do projeto, seja da equipe para se abrir para essas informações, que muitas vezes são diferentes daquilo que a gente conseguiu escutar. E uma coisa que também ajuda bastante é ter alguém de fora, que nos ajuda a olhar pra gente mesmo de uma forma mais independente. Enfim, têm outras coisas mais, mas acho que essas são de grande importância à nossa conversa. João Meirelles - Bom dia. Eu sou o João, do Instituto Peabiru, de Belém do Pará e nós estivemos com um grupo aqui a Joyce, a Maria Helena e em relação à primeira questão foi interessante considerar no caso do Jabaquara que os beneficiários se apropriaram dessa avaliação, em outros foi mais a gestão que se apropriou e outros mais os financiadores ou alguém que exigiu avaliação, provavelmente algum conselheiro, enfim, são as diferentes situações. E também foi interessante falar que trouxe um clima positivo no caso lá do Jabaquara, um envolvimento maior no caso dos funcionários também. Na questão de desafios enfrentados eu acho que uma coisa que a Julia bateu bastante em relação... Quando a metodologia não é discutida e isso ficou aparente, por exemplo, na questão do Instituto Camargo Correa, então é mais um serviço, uma coisa externa. Depois você pode até rebater, mas ficou mais uma prestação e temos um relatório que pode ser internalizado ou não, mas tem uma trajetória distinta de quando é discutido o processo. Eu tenho certeza que as ONGs vão discutir, os avaliadores vão ficar cansados quando as ONGs forem discutir. Às vezes é questão também que o tempo não permite essa discussão. Sobre a última questão como as organizações lideram com esses desafios ficou bem clara a questão de comunicação como é importante a relação com a comunicação. Enfim, o debate foi bem mais rico, mas foram essas algumas das questões que surgiram. A última coisa é que no caso aqui do Arte e Despertar foi uma

25 metodologia interna, nos demais houve um avaliador externo que tinha uma metodologia definida, nesse caso eu até comentei que eu tive dificuldade em entender, mas pode ter sido uma falha minha também. Madelene Barboza - Essa questão da apropriação que vocês trazem parece que tem vários aspectos. Parece que vocês estão falando que é importante ter a apropriação do processo de avaliação por parte da equipe, do público-alvo, esse envolvimento, engajamento para que essa avaliação mais para frente seja útil, mas parece também que vocês estão falando que isso, a apropriação também é um resultado de um processo de avaliação, ou seja, ao final de uma avaliação a equipe se sente mais apropriada do projeto, o público-alvo se apropria, se sente mais parte desse projeto. Martina Otero - Posso só complementar? Eu acho que é no sentido de quando a avaliação é construída junto com a equipe e durante o processo, ela já vai dando o retorno durante o processo, a gente não precisa acabar o processo todo para repensar no próximo, essa que é a diferença. E parece também quando vocês falam de apropriação tem algo de se apropriar dos resultados, ou seja, aceitar os resultados, implementar as mudanças e algo que também eu reconheci que é uma apropriação de um processo de avaliação e que somos capazes mesmo de assumir um processo de avaliação, de falar dos indicadores, enfim, apropriação parece ser uma palavra importante. Luiz Fernando de Araújo Nascimento - Eu também sou do Instituto Compartilhar e um dos desafios maiores seria você avaliar resultados intangíveis, no caso do esporte a gente inverte o processo que não é ver como eles jogam vôlei bem e sim como ele incorpora bem no processo porque a gente está incluindo e não excluindo. O esporte é muito maldoso nisso porque você observa muito rapidamente quem tem habilidade e quem não tem e os patrocinadores continuam insistindo com uma visão de números são melhores. Apesar de eles quererem resultados de comportamento, eles cobram dados quantitativos e eles são contraditórios porque são de médio e longo prazo. Então esse tem sido o maior desafio do instituto descaracterizar porque a primeira pergunta do jornalista é: Quantos chegaram à seleção? Essa tem que ser a última pergunta a ser feita num projeto social. Mas é a primeira a ser feita pelos jornalistas. Então esse tem sido um desafio de desconstruir um conceito que está na sociedade que o resultado do esporte é o resultado do placar. No nosso caso, os achados são consensuais por efetividade e não por prazo e aí explicar para um patrocinador ou para um financiador que a gente vai demorar sete anos para achar que aquilo ali foi um pedacinho a nossa influência é o maior desafio. E eu acho que a maioria trabalha com ações intangíveis de resultados. Então esse é um desafio muito grande nosso que a gente tem que interagir mais como técnico de seleção que exige resultado de quadra. Eu sempre brinco que a melhor resposta para um jornalista que pergunta quando os alunos vão chegar à seleção é: Não sei quando chegarão à seleção, mas 70% chegaram na universidade. Então esse é um desafio muito grande da gestão porque arrumar parceiros para financiar a pesquisa e acompanhamento de monitoramento é muito difícil. Madelene - Eu escutei que a metodologia deve estar alinhada à cultura da organização,

26 que não adianta você fazer uma avaliação que não tenha a ver com a cultura da organização porque, enfim, a tendência é virar mais um relatório na gaveta e tudo mais. Também com questão à avaliação como espelho depende do momento da instituição e do projeto, da equipe como vai passar essa avaliaçãozinha ou se ela vai olhar e deixa eu ver realmente como é que eu estou. Então depende muito e tem a ver com o que você estava dizendo que a avaliação está muito conectada com outros processos e é preciso conhecer esses outros processos que estão acontecendo na organização para fazer uma avaliação que esteja bem assentada. E aí pensando especificamente nessa questão também do financiador e acho que no caso do ICC foi muito interessante conter uma avaliação que, enfim, foi mais uma prestação de serviços, mas ela ajudou a fazer uma mediação entre o investimento social e a própria empresa. A gente tem um estudo agora que fala um pouco porque a nossa metodologia faz sentido. Então não é uma coisa palpável de um jeito que talvez o financiador não visse, o financiador, no caso, a própria empresa não conseguisse enxergar se não existisse essa avaliação. A avaliação pode simplesmente legitimar ou ela pode educar também, ela pode fazer o papel de trazer questões na mesa de negociação ou você responde aquilo que o financiador quer ou você traz alguns indicadores um pouquinho diferentes e vai tecendo essa conversa e acho que a avaliação ela pode ser uma ferramenta interessante de mediação dessa conversa mesmo. Vitor Takeshi Sugita - Eu sou o Vitor, da ponteaponte, que faz a seleção dos empreendedores sociais em São Paulo e já vem um tempo se dedicando a pensar essa questão da avaliação, que é muito importante nas organizações e eu queria compartilhar outras ideias com vocês e que a gente está pensando talvez em desenvolver. Uma delas é a seguinte: A gente conversou muito sobre a questão do processo e do resultado nessa dicotomia, olhar para o processo e olhar para o resultado. E também a questão da permeabilidade da organização, se você está mais orientado para o processo e está mais aberto a receber feedback, opinião, colaboração dos outros você está num processo que permite mais uma ação em rede mais colaborativa. Se você está muito apegado assim nessa questão e precisa se desprender, se desapegar daquilo que era individual, muito centrado que de repente vai se abrindo para uma roda talvez nesse sentido duas coisas são possíveis, uma talvez é desenvolver uma tecnologia social que seja focada não só na avaliação, mas que começa integrar outras funções na organização, ou seja, aí ela se justifica não só como uma ação de avaliação, mas ela acaba atuando na gestão, no desenvolvimento da organização e se torna uma ferramenta não só de avaliação, mas uma ferramenta de desenvolvimento da organização, uma tecnologia social. Como a gente pode pensar isso avaliação como uma tecnologia social? Porque aí você consegue atingir outras fontes, você vai conseguir levantar fundos para conseguir desenvolver essa tecnologia. E outra coisa que eu fiquei pensando aqui tanta organização pensando num nível tão profundo que é avaliação porque vocês não trabalham numa rede corporativa? Se vocês não têm recursos para fazer essa avaliação, ainda uma avaliação externa mais profissional digamos do jeito que vocês idealizaram, porque não começar com uma rede corporativa de avaliação? Muitos de vocês trabalham na área de educação e tem muito a contribuir um com o outro e aí a questão da permeabilidade, sei lá, tem aquela escola construtivista que não vai querer ser avaliada

27 numa escola antroposófica. Eu discordo completamente disso. Eu acho do meu ponto de vista que tem muito a aprender e vice-versa. Se no avaliar tiver um grau de cooperação bacana eu acho que tem muito a aprender. Madelene Obrigada, boas ideias. Uma rede colaborativa de avaliação. Eu acho que isso dialoga um pouquinho com o desafio que a gente está vivendo no caso da avaliação hoje que é isso né como você avalia essa complexidade que é a nossa realidade social. Eu acho que vocês trouxeram isso nas apresentações. Como a gente mede desenvolvimento humano, como a gente mede desenvolvimento social e a gente vê nas comunidades de avaliação pelo mundo esse esforço de que só os números não dão conta. Então o que precisa... Eu acho que o que está na moda agora é falar sobre métodos mistos de avaliação que também é um desafio que você traz. Como a gente pode dialogar com abordagens diversas de avaliação para poder responder essas demandas de informação e para também dar conta dessa complexidade que é um grande desafio porque como que você consegue dialogar e fazer avaliação com alguém que talvez pensa diferente sobre avaliação? Talvez isso possa trazer maior diversidade para a avaliação. E aí gente além das considerações que vocês já fizeram sobre os casos, como que vocês se reconhecem aqui? Isso que as meninas trouxeram dialoga com as experiências de vocês de avaliação? Como vocês têm vivido as avaliações? Quais os desafios que vocês têm vivido e também aqui para poder levar para casa também? Vocês tiveram alguma nova sacada? Inês (ACM) - Eu sou Inês, da ACM de São Paulo. O que a gente percebe de tudo isso é que a avaliação na realidade é uma cultura. Uma cultura que a gente tem que desenvolver. E existe muito preconceito contra avaliação motivada por mim que a avaliação é difícil, que a gente na verdade não sabe avaliar. Quando na realidade a avaliação deveria fazer parte da nossa vida. Apareceu um processo que a gente pode aprender a construir na nossa própria vida junto com as nossas crianças, junto com as famílias e de uma forma simples. Porque assim a avaliação ela não tem que começar pelo fim, ela tem que começar pelo começo então se nós conseguirmos esclarecer esse objetivo na minha própria vida, eu elencar um objetivo, um que seja e levantar indicadores para eu saber se eu vou conseguir alcançar esse objetivo. Então começar a avaliação de uma forma simples para desmistificar o processo de avaliação. A grande dificuldade, a grande resistência que eu acho que existe é em relação a isso porque na realidade todos nós nos avaliamos sempre. Todo mundo se avalia muitas vezes por baixo, muitas vezes por cima, mas existe uma avaliação automática acho que no próprio comportamento humano, na própria sociedade só que não de forma sistematizada. Então a gente corre atrás de objetivos, a gente tem indicadores que não estão claros para nós. Então essa questão de visualizar essa metodologia na nossa própria vida vai ajudar também a visualizarmos no trabalho que a gente desenvolve. Mariana Guimarães - Meu nome é Mariana. Eu estou bastante envolvida com negócios sociais. Hoje eu participo de uma ONG, o Instituto Hartmann Regueira (IHR), que é sem fins lucrativos como a maioria aqui, mas eu estou muito envolvida com negócios sociais que é o setor dois e meio, que vai tratar de causas sociais com fins lucrativos. Isso é bem instigante. E o que me deu vontade de falar nesse grupo é o seguinte: Por mais que

28 a gente saiba que é difícil, eu vivo essa dificuldade dentro de uma ONG em avaliação, a gente está um passo à frente de quem está entrando nesse mundo de negócios sociais. Porque eles entram e é uma tendência para todo mundo que está aqui, tem ONG já se replanejando e virando negócio. Esse grupo, esse nível de discussão, está vários passos à frente de quem está empreendendo em negócios sociais e vai precisar medir resultados, vai precisar se avaliar e mostrar os tais resultados de impacto social além do resultado financeiro que esse é fácil. Mostrar que dar lucro é fácil, agora o impacto então é legal a gente ficar de olho nisso porque a gente fica aqui nessa sala sabendo que está bem aquém do que deveria, mas está além de muita conversa que eu tenho acompanhado em outros grupos. Heitor Battaggia - Bom dia. Meu nome é Heitor, eu sou consultor na área de avaliação, mais especificamente na área de políticas públicas (Ação Social & Políticas Públicas Ltda). Por uma questão profissional fiquei muito afastado desse tipo de encontro durante muitos anos e hoje eu estou voltando. E a primeira coisa que eu fiquei muito contente é que a ideia de avaliação está absolutamente incorporada. Quando comecei nessa toada avaliar era um liberalismo e esse processo foi se alterando, acho que a gente foi incorporando metodologias, todos nós vimos em algum momento um relatório que dizia que o sorriso das crianças estava melhor. O sorriso das crianças... Todo mundo viu isso. Eu que sou mais velho acho que vi mais, outros que são mais novos também viram. O que eu acho que a gente precisa incorporar, acho que já vários projetos estão incorporando e eu acho que esse é o próximo passo, é que o desenho de qualquer projeto precisa incorporar a metodologia para a qual ele será avaliado. Não tem jeito de eu compor os projetos sem dizer olha eu vou trabalhar com dois ou três indicadores. Pode ser até que eu erre e vou errar muito mesmo, não podemos ter medo do erro, nós vamos errar, o importante é o que a gente vai fazer com o erro, mas acho importante que nos projetos eu tenha, eu já incorpore os projetos à metodologia de avaliação. Mesmo que a gente erre. Olha gente eu fiz o projeto da metodologia e não encaixou direito... Mas acho que essa é a próxima etapa. Então temos hoje projetos com 10, 15, 18 anos que não incorporaram isso e agora está difícil é uma coisa que é complicada. Mas acho que esse é o próximo passo porque a gente faz isso no desenho do que nós tivermos pronto. Madelene - Eu acho que aí que traz o desafio de enxergar essa utilidade, o sentido de avaliação que vocês trouxeram porque eu também reconheço que hoje todo mundo fala que avaliação é importante, tanto a organização quanto o financiador então você precisa colocar no roteiro dos projetos, financiamento, você precisa colocar indicadores, você vai falar como avaliar, mas parece que ainda está faltando esse sentido tanto no diálogo entre o financiador e a organização para tornar esse processo que realmente vive dentro da organização e que também seja útil para o financiador. A gente ainda precisa desenvolver essa capacidade de avaliação, sair de ser um processo burocrático que tem que acontecer porque é importante avaliar e que de fato seja útil para todos os envolvidos. Eu acho que isso é algo que precisa amadurecer tanto nas organizações quanto nos financiadores. Gabriela Albornoz (FICAS) - Oi. Eu sou Gabriela e isso que ele comentou agora sobre avaliação já fazer parte dos primeiros passos de um projeto me remete uma conversa que a gente também teve no grupo sobre pensar as pessoas que vão fazer. Porque às

29 vezes o projeto ainda vai ter que ser avaliado, mas quem vai executar, quem vai fazer isso acontecer? E aí é outro desafio de pensar a equipe. Tem uma coisa que eu gostaria que tivesse sido falado um pouquinho que é desafio de formar equipe. Existe o avaliador interno que com o dinheiro a gente pode contratar, mas e no dia a dia quem faz, como forma a equipe? Como é que faz? A gente já tem atribuições e quer ter mais atribuições? É uma provocação. Martina Otero - Só para aumentar essa pergunta por que a gente estava falando da importância de ter alguém externo, enfim, da utilidade como pode ser interessante, mas o que a gente vê tanto nas nossas pesquisas quanto nas ONGs é altíssimo o movimento das equipes internas nos processos de avaliação. E nesse sentido eu acho que tem dois desafios que aparecem assim, um é a questão da formação que a gente falou lá no sentido de a equipe se apropriar das ferramentas. Então mesmo quando você contrata, que você chama alguém externo é importante também que esse saber ou algum processo seja feito para que a equipe se capacite naquele caso porque com certeza ela vai fazer muita coisa, vai implementar muito daquela avaliação prática. E eu acho que é um desafio assim de tempo porque a avaliação ela não vira uma atividade complementar, vira uma entidade que compete com o projeto e aí é uma faca de dois legumes né, a avaliação quanto mais ela estiver integrada com o cotidiano de planejamento, de implementação de projeto menos tempo extra. Faz parte, mas ao mesmo tempo ela exige um deslocamento para uma atividade que tira o profissional daquilo que ele está fazendo, faz parte da prática dele cotidiana. Nelci Abiel - Eu queria até falar em cima do que a Gabriela falou, até quanto a questão da avaliação quando chega para a gente e incorpora, todo mundo aqui que tem equipe, que é gestor, sabe que a gente cuida e você tem que fazer de tudo um pouco mesmo. Então assim o nosso caminhar em avaliação é sabendo que a gente não iria durante um bom tempo, não conseguimos investidores para conseguir um financiamento de avaliação que é muito difícil então a gente foi se capacitando. Então entre tudo que a gente faz a gente também tem que arranjar tempo para colocar a avaliação na nossa vida, na nossa formação, ir atrás de formações. Aqui em São Paulo a gente tem a referência do Instituto Fonte, acredito que outros lugares também vão ter, aqui em São Paulo também tem outros lugares que trabalham isso e as abordagens de avaliações. Mas essa formação tem que estar no nosso planejamento. Eu vejo que quando você pensa em planejamento a sua avaliação tem que estar lá. Então é claro que a gente não vai conseguir fazer só avaliação. Eu enquanto equipe não consigo tirar um funcionário para trabalhar só com avaliação. E eu sozinha também não vou fazer só avaliação. Então por isso que a equipe tem que estar envolvida e se sentir compromissada e envolvida nesse processo para que ela realmente funcione como deveria ser senão realmente o trabalho não vai dar resultado, vai ficar engavetado e a gente vai abandonar. William Fernando Boudakian de Oliveira - Bom dia. Meu nome é William. Eu trabalho no Instituto Barrichello Kannaan, trabalho com educação por esporte, eu sou assistente social. Assim eu tenho uma experiência com avaliação já uns dez anos e por onde eu passo uma coisa que a gente procura sempre acho que é isso que você falou é estar dentro do planejamento e acima de tudo ao que ela serve. Eu penso muito no público que a gente atende, eu penso muito nos moleques, nas meninas, nos meninos. Eu gostei

30 dessa história do espelho porque ela é espelho para os moleques e como essa meninada pode se ver de um jeito digno, de um jeito honesto? E a gente procura em todo processo de planejamento tirar um dia para a equipe de planejamento e avaliação. Então a equipe dos dois institutos que eu coordeno tem a segunda-feira para fazer isso. Então a gente tem uma lógica de trabalho que a gente passa uma semana pensando esses processos de expectativa de aprendizagem onde a gente tem base de onde a gente tira indicador de desenvolvimento humano. A gente traz aí os paradigmas da educação, os quatro pilares da educação e a gente cruza os quatro pilares com as necessidades dos educandos. Então é a partir dessa análise que a gente desenvolve os indicadores. E estabelecendo esses parâmetros a gente leva isso para os meninos numa linguagem que eles entendam. A ideia para esse ano é que você alcance isso daqui tudo bem? Faz sentido para você? Se não faz sentido para ele esquece porque não tem utilidade nenhuma. E é uma maneira também de a mãe do moleque receber algum feedback assim do que ele veio fazer nesse lugar. Então a gente teve experiências de momentos de entregar esse retorno para elas e aí fazia galinhada mesmo, fazia um macarrão. A gente vai comer um macarrão hoje juntos. É um momento de a gente partilhar e ver o quanto esses guris avançam porque não tem como não avançar, a questão é que eles avançam e a gente mostra como eles avançam para eles acreditarem neles mesmos. Então a avaliação um dos objetivos é este de dar esse feedback para os meninos. A gente traça assim dentro dos pilares e eu também sou avaliado pela minha equipe, pelos meus supervisores nessa mesma ótica. O que se espera do gestor? O que se espera do educador? Então a gente traça a partir dessas competências aí um ciclo interno de avaliação, de salas de espelhos onde a gente tem oportunidade de se ver. Esse é um grande desafio porque não é fácil se ver. Será que a gente quer se ver também? Olga Corch Simantob - Meu nome é Olga, eu era do Instituto Avon, e eu queria compartilhar um pouquinho o que a gente desenvolveu lá. À medida que a gente faz uma doação para uma organização estava meio que acordado que parte daquele orçamento iria investir num processo de avaliação externa porque nós como investidores não tínhamos condições de avaliar todos os projetos por questão de tempo e tal, mas que eles também tivessem compromisso de se preocupar com esse processo de avaliação. Então num valor de duzentos mil reais x% teria que destinar a uma área de processo de avaliação externa. Claro que a gente tinha também o intuito de acompanhar e até de dar insumos, orientação, como orientá-los a fazer isso dentro do universo, dentro da capacidade deles como fazer um bom processo de avaliação.

31 Madelene Barboza - Bom vamos caminhando para o final. Tem uma riqueza aqui de colheita, eu não vou nem pensar em fazer uma síntese, mas a gente tem tudo isso gravado, vamos disponibilizar isso para vocês e também a gente vai tentar fazer algum tipo de documento de síntese também, enfim, extrair um pouco os principais pontos de aprendizagem que saíram dessa conversa.