I. Premissas de reorganização do modelo de avaliação

Transcrição

1 investimento social modelo de avaliação 2015 O investimento social do Banco Santander historicamente implica um modelo de avaliação. O arranjo atual teve grande utilidade no amadurecimento das práticas sociais do Banco, sendo um dos primeiros no Brasil a considerar o conjunto dos investimentos e a produzir informações qualitativas e quantitativas para seus interessados. Passados seus primeiros anos de uso, ele alcançou um ponto no qual sua revisão tornou-se desejada e necessária. Em 2013 elaboramos 1 um novo modelo de avaliação baseado em premissas centrais e que, ao mesmo tempo, pudesse preservar um olhar transversal e específico sobre os programas. Após a primeira aplicação do novo modelo de avaliação no início de 2014 pudemos observar fragilidades e pontos que necessitavam avanços. Assim, a proposta desenvolvida ao longo de 2014 trouxe o aprimoramento das perguntas avaliativas, de indicadores específicos, nomenclaturas, instrumentos e materiais visuais que pudessem dar luz a especificidades dos programas e qualificar visualmente os conteúdos produzidos. 1 Este documento foi produzido pela Move Avaliação e Estratégia em Desenvolvimento Social, empresa responsável pela revisão do modelo de avaliação. I. Premissas de reorganização do modelo de avaliação O Novo Modelo de Avaliação manteve as cinco premissas centrais já construídas no ano anterior e que são de grande valor: Simplicidade e viabilidade operacional. Rigorosidade metodológica apoiada em métodos qualitativos e quantitativos. Utilidade para governança e gestão do investimento social. Participação de parceiros executores e público-beneficiário. Capacidade de mostrar resultados e preparar avaliações de impacto.

2 II. Olhar o todo e olhar as partes O Modelo de Avaliação desenvolvido em 2013 centrava-se em variáveis que pudessem ser relevantes tanto para o investimento social como bloco quanto para cada programa particular. Partiu-se da ideia de que haveria informações sistêmicas voltadas a nutrir as instâncias de governança 2 do investimento social do Banco, enquanto outros níveis de informação nutririam a gestão de cada programa. Esta construção levou o Modelo 2014 a se basear em dois grandes níveis de perguntas, conforme mostra a figura 01. De forma correspondente, os dois níveis de pergunta levaram também a dois níveis de variáveis, também ilustrados na figura 01. As perguntas sistêmicas sofreram mudanças em Anteriormente haviam três perguntas, contudo, refletiu-se que duas delas exploravam o mesmo conteúdo e poderiam ser reduzidas a uma somente. Promover a garantia de direitos de crianças, adolescentes e idosos Favorecer a inclusão econômica da população brasileira Contribuir para a melhoria da escola pública de Educação Básica Objetivos estratégicos Causa para a qual o Banco Santander destina seu investimento social Contribuir para a Inclusão Social e Econômica da População Brasileira. Programas Estratégicos são a forma executiva dos objetivos (1) Escola Brasil; (2) Amigo de Valor; (3) Parceiros em Ação; (4) Universidade Solidária; (5) Saber; (6) Educação Infantil; (7) Parceiro do Idoso. AVALIAÇÃO Perguntas sistêmicas 1. O investimento social do Banco Santander contribui para a inclusão social e econômica das populações alcançadas pelo seu investimento social? indicadores macro-indicadores 2. Que imagem os públicos externos que se relacionam com o investimento social constroem a respeito do Banco Santander? indicadores Perguntas específicas Programas Estratégicos Perguntas específicas para cada programa Indicadores específicos para cada programa Figura 01. Imagem geral do Modelo 2014 Duas perguntas avaliativas orientam o primeiro nível de produção avaliativa, tendo como clientes primários as instâncias de governança do ISP, a equipe de gestão do ISP e outros externos junto aos quais o Banco Santander deseja incidir com sua agenda política. Já no nível dos programas, há diferentes perguntas associadas a cada um deles, tendo como clientes primários sua equipe gestora, incluindo seu parceiro executor. 2 Investimento Social Privado (ISP) do Banco Santander compreendem diferentes comitês dentro do Banco que podem se relacionar à temática, bem como outras 2

3 III. Uso de métodos qualitativos e quantitativos O Novo Modelo de Avaliação combina métodos qualitativos e quantitativos para investigar a realidade e produzir análises estratégicas. O uso de métodos mistos 3 incorpora as diferentes percepções do público envolvido nos programas, produzindo uma avaliação colaborativa e agregando diferentes pontos de vista. Nesse sentido, era necessário construir um modelo de avaliação que preservasse e trouxesse a tona a relevância e o mérito dos programas. Além disso, a natureza própria aos programas não pode prescindir de diferentes dimensões para explicitar sua relevância e mérito. Vejamos de que maneira foram construídos os indicadores transversais do ISP e as avaliações de cada programa em particular. III.I. Macro-indicadores e Indicadores Para responder a primeira pergunta de avaliação a seguir, analisou-se os potenciais de resultado dos programas, tanto com base nas expectativas do Banco Santander, quanto com base na experiência acumulada em ISP ao longo dos anos. O resultado foi 6 Macro-Indicadores que abrigam 18 Indicadores. Neste caso, todos eles dizem respeito ao conjunto de programas e são medidos de maneira transversal. 1. O investimento social do Banco Santander contribui para a inclusão social e econômica das populações alcançadas pelo seu investimento social? A seguir são apresentados os 6 macro-indicadores com seus 18 indicadores correlatos. Eles são ainda descritos (decupados) de forma a tornar claro o campo qualitativo no qual os resultados são esperados e desejados. Vejamos o conjunto. MACRO-INDICADOR INDICADOR Descrição (segunda versão) 1. Disseminação de Conhecimento 1.1. Produção de conhecimento O projeto valoriza e possui mecanismos de produção e registro de suas práticas e aprendizagens 1.2. Partilha de aprendizagens O projeto organiza e disponibiliza sua metodologia de trabalho, tornando possível que outros atores a reproduzam e adaptem em outras organizações 1.3. Participação e realização de eventos e publicações O projeto promove e participa de foros, eventos e publicações relevantes para disseminar suas aprendizagens e tecnologias sociais, e para fortalecer seu posicionamento MACRO-INDICADOR INDICADOR Descrição (segunda versão) 2. Desenvolvimento de Competências 2.1. Ampliação de habilidades técnicas O projeto alcança resultados significativos na ampliação das competências produtivas (formação profissional) de seus participantes 2.2. Ampliação de competências políticas O projeto alcança resultados significativos na participação e influência positiva de seus participantes na vida de suas comunidades 2.3. Aprimoramento das habilidades de trabalho em equipe O projeto alcança resultados significativos na capacidade de seus participantes atuarem de maneira mais colaborativa na produção de soluções para seus problemas 3 Para maiores detalhes sobre uso de métodos mistos, sugerimos leitura do Relatório Anual da Move

4 MACRO-INDICADOR INDICADOR Descrição (segunda versão) 3. Colaboração com sociedade civil e/ou poder público 3.1. Equilíbrio na participação de atores-chave 3.2. Qualidade das instâncias de decisão O projeto tem consciência das oportunidades e necessidades de aliança entre atores públicos e privados e consegue equilibrar sua participação em prol de seus objetivos estratégicos O projeto valoriza e cuida de suas instâncias de gestão e decisão, equilibrando a participação de diferentes atores em prol dos interesses dos participantes 3.3. Colaboração para responder às necessidades da comunidade O projeto tem estratégias construídas a partir da leitura da realidade socioeconômicas do território na qual se insere, tentando responder às necessidades fundamentais do público alvo MACRO-INDICADOR INDICADOR Descrição (segunda versão) 4. Articulação e colaboração em rede 4.1. Articulação entre atores e ativos locais O projeto conhece os ativos e os atores do território no qual se insere e trabalha de forma a criar alianças com estes atores e a fazer o melhor uso possível dos ativos disponíveis 4.2. Participação ativa em redes sociais O projeto está ativamente inserido em redes sociais e profissionais, locais ou não, com potencial para ampliar a inserção social e econômica do público-alvo 4.3. Efetividade da rede O projeto consegue ampliar suas forças econômicas, políticas ou metodológicas em razão de atuar em sinergia com atores públicos e privados em prol dos participantes MACRO-INDICADOR INDICADOR Descrição (segunda versão) 5. Acesso a direitos fundamentais 5.1. Ampliação do acesso à educação 5.2. Ampliação do direito à renda O projeto promove o acesso a educação formal e informal de qualidade, favorecendo o desenvolvimento de diferentes competências para seus participantes e público-alvo O projeto contribui diretamente para o incremento de renda de seus participantes e público-alvo 5.3. Direito à convivência familiar e comunitária O projeto valoriza e promove a convivência familiar e comunitária dos participantes como forma de desenvolver as pessoas, os grupos e a comunidade MACRO-INDICADOR INDICADOR Descrição (segunda versão) 6. Autonomia 6.1. Potencial de mobilizar recursos O projeto reúne pessoas comprometidas e instrumentalizadas a mobilizar novos parceiros financiadores e/ou viabilizar novos modelos de financiamento que sustentem as atividades do projeto no futuro 6.2. Capacidade de gestão autônoma do projeto 6.3. Conquista de novos parceiros investidores públicos e privados O projeto reúne pessoas capazes de planejar, executar e monitorar o desenvolvimento das ações, de forma consistente e transparente, além de mobilizar recursos que favorecem sua autonomia e sustentabilidade O projeto possui outros financiadores diretos e indiretos além do Banco Santander, de forma a não depender de apenas um parceiro financiador 4

5 Nos indicadores anteriormente apresentados, é utilizada uma escala capaz de demonstrar o desempenho dos indicadores para os programas. A escala varia entre 1 e 10, sendo mais ampla do que o modelo anterior 4. O desempenho médio dos blocos de indicadores performam a variação dos macro-indicadores, conforme mostra a figura 03. Nele se pode perceber o desempenho dos diferentes programas em cada um dos macro-indicadores. 1 8,6 1. Disseminação de Conhecimento 6,8 2. Desenvolvimento de competências 3. Colaboração com sociedade civil e poder público 6 8,4 4 6, Articulação e colaboração em rede 5,5 5,4 5,8 6,3 5. Acesso a direitos fundamentais 6. Autonomia 5 8 6,8 6,4 5, ,8 7 7,2 3 Desempenho médio do ISP Desempenho Programa X 7,7 8,4 Desempenho Programa Y 4 Figura 02. O desempenho do ISP e dos Programas nos macro-indicadores No início de 2014 tivemos o primeiro resultado do desempenho global dos 6 macro-indicadores e observou-se o potencial de avaliação que é possível construir a partir da composição dos diferentes programas e atores num único gráfico. Ao lado dos macro-indicadores transversais para a Pergunta 1, a Pergunta Avaliativa 2 requer um sétimo Macro-Indicador para compor o quadro de análises. Este sétimo macro-indicador não deve ser considerado no conjunto representado no Gráfico anterior, mas sim em uma representação específica, à medida que sua natureza (seu objeto) é diferente daquele dos programas. 2. Que imagem os públicos externos que se relacionam com o investimento social constroem a respeito do Banco Santander? Para construir o macro-indicador e seus indicadores, tomou-se como base os atributos da Marca Santander consideradas pela Área de Pesquisa do Banco. Cabe destacar que o público-alvo do ISP não se sobrepõe diretamente ao conjunto de clientes do Banco, havendo muitos territórios nos quais está o ISP, mas não existem agências ou operações do Banco. Vejamos no quadro a seguir os indicadores relacionados à pergunta 2. 4 O sistema anterior trabalhava numa escala de 1-4 cuja possibilidade de variação é muito menor. 5

6 MACRO-INDICADOR INDICADOR Descrição (segunda versão) 7. Percepção sobre a imagem do Banco Santander 7.1. Confiabilidade 7.2. Compromisso com a Sociedade 7.3. Valorização dos relacionamentos 7.4. Valor atribuído ao benefício 7.5. Recomendação dos Programas O Banco conquista a confiança das pessoas em função da seriedade de seu trabalho social O Banco é verdadeiramente empenhado em produzir mudanças positivas na realidade brasileira O Banco valoriza o relacionamento colaborativo e responsável com seus parceiros Os participantes atribuem valor intangível significativo ao apoio que recebem do Banco Os participantes recomendam os programas do Banco para colegas e familiares Ao lado do conjunto de indicadores de natureza qualitativa até aqui abordados, outros quatro macro-indicadores e seus indicadores específicos foram produzidos com vistas a rastrearem e comunicarem a produção quantitativa do ISP, englobando números que atestam a abrangência das ações. Eles estão numerados entre 8 e 11, a seguir. MACRO-INDICADOR INDICADOR Descrição (segunda versão) 8. Investimento direto na estratégia de investimento social 8.1. Volume de investimento direto em cada programa 8.2. Volume total de Investimento social 8.3. Percentual do Investimento social no lucro anual Volume de investimento direto do Banco Santander em cada um dos programas Soma do conjunto de investimento direto do Banco Santander nos programas e demais ações, excluindo folha de pagamento da equipe executiva Razão entre o volume do orçamento direto anual e o montante de lucro do exercício anterior MACRO-INDICADOR INDICADOR Descrição (segunda versão) 9. Público beneficiado pelos programas 9.1. Número de participantes de cada programa 9.2. Público alvo de cada programa 9.3. Número total de participantes Número de pessoas que participaram diretamente em ações (cursos, seminários, formações, etc.) realizadas pelos programas Número de pessoas beneficiadas indiretamente por ações realizadas pelos programas (alunos de escolas, familiares de empreendedores, etc.) Soma dos participantes de todos os programas estratégicos 9.4. Número total de público alvo Soma dos públicos-alvo de todos os programas estratégicos 6

7 MACRO-INDICADOR INDICADOR Descrição (segunda versão) 10. Mobilização de recursos da sociedade Volume de recursos mobilizados Volume de destinação da Pessoa Jurídica do Banco Volume de recursos captados junto a pessoas físicas Volume de recursos captados junto a clientes pessoa física Volume de recursos captados junto a clientes pessoa jurídica Volume de recursos financeiros investidos como contrapartida nos programas Volume de recursos financeiros destinados pela pessoa jurídica do Banco Santander Volume de recursos financeiros destinados por pessoas físicas funcionários e estagiários do Banco Santander Volume de recursos financeiros destinados por clientes pessoa física mobilizados pelo Banco Santander Volume de recursos financeiros destinados por clientes pessoa jurídica mobilizados pelo Banco Santander MACRO-INDICADOR 11. Engajamento institucional INDICADOR Número de funcionários e estagiários participantes no PEB Número de funcionários e estagiários engajados no Amigo de Valor Número total de funcionários engajados Áreas do Banco Parceiras Descrição (segunda versão) Número de funcionários e estagiários com algum tipo de atividade voluntária junto ao PEB Número de funcionários e estagiários participantes dos grupos de trabalho e campanha de destinação de IRPF do Programa Amigo de Valor Número total de funcionários e estagiários envolvidos no PEB e no Amigo de Valor Vice-Presidências e Diretorias parceiras dos programas estratégicos Espera-se que o conjunto de macro-indicadores 1 a 11 seja capaz de demonstrar o desempenho do ISP e oferecer informação periódica a diferentes públicos interessados. 7

8 IV. Avaliações específicas dos Programas Se o desenho expresso até agora está intencionalmente voltado a olhar o ISP de maneira transversal, permitindo comparações analíticas entre os programas, o segundo componente avaliativo volta-se às necessidades de cada programa, numa perspectiva formativa (melhorar processos) e somativa (medir resultados). A seguir estão apresentadas as construções específicas para os sete programas estratégicos. Antes, contudo, cabe ilustrar seus participantes e público-alvo. inclusão econômica unisol professores + alunos das Instituições de Ensino Superior parceiros em ação empreendedores comunidades + grupos produtivos PEB Empreendedores + Organizações Aliadas alunos escolas + funcionários crianças + professores gestores municipais + equipes pedagógicas crianças, adolescentes e família idosos e familiares alunos amigo de valor conselho da criança e do adolescente + Órgãos de Atendimento dirigentes municipais + equipes técnicas + equipes pedagógicas saber garantia de direitos + órgãos de atendimento conselho do idoso parceiro do idoso educação infantil melhoria da escola pública Figura 03. Participantes e públicos-alvo dos programas estratégicos. 8

9 Programa Amigo de Valor (perguntas e indicadores) 1. Em que medida o Programa Amigo de Valor fortalece os CMDCAS nos municípios participantes? 1. Capacidade de realizar diagnóstico municipal da situação da criança e adolescente de forma compartilhada intersetorialmente 2. Capacidade de construir diagnóstico reconhecido por atores-chave da sociedade 3. Consistência técnica, abrangência e viabilidade do Plano Municipal formulado com base no diagnóstico 4. Inclusão de prioridades do Plano Municipal no orçamento municipal (PPA, LDO e LOA) 5. Capacidade de mobilização de recursos para o Fundo Municipal da criança e do adolescente 6. Capacidade de monitoramento e controle das ações prioritárias definidas para o Plano Municipal da criança e adolescente 2. Em que medida o Programa Amigo de Valor promove melhorias efetivas no atendimento das crianças e adolescentes nos municípios participantes? 7. Fortalecimento do trabalho em rede no SGDCA* 8. Implantação e/ou ampliação de serviços que atendam as criança e adolescente no município 9. Alinhamento entre as ofertas de serviços novos e/ou preexistentes com as prioridades apontadas no diagnóstico 10. Diversidade de temas e problemas contemplados na política municipal da criança e adolescente 11. Resolutividade dos encaminhamentos em face de denuncias de violações dos direitos das criança e adolescente 12. Capacidade de atendimento do projeto especifico financiado 13. Efetividade do projeto especifico financiado sobre seu público-alvo 3. A metodologia utilizada pelo Programa Amigo de Valor favorece o alcance de resultados efetivos junto aos municípios? 14. Adequação do processo de seleção dos municípios 15. Qualidade das formações presenciais 16. Qualidade do apoio remoto 17. Qualidade dos materiais de apoio * Sistema de Garantias dos Direitos da Criança e do Adolescente Figura 04. Matriz avaliativa específica para o Programa Amigo de Valor. 9

10 Programa Parceiro do Idoso (perguntas e indicadores) 1. Em que medida o programa de Apoio ao Idoso fortalece os Conselhos de Direito do Idoso nos municípios participantes? 1. Capacidade de realizar diagnóstico municipal da situação do idoso de forma compartilhada intersetorialmente 2. Capacidade de construir diagnóstico reconhecido por atores-chave da sociedade 3. Consistência técnica, abrangência e viabilidade do Plano Municipal formulado com base no diagnóstico 4. Encaminhamento de prioridades do Plano Municipal para a inclusão no ciclo orçamentário municipal (CPPA, LDO e LOA) 5. Capacidade de mobilização de recursos para o Fundo Municipal do Idoso 6. Capacidade de monitoramento e controle das ações prioritárias definidas para o Plano Municipal do Idoso 2. Em que medida o Programa Parceiro do Idoso promove melhorias efetivas no atendimento aos idosos nos municípios participantes? 7. Fortalecimento do trabalho em rede no sistema de garantia dos direitos do idoso 8. Implantação e/ou ampliação de serviços que atendam aos idosos no município 9. Alinhamento entre as ofertas de serviços novos e/ou preexistentes com prioridades apontadas no diagnóstico 10. Diversidade de temas e problemas sobre os quais incide a política municipal do idoso 11. Resolutividade dos encaminhamentos em face de denúncias de violações de direitos 12. Alcance da capacidade de atendimento do projeto específico financiado 13. Efetividade do projeto especifico financiado sobre seu público-alvo 3. A metodologia utilizada pelo Programa Parceiro do Idoso favorece o alcance de resultados efetivos junto aos municípios? 14. Adequação do processo de seleção dos municípios 15. Qualidade das formações presenciais 16. Qualidade do apoio remoto 17. Qualidade dos materiais de apoio 4. Em que medida o Programa Parceiro do Idoso estimula a criação do conselho e de fundos municipais do idoso? 18. Criação e operação do Fundo no município apoiado pelo programa 19. Criação e operação do Fundo em outros municípios Figura 05. Matriz avaliativa específica para o Programa de Parceiro do Idoso. 10

11 Programa Saber (perguntas e indicadores) 1. O Programa Saber tem favorecido a compreensão de gestores e educadores sobre a importância da sua atuação na promoção de educação de qualidade? 1. Participantes conscientes de suas responsabilidades sobre a aprendizagem dos alunos 2. Constituição de equipes colaborativas para o funcionamento sistêmico da rede 2. O Programa Saber contribui para ressignificar concepções e práticas dos educadores participantes de forma integrada e articulada? 3. Aprofundamento de conhecimentos sobre didática da língua portuguesa 4. Aprofundamento de conhecimentos sobre a atuação do coordenador pedagógico 5. Gestores educacionais e escolares aprofundam os conhecimentos dos processos de gestão 6. Aprofundamento do conhecimento sobre a atuação do formador de gestores escolares 3. Em que medida o território de cooperação educacional constituído promoveu a qualificação dos processos de gestão e implantação de políticas educacionais? 7. Implantação de políticas educacionais adequadas às demandas do território 8. Fortalecimento da cooperação entre os municípios 4. A metodologia do Programa Saber está adequada às necessidades, possibilidades de adesão e condições de apropriação pelos municípios? 9. Aderência às estratégias de formação 10. Aderência aos materiais utilizados na formação 11. Garantia das condições mínimas para realização das ações acordadas 5. As Secretarias de Educação dos municípios parceiros fortaleceram, a partir do Programa Saber, a carreira docente e o enraizamento de uma cultura de formação continuada dos educadores? 12. Valorização pelos educadores dos espaços de formação continuada 13. Existência de ações de formação continuada em contexto de trabalho para os professores de Fundamental II de LP, coordenadores pedagógicos, diretores e técnicos da secretaria 6. O Programa Saber contribui para melhoria dos comportamentos leitores e escritores dos alunos? 14. Identificação de ações de leitura e escrita que favoreçam a ampliação de comportamentos leitores e escritores pelos alunos 7. O Programa Saber tem que impactos no valor social da educação nos municípios participantes? 15. Interesse dos familiares e da comunidade local nas atividades escolares Figura 06. Matriz avaliativa específica para o Programa Saber. 11

12 Programa Escola Brasil (perguntas e indicadores) I. Em que medida o PEB contribui para a escola pública? 1. Capacidade de mobilizar a comunidade escolar 2. Capacidade de aproximar a escola de novos parceiros 3. Número e tipos de ações desenvolvidas com base no uso do Calendário PEB 4. Produção de incrementos na infraestrutura escolar 5. Percepção da escola sobre o papel e a postura do voluntário II. Quais os principais resultados do PEB para os voluntários? Compreensão de uma das causas sociais do Banco Santander 6. Compreensão sobre a importância do engajamento da sociedade na escola 7. Compreensão sobre o papel estratégico do investimento social do Banco Santander 8. Compreensão sobre os objetivos do PEB Desenvolvimento de valores e habilidades sociais 9. Conhecimento dos desafios educacionais brasileiros 10. Capacidade de envolver-se em ações sociais Desenvolvimento profissional 11. Capacidade de trabalhar em equipe 12. Capacidade de solucionar problemas em cenários de recursos escassos Qualificação do ambiente organizacional 13. Valorização por parte dos colegas 14. Valorização por parte das lideranças 15. Motivação para a atuação voluntária 16. Orgulho de pertencer ao Banco Santander 17. Impacto do PEB na pesquisa de clima organizacional III. Quais os caminhos para ampliar a qualidade das escolas parceiras? 18. Fragilidades, fortalezas, riscos e oportunidades de desenvolvimento das escolas parceiras IV. Em que medida os dispositivos de gestão asseguram a melhor execução do programa? 19. Número total de voluntários 20. Distribuição dos voluntários por regiões do país e áreas de negócio 21. Número de ações voluntárias realizadas ao ano 22. % de núcleos ativos com escola 23. % de voluntários que utilizam o portal de voluntários 24. Engajamento das lideranças 25. Engajamento dos funcionários que atuam como pontos focais 26. Qualidade do apoio técnico aos voluntários 27. Qualidade da comunicação do programa 28. Qualidade da assessoria do parceiro executor 29. Qualidade do Portal dos Voluntários 30. Sentido do ENV para os voluntários 31. Estratégia de reconhecimento dos voluntários 32. Transparência para a gestão dos recursos financeiros 33. Eficiência da gestão dos recursos financeiros 34. Aderência a política de voluntariado do banco 35. Qualidade da assessoria do parceiro executor Figura 07. Matriz avaliativa específica para o Programa Escola Brasil. 12

13 Programa Educação Infantil Santander (perguntas e indicadores) 1. O Programa Educação Infantil Santander tem contribuído para garantir o direito à educação infantil de qualidade? 1. Compromisso do dirigente municipal com as escolas de educação infantil 2. Aproximações entre as secretarias de educação e saúde 3. Revisão dos plano municipal de educação com base nos conteúdos do programa 4. Capacidade das equipes técnicas locais assegurarem a implementação de ações pautadas nas DCNEI* 5. Capacidade de todas as profissionais da escola implementarem ações com base nas DCNEI 6. Adequações da infraestrutura (espaço e instalações físicas) das unidades escolares 7. Adequações de equipamentos (mobília e utensílios) 8. Disponibilidade de materiais pedagógicos (livros, brinquedos, materiais artísticos) 9. Disponibilidade de matérias de higiene e limpeza 10. Incentivo à participação das famílias na escola 2. Em que medida o programa fortaleceu a cultura de formação continuada dos municípios? 11. Mudanças nas concepções de formação continuada 12. Implementação de ações de formação continuada pelas técnicas da secretaria municipal de educação 13. Uso de novas estratégias de formação continuada 14. Atuação da diretora e da coordenadora pedagógica como formadoras da equipe escolar 15. Desenvolvimento do projeto institucional da escola 3. Em que medida os dispositivos de gestão e formação do programa contribuem para o alcance de seus objetivos? 16. Efetividade da parceria entre Santander, Instituto Avisa lá, MEC e UNDIME 17. Relevância do processo de seleção dos municípios 18. Efetividade do envolvimento dos dirigentes municipais 19. Acesso à internet 20. Relevância das reuniões online 21. Relevância dos fóruns 22. Relevância das devolutivas de relatórios, projetos institucionais e pautas 23. Relevância dos subsídios teóricos 24. Relevância dos seminários presenciais 25. Relevância das visitas de monitoramento * Diretrizes Curriculares Nacionais para a Educação Infantil Figura 08. Matriz avaliativa específica para o Programa de Apoio à Educação Infantil. 13

14 Prêmio Santander Universidade Solidária (perguntas e indicadores) 1. Que contribuições o Prêmio Santander Universidade Solidária traz para fortalecer as práticas de extensão universitária? 1. Aprimoramento das práticas de extensão 2. Compromisso das universidades com os projetos desenvolvidos 3. Ampliação da formação profissional e cidadã dos alunos 2. O Prêmio Santander Universidade Solidária contribuiu para melhorias na qualidade de vida das comunidades? 4. Melhorias no bem estar das famílias (condições sanitárias, saúde e segurança alimentar) 5. Elevação da autoconfiança (papel na comunidade, conhecimento de direitos e possibilidades de atuação) 3. O Prêmio Santander Universidade Solidária promove o desenvolvimento econômico das comunidades beneficiárias? 6. Melhor compreensão sobre o uso e aplicação de recursos econômicos 7. Uso consciente dos recursos econômicos 8. Capacidade de gerenciamento do empreendimento 9. Melhoria das condições de segurança e salubridade nos projetos 10. Formalização jurídica fiscal das iniciativas 11. Melhoria de padrões de comercialização da iniciativa (distribuição, comunicação, etc.) 12. Melhoria na qualidade dos produtos 13. Melhoria da infraestrutura de produção 14. Aumento de produtividade 4. Em que medida o Prêmio Santander Universidade Solidária promove relações sustentáveis dos participantes com o meio ambiente? 15. Ampliação da consciência ambiental dos participantes 16. Uso consciente de recursos naturais 17. Destinação adequada de resíduos sólidos 5. As estratégias metodológicas utilizadas pelo Prêmio Santander Universidade Solidária são as mais adequadas para produzir os resultados desejados? 18. Encontros presenciais de formação 19. Visitas de monitoramento 20. Monitoramento e acompanhamento remoto (contato cotidiano por e telefone) Figura 9. Matriz avaliativa específica para o Programa Universidade Solidária. 14

15 Programa Parceiros em Ação (perguntas e indicadores) 1. Em que medida o Programa Parceiros em Ação tem contribuído para o desenvolvimento dos envolvidos? 1. Aprimoramento das competências do empreendedor 2. Capacidade do empreendedor construir e acessar redes de relações para o seu negócio 3. Ampliação de habilidades do empreendedor para atuar na gestão, produção ou comercialização 4. Ampliação da renda do empreendedor 2. Quais efeitos o ciclo de Educação Econômica teve sobre os participantes? 5. Ampliação de conceitos sobre o uso dos recursos financeiros ou não para sua vida e/ou negócio 6. Aplicação dos conceitos de Educação Econômica 3. O modelo do Programa Parceiros em Ação possibilita o alcance de seus objetivos? 7. Capacidade e qualidade de mobilizar os empreendedores 8. Mobilização e Parceria com Organizações aliadas 9. Aplicação da metodologia de formação junto aos empreendedores 10. Capacidade de integração na relação entre os atores envolvidos (IS, Microcrédito, Aliança, Org. Aliadas) 4. Como tem sido a gestão e a produção de resultados da Organização Aliada? 11. Capacidade de articular e mobilizar empreendedores 12. Capacidade de aplicar a metodologia e apoiar o desenvolvimento do programa 13. Capacidade das Organizações Aliadas na sua própria gestão e de seus projetos Figura 10. Matriz avaliativa específica para o Programa Parceiros em Ação. 15

16 V. O processo de coleta de dados O processo de coleta de dados segue um padrão articulado para o conjunto de programas, com a finalidade de simplificar tanto a operação de coleta quanto a de análise. A coleta de dados acontece entre os meses de Dezembro a Fevereiro, com a apresentação de resultados em Março, tendo como base o ano anterior. Este calendário respeita o ano cultural brasileiro, além do ano escolar, fiscal e político, e deve produzir melhorias na gestão da avaliação. No quadro a seguir resume-se o processo de coleta e seus respectivos instrumentos. Instrumentos Questionário de Avaliação/ bloco de perguntas gerais on-line Com questões relacionadas às perguntas 1 a 39 Audiência respondente Comissões de Avaliação* Parceiros executores Coordenadores de Programas Detalhes Respondem sobre o seu projeto Respondem sobre cada projeto Respondem para o programa Questionário de Avaliação/ bloco de perguntas gerais on-line A partir da questão 40 Comissões de Avaliação Respondem sobre o seu projeto Questionário para funcionários voluntários do PEB on-line Funcionários e estagiários voluntários Respondem com foco em sua experiência de voluntariado Roteiro para rodas de conversa PEB Amostra intencional de escolas participantes do PEB Equipe do PEB realiza rodada anual de visitas e diálogos Índice de Inclusão Empreendedora Todos os participantes do Programa Parceiros em Ação Instrumento aplicado pelo parceiro executor Aliança Empreendedora Seminários de avaliação Encontros semestrais entre coordenadores de programas e parceiros executores Reunião de revisão e ajustes de estratégicas Planilha S Para registros de dados do investimento social do Banco Santander Instrumento utilizado pela coordenação da área Figura 11. Instrumentos a serem utilizados no Novo Modelo de Avaliação. * Vide item V.I. Comissão de Avaliação 16

17 A. Questionário de Avaliação O principal instrumento de coleta de informações é o Questionário de Avaliação, que se divide em dois blocos, um primeiro bloco com perguntas gerais, com o objetivo de responder aos macro-indicadores; e um segundo bloco, que responde aos indicadores específicos. No ano anterior haviam dois questionários, um com as perguntas transversais e outro com as perguntas específicas de cada projeto. Contudo, em 2014, a intenção foi simplificar o processo e reduzir a quantidade de instrumentos e documentos que os projetos têm recebido. Desta forma, optamos por congregar num único instrumento dimensões gerais dos projetos e suas especificidades, construindo um instrumento para cada programa. O Questionário de Avaliação é respondido por cada ator do processo de avaliação: a) comissões de avaliação participantes do projeto, b) coordenadores dos programas do Santander e c) os parceiros executores. Todos os atores respondem o bloco de perguntas gerais. Cada ator acessa uma parte diferenciada do Questionário, conforme seu nível de intervenção no programa. B. Instrumentos Programa Escola Brasil (PEB) O PEB, que atua junto a escolas e voluntários do banco, possui 2 instrumentos específicos para compor a sua avaliação. Além do Questionário de Avaliação comum aos outros programas (e respondido somente pelas escolas participantes) o programa possui um questionário específico para voluntários e um roteiro para a realização de rodas de conversa com as escolas. Questionário para funcionários voluntários do PEB Questionário especificamente desenhado para o Programa Escola Brasil, voltado aos funcionários e estagiários voluntários. Deverá ser composto essencialmente por questões fechadas, de acordo com a matriz de avaliação do Programa. Seus resultados também serão destacados no Painel de Avaliação, em razão da importância do tema para o Banco. Roteiro para Rodas de Conversa Roteiro composto de perguntas abertas (não estruturadas), voltadas a estimular os entrevistados a dialogarem a respeito dos resultados e do funcionamento do PEB na escola. Roteiro será utilizado pela equipe executiva do programa, em visitas a escolas intencionalmente escolhidas a cada ano. C. Índice de Inclusão Empreendedora Roteiro composto de perguntas fechadas (estruturadas), voltadas a medir o perfil empreendedor dos participantes, consid erando suas competências pessoais, produtivas e sociais. Roteiro desenvolvido e aplicado pelo parceiro Aliança Empreendedora. D. Seminários de Avaliação Reuniões semestrais envolvendo coordenação do programa, coordenação da área e parceiros executores, com a finalidade de examinar e ajustar estratégias e operações de cada programa. Devem ser realizados em Maio e Setembro. E. Planilha S Com base no Macro-Indicador 8,9,10 e 11 preenchido pela coordenação da área. 17

18 V.I. Comissão de Avaliação Um dos atores que compõem o processo de avaliação é a Comissão de Avaliação, única que responde o Questionário na íntegra. Conforme mostra a figura a seguir, cada projeto desenvolvido no âmbito dos programas deverá constituir um subgrupo com a função de participar do processo de avaliação. Desta maneira, aposta-se no envolvimento de um coletivo de pessoas nas discussões avaliativas, o que incentiva o debate a respeito do desempenho do projeto, bem como amplia a precisão das respostas aos instrumentos de avaliação. programa saber Sugestão de composição da Comissão de avaliação secretário de educação técnicos da secretaria de educação envolvidos no projeto coordenadores pedagógicos de escolas que recebem o projeto diretores de escolas que recebem o projeto professores de escolas que recebem o projeto pais de alunos de escolas que recebem o projeto educação infantil secretário de educação técnicos da secretaria de educação envolvidos no projeto coordenadores pedagógicos de unidades escolares que recebem o projeto diretores de unidades escolares que recebem o projeto professores de unidades escolares que recebem o projeto pais de alunos de unidades escolares que recebem o projeto funcionários de apoio de unidades escolares que recebem o projeto idoso representantes do conselho do idoso representantes de organizações não governamentais que atuam com idosos técnicos da secretaria de saúde técnicos da secretaria de assistência social familiares de idosos ou idosos que sejam beneficiários do projeto amigos de valor representantes do conselho da criança e do adolescente representantes de organizações não governamentais que atuam com criança e do adolescente técnicos da secretaria de saúde técnicos da secretaria de assistência social familiares de crianças e adolescentes que sejam beneficiários do projeto parceiros núcleo de empreendedores que faz a formação formador da Aliança Empreendedora que acompanha o núcleo PEB diretor da escola professores da escola familiares que possuem crianças da escola possíveis parceiros da escola: comerciantes, organizações parceiras etc. unisol professores que coordenam o projeto alunos que participam do projeto representantes das comunidades beneficiadas Figura 12. Participantes e públicos-alvo dos programas estratégicos. A sugestão é que a comissão tenha em torno de 4 a 7 pessoas para que haja variedade de opiniões. A recomendação é que elas sejam compostas por um representante de cada grupo sugerido acima. Caso não seja possível, a tentativa é garantir a maior diversidade de pessoas possível. 18

19 V.II. Conteúdo do Questionário O primeiro bloco do Questionário, que objetiva responder aos macro-indicadores, apresenta 36 perguntas compostas cada uma delas por uma afirmação qualitativa (ver os descritores nos quadros onde estão apresentados os indicadores), seguida de uma escala de variação entre 1 a 10, na qual o respondente escolherá apenas uma alternativa que melhor represente o desempenho de seu projeto naquele indicador descrito, como no exemplo: Como vocês classificam as práticas de produção de conhecimento da sua escola? A escola não possui mecanismos de produção e registo de aprendizagens, nem tem planos para esta atividade A escola valoriza a produção e o registro de suas aprendizagens e possui ações concretas para este fim Figura 13. Escala a ser usada para as perguntas relacionadas aos macro-indicadores 1 6. Um segundo bloco perguntas irá acessar o macro-indicador Percepção sobre a Imagem do Banco Santander, todas fechadas numa escala de 1 a 10. Um terceiro bloco de perguntas irá acessar o macro-indicador 10, Público Beneficiado pelo Projeto, sendo perguntas compostas por campos numéricos nos quais os respondentes colocarão números de beneficiários. A Comissão de Avaliação em cada projeto responderá ao bloco de perguntas gerais considerando exclusivamente o seu Projeto. Cada parceiro executor responderá questionários para cada um dos Projetos apoiados, de forma que cada projeto terá auto-avaliação (equipe local) e avaliação externa (parceiro executor) Cada coordenador de programa irá responder às primeiras 18 questões considerando sua carteira de projetos no Programa. Nenhuma questão aberta será utilizada neste instrumento. O Questionário de Avaliação estará on-line na Plataforma Gizmo (baixo custo), o que eliminará todo o fluxo de papéis na avaliação e produzirá banco de dados em Excel, de fácil manipulação analítica. Questionário específico para cada programa é composto por questões abertas e fechadas conforme as matrizes específicas. 19

20 VI. Análise de dados e produção de informações A análise de informações seguirá caminhos simples, em função da lógica de preenchimento dos instrumentos. Os tópicos a seguir resumem o caminho analítico. Questionário de Avaliação O bloco geral do Questionário respondido pela equipe local de cada projeto apoiado (auto-avaliação), pelo parceiro executor (avaliação externa) e pelo coordenador do programa (avaliação geral da carteira) será capaz de gerar um gráfico em forma de teia, como ilustrado anteriormente, a fim de demonstrar o desempenho médio de cada programa. As três linhas poderão ser comparadas entre si e ainda produzirem um desempenho médio para as 3 variações, usando o dispositivo da média simples. Um primeiro quadro complementar ao Gráfico apresenta os resultados relacionados ao macro-indicador 7 (Percepção da Imagem do Banco Santander), também como média simples das respostas das equipes locais dos projetos. Um segundo quadro apresenta dados de produção, como somatórios dos indicadores relacionados aos Públicos Beneficia dos pelo Projeto. Outro quadro apresenta dados relacionados ao voluntariado. A partir dos Bancos de Dados gerados pelo bloco de questões específicas, cada parceiro executivo irá produzir um relatório do desempenho de seu programa específico, a ser objeto de análise com a equipe de ação social. Do conjunto, temos como resultado os dados da avaliação feita no início de 2014 Painel de Avaliação Anual do Investimento Social Desempenho dos Programas 1. Disseminação de Conhecimento 6. Autonomia 2. Desenvolvimento de competências 5. Acesso a direitos fundamentais 3. Colaboração com sociedade civil e/ou poder público 4. Articulação e colaboração em rede Figura 13. Painel com dados da avaliação de

21 Ao painel serão agregados alguns indicadores relacionados ao contexto dos projetos e programas, a fim de enriquecer leituras e análises estratégicas. Tais indicadores serão construídos a partir de fontes secundárias disponíveis na sociedade brasileira, não implicando novos instrumentos de avaliação, mas uma operação de busca e sistematização. A figura a seguir traz uma síntese destes indicadores. INDICADORES IDH médio dos municípios de ISP do Banco IDEB médio das escolas parceiras do Programa Escola Brasil C-Gini médio dos municípios de ISP do Banco Convergência entre municípios Brasil Sem Miséria e Municípios de ISP do Banco Percentual de municípios brasileiros que possuem Conselho do Idoso Percentual de municípios brasileiros que possuem CMDCA Volume total de destinação de IRPJ e IRPF para CMDCA e CMI no Brasil Figura 14. Indicadores secundários para análise. VII. Estudos e avaliações complementares A fim de responder a outras perguntas e a demandas, a equipe de investimento social poderá contratar estudos e avaliações complementares a este modelo, a medida que haja interesse e recursos. Estudos de impacto, pesquisas de imagem, estudos temáticos, avaliações de processo, entre outras, poderão ganhar espaço a cada ano, em razão de definições estratégicas no âmbito do planejamento 6. VIII. Considerações finais O Novo Modelo de Avaliação apresentado trouxe avanços significativos em relação ao modelo anterior. Contudo, é fundamental que a equipe de ação social esteja atenta aos resultados da primeira rodada de avaliação neste novo formato, a fim de fazer os ajustes necessários. Além de produzir informações precisas, abrangentes e confiáveis, aposta-se em um processo de avaliação que favoreça o diálogo e as aprendizagens, ampliando a força de influência da avaliação na direção estratégica do investimento social do Banco Santander. Seu uso pelos participantes e público-alvo, parceiros executores, equipe executiva e instâncias de liderança do Banco é fundamental para alcançar este potencial. Avaliação não utilizada deixa de ser avaliação. 6 No período 2013/2014, o Programa Educação Infantil foi objeto de avaliação externa com métodos distintos dos aqui apresentados. 21

22 Investimento Social Diretoria de Desenvolvimento Sustentável Equipe gestora e técnica LINDA MURASAWA Superintendente Executiva de Desenvolvimento Sustentável Emanuelle Magno O. Amaral Gerente de Desenvolvimento Sustentável Herica Aires Analista de Desenvolvimento Sustentável Parceiro Avaliador Move - Avaliação e Estratégia move@movesocial.com.br EM CASO DE DÚVIDAS Escreva para move@movesocial.com.br ou ligue para (11)