Processo de construção de indicadores para a Fundação Tide Setubal
O surgimento da necessidade de criação de indicadores Breve histórico da Fundação 1º momento (2005-2006): em busca de parcerias locais Primeiros projetos (Família, Memória, Juventude) Recuperação da capacidade de atendimento do CDC (Esporte e Cultura) Dificuldade de se estabelecer parcerias com a agentes locais; Clientelismo e territórios demarcados 2º momento (2007-2008): fortalecimento do atendimento direto à população Trajetória de ação no território a partir das diferentes iniciativas. Constituição das identidades de cada projeto/núcleo Construção da legitimidade no território Aprendizagens a partir da prática Busca de forma inovadora de atuação (espaço para criatividade)
O surgimento da necessidade de criação de indicadores 3º momento: (2009 - ): Institucionalização das ações. Consolidação da estrutura interna Organização das ações no território em núcleos Sistematização e clareamento de suas metodologias. Missão era clara e apropriada pela equipe, mas identificou-se a necessidade de aprimorar as relações entre a Missão e as ações. Busca por maximização do impacto das ações da FTAS no território Foco na partilha dessa metodologia com outras instituições e na multiplicação Busca por organizar o discurso. Como cada núcleo contribui para a missão? Como fazemos? Qual o nosso diferencial? O processo de construção de indicadores surge nesse contexto
Primeira etapa: reorganização dos núcleos. Questões trabalhadas para articular a Missão com as ações. 1 Identificou-se a necessidade de estreitar as relações entre os núcleos e buscar, planejadamente, resultados comuns que expressassem a atuação da Fundação no território; 2 Cada núcleo tinha mais de um objetivo, mas nem sempre claramente definidos e relacionados; 3 Não havia distinção clara entre objetivos gerais, resultados para um período e atividades realizadas; 4 - Dificuldade de construção de discursos sintéticos e compreensíveis sobre os objetivos e as ações dos núcleos.
Passos realizados 1 Construção do objetivo geral de cada núcleo e apresentação para os demais 2 - Construção de perguntas de avaliação para cada núcleo O que é importante conhecer para avaliar a realização dos objetivos de cada núcleo?
Etapa 2: passos realizados 3 - Elaboração de indicadores com base nas perguntas de avaliação. Os objetivos estavam bem definidos, mas inicialmente havia cerca de 230 indicadores 160 dos Núcleos de Ação Direta (ou de atendimento à população): 10 indicadores de perfil do público 80 indicadores de processo 70 indicadores de resultado 70 dos núcleos de Planejamento e Gestão De 160, chegamos a 80 dos Núcleos de Ação Direta focados em 10 Dimensões
Perfil Ficha básica Criação de Instrumentos Processo Listas de frequência Registros de atividades já realizados pelos núcleos (aprimorados) Outros registros já utilizados pelos núcleos Registro da promoção e da participação da equipe em atividades externas Avaliação dos participantes Resultados Parte da Ficha Básica Roteiros de observação para informações qualitativas Avaliação dos participantes
Análise do processo Intencionalidades mais claras Objetivos gerais dos núcleos Objetivos específicos de cada núcleo Valores institucionais reforçados Indicadores enfocam resultados almejados institucionalmente Linguagem alinhada com a cultura institucional Interfaces explicitadas Indicadores de cada núcleo, de mais de um núcleo e de todos os núcleos (e a FB explicita interfaces com outras instituições...) Compromissos com informações amadurecidos Reconhecimento de que já existiam algumas rotinas de coleta de informações nos núcleos Instrumentos de coleta construídos
Etapa 2 Núcleo Ação Família Núcleo Ação Família (monitoramento, sistematização e pesquisa) Atendimento as famílias Sistematização de metodologia Incidência sobre debate público e sobre políticas Monitoramento para apoio à gestão (ciclo de 24 meses) Avaliação de resultados e impactos (longitudinal) Pesquisa Participação no debate público Famílias Oferta NAF Rede de serviços
Plano de monitoramento das famílias atendidas Ciclo do atendimento (24 meses) 1 o mês 12 o mês 24 o mês Perfil da família (vulnerabilidade social) Metas Avaliação do cumprimento das metas Atualização do perfil da família (vulnerabilidade social) Metas Avaliação do cumprimento das metas Perfil da família (vulnerabilidade social) Participação comunitária (fóruns) Participação nas atividades do NAF (orientação e encaminhamento; RSE, visitas domiciliares) Acesso a serviços (mercado, sociedade civil, estado) Evasão (tempo no programa e motivos) Desenvolvimento de conhecimentos e habilidades (não há instrumentos confiáveis)
O retorno, renovado, de um problema crônico Precisamos de um indicador de perfil das famílias que sirva para a produção de metas de atendimento e para o monitoramento das ações. A Fundação tem facilidade para coletar dados primários com qualidade, mas... transformar esses dados brutos em informações que produzam sentido e que respondam às perguntas da FTAS é um desafio constante.
Primeira opção de indicador para monitoramento... Produção de perfil das famílias que dialogasse com indicadores tradicionalmente usados (posição social, vulnerabilidade, pobreza).
indicadores específicos dimensão Histórico de migração indicador de base tempo em SMP último local de moradia local de nascimento dos chefes Composição domiciliar e familiar domicílio famlia local de nascimento dos pais dos chefes número de famlias no domicílio número de habitantes no domicílio número de membros presença de crianças até 9 anos presença de idosos + 65 anos deficientes abrigados Habitação Situação do domicílio Estrutura Conforto Trabalho e renda Saúde Proteção à infância Recursos culturais emprego/desemprego dos chefes formalização do trabalho dos chefes renda familiar de trabalho transferẽncias de renda e doações renda familiar total acesso a serviços odontológicos acesso a atendimento médico (ver saúde mulher) doenças crônicas deficiências trabalho infantil criança que ficam sozinhas saúde infantil faltas regulares à escola Crianças fora da escola bens culturais (rádio, tv, computador, internet) práticas culturais dos chefes (leitura, internet) analfabetos + 10 anos pop 4-17 fora da escola defasagem idade/série pop 6-17 anos chefes que estudam
Vantagem... Teríamos um banco de dados de qualidade que nos permitiria comparar as famílias atendidas com outros grupos de famílias e com estudos feitos em outros locais. Problema... Esse indicador envolveria características que não podem ser transformadas, diretamente, pela Fundação e, portanto, não serviria para o monitoramento.
Solução encontrada Princípio do indicador: registro da presença ou ausência de problemas que são ou podem ser objeto de atuação do Núcleo Ação Família (dicotômico). Quatro dimensões (saúde; educação; habitabilidade e vínculos vicinais; trabalho e renda) Cada dimensão é formada por indicadores da presença ou ausência de problemas (que são revelados por componentes vindos das respostas à Ficha Básica)
Próximos passos... 1 - Monitoramento Produzir um indicador para cada dimensão; Padronizá-los, assegurando comparabilidade; Produzir um indicador sintético; Produzir de perfil das famílias; Analisar os indicadores (eles revelam o que precisamos que seja revelado?); Usá-los como instrumento de monitoramento. Monitorar as outras dimensões apontadas anteriormente.
2 - Perfil das famílias Produção de perfil das famílias que permita análises comparativas entre elas e outros grupos, objetos de outros estudos. Esse nível de análise ampliará a capacidade de diálogo com outras instituições do Terceiro Setor e com o Estado.
Anexos
Indicadores versão final Foco: Perfil do público Foco: Processo Articulação com atores externos Articulação interna Envolvimento e satisfação com as atividades Equipe e infra-estrutura Frequência na atividade/ espaço Foco: Resultado Acesso à educação, à cultura, à saúde, à habitação, ao esporte e ao lazer (equipamentos, serviços e atividades) Ampliação participação cidadã Desenvolvimento de conhecimentos e habilidades para a cidadania e a qualidade de vida Fortalecimento de instituições locais (ONGs e escolas) Geração de trabalho e renda N indicadores 7 31 2 4 9 (5 e 4) 9 7 51 17 2 17 7 6 Dimensões construídas a partir dos núcleos de ação direta, mas que serão base para o geral
Fortalecimento de instituições locais (ONGs e escolas) NCC e MJ Foco: Perfil do público Todos Foco: Processo Articulação com atores externos Articulação interna Envolvimento e satisfação com as atividades Equipe e infra-estrutura Frequência na atividade/ espaço Todos Todos Todos Todos Todos Foco: Resultado Acesso à educação, à cultura, à saúde, à habitação, ao esporte e ao lazer (equipamentos, serviços e atividades) Ampliação participação cidadã Desenvolvimento de conhecimentos e habilidades par a cidadania e a qualidade de vida Todos Todos Todos
Fontes de dados Objeto do monitoramento Perfil das famílias e definição de metas Participação comunitária Participação nas atividades ofertadas pelo NAF Acesso a serviços ofertados por Estado, Sociedade Civil e Mercado Evasão Instrumento de coleta de dados Cadastro NAF (Ficha Básica) Ficha específica Ficha específica Ficha específica Ficha específica
Síntese dos objetivos e foco da avaliação de cada núcleo Comunicação Atender as necessidades de comunicação, divulgar as ações da Fundação e fortalecer sua imagem 1) Atendimento aos núcleos 2) Fluxo interno de informações 3) Fortalecimento da imagem FTAS 4) Impacto do uso das ferramentas de Internet Núcleo Administrativo Executar, apoiar e orientar sobre os processos administrativos, financeiros e de recursos humanos e promover o desenvolvimento institucional da FTAS. 1) Atendimento aos núcleos 2) Suporte à coordenação geral 3) Gestão dos recursos do FP Relações institucionais Contribuir para o relacionamento das FTAS com outras entidades, desenvolver ações e mobilização social. 1) Investimento através dos editais 2) Legitimidade, visibilidade e sustentabilidade da FTAS 3) Criação e implementação de políticas públicas 5) Valor atribuído às RIs pelos outros núcleos NGC Assessorar a equipe, produzir, sistematizar e circular conhecimentos, preservar a memória institucional, de forma a fortalecer a FTAS no campo do DLS 1) Aprimoramento da prática da equipe 2) Produção e sistematização de conhecimentos 4) Informações sobre prêmios e/ou editais 5) Preservação da memória institucional
Síntese dos objetivos e foco da avaliação de cada núcleo MJ Promover ação direta, multiplicação e articulação para fortalecer projetos de vida autônomos e qualificados de adolescentes e jovens. CPDOC Produzir, circular e preservar o acervo de memória social, para favorecer a resignificação da história de SMP CDC/GALPÃO Promover o uso público dos espaços e estimular práticas de convívio. PAF Estimular o protagonismo das famílias para melhorar sua própria qualidade de vida e da comunidade ACA Promover a formação educativa e cultural e promover a participação cidadã. NCC Irradiar metodologias de educomunicação para promover o direito à comunicação 1) Fortalecimento dos participantes das ações diretas 2) O núcleo nas discussões sobre as políticas de juventude 3) Desenvolvimento de habilidades nos professores 1) Construção, conservação e utilização do acervo 2) Resignificação da história do bairro 3) Reconhecimento do CPDOC 4) Empoderamento dos participantes. 1) Participação da comunidade nos espaços 2) Qualidade dos serviços oferecidos 3) Compromisso do educador com o espaço 4) O esporte no desenvolvimento social e qualidade de vida 1) Desenvolvimento de habilidades e participação das famílias 2) Acesso a recursos do território 3) Trabalho e renda 4) Articulação na Rede de Proteção Social 1) Apropriação das ações sócio-culturais 2) Percepção da importância da participação 3) Geração de renda 1) Transformações nos professores 2) Transformações nos participantes 3) Multiplicação 4) Participação da comunidade na comunicação local
6º passo: Instrumentos Instrumento Quem? Conteúdo (indicadores) 1) Ficha de inscrição Participantes (com alguém no núcleo) Identificação Atividade na qual se inscreve Como ficou sabendo E partes específicas 2) Ficha Básica É o único instrumento que enfoca resultados individuais É central na aferição dos resultados Participantes (com entrevistador) Dados de perfil Envolvimento autônomo em atividades culturais ou recreativas na cidade Participação em projetos educativos, culturais ou esportivos Participação e envolvimento em atividades em benefício da comunidade E partes específicas 3) Listas de freqüência Participantes ou educador Cada núcleo tem as suas E listas específicas
Instrumentos Instrumento Quem? Conteúdo 4) Registros das atividades Sua análise permite o redirecionamento das ações Equipe dos núcleos As já existentes, com a sugestão de incluir no registro: Parceria (com outro núcleo da FTAS ou outro parceiro) Em caso de parceria: Que articulação houve para a divulgação? Quais atividades foram realizadas por cada núcleo/parceiro? 5) Roteiros de observação Equipes dos núcleos Para registrar e analisar indicadores que enfocam dados qualitativos. Por exemplo: Participação nas discussões/ Motivação Aumento da visão crítica Melhora na capacidade de escuta e tolerância Melhora na capacidade de expressar opinião 6) Registros dos núcleos - Utilização de sistemas de registros já existentes para nutrir os indicadores. Por exemplo: - Alexandria, Biblilivro, Relatório de saúde Prefeitura
Instrumentos específicos Instrumento 7) Avaliação dos participantes Sua análise permite o redirecionamento das ações Quem? Participante Conteúdo Desenvolvimento de novos conhecimentos e habilidades para a cidadania e a qualidade de vida Satisfação Possibilidade: Participação e envolvimento em atividades em benefício da comunidade Participação em projetos educativos, culturais ou esportivos Envolvimento autônomo em atividades culturais ou recreativas na cidade E específicas... 8) Registros dos núcleos da promoção e da participação da equipe em atividades externas Equipe Promoção e participação em espaços de debate relacionados ao tema do núcleo Participação em reuniões com organizações Capacitações/ assessorias nos temas de conhecimento do núcleo