Escola de Artes, Ciências e Humanidades Aula 7 Monitoramento e Avaliação em OSFL Prof. Dr. Fernando de Souza Coelho Disciplina: Gestão de Organizações sem Fins Lucrativos Curso: Bacharelado em Gestão de Políticas Públicas São São Paulo, 1217 de de março julho de de 2007
Bibliografia referente à aula 7 Leituras Recomendadas: Ulrich Pace, E., Basso, L.C, Silva, R. O uso de indicadores de desempenho no terceiro setor. Curitiba: Anais ENEO, 2004. Hudson, M. Administrando Organizações do Terceiro Setor. São Paulo: Makron Books, 1999. (p. 157-162 e 284-287).
A disciplina de GOSFL Aulas 1 e 2 Tipificação das OSFL Prof. Alessandro Soares Aula 3 Governança em OSFL Prof. José Carlos Vaz Aula 4 Aspectos Contábeis em OSFL Prof. Jaime Crozatti Aulas 5 e 6 Planej. Estratégico e Operacional em OSFL - Prof. José Carlos Vaz Aula 7 Monitoramento e Avaliação em OSFL Prof. Fernando Coelho......
Nas aulas 5 e 6, vocês discutiram... Plano de trabalho Definição das operações para viabilizar os resultados Detalhamento das operações em ações Responsabilização (matriz de compromissos) Responsáveis Prazos Recursos Indicadores Nesta aula, discutiremos... Definição do monitoramento e avaliação Método Procedimentos...
Contexto O cenário de atuação das organizações sem fins lucrativos se sofisticou, aumentaram os públicos de interesse e também o seu nível de exigência, aumentou a cobrança da sociedade, aumentaram as fontes de financiamento e também o número de organizações disputando os mesmos recursos das mesmas fontes de financiamento. Existem recursos, faltam bons projetos Excesso de improvisação, falta de planejamento Baixa utilização de instrumentos/ferramentas de gestão Brasil: cerca de 250 mil organizações movimentam 3,0% do PIB Fonte: Merege (2005)
Contexto Fatores Críticos de Sucesso em OSFL Articulação político-institucional Identificação (e comprometimento) de Lideranças Entidade Sede e Estrutura mínima Sistematização de processos (possibilidade de troca de informações e diretrizes) Uso adequado do Marketing de Causa Capacidade Organizacional para a Captação de Recursos Motivação para o voluntariado Estrutura de Comunicação com os Stakeholders Uso de tecnologia de gestão
Tecnologia de Gestão para... Planejamento e gestão estratégicos Planos Operacionais e Gestão de Projetos Responsabilização por Resultados Monitoramento e Avaliação Participação Social
Falhas de implementação Contexto Formulação Ausência de política Qualidade da formulação Não reflete perspectivas Baixa governança Pessoas As organizações não comprometem as pessoas com a realização das políticas Porque as organizações falham na implementação das estratégias? Estruturas Formulação X ação Gestão fragmentada Não é orientada a resultados Ausência de Processos Controle Orçamento X planejamento Falta flexibilidade Recursos
O Ciclo do PDCA (Fayol Atualizado) AGIR sobre as causas, em caso de não atingimento do planejado A P PLANEJAR onde se quer Chegar: META Definir como chegar lá: MEIOS C VERIFICAR os resultados obtidos, comparando-os com as Metas D CAPACITAR as pessoas, se necessário EXECUTAR o que foi planejado
Sistema de Monitoramento e Avaliação Monitoramento sistêmico e intensivo (estratégico e operacional) Avaliação institucional: feedback dos atores envolvidos Avaliações por projetos (ex: avaliação de impacto)... O desafio de construir indicadores de desempenho
Focos do Monitoramento Contínuo e da Avaliação Periódica Medida da eficácia Recursos Produtos Resultados Medida da eficiência Medida da efetividade Eficiência Cumprimento das normas e redução de custos Eficácia Verificação das discrepâncias entre os resultados alcançados e os objetivos pretendidos Efetividade Relação entre objetivos-metas e impactos-efeitos
Indicadores de Desempenho reconhecer a importância do sistema de medição no dia-a-dia da organização identificar objetivos, atributos e dimensões de desempenho da organização estabelecer ferramentas de mensuração de desempenho ferramentas de controle/avaliação com o uso de indicadores permite obter informações por meio de valores comparados a um padrão mostram a situação atual e subsidiam a melhoria Um exemplo BSC (Balance Score Card) Construção de padrões de desempenho de prestação de serviços utilizando perspectivas da organização.
BSC Conceito ferramenta que permite a análise focada nas áreas críticas de sucesso e nos objetivos estratégicos Relaciona objetivos/metas com resultados controla a performance das mais diversas áreas simultaneamente conjunto de medidas financeiras e não-financeiras Aplicável (e adaptável) a qualquer tipo de organização Objetivos traduzir as estratégias para que todos as entendam alinhar a organização aos objetivos estratégicos envolver a organização na implementação das ações estratégicas constituir um ambiente de permanente transformação processos de aprendizado e melhoria contínua
Perspectivas do BSC Financeira (ou institucional) resultados quanto aos objetivos de : aumentar receita, diminuir custos, aumentar a produtividade e reduzir riscos cliente análise da perspectiva do cliente: satisfação, confiança, preferência processos internos inovações, entrega, serviços, lucro, produtividade aprendizagem e crescimento satisfação, performance e envolvimento dos empregados Dinâmica do BSC a organização estabelece suas estratégias de perpetuação e geração de valor QUE é sustentada por usuários QUE utilizam-se de produtos e serviços QUE são providos via processos internos QUE são mantidos e melhorados por meio do aprendizado e da inovação
Balanced Scorecard (BSC): perspectivas Institucional Metas Metas Cliente visão e estratégia Inov. e Aprendiz. Processos internos Metas Metas Medidores Medidores Medidores Medidores
Um Exemplo... Modelo Gerencial ENAP 2000-2001 Informação e Conhecimento em Gestão Desenvolvimento de Dirigentes e Gerentes Estratégicos Capacitação de Servidores e Coordenadores de Equipe Institucional & Financeiro 1 - Apoiar Gerentes do PPA e Colaboradores Diretos 8 - Ampliar a Importância da ENAP na Formação de Carreiras 14 - Ampliar Receitas Próprias e Convênios Clientes 4-Consolidar o site da ENAP como meio de difusão de conhecimento e tecnologia gerencial 5 - Desenvolver ou Certificar Gerentes Estratégicos 6 - Realizar Programas de Desenvolvimento de Gerentes Operacionais e Supervisores 7 - Capacitar Vários Segmentos de Servidores Federais para melhoria da Gestão Processos Internos 3-Direcionar Pesquisas Publicações e Eventos para antecipação de tendências na Gestão Pública 12 - Atualizar e Ampliar a Infra-estrutura Tecnológica e Logística 11 - Medir o Nível de Satisfação das Organizações Clientes Inovação 2 - Trabalho em Rede com Parceiros Estrangeiros de Excelência 9 - Desenvolver Competência Interna em Desenvolvimento Gerencial 10 - Estimular internamente um Ambiente Organizacional baseado na Inovação e Motivação 13 -Implantar Monitoramento Estratégico de Custos e Resultados
Avaliação de impacto Impacto = mudança na vida das pessoas. É o resultado que o programa pretende. Necessidade dos grupos de controle e tratamento Avaliação econômica Valor dos benefícios = medida monetária do impacto. Custos = administrativos + execução + oportunidade (o que deixou de ser pago pelo programa, mas foi gasto pela sociedade).
As técnicas de avaliação econômica e de impacto, apesar de bem estabelecidas, solicitam atenção especial para os seguintes aspectos: A intangibilidade de alguns benefícios; A dificuldade de preparar grupos de controle; A limitação de métodos adaptados tanto da área pública quanto da área privada. Nas OSFL a identificação do impacto exige o reconhecimento dos valores transmitidos. 18
Desafio:Compatibilizar expectativas das partes interessadas Colaboradores Líderes Clientes Comunidade Financiadores Usuários Sociedade
Em outras Palavras... capacidade s expectativas Instituidores Funcionários Voluntários interesses Doadores Público-Alvo necessidades representaçõe s
Valores Universalidade Autonomia Controle social Qualidade Efetividade Cultura Pública Sustentabilidade Visibilidade Democratização Representatividade de interesses coletivos Diferentes vínculos entre fatos e valores percebidos pelos públicos constituintes.
Pesquisa em ONG s Paulistas (2006) Percepção dos valores pela totalidade dos públicos Ordem Valor Média Desvio 1 Qualidade 7,59 2,34 2 Efetividade 5,78 2,75 3 Sustentabilidade 5,48 2,97 4 Democratização 5,36 2,78 5 Universalidade 5,31 2,84 6 Representatividade 5,30 2,70 7 Cultura Pública 5,16 2,61 8 Controle Social 5,16 2,97 9 Visibilidade Social 4,96 2,74 10 Autonomia 4,90 3,02
Pesquisa em ONG s Paulistas (2006) Percepção dos valores pelo DOADOR Ordem Valor Média Desvio 1 Sustentabilidade 6,80 2,94 2 Autonomia 6,60 3,12 3 Qualidade 6,40 2,68 4 Universalidade 5,80 2,63 5 Visibilidade Social 5,40 2,63 6 Representatividade 5,40 2,96 7 Efetividade 5,28 2,89 8 Democratização 5,24 2,89 9 Cultura Pública 4,52 2,52 10 Controle Social 3,56 2,38
Pesquisa em ONG s Paulistas (2006) Percepção dos valores pelos INSTITUIDORES Ordem Valor Média Desvio 1 Sustentabilidade 7,30 2,11 2 Qualidade 6,36 2,56 3 Universalidade 6,24 2,87 4 Visibilidade Social 5,73 3,02 5 Efetividade 5,61 2,62 6 Autonomia 5,21 3,22 7 Democratização 5,00 2,86 8 Representatividade 4,88 2,69 9 Cultura Pública 4,73 3,01 10 Controle Social 3,94 2,51
Pesquisa em ONG s Paulistas (2006) Percepção dos valores pelos FUNCIONÁRIOS Ordem Valor Média Desvio 1 Qualidade 7,93 2,18 2 Efetividade 5,97 2,79 3 Cultura Pública 5,43 2,59 4 Democratização 5,39 2,55 5 Universalidade 5,22 2,92 6 Sustentabilidade 5,18 3,00 7 Representatividade 5,06 2,56 8 Controle Social 4,97 2,96 9 Autonomia 4,96 3,09 10 Visibilidade Social 4,87 2,72
Pesquisa em ONG s Paulistas (2006) Percepção dos valores pelos VOLUNTÁRIOS Ordem Valor Média Desvio 1 Qualidade 7,92 2,18 2 Sustentabilidade 6,77 2,85 3 Representatividade 5,66 2,95 4 Efetividade 5,49 2,68 5 Universalidade 5,49 3,00 6 Cultura Pública 5,05 2,51 7 Democratização 4,93 2,59 8 Autonomia 4,61 2,80 9 Visibilidade Social 4,54 2,47 10 Controle Social 4,54 2,88
Pesquisa em ONG s Paulistas (2006) Percepção dos valores pelo BENEFICIÁRIO Ordem Valor Média Desvio 1 Qualidade 7,56 2,34 2 Controle Social 6,24 2,89 3 Efetividade 5,82 2,76 4 Democratização 5,63 3,07 5 Representatividade 5,51 2,70 6 Cultura Pública 5,11 2,58 7 Universalidade 5,02 2,67 8 Visibilidade Social 4,97 2,82 9 Autonomia 4,59 2,90 10 Sustentabilidade 4,55 2,72
Pesquisa em ONG s Paulistas (2006) Percepção dos valores excluindo-se PÚBLICO-ALVO Ordem Valor Média Desvio 1 Qualidade 7,60 2,35 2 Sustentabilidade 5,93 2,99 3 Efetividade 5,76 2,75 4 Universalidade 5,46 2,91 5 Democratização 5,23 2,62 6 Representatividade 5,20 2,70 7 Cultura Publica 5,18 2,63 8 Autonomia 5,06 3,07 9 Visibilidade Social 4,95 2,70 10 Controle Social 4,63 2,87
Trabalho Como monitorar e avaliar o desempenho das organizações que vocês estão criando? INDICADORES DE DESEMPENHO Como mensurar a relação entre produtos e insumos? Como mensurar a quantidade e qualidade do que se entrega ao beneficiário? Como mensurar o impacto, a diferença que isto faz para o beneficiário? DIMENSÕES DO DESEMPENHO EFICIÊNCIA EFICÁCIA EFETIVIDADE INSUMOS ORGANIZAÇÃO, PROGRAMA OU PROJETO PRODUTOS (bens ou serviços) IMPACTOS NO CONTEXTO -orçamento - quadro de pessoal - parcerias - dados e informações PROCESSOS DE TRABALHO Planos de Ação "coisas a fazer"