AVALIAÇÃO DO ALCANCE DA META GLOBAL DO REUNI PELAS UNIVERSIDADES FEDERAIS MEDIDA PELOS INDICADORES DE DESEMPENHO ESTABELECIDO PELO TCU

Transcrição

1 AVALIAÇÃO DO ALCANCE DA META GLOBAL DO REUNI PELAS UNIVERSIDADES FEDERAIS MEDIDA PELOS INDICADORES DE DESEMPENHO ESTABELECIDO PELO TCU Resumo Mara Águida Porfirio Moura 1 - UFPI Guiomar de Oliveira Passos 2 - UFPI Grupo de Trabalho - Políticas Públicas, Avaliação e Gestão do Ensino Superior. Agência Financiadora: não contou com financiamento Aborda-se a mensuração dos resultados obtidos pela política de expansão do acesso ao ensino superior no Brasil configurada no Programa de Reestruturação e Expansão de Universidades Federais-REUNI, avaliando o alcance das metas: elevação da taxa de conclusão média dos cursos de graduação presenciais para 90% e a relação de alunos de graduação em cursos presenciais por professor para dezoito. Essas metas são mensuradas através da avaliação do alcance dos resultados dos indicadores de desempenho publicados nos relatórios de gestão das IFES anualmente, seguindo as orientações da Decisão nº 408/2002 do Tribunal de Contas da União. Trata-se, nos termos de Figueiredo e Figueiredo (1986) de uma avaliação de processo em que se afere a eficácia, medindo a diferença entre a meta atingida e a proposta. Para isso, tem-se por base a pesquisa documental, consubstanciada na legislação que instituiu o Programa, relatórios de gestão disponibilizados pelas Universidades Federais e/ou pelo Tribunal de Contas da União. Constatou-se nas 53 instituições que aderiram ao Programa durante os cinco anos de execução a variação de alcance dos resultados teve uma maior concentração na faixa de 44 a 67% da taxa de sucesso, que corresponde a 49 a 74% da meta proposta. A variação da relação aluno/professor ficou na faixa de 9 a 15, concentrando 74% das instituições o que corresponde ao alcance de 50 a 83% da meta. Conclui-se que as metas globais do Reuni não foram atingidas pelas instituições que aderiram ao Programa, vez que apenas uma instituição alcançou a meta do indicador nº 2 e 6 instituições obtiveram o alcance igual ou superior a 90% do indicador nº 9. Assim, considerando esses indicadores, o Programa fracassou. Palavras-chave: Avaliação. Indicadores de Desempenho. Programa REUNI. 1 Doutoranda do Programa de Pós-Graduação em Políticas Públicas da Universidade Federal do Piauí UFPI onde também é professora do Curso de Administração no Campus Ministro Reis Velos (Parnaíba-PI). maraaguida@hotmail.com. 2 Doutora em Sociologia pela Universidade de Brasília e Professora da Universidade Federal do Piauí no Departamento de Serviço Social e no Programa de Pós-Graduação em Políticas Públicas (Doutorado e Mestrado). Realiza estudos sobre as políticas de educação, em especial da Política de Educação Superior. E- mail: guiomar@ufpi.edu.br ISSN

2 15385 Introdução O texto trata dos resultados obtidos pela política de expansão do acesso ao ensino superior no Brasil configurada no Programa REUNI, instituído pelo Decreto nº 6.096/07, e que previa, conforme seu art. 1º: criar condições para a ampliação do acesso e permanência na educação superior, no nível de graduação, pelo melhor aproveitamento da estrutura física e de recursos humanos existentes nas universidades federais (BRASIL, 2007), e como metas globais a elevação gradual da taxa de conclusão média dos cursos de graduação presenciais para 90% e a relação de dezoito alunos de graduação em cursos presenciais por professor. As metas globais do Programa REUNI são mensuradas através da avaliação do alcance dos resultados dos indicadores de desempenho publicados nos relatórios de gestão das IFES, anualmente, seguindo as orientações da Decisão nº 408/2002 do Tribunal de Contas da União. Este se constitui por um conjunto de nove indicadores que apresenta metodologia de cálculo com base em variáveis de mensuração para o alcance de objetivos e metas propostos nos programas governamentais. Entre esses noves indicadores de desempenho instituído pelo TCU na Decisão nº 408/2002, o indicador de nº 2, Aluno Tempo Integral/ Professor Equivalente e o indicador de nº 9, Taxa de Sucesso de Graduação, são os que correspondem às metas propostas pelo Programa REUNI e, por conseguinte, são utilizados para avaliar o alcance destas em cada IFES. Objetiva-se avaliar o alcance das metas globais do Programa REUNI tendo por base a Decisão nº408/2002, atualizada pelos acórdãos nº 1043/2006 e nº 2167/2006, do Tribunal de Contas da União (BRASIL, 2002; 2006a, 2006b). Trata-se, nos termos de Figueiredo e Figueiredo (1986) de uma avaliação de processo em que se afere a eficácia, medindo a diferença entre a meta atingida e a proposta, a fim de que se possa avaliar o grau de alcance dos resultados do programa empreendido. Essa avaliação se justifica, primeiro, em face da finalização do Programa, segundo, para oferecer elementos às possíveis ações de superação dos obstáculos que enfrentou no intuito de alcançar seus objetivos e, terceiro, porque a racionalização no uso dos recursos físicos e humanos, que previa como estratégia para ampliar o acesso ao ensino superior pode ser a única possibilidade de assegurar este direito a amplas camadas da população brasileira, em especial, às classes populares que só agora têm prolongada sua escolarização.

3 15386 Para isso, tem-se por base a pesquisa documental, consubstanciada na legislação que instituiu o Programa, relatórios de gestão das 53 Universidades Federais participantes nos cinco anos de vigência, divulgados pelo Tribunal de Contas da União e pela SESu/MEC ou pelas próprias IFES. Os dados foram organizados por ano e conforme as frequências absolutas e relativas, agrupadas em intervalos de classes, em que cada resultado foi alcançado. A tabela 1 relaciona as IFES avaliadas segundo as regiões, ressaltando que, em 2012 a UFRR e a UFJF não publicaram os relatórios de gestão conforme a orientação da Decisão/TCU nº 408/2002. Tabela 1 Instituições e número de Relatórios de Gestão avaliados entre 2008 e Regiões IFES Nº de IFES NORTE NORDESTE SUL SUDESTE CENTRO-OESTE UNIFAP, UFAC, UFAM, UFPA, UFT, UNIR, UFRR, UFRA. UFAL, UFBA, UFC, UFMA, UFPB, UFPE, UFPI, UFS, UFRN, UFERSA, UFRB, UFCG, UFRPE, UNIVASF. UFPR, UFPel, UFSC, FURG, UTFPR, UFCSPA, UFSM, UFRGS. UFES, UFMG, UFV, UFGD, UFJF, UFLA, UFSJ, UFOP, UFU, UFVJM, UNIFAL, UNIFEI, UFRJ, UFRRJ, UNIFESP, UFSCar, UFTM, UFF, UNIRIO. UNB, UFG, UFMT, UFMS. TOTAL 53 Fonte: Elaborado pelas autoras com base nos relatórios de Gestão das IFES de 2008 a * A UFRR não publicou os dados de ** A UFJF não publicou os dados de * * 4 O texto está estruturado em três seções. A primeira se constitui pela introdução aqui apresentada; a segunda, subdividida em dois itens os indicadores de desempenho instituído pela Decisão TCU nº 4008/2002 e o Desempenho das IFES segundo a relação aluno por professor e taxa de sucesso de graduação pelas IFES que aderiam ao programa em 2007 expõe e analisa os resultados obtidos, tendo por base os parâmetros definidos na normatização do Programa. Por fim, analisam-se os resultados, mensurando-os em termos de sucesso ou fracasso do Programa.

4 15387 A Meta Global do REUNI frente aos Indicadores de Desempenho do TCU Indicadores de desempenho das IFES estabelecidos pelo TCU Indicador de desempenho, conforme o Tribunal de Contas da União TCU, é um número, porcentagem ou razão que mede um aspecto de desempenho, com a finalidade de comparar esta medida com as metas preestabelecidas (BRASIL, 2000, p.9). Consiste em uma alternativa para que se tenha uma boa visão acerca do resultado que se deseja medir (BRASIL, 2000, p.9), contribuindo para a explicitação e até a precisão do que se deseja alcançar com certos programas de governo e sobre o que as organizações públicas e os programas devem entregar ou produzir (BRASIL, 2011, p. 10). Esses indicadores possuem duas funções básicas: a primeira é descrever, por meio da geração de informações, o estado real dos acontecimentos e o seu comportamento, e a segunda, gerar caráter valorativo, que consiste em analisar as informações presentes com base nas anteriores de forma a realizar proposições valorativas (BRASIL, 2009, p. 12). Essas são as funções dos indicadores que o TCU exigiu através da Decisão nº 408/2002, atualizada pelos Acórdãos nº 1043/2006 e nº 2167/2006, constar nos Relatórios de Gestão das Instituições Federais de Ensino Superior (IFES). São instrumentos oficiais de mensuração e avaliação dos resultados por elas obtidos, segundo as orientações e base de cálculos ali estabelecidos. Estes indicadores com as respectivas informações que apresentam são os seguintes: Custo Corrente / Aluno Equivalente mensura os custos das atividades correntes (funcionamento e manutenção) por aluno equivalente nas IFES. Aluno Tempo Integral / Professor Equivalente evidencia a relação entre o número de alunos em tempo integral e o número de professores equivalentes nas IFES. Aluno Tempo Integral / Funcionário Equivalente afere a relação entre força de trabalho administrativa e o número de alunos Funcionário / Professor apresenta a relação entre a força de trabalho docente e o número de servidores da IFES. Grau de Participação Estudantil GPE - mensura o número de alunos da graduação com dedicação em tempo integral ao curso, o resultado é alcançado por meio da razão entre o número de alunos em tempo integral e o número total de alunos matriculados nos cursos de graduação.

5 15388 Grau de Envolvimento discente com Pós-Graduação GEPG identifica a intensidade do envolvimento discente com a pós-graduação stricto sensu, este resultado é obtido através da divisão do total de alunos de pós-graduação pela soma do total de alunos de graduação e pós-graduação. Conceito CAPES / MEC para a Pós-Graduação indica a relação entre a média aritmética das notas de avaliação realizada pela CAPES de todos os cursos de pósgraduação stricto sensu avaliados. O resultado é obtido através da divisão entre o somatório dos conceitos dos diversos programas e a quantidade de programas de pós-graduação, sendo os mestrados profissionalizantes excluídos deste cálculo. Índice de Qualificação do Corpo Docente IQCD - mensura o nível de qualificação dos docentes levando em consideração a variação entre 1 e 5. Os docentes são pontuados de acordo com sua titulação, da seguinte forma: 5 para doutor, 3 para mestre, 2 para especialista e 1 para graduado. Taxa de Sucesso na Graduação TSG - afere a relação entre o número de diplomados e o número total de alunos ingressantes. Para avaliar a meta global do REUNI, tem-se por base os seguintes indicadores: Aluno Tempo Integral/Professor Equivalente e a Taxa de Sucesso na Graduação, calculados conforme as seguintes fórmulas: Sendo: Aluno Tempo Integral/professor Equivalente: Aluno Tempo Integral/ Professor Equivalente = A G TI = Aluno Tempo Integral. A PG TI = Aluno Tempo Integral da Pós-Graduação. A R TI = Aluno de Residência Médica. Taxa de Sucesso de Graduação TSG: A G TI + A PG TI + A R TI Nº de Professores Taxa de Sucesso de Graduação - TSG = Nº de Alunos Diplomados Nº total de Alunos Ingressante O desempenho das IFES segundo essas medidas é exposto a seguir. Desempenho das IFES segundo a relação aluno por professor Este indicador, Aluno Tempo Integral/ Professor Equivalente, expressa o número de alunos por professor, medindo proporcionalmente a quantidade de alunos que estão sob a tutela acadêmica de um professor. Para encontrar o número de professor equivalente deve-se levar em conta os pesos estabelecidos pela Decisão/ TCU nº 408/2002, que considera para professor 20hs por semana 0,5; para professor 40hs por semana e Dedicação Exclusiva (DE) o peso de 1,0. Vale ressaltar que, professores afastados para capacitação, cedidos e com

6 15389 mandatos eletivos para outros órgãos ou entidades administrativas públicas, em cada exercício, não compõem o cálculo deste indicador. Expõem-se na tabela 2 os resultados da Média, do Desvio Padrão e do Coeficiente de Variação dos dados referentes aos Relatórios de Gestão publicados pelas IFES no período de 2008 a A Média aritmética consiste na soma de todos os valores observados (x i ) dividido pelo número total de observações (N i ), apontando para onde se concentram os dados de uma distribuição obtidos através da fórmula: X = x i /N i. O Desvio Padrão consiste em medir a dispersão dos valores individuais em torno da média. Refere-se à média quadrática dos desvios em relação à média aritmética de uma distribuição de frequências obtidas através da fórmula: S = (x i x) 2 / N 1. O Coeficiente de Variação consiste em uma medida de dispersão relativa, utilizada para estimar a precisão de experimentos e representa o desviopadrão expresso como porcentagem da média, obtido através da fórmula: Cv = 100. S/X. Tabela 2 - Média, Desvio Padrão e Coeficiente de Variação do Aluno Tempo Integral/Professor Equivalente de 2008 a Ano Média Desvio padrão Coeficiente de variação ,00 2,8 23, ,34 2,8 24, ,33 2, ,69 2,3 19, ,67 2,6 22,3 Fonte: Elaborado pelas autoras com base nos relatório de gestão das instituições de 2008 a Os dados expressos na tabela 2 sintetizam a relação número de alunos por professor nas 53 instituições federais, que foi em média de 11,6, no período, o que representa 64% da meta, e, em cada ano, de 11,33 em 2010 a 12,0 em 2008, vale dizer, de 63 a 67% do que se pretendia. Gráfico 1 Média do indicador Aluno Tempo Integral/ Professor equivalente do Programa REUNI. Fonte: Elaborado pelas autoras com base nos relatório de gestão das instituições em 2008 a 2012.

7 15390 Todavia, o coeficiente de variação é de 19,6 a 24,4%, indicando heterogeneidade das beneficiadas quanto a esse critério nos cinco anos de execução do programa, conforme apresentado também no gráfico 2. Gráfico 3 Coeficiente de Variação do indicador Aluno Tempo Integral/ Professor Equivalente do Programa REUNI. Fonte: Elaborado pelas autoras com base nos relatório de gestão das instituições em 2008 e Com efeito, analisando os dados contidos na tabela 3, pode-se constatar uma concentração na faixa de 9 a 15 alunos por professor, sendo em 2008 e 2009 de 71,1%, o que corresponde a 38 IFES; em 2010 a situação permanece com 71,8%. Já em 2011, ocorre um aumento na quantidade de instituições que obtêm resultados dentro nessa faixa com 42, representando 79,3% das avaliadas. Em 2012, a concentração é de 74,6% que representa 38 das 51 avaliadas. Os resultados variam em cada ano e ao longo do período, ainda que se concentrem, em 2012, 74% das instituições na faixa de 9 a 15 alunos por professor, o que representa de 50 a 83% da meta estabelecida pelo programa, que era de 18 alunos por professor. Tabela 3 Relação Aluno Tempo Integral/ Professor Equivalente por ano nas IFES Valor Absoluto: abs. Aluno/professor abs % abs % abs % abs % Abs % ,7 5 9,4 0 0,0 0 0,0 1 2, ,5 6 11, ,6 7 13,2 8 15, , , , , , , , , , , , , , , , ,3 4 7,5 3 5,7 4 7,5 4 7, ,8 0 0,0 0 0,0 0 0,0 0 0,0 Total Geral , , ,0 51* 100,0 Fonte: Elaboração própria a partir dos resultados obtidos nos Relatórios de Gestão das IFES. *A UFRR e a UFJF não publicaram os dados no ano de 2012.

8 15391 Ao comparar os dados do início do Programa em 2008 com os do término em 2012, observa-se que houve um recuo dos resultados encontrados em relação a aluno por professor. Em 2008 duas instituições obtiveram resultado na faixa de 17 a 18 alunos por professor, mas apenas uma alcançou o resultado estabelecido pela meta de 18/1, a UNB com 18,71, o que jamais foi obtido por nenhuma outra nos anos seguintes. Os resultados de 2012 são, na sua maioria, inferiores aos de 2008, conforme a tabela 3 e demonstrado no gráfico 4, evidenciando o insucesso do Programa quanto a esse parâmetro. Gráfico 3 Relação Aluno por Professor no início do Programa REUNI 2008 e no final em Fonte: Elaboração própria a partir dos resultados obtidos nos Relatórios de Gestão das IFES. Isso indica que, diferentemente, do previsto na art. 1º do Decreto 6.097/07, a ampliação do acesso não se deu pelo melhor aproveitamento dos recursos humanos, no caso, professor, mais pela contratação de novos. Como se constata nos dados do Censo de Educação Superior de 2012, o total de funções docentes saiu de em 2007 para em 2012, que representa um aumento de 34,57% (INEP, 2013) e o número de alunos matriculados na graduação de em 2007, para em 2012, representando um aumento de 25,39%, conforme demonstrado na tabela 4. Desempenho das IFES segundo a Taxa de Sucesso na Graduação TSG. Trata-se, conforme o TCU, de um indicador que evidencia a relação entre o número de alunos concluintes e o número de alunos ingressantes, refletindo assim, o nível de retenção e, consequentemente, de eficiência do sistema acadêmico da instituição. Na avaliação do indicador Taxa de Sucesso na Graduação, adota-se o mesmo procedimento usado no indicador anterior quanto ao alcance da meta com base na Média, no

9 15392 Desvio Padrão e no Coeficiente de Variação como se constata na tabela 5. A média alcançada no período foi uma taxa de sucesso de 61%, o que significa, aproximadamente, 68% da meta. Em cada ano, esse alcance variou de 66%, em 2008, para 56%, em 2012, o que corresponde a 73 a 62% do que se pretendia, todavia, o coeficiente de variação é de 25,6 a 31,5%, indicando heterogeneidade das beneficiadas também quanto a esse critério. Tabela 5 - Média, Desvio Padrão e Coeficiente de Variação da Taxa de Sucesso na Graduação de 2008 a Ano Média Desvio Padrão Coeficiente de Variação ,9 25, ,4 30, ,0 28, ,9 25, ,7 31,5 Fonte: Elaboração própria a partir dos dados dos Relatórios de Gestão das IFES. O gráfico 5 mostra os resultados da média nos cinco anos do programa, evidenciando declínio no alcance dos resultados, diferentemente do constatado em relação à média no indicador aluno por professor, cujos resultados sofrem apenas pequenas variações no período. Gráfico 5 Média do indicador Taxa de Sucesso na Graduação do Programa REUNI. Fonte: Elaborado pela autora com base nos relatório de gestão das instituições em 2008 e Com efeito, como se constata na tabela 6, os resultados variam em cada ano e ao longo do período, ainda que 40% a 59% das instituições tenham de 44% a 67% de taxa de sucesso na graduação ou 49 a 74% da meta.

10 15393 Tabela 6 Taxa de Sucesso na Graduação por ano nas IFES Valor Absoluto: abs TSG Abs % abs % abs % abs % abs % Menos de A partir de Total Fonte: Elaboração própria a partir dos resultados obtidos nos Relatórios de Gestão das IFES. Ao comparar-se os resultados de 2008, expressos no gráfico 6, em relação aos alcançados no final do programa, em 2012, gráfico 7, observa-se que o número de instituições que obtiveram resultados superiores a 90% na taxa de sucesso é de 5 instituições, no primeiro ano do programa e de apenas uma instituição, ao término. O mesmo acontece com o faixa de alcance de 67% a 90% da taxa de sucesso, que em 2008 era de 43%, com 23 IFES e vai para 18%, correspondendo a 9 instituições. Gráfico 6 Taxa de Sucesso na Graduação no início e no fim do Programa REUNI 2008 Fonte: Elaboração própria a partir dos resultados obtidos nos Relatórios de Gestão das IFES. O alcance dessa meta dependia que 90% dos ingressantes concluíssem seus cursos no tempo padrão. Em 5 anos, período estabelecido no Decreto para alcançá-la, tinha tempo hábil para tal, apenas os ingressantes de 2008 e 2009 de cursos de 4 a 5 anos de duração. Logo, grande parte dos alunos beneficiados com a expansão, pelo menos 60%, não podia concluir porque não tinha 4 ou 5 anos de ingresso e outros frequentavam cursos de duração maior. Isso

11 15394 explica porque além da taxa não ter se ampliado nos anos finais do período em estudo o número de instituições com 90% ou mais de taxa de sucesso reduziu de 9% para 2%. Constatou-se, após a avaliação dos resultados relativos às metas globais do Programa Reuni, que nenhuma instituição conseguiu alcançar as metas estabelecidas. Essas metas se constituem pelo alcance, simultâneo, de 1/18 alunos por professor e de 90% na Taxa de Sucesso de Graduação. É verdade que algumas obtiveram sucesso no alcance de uma das metas, em particular, em relação à Taxa de Sucesso na Graduação, mas em quantidade reduzida, não afetando a situação global de insucesso do Programa. Considerações Finais Este texto avaliou o alcance das metas globais do Programa REUNI pelas IFES no período de 2008 a 2012 elevação da relação docente-aluno para 1/18 e da taxa conclusão de curso para 90% que constituíam a estratégia para ampliar o acesso e permanência na educação superior. Mediu-se, consoante o previsto pelo Ministério da Educação, tendo por base dois dos nove indicadores de desempenho estabelecidos na Decisão/TCU 408/2002 e utilizando-se os dados dispostos nos Relatórios de Gestão também divulgados, ano a ano, pelas IFES, segundo essa mesma determinação. a relação aluno tempo integral/professor equivalente se concentrou com 71,7% a 74,9% das IFES na faixa de 9 a 15, o que corresponde a 74% da meta estabelecida, registrando-se apenas uma ocorrência de alcance da meta (18/1): na Universidade de Brasília, em Um caso totalmente isolado e ocorrido no primeiro ano do Programa. na Taxa de Sucesso de Graduação, os melhores resultados concentraram-se, com 40 a 59% das IFES, na faixa de 44 a 67% da taxa de sucesso, o que corresponde a 49 a 74% da meta, registrando-se apenas sete ocorrências de alcance da meta (90%) nas seguintes participantes: UFCSPA, UFJF, UFMG, UFRJ, UFU, UNIFESP E UFTM. São, como no outro indicador, exceções não apenas pelo reduzido número, mas, principalmente, porque não se configurou um padrão em nenhuma delas. Desse modo, o alcance da meta seja em um ou no outro indicador foi parcial: 74% no que se refere à relação aluno por professor e de 49 a 74% quanto à taxa de sucesso na graduação. O Programa não estabeleceu o limite tolerável da diferença entre a meta alcançada e a prevista, contudo, não se pode considerar como sucesso um alcance de menos de dois

12 15395 terços do previsto, em particular, quando esses melhores resultados atingiram apenas parte das beneficiadas. Como foi constatado, a média no período foi de 11,6 aluno por professor e de 60,6% a taxa de sucesso, correspondendo, respectivamente a 64 e 67% da meta. Essas constatações requerem aprofundamento da investigação, principalmente em relação aos fatores condicionantes dos resultados, até porque estes não foram uniformes, isto é, algumas ficaram mais próximas da meta do que outras, indicando que há diferenças entre elas que precisam ser explicitadas, tendo em vista a melhor utilização dos recursos, como previsto no Reuni, e, principalmente, os milhares de excluídos do sistema de ensino. Cumpre, então, prosseguir os estudos, examinando as razões do fracasso de um Programa que envolveu R$ 2 bilhões entre 2008 e 2012 (BRASIL, 2007) e, principalmente, investigar o que compromete a eficiência, a eficácia e a efetividade das IFES em estudo. REFERÊNCIAS BRASIL. Decreto nº 6.096, de 24 de abril de Institui o Programa de Apoio aos Planos de Reestruturação e Expansão das Universidades Federais REUNI. Diário Oficial da União, Brasília, Seção 1, p.7, 25/4/ INEP. Censo da Educação Superior, Disponível em: Acesso em: 20 de janeiro de Ministério da Educação. Análise sobre a expansão das Universidades Federais 2003 a Brasília, Ministério da Educação. Secretaria da Educação Superior. Diretrizes gerais do programa de apoio a Planos de Reestruturação e Expansão das Universidades Federais REUNI. Brasília DF, Disponível em: Acessado em 05/08/ Tribunal de Contas da União. Indicadores de desempenho e mapa de produtos. Brasília: TCU, Tribunal de Contas da União TCU. Decisão 408 Plenário. Relatório Consolidado de Auditoria Operacional. Brasília, DF, 24 de abril de Tribunal de Contas da União TCU; Secretaria de Educação Superior SESu/MEC; Secretaria Federal de Controle Interno SFC. Orientações para o cálculo dos indicadores de gestão: Decisão TCU nº 408/2002 plenário. Versão revisada em jan/ Ministério do Planejamento, Orçamento e Gestão. Indicadores de programas: Guia Metodológico. Brasília: MP, 2010.

13 Tribunal de Contas da União. Secretaria de Fiscalização e Avaliação de Programas de Governo (SEPROG). Técnica de indicadores de desempenho para auditorias. Brasília, FIGUEIREDO, M. F.;FIGUEIREDO, A. M. C. Avaliação política e avaliação de políticas: um quadro de referência teórica. Anál. e Conj., Belo Horizonte, v. 1, n. 3, p , set/dez