SISTEMA INTEGRADO DE METAS E ACOMPANHAMENTO DE RESULTADOS DA SECRETARIA DE ESTADO DE SEGURANÇA DO RIO DE JANEIRO

Transcrição

1 Centro de Convenções Ulysses Guimarães Brasília/DF 16, 17 e 18 de abril de 2013 SISTEMA INTEGRADO DE METAS E ACOMPANHAMENTO DE RESULTADOS DA SECRETARIA DE ESTADO DE SEGURANÇA DO RIO DE JANEIRO Antonio Roberto Cesário de Sá

2 2 Painel 52/197 Segurança pública: o RJ em foco SISTEMA INTEGRADO DE METAS E ACOMPANHAMENTO DE RESULTADOS DA SECRETARIA DE ESTADO DE SEGURANÇA DO RIO DE JANEIRO Antonio Roberto Cesário de Sá RESUMO Em sintonia com ideais da moderna gestão pública, o Estado do Rio de Janeiro adotou inovações que levaram sua política de segurança a colher resultados positivos nos últimos anos. Em 2009, a Secretaria de Estado de Segurança implantou seu Sistema Integrado de Metas (SIM), que compreende a definição de metas para os Indicadores Estratégicos de Criminalidade, a sistemática de reuniões de monitoramento de resultados e o modelo de premiação das unidades operacionais das Polícias com desempenho consoante as metas estabelecidas. A integração operacional das policiais Civil e Militar também figura entre as principais finalidades do Sistema. À luz da variação de indicadores de outras Unidades da Federação e das tendências anteriores a 2009 no Rio de Janeiro, os indicadores estratégicos revelam resultados positivos tanto na capital quanto nas diferentes regiões do Estado, sugerindo que o SIM poderia ser um dos responsáveis pelo avanço obtido. Hoje, a consolidação do Sistema deve ser acompanhada pela análise qualificada de seus resultados e pelo debate mais amplo sobre a iniciativa, cujo legado já merece a atenção de todos gestores públicos.

3 3 1 INTRODUÇÃO O Estado do Rio de Janeiro colhe hoje resultados de uma experiência ambiciosa alinhada aos ideais da moderna gestão pública. A consolidação progressiva do Sistema de Metas implantado pela Secretaria de Estado de Segurança (SESEG) em conjunto com as polícias Civil (PCERJ) e Militar (PMERJ) conta hoje não apenas com o firme respaldo do Governo, mas também com o amparo da melhoria dos Indicadores Estratégicos de Criminalidade do Estado. O emprego de recursos em planejamento e gestão foi condição necessária à complexa implantação de um sistema de metas capaz de prover incentivos a um efetivo de dezenas de milhares de policiais ativos em todos os Batalhões e Delegacias do Estado do Rio. À frente do processo, a Subsecretaria de Planejamento e Integração Operacional (SSPIO/SESEG) conduziu o planejamento estratégico da Segurança Pública em 2009 e orientou a arquitetura de um sistema que compreende a definição de metas para os Indicadores Estratégicos de Criminalidade, a sistemática de reuniões de monitoramento de resultados e o modelo de premiação das unidades operacionais com desempenho consoante as metas estabelecidas. Nacionalmente, em que pese a crescente adesão de gestores públicos a diretrizes propostas pela corrente da new public management, observa-se que a busca por melhores resultados nas políticas públicas ainda carece de um esforço sistemático para dotar seus programas de adequadas ferramentas de avaliação. Na área de segurança pública, destaca-se a carência de pesquisas conduzidas por agências independentes destinadas à avaliação de resultados baseados em indicadores de criminalidade e insegurança (CANO, 2006; SAPORI, 2007). A democracia brasileira consolida-se na alternância de poder e sob a crescente pressão da sociedade pelo avanço dos mecanismos de accountability. A prática das avaliações de resultados representa, nesse contexto, um suporte à continuidade de programas exitosos ao legitimá-los perante as instituições que advogam a transparência do Estado e ao fortalecê-los diante de tensões inerentes a transições de governos.

4 4 São objetivos específicos deste trabalho a exposição do desenho do Sistema de Metas da Segurança Pública do Rio de Janeiro e a realização de uma análise preliminar dos dados recentes de indicadores que ele busca melhorar. A metodologia adotada é esclarecida nos itens que apresentam os resultados das análises. A finalidade principal deste trabalho consiste em despertar a atenção de profissionais da pesquisa para uma experiência ainda não estudada no Estado do Rio. Consciente dos seus próprios limites, o artigo apresenta uma análise que pretende, antes de tudo, reafirmar o valor das avaliações de resultados e promover a continuidade das iniciativas positivas no âmbito da gestão pública fluminense. 2 PANORAMA DA PESQUISA RELACIONADA AO TEMA Especialistas em temas atinentes à segurança pública no Brasil asseveram que as políticas estaduais tradicionais para o setor são reativas e destinadas a fornecer antes respostas de curto prazo a situações críticas do que resultados planejados com base em diagnósticos bem elaborados (LEMGRUBER et al., 2002; CANO, 2006; SOARES; 2006; SOARES, 2007a; SAPORI, 2007). A qualificação do planejamento das organizações policiais dependeria da produção de dados e dos referidos diagnósticos, segundo alguns desses mesmos especialistas. O uso de estatísticas e indicadores é requisito de um planejamento baseado em metas e adequado à entrega de resultados mensuráveis e alinhados aos direitos fundamentais da população a que servem os órgãos do sistema de segurança pública. O Sistema de Metas criado pela SESEG impulsiona hoje o uso de estatísticas no planejamento da segurança do Estado, em que pesem as naturais resistências a esse processo (AZEVEDO, 2012). A modernização da política de segurança do Rio de Janeiro envolve hoje, portanto, o emprego intensivo de estatísticas criminais. Em conjunto, o processo inclui o incentivo ao planejamento dinâmico inspirado no célebre modelo de PDCA (Plan, Do, Check and Act), o compromisso das unidades policiais com metas de redução da criminalidade e a contratualização de tais resultados mediante o compromisso do Governo com a remuneração variável.

5 5 A remuneração variável no serviço público foi originalmente adotada em países da Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) em fins da década de 1980, quando foi implantada no Canadá, Dinamarca, Holanda, Nova Zelândia, Espanha, Suécia, Reino Unido e EUA (OCDE, 2005). A novidade se disseminou nos anos seguintes, e ganhou expressão no Brasil nas últimas duas décadas. Um inventário básico dos desafios e riscos associados a essas ferramentas de gestão incluiria dilemas de ação coletiva nas equipes comprometidas com resultados, especialização adversa e diferentes males decorrentes da assimetria de objetivos e informações entre agentes e principais, entre os quais a chamada prática do gaming, equivalente à exploração deliberada de pontos cegos existentes no monitoramento das atividades dos servidores. A credibilidade do sistema e seus gestores representa igualmente condição sine qua non para o sucesso da meritocracia baseada em gratificações (HOOD, 2006; ASSIS & REIS NETO, 2012). Os contratos de gestão que podem amparar esquemas de remuneração variável também enfrentam riscos, como os de adoção de metas pouco ambiciosas, falha na supervisão de seu cumprimento, omissão de atividades relevantes nos contratos e excessiva influência dos órgãos contratados na elaboração dos acordos (PACHECO, 2004). Já as avaliações de desempenho internamente realizadas em organizações podem apresentar vícios que incluem a unilateralidade (falta de critérios impessoais), subjetivismo (i.e., falta de objetividade), dependência de eventos mais recentes (falta de memória), força do hábito ( excesso de memória), subvalorização e supervalorização da avaliação, entre outros (UCHOA et al., 2011). Pesquisa realizada pela OCDE (2005), embora aponte restrições à eficácia da remuneração variável na motivação de funcionários, afirma que medidas gerenciais complementares e a prevenção de expectativas excessivas em relação aos efeitos da meritocracia tornariam possíveis melhores resultados com a ferramenta. Além disso, a introdução de premiações por desempenho criaria situações favoráveis a melhorias gerenciais adicionais. Com ela, surgem oportunidades para que administradores adotem métodos de planejamento amplamente baseados em metas. Resultados positivos seriam observados também sob a forma de maior cooperação entre servidores com atribuições comuns e metas conjuntas.

6 6 Uma atenção crescente às tecnologias da informação devido às necessidades de mensuração e acompanhamento de resultados estaria também entre os produtos da mudança promovida pela remuneração por mérito (OCDE, 2005). A comunicação interna das prioridades estratégicas dos órgãos centrais de planejamento com o melhor alinhamento das unidades operacionais àquelas prioridades é outro aspecto aperfeiçoado em organizações que desenvolvem sistemas de metas e remuneração por desempenho. A gestão orientada por metas e calcada no monitoramento de dados que traduzam resultados aprofunda a accountability dos órgãos policiais. Regida por contratos de gestão, ela se encontra sobretudo a serviço da accountability interna (BERNARDO, 2011), isto é, da prestação de contas de unidades operacionais junto aos órgãos estratégicos de segurança. Porém, com o progresso da transparência na administração pública, é lícito esperar que o Sistema de Metas contribua cada vez mais para a accountability externa e o controle social das atividades policiais. Como veremos, o SIM contém dispositivos que asseguram um razoável grau de objetividade e impessoalidade ao avaliador, visto que os resultados das atividades policiais são definidos por dados de registros de ocorrência, e a metodologia de avaliação, além de universal, é formalmente definida e publicada. A definição da meta mensal de cada unidade é calcada em seu resultado no mês correspondente do ano anterior e também no seu desempenho nos doze meses precedentes, o que resgata a memória de resultados nem muito recentes, nem demasiado antigos. Espera-se que a importância da função avaliativa do SIM, medida pela relação entre os prêmios e os vencimentos-base dos policiais, não seja exacerbada entre profissionais que, hoje aptos a receber bonificações de valores consideráveis, tiveram também seus salários reajustados nos últimos anos. Exibem-se agora os aspectos fundamentais do Sistema, inclusive os que podem mitigar alguns dos efeitos não desejáveis de ferramentas de avaliação de desempenho e remuneração variável.

7 7 3 MARCOS LEGAIS E DESENHO ATUAL O Sistema de Definição e Gerenciamento de Metas para os Indicadores Estratégicos de Criminalidade no Estado do Rio de Janeiro ou, simplesmente, Sistema Integrado de Metas (SIM) é produto de um esforço dinâmico de construção institucional. Com base nos indicadores estratégicos de criminalidade propostos pela Câmara de Gestão da Segurança Pública e definidos pela SSPIO, nas metas estaduais consolidadas no Plano Estratégico elaborado pela SESEG e pelas polícias Civil e Militar e na delimitação das unidades aptas a receber as gratificações por resultados, o SIM foi dotado de mecanismos que entraram em operação no segundo semestre de 2009 e outros acionados ou criados nos anos seguintes. O Sistema fundamenta-se em decretos e resoluções que estabeleceram seus objetivos, requisitos básicos e demais dispositivos necessários ao seu funcionamento. Apresenta-se abaixo o seu desenho atual, determinado pelo Decreto Estadual , de dezembro de 2012, e outros atos normativos que permanecem em vigor. 3.1 Objetivos e requisitos Em 2009, o Decreto Estadual nº instituiu o Sistema de Definição e Gerenciamento de Metas para os Indicadores Estratégicos de Criminalidade no Estado do Rio de Janeiro, regulamentado pela Resolução SESEG 305/2010. Na origem da iniciativa estava a busca por resultados a serem atingidos em conjunto pelas unidades operacionais das polícias Civil e Militar com base em ações integradas. Em paralelo, buscava-se o reconhecimento do mérito daquelas unidades cujas metas fossem atingidas. A operação do SIM exigiu das polícias Civil e Militar a adoção de uma única divisão territorial de responsabilidades pelos indicadores de criminalidade. O papel da SESEG na construção desse alicerce do sistema consistiu no fortalecimento das Áreas Integradas de Segurança Pública (AISP) existentes desde 1999 e na criação das Regiões Integradas de Segurança Pública (RISP) e

8 8 das Circunscrições Integradas de Segurança Pública (CISP). Essas foram as instâncias que permitiram a compatibilização territorial do planejamento das organizações policiais fluminenses. As sete RISPs e 39 AISPs do Estado as primeiras formadas por conjuntos de AISPs, e as últimas compostas por conjuntos de CISPs passaram a ser as unidades responsáveis pelas metas do SIM e aptas à percepção de gratificações por desempenho. As gratificações constituem prêmios de produtividade definida a partir dos resultados atingidos pelas RISPs e AISPs a cada semestre. As RISPs têm o objetivo de estabelecer estratégias de integração e cooperação regionais, promover uma rotina de reuniões, acompanhamento e avaliação das ações realizadas, monitorar o cumprimento das metas estratégicas de suas unidades e operar como fórum de troca de informações e ações conjuntas. Devem representar instâncias de integração e articulação regional da PMERJ e PCERJ ao nível tático com os demais atores que possuam interface com a segurança pública em suas respectivas áreas de atuação. Assim, os objetivos do SIM compreendem não apenas a promoção da meritocracia no Estado, mas também o incentivo à integração das polícias, em favor do compartilhamento de informações e da sinergia entre os órgãos de prevenção e repressão do crime. À frente das RISPs encontram-se autoridades da gestão regional de atividades policiais. São os Departamentos de Polícia de Área (DPA), da PCERJ, e os Comandos de Policiamento de Área (CPA), da PMERJ, que hoje desempenham funções táticas de crescente relevância no Estado. No âmbito da SSPIO, servidores apoiam a articulação entre as unidades policiais de cada RISP e respondem por sua orientação metodológica no que concerne ao sistema de acompanhamento de resultados. 3.2 Reuniões de acompanhamento de resultados A metodologia de gestão e acompanhamento de resultados corresponde sobretudo à rotina de reuniões da SSPIO com policiais das AISPs e RISPs com faróis vermelhos i.e., com metas não cumpridas em um ou mais indicadores estratégicos a cada trimestre. As reuniões são estruturadas e destinadas à

9 9 elaboração de Planos de Ação Integrados e à exposição das análises criminais realizadas pelas unidades operacionais das polícias Civil e Militar e das causas identificadas para os fenômenos analisados. A inexistência de AISPs com faróis vermelhos no trimestre dispensa a realização das reuniões de acompanhamento. Identificados faróis vermelhos, convocam-se obrigatoriamente as reuniões de Nível 3, 2 e 1 para que, respectivamente, as AISPs produzam seus Planos de Ação Integrados, os Diretores de DPAs e Comandantes de CPAs avaliem e revisem tais Planos e todos os convocados apresentem ao titular da SSPIO os produtos de suas análises, seus Planos de Ação Integrados e os resultados com eles atingidos desde a sua execução. O sistema de acompanhamento é espelhado no diagrama abaixo. Reuniões de Acompanhamento de Resultados 3.3 Indicadores e metas de redução de criminalidade Os indicadores de criminalidade incluídos no Sistema foram três, considerados estratégicos em razão de sua relevância e seu impacto na sensação de segurança da população conforme a percepção dos responsáveis pela iniciativa. O desenho atual do SIM estabelece os Indicadores Estratégicos (ver Quadro I) e metas para cada um deles. Os desafios do SIM podem ser medidos pelo tipo de indicadores para os quais define metas: trata-se de indicadores de resultados (outcomes), de maior relevância e interesse direto da sociedade. A recomendação oposta, em favor da premiação baseada em produtos (outputs), apoia-se em argumentos de

10 10 importância evidente, mas reduz drasticamente a ambição das metas e a relevância das entregas, bem como a accountability externa dos órgãos e unidades avaliadas pelo SIM. Quadro I Indicadores Estratégicos de Criminalidade do Estado 1. Letalidade Violenta = Homicídios dolosos + Latrocínios + Lesões corporais seguidas de morte + Autos de resistência. 2. Roubo de Veículo 3. Roubo de Rua = Roubos a transeuntes + Roubos em Coletivos + Roubos de celulares. As metas de cada unidade operacional são fixadas com duas referências. Uma delas corresponde às metas de redução dos indicadores estratégicos para o conjunto do Estado as quais refletem o desdobramento semestral de metas definidas para o final do período contemplado no Plano Estratégico A segunda referência para a formulação das metas de uma AISP consiste na sua posição no ranking do Estado em cada indicador. Ordenadas pelos números absolutos de seus indicadores apurados nos 12 meses anteriores ao ciclo, as AISPs do quartil formado pelas áreas com piores números recebem as metas mais ousadas. O contrário ocorre com as AISPs do quartil formado pelas áreas em melhor situação, que recebem as chamadas metas de manutenção. Exceção à regra ocorre com o indicador de letalidade violenta, para o qual são adotadas metas de manutenção para todas as AISPs com taxas equivalentes àquelas de homicídio doloso consideradas não epidêmicas pela Organização Mundial de Saúde. Nesse indicador, as demais AISPs são divididas em tercis e, novamente, desafiadas por metas mais ousadas quando é maior a incidência do crime. O princípio adotado nessa metodologia é o de que os piores indicadores refletem realidades onde há mais oportunidades de ação visando à redução da incidência criminal. Assim, as áreas com piores indicadores seriam as mais aptas a 1 A revisão do Plano, que estabeleceu metas para os três indicadores estratégicos a serem atingidas em 2018, já serve de suporte para a definição das metas semestrais a partir do ano corrente.

11 11 contribuir para a redução global dos indicadores de criminalidade do Estado. A fixação de metas com base nos dados de cada área observados no ano anterior traz consigo a referência à capacidade já demonstrada pela AISP de combater o crime. Pode-se acrescentar que, no controle de problemas que não podem ser totalmente eliminados, tais problemas tendem a ser mais resistentes à medida que são reduzidos. Esta parece ser a natureza do fenômeno criminal. A legitimidade das metas fixadas conta com um dos instrumentos de grande aceitação na gestão por resultados. A cada ciclo, um contrato de gestão é assinado pelas principais autoridades da Segurança Pública do Estado, que nele se comprometem com as metas estabelecidas e os critérios e valores de premiação legalmente previstos. O referido contrato recebe as assinaturas dos secretários de Segurança, de Planejamento e Gestão e da Casa Civil, do Comandante-Geral da PMERJ, da Chefe da PCERJ, do presidente do Instituto de Segurança Pública (ISP) e do próprio governador do Estado. 3.4 Prêmios e Critérios A fórmula que hoje sintetiza os resultados alcançados pelas unidades operacionais de polícia constitui o Índice de Desempenho de Metas (IDM), calculado para cada RISP e cada AISP. O índice nada mais é do que a soma ponderada do percentual de cumprimento das metas definidas para os três Indicadores Estratégicos de cada área do Estado. Com base nele, as RISPs e AISPs concorrem a diferentes prêmios a cada semestre. Com o advento da última reforma do SIM, houve a redefinição do resultado mínimo que habilita as áreas a receber o prêmio geral e a disputar os prêmios especiais. Até 2012, as áreas incapazes de atingir plenamente uma de suas três metas não eram premiadas. Atualmente, as áreas que atingem ao menos 90% de uma meta, satisfeita a condição de o Estado ter cumprido sua meta no respectivo indicador, estarão aptas a receber o prêmio geral. Contudo, este prêmio é inferior àquele concedido às áreas que atingem 95% de suas metas, que por sua vez recebem prêmios inferiores aos das áreas que alcançam 100% ou mais de suas metas. O esquema abaixo ilustra o cálculo de resultados para uma premiação hipotética.

12 12 Exemplo de Cálculo para Premiação * ** ** * À condição de que o Estado tenha atingido suas metas globais para os três indicadores. ** À condição de que o Estado tenha atingido sua meta global para Roubo de Veículos. Assim, a partir de 2013, a remuneração por desempenho é mais variável e sensível aos distintos resultados entregues pelas unidades operacionais de polícia. A flexibilização do prêmio geral espera robustecer a motivação dos servidores. Ao mesmo tempo, a visão estratégica do Governo para o Estado é reforçada pela condição criada para que resultados entre 90% e 100% das metas justifiquem o prêmio geral a condição de que as metas globais estaduais sejam atingidas. Quadro II Prêmios do Sistema de Metas 1. Prêmio especial para a RISP com melhor IDM no Estado.* 2. Prêmio especial para as três AISPs com os melhores IDMs no Estado.* 3. Prêmio geral para todas as RISPs e AISPs que atingirem o resultado mínimo esperado conforme a meta recebida. 4. Prêmio de boas práticas para duas unidades especializadas da PCERJ e duas unidades especiais da PMERJ. 5. Prêmio Integração para a AISP que apresentar as melhores ações de integração. 6. Prêmio de produtividade para o SARPM, da PCERJ, e o Nupesp, do ISP. OBS: Os prêmios referidos nos itens 1, 2 e 3 não são formalmente designados como especiais e geral termos empregados aqui apenas para melhor esclarecer o leitor. * Desde que cumpridas todas as respectivas metas.

13 13 O prêmio para boas práticas destina-se a unidades da PCERJ e da PMERJ que, responsáveis por atividades especializadas conduzidas em todo o território estadual, não participam do monitoramento pelos indicadores estratégicos. Ele valoriza as duas melhores iniciativas julgadas por comissões especiais da PCERJ e da PMERJ das polícias Civil e Militar no combate à criminalidade. O Prêmio Integração, de caráter não pecuniário, valoriza os órgãos que tenham se destacado em ações integradas no semestre concluído. A entrega dos prêmios que incluem placas e troféus, além das gratificações é realizada em solenidade organizada pela SSPIO para destacar as unidades policiais agraciadas com os prêmios semestrais. A participação ativa do governador no evento, juntamente com a de todas as principais autoridades da Segurança Pública do Estado, assegura o reconhecimento dos resultados alcançados pelos policiais presentes. A dimensão simbólica da valorização meritocrática tem na ocasião uma função objetiva e central. O prêmio de produtividade ao Serviço de Análise de Rotinas Policiais e Monitoramento (SARPM), da Corregedoria Interna da PCERJ, e ao Núcleo de Pesquisa em Justiça Criminal e Segurança Pública (Nupesp), do ISP, é pago sempre que os dois órgãos cumprem suas atribuições relativas ao SIM referentes ao julgamento de recursos e à consolidação de dados 24 horas antes do prazo final. As funções desses órgãos constituem um dos alicerces institucionais do Sistema. 3.5 Fluxo de dados A qualidade dos Registros de Ocorrência que formam os indicadores estratégicos sustenta-se no fluxo de informações diariamente revisadas pelo SARPM, da Corregedoria da PCERJ, com auxílio do Nupesp (ISP), vinculado à SESEG e responsável pela publicação oficial mensal dos resultados. Até sua publicação, os dados são submetidos à revisão sistemática a cargo do SARPM, que analisa e defende a qualidade dos registros a fim de prevenir a classificação incorreta de delitos. Uma segunda fase de retificações tem início no período regulamentado para que RISPs e AISPs possam contestar os dados mediantes recursos apreciados e julgados pelo SARPM. Encerrados os prazos de contestação e revisão, elabora-se uma errata da publicação original.

14 14 A legitimidade das retificações de dados é fortalecida pela disponibilidade de três tipos de recurso. A revisão de metas pode ser solicitada mediante recurso facultado aos DPAs e CPAs e julgada pela SSPIO. A já mencionada revisão de Registros de Ocorrência, a cargo do SARPM, é solicitada mediante recurso disponível aos Delegados de Polícia e DPAs para diferentes fins. Finalmente, o chamado Recurso Inominado pode ser destinado à SESEG e interposto pelos DPAs e CPAs em contestações não contempladas pelos recursos anteriores. Em todos os casos, os recursos são julgados por pessoal especializado na matéria em discussão. 4 ANÁLISE PRELIMINAR DOS RESULTADOS DO SIM O isolamento das causas de fenômenos sociais é uma das mais desafiadoras tarefas da pesquisa científica. A avaliação de resultados de políticas públicas pressupõe a observação do comportamento de fenômenos mensuráveis que o Estado procura controlar e a eliminação confiável de explicações alternativas para aquele comportamento. Encontrar e controlar variáveis alternativas com impacto esperado na incidência criminal a fim de testar o efeito líquido das políticas de segurança existentes requer o emprego de sofisticados modelos de análise estatística. As análises desenvolvidas abaixo terão cumprido seu objetivo, contudo, se puderem fomentar um debate mais amplo sobre os resultados do SIM. Convém assinalar que as tentativas de explicar fenômenos sociais baseiam-se todas em simplificações da realidade, e que a explicitação de supostos e restrições dos modelos constitui uma das mais relevantes exigências nesse tipo de trabalho. Nada disso permite sugerir que a qualidade dos modelos seja a mesma. As limitações das análises subsequentes são, portanto, conhecidas e apontadas no texto. 4.1 Análise de premiações nos seis primeiros ciclos do SIM Um primeiro resultado do SIM consiste na distribuição dos prêmios até hoje pagos às unidades encarregadas do policiamento das AISPs em todo o território estadual. Essa distribuição aparece nos mapas do quadro subsequente. Nele vemos que AISPs de quase todo o Estado e da capital fluminense têm sido

15 15 contempladas pelos prêmios do Sistema. Inversamente, apenas quatro AISPs jamais ganharam os referidos prêmios. AISPs Premiadas entre 2009/2 e 2012/1 ESTADO CAPITAL CICLO 1º Ciclo (2º Semestre de 2009) 2º Ciclo (1º Semestre de 2010) 3º Ciclo (2º Semestre de 2010) 4º Ciclo (1º Semestre de 2011) 5º Ciclo (2º Semestre de 2011) 6º Ciclo (1º Semestre de 2012) FONTE: SSPIO. O que se depreende desse fato? Acima de tudo, que o método de formulação de metas para todas as AISPs não tem gerado premiações enviesadas em favor de algumas áreas do Estado e em detrimento da maioria delas. Os fatos sugerem também que o ciclo do PDCA tem operado de modo a permitir que a maioria das AISPs superem seus próprios desafios. Quase todas as áreas do

16 16 Estado já foram premiadas e deixaram de sê-lo em algum ciclo. No caso das RISPs, todas já foram contempladas e deixaram de sê-lo em ao menos um dos primeiros seis ciclos. Vale acrescentar que, dados os estímulos à integração das polícias Civil e Militar no âmbito do SIM, é lícito conjecturar que o avanço desse processo esteja por trás da conquista dos prêmios por parte das AISPs e RISPs indicadas nos mapas. O avanço das UPPs nas Zonas Sul e Norte da capital fluminense tem provável impacto no Sistema de Metas, como sugerem os prêmios especiais pagos até hoje. Fora da cidade do Rio de Janeiro, esses prêmios têm favorecido quase todas as regiões do Estado, como revelam os mapas abaixo. Na capital, porém, eles têm se concentrado em áreas mais atendidas pela ocupação permanente de comunidades pobres historicamente marcadas pelo domínio territorial de quadrilhas armadas. Essas áreas estão majoritariamente situadas no bairro da Tijuca e naqueles contíguos à Baía de Guanabara. Tabela I Prêmios e Servidores Premiados nos Seis Primeiros Ciclos do Sistema Prêmio Servidores Premiados Ciclo Valor total Valor médio PMERJ PCERJ Total 1º (2009/2) R$ ,00 R$ 706, º (2010/1) R$ ,00 R$ 623, º (2010/2) R$ ,00 R$ 1.695, º (2011/1) R$ ,00 R$ 3.451, º (2011/2) R$ ,00 R$ 5.702, º (2012/1) R$ ,91 R$ 3.538, FONTE: SSPIO. 4.2 Resultados da primeira análise comparativa A análise dos indicadores de criminalidade do Rio de Janeiro, quando baseada na comparação do Estado com o Brasil e com a Região Sudeste, requer uma série de controles que devem ser aplicados em avaliações futuras e tecnicamente mais robustas. A análise aqui desenvolvida é altamente abstrata e destina-se, como as demais, a suscitar novos estudos sobre o tema deste artigo. Essencialmente, ela constitui um experimento mental de abstração muito pouco complexo.

17 17 Tabela II - Variação Percentual Acumulada das Taxas de Crimes Violentos Letais Intencionais (por 100 mil habitantes) e de Roubo de Veículos (por 10 mil veículos) nos Estados Brasileiros CVLI Variação UF Amapá n.d. -97% n.d. Goiás 5% -36% -33% Mato Grosso do Sul -3% -28% -30% Rio de Janeiro -9% -25% -32% Pernambuco -5% -24% -28% Rio Grande do Sul 15% -23% -11% Rondônia -8% -13% -20% Pará 26% -9% 15% São Paulo -26% -6% -30% Espírito Santo -2% -4% -6% Santa Catarina 44% 1% 46% Distrito Federal 12% 3% 16% Bahia 32% 6% 40% Tocantins 9% 7% 17% Alagoas 25% 12% 40% Paraná n.d. 14% n.d. Mato Grosso -2% 16% 14% Maranhão 5% 23% 30% Sergipe -7% 26% 18% Ceará 12% 33% 49% Amazonas 12% 44% 61% Minas Gerais -33% 75% 17% Paraíba 6% 81% 93% Piauí 14% n.d. n.d. Roraima -43% n.d. n.d. Acre 24% n.d. n.d. Rio Grande do Norte 33% n.d. n.d. Roubo de Veículos Variação UF Acre 523,9% -58,9% 156,2% Mato Grosso do Sul 9,5% -58,7% -54,8% Rio de Janeiro -31,8% -46,0% -63,2% Rio Grande do Sul -0,1% -37,1% -37,2% Maranhão 49,7% -30,6% 4,0% Paraíba -12,7% -26,7% -36,0% Paraná n.d. -26,2% n.d. Bahia 29,4% -23,1% -0,4% Pará 2,4% -21,7% -19,9% Pernambuco 437,5% -20,0% 330,0% Ceará -22,2% -9,1% -29,3% Tocantins -53,0% 1,5% -52,3% Distrito Federal 9,4% 2,8% 12,5% São Paulo -36,0% 5,7% -32,4% Rondônia -48,6% 11,6% -42,6% Sergipe 14,0% 23,3% 40,6% Mato Grosso -25,7% 27,1% -5,6% Goiás -34,0% 45,7% -3,9% Santa Catarina 113,8% 45,9% 211,8% Espírito Santo 39,7% 51,8% 112,1% Alagoas -34,6% 63,6% 7,0% Amazonas -23,8% 93,3% 47,3% Minas Gerais -95,7% 813,6% -61,1% Amapá n.d. n.d ,3% Piauí -36,8% n.d. n.d. Rio Grande do Norte 25,0% n.d. n.d. Roraima -53,0% n.d. n.d. FONTE: Dados brutos do Fórum Brasileiro de Segurança Pública (FBSP) e do Departamento Nacional de Trânsito (DENATRAN). A Tabela II apresenta a evolução recente dos indicadores de Crimes Violentos Letais Intencionais (CVLI) e de Roubo de Veículos (RV) nos estados brasileiros. 2 A variação percentual acumulada do indicador de CVLI no Rio de Janeiro foi a quarta melhor no Brasil de 2008 a Já a variação no indicador de RV do Rio de Janeiro foi a terceira melhor entre os estados brasileiros no período. Sem dúvida, a tendência preexistente no Estado era de queda nos dois indicadores. Porém, essa 2 O indicador de CVLI aproxima-se da definição de letalidade violenta do Rio de Janeiro, mas não equivale exatamente ao indicador estratégico do Estado. Já o indicador de RV permite comparações interestaduais de maior interesse para o SIM. As taxas anuais de Roubo de Veículos têm como referência os meses de dezembro e consideram, no denominador, automóveis, caminhonetes, camionetas, motocicletas e motonetas em cada Estado.

18 Crimes Violentos Letais Intencionais Roubo de Veículos 18 tendência aprofundou-se a partir de 2008, último ano antes do advento das UPPs e do SIM. 3 Gráfico I - Variação Percentual Acumulada (2008 = 100%) das Taxas de Crimes Violentos Letais Intencionais (por 100 mil habitantes) e de Roubo de Veículos (por 10 mil veículos): Brasil, Sudeste e Estado do RJ 120% 100% 140% 120% 80% 60% 40% 20% 0% Brasil * 100% 95% 92% 103% Sudeste ** 100% 89% 88% 115% RJ 100% 101% 84% 75% 100% 80% 60% 40% 20% 0% Brasil *** 100% 102% 93% 99% Sudeste ** 100% 110% 101% 110% RJ 100% 84% 62% 54% FONTE: Dados brutos do Fórum Brasileiro de Segurança Pública (FBSP) e do Departamento Nacional de Trânsito (DENATRAN). * Excluídos os Estados do CE, PI, RR, AC, RN (com séries descontínuas) e o Estado do RJ. ** Excluído o Estado do RJ. *** Excluídos os Estados do PI, RR, AP, RN (com séries descontínuas) e o Estado do RJ. Suponha-se, agora, que a realidade do Rio de Janeiro fosse equivalente à nacional sob todos os aspectos relevantes para a segurança pública, e que não houvesse interações entre as políticas dos diferentes estados brasileiros, nem entre os seus efeitos. Assim, a diferença entre a taxa de um crime no Rio de Janeiro e a taxa deste crime no Brasil (excluído o RJ) refletiria a diferença entre o efeito das políticas do Governo do Rio de Janeiro e o efeito médio das políticas de todos os demais estados. A evolução dos indicadores nacionais, quando comparada à evolução dos mesmos indicadores no Estado, apontaria a tendência particular neste último e, para esse experimento, o desempenho das políticas estaduais. Entre 2008 e 2009, a taxa de CVLI do Rio de Janeiro cresceu 1% (34,4 para 34,7), em vez de seguir a redução nacional de 5%, que significaria para o Estado uma queda de 34,4 para 32,7. A diferença entre a taxa real de 34,7 e a taxa hipotética de 32,7 significa que o Estado, nesta análise, teria deixado de prevenir 3 Não havia dados de Roubo de Rua disponíveis para outros estados.

19 19 cerca de 322 ocorrências de CVLI em Em contrapartida, com o mesmo cálculo, o Estado logrou evitar cerca de 472 ocorrências de CVLI em 2010 e outras em Por sua vez, a taxa de RV do Estado, que caiu 16% entre 2008 e 2009 ao invés de acompanhar o aumento nacional de 2%, daria à política do Rio de Janeiro o mérito de evitar cerca de ocorrências em Em seguida, o cálculo sugere que o Estado teria evitado casos de RV em 2010 e outros em A maior abstração da análise reside na suposta realidade homogênea em todo o país, visto serem muitas as disparidades entre o Estado do Rio e as demais regiões brasileiras. Assim, conviria comparar o Rio de Janeiro somente com estados mais semelhantes, como seus três vizinhos regionais (SP, MG e ES), cujos dados foram agregados na próxima análise. Suponha-se, então, que a incidência criminal seria resultado da ação das políticas estaduais sobre uma realidade homogênea em seus aspectos relevantes no Sudeste mantidos os demais supostos do modelo. O exercício consiste em supor, desta vez, a equivalência entre a realidade do Estado e a da Região Sudeste do país. A análise sugeriria agora que o Estado, cuja taxa de CVLI subiu de 34,4 para 34,7 de 2008 a 2009, poderia reduzi-la para 30,7 se seguisse a tendência regional o equivalente à prevenção de cerca de 646 ocorrências de CVLI em Ao se afastar virtuosamente da tendência regional, o Estado teria, entretanto, evitado 262 ocorrências de CVLI em 2010, e outras em 2011 portanto, com casos prevenidos de 2009 a Ainda segundo esta análise, as políticas estaduais do Rio de Janeiro teriam evitado ocorrências de RV em 2009, em 2010 e mais em 2011 um total de roubos de veículos prevenidos no triênio. 4.3 Resultados da segunda análise comparativa Percepções preliminares dos resultados do SIM podem ser obtidas a partir da distinção entre regiões do Estado do Rio de Janeiro e, ao mesmo tempo, entre o período anterior e posterior à implantação do Sistema. A tabela abaixo sugere mudanças na tendência dos três indicadores estratégicos de criminalidade após Resta saber em que medida essas mudanças seriam produzidas pelas novas estratégicas da SESEG.

20 20 Tabela III - Variação Percentual Acumulada do Total de Ocorrências no Rio de Janeiro em e : Capital, Entorno e Interior Indicador Letalidade Violenta Roubo de Veículos Roubo de Rua Região Capital -18% -46% -26% -38% 130% -40% Entorno -11% -32% 13% 8% 204% -17% Interior 3% -20% -40% 31% 88% -37% Ano-base FONTE: Dados brutos do Instituto de Segurança Pública (ISP). OBS: Células azuis mostram nítidas mudanças positivas de tendência após Células amarelas destacam o inverso. Gráfico II - Indicadores sociais em perspectiva comparada 40,0 Pessoas pobres na população (%) 60,0% População com menos de 30 anos de idade (%) 30,0 55,0% 20,0 50,0% 10,0 45,0% 0, ,0% ,58 Gini - Desigualdade de Renda 14,0 População com 15 anos e mais analfabeta (%) 0,56 12,0 0,54 10,0 0,52 0,50 0,48 0, ,0 6,0 4,0 2,0 0,

21 21 14,0 12,0 10,0 8,0 6,0 4,0 2,0 0,0 Taxa de desemprego da população de 15 anos e mais FONTE: Instituto de Estudos do Trabalho e Sociedade (IETS); Instituto Brasileiro de Geografia e Estatística (IBGE). A próxima análise, também bastante abstrata, abandona a comparação com outros estados brasileiros e considera os cinco indicadores sociais do Estado do Rio de Janeiro ilustrados no Gráfico II. Na literatura dedicada a explicar o fenômeno criminal, eles são amiúde relevantes entre as variáveis com impacto esperado nas taxas de criminalidade muito embora não haja consenso acerca dessa relevância ou de efeitos esperados entre os estudiosos (BEATO & REIS, 2000; FAJNZYLBER et al., 2002; CERQUEIRA & LOBÃO, 2004; NEUMAYER, 2005; SOARES, 2007b; PRIDEMORE, 2011; UNODC, 2011; OUIMET, 2012). Os indicadores possuem três aspectos de grande interesse: quase todos apresentam uma tendência clara, seguem aproximadamente a tendência dos indicadores nacionais e regionais e, por hipótese, evoluem de modo a contribuir para reduzir a criminalidade. No próximo experimento, supõe-se que nada de relevante para a segurança pública tenha alterado o cenário do Estado entre os períodos anterior e posterior a 2009, exceto pelo advento das UPPs e do SIM. 4 Na suposição está implícito que, na ausência das duas novas estratégias da SESEG, até mesmo as tendências do cenário preexistente estariam mantidas, inclusive aquelas observadas 4 A primeira UPP, instalada no morro Santa Marta, foi inaugurada em dezembro de 2008, e não exatamente em 2009, ano em que o programa instala quatro novas unidades e ganha impulso definitivo.

22 22 nos indicadores sociais ilustrados e, da mesma maneira, nos indicadores estratégicos de criminalidade. O impacto dos indicadores sociais na segurança, se relevante, seria para esse experimento linear e independente. A análise é simples: ela assume que, sem alteração nos fatores relevantes para a segurança pública ou na sua tendência após 2008, e dada a tendência dos indicadores estratégicos até aquele ano, estes indicadores manteriam sua tendência anterior de 2009 em diante sem na ausência das UPPs e do SIM no Estado. Portanto, as duas principais novidades da política de segurança introduzidas em 2009 são tratadas, nesse experimento mental, como as variáveis responsáveis pela mudança recente na trajetória nos indicadores de criminalidade do Rio. O Gráfico III revela reduções percentuais nos três indicadores de três regiões definidas para todo o Estado: Capital, Entorno e Interior. 5 Eles demonstram que as tendências de Letalidade Violenta e Roubo de Rua mudaram a partir de 2009 nas três regiões: a Letalidade Violenta, que declinava, acentuou claramente sua queda, enquanto o Roubo de Rua inverteu sua tendência anterior. Já o Roubo de Veículos distinguiu-se dos demais indicadores e entre as regiões: na Capital, ele manteve a tendência anterior a 2009 depois deste ano; no Entorno e no Interior, voltou a crescer após forte redução em A capital compreende 17 AISPs. As AISPs do Entorno correspondem aproximadamente à Região Metropolitana sem a capital i.e., aos municípios de Itaguaí, Seropédica, Paracambi, Japeri, Queimados, Nova Iguaçu, Belford Roxo, Mesquita, Nilópolis, São João de Meriti, Duque de Caxias, Magé, Guapimirim, São Gonçalo, Niterói e Maricá. O Interior abrange todas as demais 14 AISPs do Estado.

23 Roubo de Rua Roubo de Veículos Letalidade Violenta 23 Gráfico III - Variação Percentual Acumulada Real (2003 = 100%) e Projetada (Períodobase ) do Total de Ocorrências: Capital, Entorno e Interior Capital Entorno Interior 120% 120% 120% 100% 100% 100% 80% 80% 80% 60% 60% 60% 40% 40% 40% 20% 20% 20% 0% 0% 0% 140% 120% 100% 80% 60% 40% 20% 0% 140% 120% 100% 80% 60% 40% 20% 0% 140% 120% 100% 80% 60% 40% 20% 0% 500% 400% 500% 400% 500% 400% 300% 200% 100% 0% 300% 200% 100% 0% 300% 200% 100% 0% FONTE: Dados brutos do Instituto de Segurança Pública (ISP). Como exercício de análise contrafactual, calculou-se a tendência linear da variação percentual acumulada do total de ocorrências em cada indicador de 2003 a Em seguida, extrapolou-se essa tendência para se ter a projeção linear de cada indicador para na suposta ausência de UPPs e Sistema de Metas (ver Gráfico III). Por fim, calculou-se a diferença entre os dados projetados e os dados reais.

24 24 Na ausência de controle de variáveis relevantes, indicadores com reduções modestas e até elevações a partir de 2009 não evidenciam per se um fracasso das políticas de segurança. Exemplo disso poderia decorrer de uma excepcional expansão da frota de veículos em determinada região, causando um forte aumento relativo nas oportunidades locais para o roubo desses bens. Nesse caso, a atenuação da tendência dos indicadores anterior a 2009 seria, no período posterior, um sinal de relativo êxito das políticas implantadas a partir daquele ano. A julgar pela tendência do indicador em , as ocorrências de Letalidade Violenta deveriam ser, em 2012, equivalentes a 76%, 84% e 107% do que eram em 2003 na Capital, no Entorno e no Interior, respectivamente. Porém, ao contrário dos dados projetados, os indicadores registraram em 2012 ocorrências de Letalidade Violenta equivalentes a 45%, 61% e 83% dos totais observados em 2003, respectivamente. A comparação é refeita para os demais indicadores nas três regiões. Note-se que, à luz da tendência de , até o aumento das ocorrências totais de Roubo de Veículos entre 2009 e 2012 no Entorno configura um resultado melhor do que o esperado. Chama atenção, no entanto, a tendência de Roubo de Veículos no Interior pior do que a tendência projetada. Admitidos os supostos dessa análise, a introdução das UPPs e do SIM teria resultado na prevenção de casos de Letalidade Violenta em todo o Estado de 2009 a na Capital, no Entorno e no Interior. Juntas, as duas estratégias teriam prevenido casos de Roubo de Rua no mesmo período na Capital, no Entorno e no Interior. Por sua vez, o número líquido de casos evitados de Roubo de Veículo teria sido de no Estado casos na Capital somados a casos no Entorno e debitados os casos líquidos do Interior que superaram a expectativa resultante da projeção, para , da tendência plurianual precedente. Mais do que especiais dificuldades, o Interior revela a necessidade do controle de variáveis de importância crucial na avaliação de resultados das políticas de segurança. A frota de veículos cresceu em diferentes ritmos nas regiões definidas para o Estado ao longo dos últimos anos. Com base nela, as taxas de RV por 10 mil veículos registrados em cada região mostram o maior crescimento da frota de veículos fora da Capital e uma taxa de RV no Interior que, além de menor que a observada no restante do Estado, foi a única em declínio entre 2011 e 2012.

25 25 Tabela IV - Variação Percentual Acumulada (2003 = 100%) da Taxa de Roubo de Veículos (por 10 mil veículos) no Rio de Janeiro Taxa de RV RJ 100,0% 92,7% 90,7% 89,6% 76,1% 61,8% 51,8% 38,4% 33,4% 36,4% Capital 100,0% 96,6% 97,1% 94,1% 78,3% 61,3% 48,5% 36,5% 28,4% 30,0% Entorno 100,0% 89,8% 85,0% 91,9% 84,1% 76,5% 68,4% 52,0% 49,8% 57,3% Interior 100,0% 64,0% 54,9% 59,2% 54,9% 39,7% 48,3% 26,9% 39,4% 36,9% FONTE: Dados brutos do Instituto de Segurança Pública (ISP) e do Departamento Nacional de Trânsito (DENATRAN). Células azuis destacam reduções da taxa em relação ao ano anterior. Células amarelas destacam anos de aumento da taxa. Repita-se que, idealmente, a quantidade de delitos prevenidos no grupo dos indicadores estratégicos deve ser calculada com base em taxas (que consideram as oportunidades de perpetração do ilícito) e em modelos que permitam o controle do conjunto de variáveis pertinentes para a medição do impacto exclusivo das políticas de segurança em curso. Consideradas as taxas de RV, o conjunto do Entorno e do Interior realizou taxas equivalentes a 65% (2009), 48% (2010), 48% (2011) e 54% (2012) da taxa observada em 2003, em lugar de, respectivamente, taxas projetadas a partir da tendência equivalentes a 67%, 63%, 58% e 53% daquela observada no ano-base. Assim, a análise sugere que teriam sido prevenidos cerca de casos de RV fora da Capital entre 2009 e A separação dos efeitos das UPPs e do SIM desafia sobremaneira o esforço para modelar a realidade em que operam essas duas estratégias. À custa de maior abstração, o efeito do Sistema de Metas na Capital líquido dos efeitos das UPPs e das tendências de poderia ser esboçado pela análise anterior com três hipóteses adicionais de que realidade da Capital (exceto pelos fatores que determinavam a tendência de seus indicadores de criminalidade antes de 2009) seria equivalente à estadual no que importa para a segurança, de que fora dela os efeitos das UPPs seriam inexistentes ou aproximadamente neutros 6 e de que tais 6 A suposta ausência de efeitos relevantes das UPPs fora da capital baseia-se em duas noções. Primeiro, é lícito esperar que o deslocamento do crime prevenido nas áreas controladas pelas UPPs seja incompleto e menor à medida que nos afastemos daquelas áreas. Segundo, pode-se imaginar que, ao solapar a organização de uma economia dependente de redes sociais locais e de um mercado consumidor concentrado em áreas específicas da cidade, o avanço das UPPs dissolveu grande parte da receita gerada pelo tráfico de drogas ilegais e desestruturou essa atividade ainda que seus antigos participantes tenham grande mobilidade espacial no perímetro da conurbação

26 26 efeitos não teriam interações com os do SIM. Nesse caso, o efeito do Sistema seria igual àquele observado no restante do Estado. O exercício de calcular os efeitos do SIM na Capital líquidos dos efeitos da tendência anterior a 2009 e das UPPs sugere, nesse experimento, que o Sistema de Metas teria sozinho prevenido cerca de (= ) casos de Letalidade Violenta na cidade entre 2009 e Os casos de Roubo de Veículo prevenidos pelo SIM na Capital seriam (= ) ao todo no período, e os Roubos de Rua seriam (= ) a menos em virtude do Sistema. Tabela V - Total de Ocorrências na Capital em : Projeção da Tendência Anterior x Aplicação da Tendência Exterior à Capital x Resultados Reais Letalidade Violenta Roubo de Veículos Roubo de Rua Proj SIM Real Proj SIM Real Proj SIM Real Fonte: Dados brutos do Instituto de Segurança Pública (ISP). 5 CONCLUSÃO O propósito deste trabalho não foi realizar uma avaliação stricto sensu dos impactos do SIM nos indicadores estratégicos de criminalidade do Rio de Janeiro, que dependeria de dados menos agregados e efetivos grupos de controle, além de modelos estatísticos de análise de variáveis que, além dos indicadores estratégicos, incluíssem outros igualmente sujeitos a impactos causados pelo Sistema em interação com os mecanismos de registro de ocorrências. Convém reiterar que a integração das polícias Civil e Militar constitui mais uma finalidade do Sistema, e os indicadores desse processo devem ser apreciados, se possível juntamente com os efeitos específicos desse esforço nos próprios indicadores de criminalidade. existente na Região Metropolitana. Vale dizer que, em recente avaliação do impacto das UPPs, verificou-se que as atividades criminosas (medidas por um grupo específico de indicadores) por elas deslocadas não geraram ao menos por enquanto aumento líquido daquelas mesmas atividades nas áreas da própria capital fora do perímetro das UPPs (Cano, 2012).

27 27 Não existem análises definitivas e tampouco imunes à controvérsia, em particular no campo de políticas destinadas à garantia dos mais fundamentais direitos da cidadania. Se puder estimular as avaliações a respeito do SIM, em especial aquela conduzida por agências independentes, este trabalho já terá realizado seu principal objetivo. REFERÊNCIAS AZEVEDO, Ana Luísa V. (2012) Uso das Estatísticas Criminais e Planejamento das Atividades Policiais: um Estudo sobre a Percepção dos Profissionais de Segurança Pública do Estado do Rio de Janeiro. Tese de Doutoramento. Rio de Janeiro: FGV. ASSIS, Luís O. Milagres & REIS NETO, Mário T. (2012) Remuneração variável por desempenho no setor público: investigação das causas do fracasso e implicações para o estado brasileiro in V Congresso CONSAD de Gestão Pública. Brasília. BEATO, Claudio & REIS, Ilka A. (2000) Desigualdade, desenvolvimento socioeconômico e crime in HENRIQUES, R. Desigualdade e Pobreza no Brasil. Rio de Janeiro: IPEA. BERNARDO, Renata A. (2011) Instrumentos de Contratualização de Resultados na Administração Pública como Mecanismo de Promoção da Accountability in IV Congresso CONSAD de Gestão Pública. Brasília. CANO, Ignacio (2006) Políticas de Segurança Pública no Brasil: Tentativas de Modernização e Democratização Versus a Guerra Contra o Crime in SUR - Revista Internacional de Direitos Humanos, n.5, ano 3. CANO, Ignacio (coord.) (2012) Os Donos do Morro : Uma Avaliação Exploratória do Impacto das Unidades de Polícia Pacificadora (UPPs) no Rio de Janeiro. Rio de Janeiro: Fórum Brasileiro de Segurança Pública. CERQUEIRA, Daniel & LOBÃO, Waldir. (2004) Determinantes da criminalidade: arcabouços teóricos e resultados empíricos in Dados, v.47 n.2. Rio de Janeiro. FAJNZYLBER, P., LEDERMAN, D. & LOAYZA, N.(2002) Inequality and Violent Crime in Journal of Law and Economics, v. XLV, April, The University of Chicago. HOOD, Christopher. (2006) Gaming in Targetworld: The Targets Approach to Managing British Public Services in Public Administration Review, July/ August. Oxford: Oxford University.