Autoria: Leonardo Ensslin, Sandra Rolim Ensslin, Altair Borgert, Ademar Dutra, Mauricio Vasconcellos Leão Lyrio

Transcrição

1 Gerenciamento do Desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis: Uma Proposta Advinda da Combinação do Balanced Scorecard e da Metodologia Multicritério de Apoio à Decisão Construtivista. Autoria: Leonardo Ensslin, Sandra Rolim Ensslin, Altair Borgert, Ademar Dutra, Mauricio Vasconcellos Leão Lyrio Resumo O presente artigo busca explorar a questão da avaliação das organizações públicas, mais especificamente no que tange a gestão de operações alinhadas aos objetivos e estratégias governamentais. Objetiva-se a construção de um modelo de avaliação de desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis (SDR-GF), que possibilite uma explicitação dos objetivos que a SDR-GF deve perseguir, uma representação do status quo, e uma evidenciação das formas de gerar ações de melhoria de sua performance, sempre em consonância com suas estratégias organizacionais. Para tanto, propõe-se a combinação do Balanced Scorecard (BSC) e da Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C). Este estudo, de caráter exploratório e empírico, subdivide-se em dois momentos: apresenta uma pesquisa bibliográfica (pertinente às bases teóricas que informam a construção do modelo) e, apresenta uma aplicação deste conhecimento no estudo de caso específico a SDR-GF. Para a construção do modelo, foram utilizadas a pesquisa documental e entrevistas semi-estruturadas. Como resultados: (i) este trabalho possibilitou vislumbrar a sinergia advinda da consorciação das bases teóricas propostas; e, (ii) o modelo construído mostrou-se adequado para o tratamento das questões de gerenciamento da SDR. 1 INTRODUÇÃO A pesquisa aqui relatada teve sua origem na Reforma Administrativa do Estado de Santa Catarina Brasil, que por meio das Leis Complementares 243, de 30 de janeiro de 2003 e 284, de 29 de fevereiro de 2005, estabeleceu a descentralização e desconcentração da estrutura do Governo do Estado e das ações governamentais da capital para as Secretarias de Desenvolvimento Regional (SDR). Esta reforma culminou com a criação de 30 (trinta) Secretarias de Desenvolvimento Regional SDR s em Tal processo de descentralização objetiva melhorar o desempenho dos órgãos governamentais e permitir que as decisões sejam tomadas em nível local, de forma a ampliar as possibilidades de participação popular e de melhoria do atendimento às demandas do cidadão. O processo de descentralização é fundamentado em diretrizes que buscam (i) fazer com que as decisões sejam tomadas em escala mais adequada a cada caso, desconcentrando o processo decisório, ampliando possibilidades de participação popular e aumentando a eficiência e a eficácia da máquina administrativa do estado; (ii) proporcionar um melhor atendimento ao cidadão, reduzindo custos, modernizando e agilizando a atuação dos órgãos da estrutura governamental; (iii) fazer com que as decisões governamentais sejam tomadas nos espaços de maior proximidade dos problemas, facilitando a efetiva participação da sociedade; (iv) reduzir discrepâncias entre as diferentes regiões do estado; e, (v) minimizar o êxodo rural resultante da tradicional centralização governamental. A eficaz atuação das SDR s é de fundamental importância para o alcance dos objetivos pretendidos com a Reforma Administrativa. Uma maneira de a própria instituição pública acompanhar a gestão de suas operações é proceder a uma constante avaliação do desempenho da gestão pública, com vistas à melhoria 1

2 da qualidade dos seus serviços. Proceder a uma constante avaliação do desempenho da gestão pública chega a ser considerado como uma das condições fundamentais para o sucesso da reforma administrativa do Estado, nas diversas esferas governamentais (BARBOSA, 1996; CARLOS e PEREIRA, 1998; FREITAS, 1999; THOENIG, 2000; CAMPOS et al., 2000). Embora haja um consenso com referência à necessidade da avaliação de desempenho da gestão pública, no caso específico das SDR s catarinenses, dentro do conhecimento dos autores deste artigo, não existe instrumento formalizado e sistematizado para tal procedimento. Este problema se faz sentir, de maneira marcante, na SDR da Grande Florianópolis (SGR-GF), por ser o município a capital do estado e concentrar um amplo espectro de instâncias públicas. No contexto da gestão das SDR s catarinenses, algumas especificidades devem ser consideradas. Em primeiro lugar, é necessário contemplar as diretrizes da reforma administrativa, levando-se em consideração o Planejamento Estratégico do Governo do Estado, no que diz respeito às funções de cada uma dessas instituições. Por outro lado, devese considerar, para a construção do modelo, as percepções e valores importantes para o gestor de cada secretaria. Em função desta configuração da SDR-GF e em função da necessidade de um modelo de avaliação de desempenho capaz de operacionalizar a estratégia decorrente da Reforma Administrativa, e, simultaneamente, considerar as especificidades desta SDR, levando-se em conta as percepções/experiências dos gestores desta regional promovendo a mensuração dos objetivos e a verificação e alcance das metas e resultados estabelecidos, emerge a pergunta de pesquisa, que informa este trabalho: Como avaliar o desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis (SDR-GF) e, ao mesmo tempo, subsidiar o seu gerenciamento, de forma a identificar e operacionalizar suas estratégias organizacionais e propor um procedimento que a oriente em direção ao alcance de seus objetivos? Para responder a esta pergunta, propõe-se a construção de um modelo de avaliação de desempenho da SDR-GF, que possibilite a seus gestores acompanhar a execução dos programas, projetos e ações, bem como os resultados gerados para a população. A construção de um modelo de avaliação de desempenho como um instrumento gerencial permitirá aos gestores públicos identificar os pontos fortes e os pontos fracos da SDR-GF, possibilitando, de forma transparente e estruturada, a implementação de ações contínuas de melhoria que venham ao encontro das estratégias desta secretaria. Observe-se que, no contexto desta pesquisa, avaliar o desempenho consiste num processo abrangente que busca identificar o status quo em que se encontram os objetivos estratégicos ou as metas da organização pública, de forma macro e micro, em termos de suas áreas específicas. Assim, realiza-se o processo de construção do Modelo de Avaliação de Desempenho da SDR-GF por meio das seguintes etapas: (i) identificação dos temas estratégicos; (ii) identificação do que se deseja avaliar no âmbito desta regional (caracterização de um objetivo); (iii) estruturação das variáveis ou dimensões que envolvem este objetivo, estabelecendo-se, em forma hierárquica, os desdobramentos de desempenho destas variáveis; (iv) identificação de como medir o seu desempenho; (v) identificação do nível de desempenho nestas variáveis construídas; (vi) avaliação global do desempenho da SRD-GF; (vii) identificação das variáveis em que o desempenho da SDR-GF não se encontra adequado; e, (viii) sugestão de ações de melhoria para o desempenho da SDR-GF. Para atingir o objetivo deste trabalho e responder à pergunta de pesquisa, propõe-se a combinação de duas ferramentas gerenciais o Balanced Scorecard (BSC) e a Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C). Os autores deste artigo argumentam que esta proposta virá por possibilitar o vislumbre da sinergia advinda da consorciação da ferramenta Mapa Estratégico (proposto por KAPLAN e NORTON, 1997, 2000, 2004), com a metodologia Multicritério em Apoio à Decisão Construtivista (formada 2

3 pela compilação de propostas formuladas por diversos pesquisadores, incluindo-se ROY, 1990, 1993; BANA E COSTA, 1995; ENSSLIN, MONTIBELLER e NORONHA, 2001). O Mapa Estratégico permite operacionalizar a estratégia da SDR-GF e oferece informações quanto aos objetivos macros que devem ser tratados; a metodologia MCDA-C, adicionalmente aos objetivos macros da SDR-GF, captura e encapsula as preocupações, crenças e valores dos gestores e cidadãos envolvidos e utiliza estas informações para a construção de um modelo de avaliação representativo e adequado para o tratamento das questões de gerenciamento das SDR s, além de apresentar contribuições valiosas à compreensão da situação percebida como problemática. A escolha destas abordagens se justifica por sua capacidade individual de operacionalizar a estratégia decorrente da Reforma Administrativa Mapa Estratégico do BSC e considerar as especificidades desta SDR, levando-se em conta as percepções/experiências dos gestores desta regional promovendo a mensuração dos objetivos e a verificação e alcance das metas e resultados estabelecidos metodologia MCDA-C. Resulta daí a consorciação destas duas abordagens, que, combinadas, conseguem dar conta do contexto da SDR-GF. Para operacionalizar a investigação, será adotado o método de pesquisa mista, numa perspectiva tanto qualitativa quanto quantitativa. A estratégia de pesquisa particular, consiste em um estudo de caso. Como ferramentas de intervenção, serão utilizados os Mapas Estratégicos e metodologia MCDA-C. Como instrumentos de pesquisa, serão realizadas a pesquisa documental e entrevistas semi-estruturadas para construção e teste do modelo construído. A cada coleta de dados e/ou cada intervenção, as informações serão organizadas, analisadas, complementadas e legitimadas pelos decisores. Cumpre esclarecer que será aqui apresentado um recorte do modelo construído que se refere, especificamente, ao tema estratégico Sustentabilidade, que se constitui como um dos 5 (cinco) temas identificados (Figura 2). Este tema é aqui priorizado por sua importância e por seu impacto direto nas condições econômicas e sociais que a SDR-GF oportuniza à população. A relevância da pesquisa pode ser argumentada em três eixos distintos, mas complementares: (i) o impacto direto de uma gestão pública eficiente no desenvolvimento econômico, social e na qualidade de vida das comunidades, sobretudo no que se refere à atuação das instituições públicas, por meio de um desempenho mais eficaz, eficiente e efetivo; (ii) a contribuição oferecida à pesquisa em administração pública, que se beneficiará da adoção de fundamentos teóricos e científicos na elaboração do modelo de avaliação, baseado em um conjunto de ferramentas, devidamente validadas e legitimadas junto à comunidade científica; e, (iii) a proposta de combinação/complementariedade de duas bases teóricas. A originalidade deste trabalho pode ser caracterizada pela disponibilização de uma ferramenta de gestão aos dirigentes públicos (gestores), em que suas percepções, seus valores, experiências, em combinação com as estratégias organizacionais, para fins de avaliar o desempenho da SDR-GF. O artigo apresenta, inicialmente uma contextualização das abordagens selecionadas o Balanced Scorecard (BSC) e a Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C); a seguir, apresenta-se o caso em que a proposta é implementada e; por fim, apresentam-se as reflexões finais sobre a questão do gerenciamento do desempenho da SDR- GF a partir do modelo aqui construído. 2 BALANCED SCORECARD Esta sub-seção apresenta a abordagem Balanced Scorecard (BSC), conforme proposta por Kaplan e Norton (1997, 2000 e 2004), a qual tem como finalidade traduzir a missão e a estratégia de uma empresa num conjunto abrangente de medidas de desempenho que servem de base para um sistema de mensuração e gestão estratégica. O BSC mostra-se adequado às 3

4 empresas que buscam um posicionamento estratégico ou que necessitam desenvolver suas competências e capacidades. A estrutura proposta pelos autores para traduzir a estratégia organizacional em termos operacionais é, tradicionalmente, desmembrada em quatro perspectivas: financeira, clientes, processos internos e crescimento e aprendizagem. Vale salientar que a estrutura não precisa ser, necessariamente, restrita ao número ou às preocupações das perspectivas, ou seja, pode ser em números diferentes (maiores ou menores) e com conteúdos que os gestores acreditarem ser o mais adequado para sua organização (KAPLAN e NORTON, 1997, p. 35). Segundo Figueiredo (2002, p. 47), estas perspectivas devem ser entendidas a partir das respostas a quatro perguntas: (i) Perspectiva financeira: para sermos bem sucedidos financeiramente, como deveríamos ser vistos pelos nossos acionistas? (ii) Perspectiva dos clientes: para alcançarmos nossa visão, como deveríamos ser vistos pelos nossos clientes? (iii) Perspectiva dos processos internos: para satisfazermos nossos acionistas e clientes, em que processos de negócios devemos alcançar a excelência? (iv) Perspectiva de aprendizado e crescimento: para alcançarmos nossa visão, como sustentaremos nossa capacidade de mudar e melhorar? Tendo em vista que as respostas para as questões estão alinhadas ao cumprimento da estratégia estabelecida, o conjunto de indicadores forma uma cadeia de relações causa-eefeito que se torna mais nítida com o passar de diversos ciclos de medição dos mesmos. O impacto do resultado de cada um dos indicadores sobre os demais fica explícito como, por exemplo, a influência entre satisfação dos funcionários, satisfação dos clientes, lealdade dos clientes e desempenho financeiro. O Balanced Scorecard pode ser considerado um mecanismo para garantir a implementação da estratégia não para a sua formulação ao oferecer instrumentos para a tradução dessa estratégia em objetivos, medidas e metas específicas e para a monitoração da sua implementação. Conforme Kaplan e Norton (1997, p. 9), por meio desta abordagem, podem ser viabilizados os seguintes processos críticos: (i) esclarecer e traduzir a visão estratégica; (ii) comunicar e associar objetivos e medidas estratégicas; (iii) planejar, estabelecer metas e alinhar iniciativas estratégicas; e (iv) melhorar o feedback e o aprendizado estratégico. Para que a abordagem BSC seja operacionalizada, primeiro busca-se compreender a organização, ou seja, identifica-se o contexto, no qual se esclarece o ambiente em que ela está inserida, com quem se relaciona e que desafios está buscando. Depois, observa-se o planejamento estratégico da organização, a fim de informar os rumos que deverão ser seguidos (PETRI, 2005). De posse destas informações, inicia-se a elaboração do BSC. Norton e Kaplan (2004, p ) apresentam as etapas para sua elaboração. A primeira etapa consiste em identificar que perspectivas serão consideradas. A seguir, identificam-se os aspectos relevantes (objetivos estratégicos) destas perspectivas; na seqüência, verificam-se as possíveis relações de influência ou hipóteses estratégicas (causa-e-efeito), surgindo assim o Mapa Estratégico (Figura 1). Em outras palavras, a elaboração do BSC se inicia com a montagem de uma representação gráfica, denominada por Kaplan e Norton (2004, p. 10) de Mapa Estratégico, onde os objetivos estratégicos são descritos e interelacionados através de relações de causa-eefeito. Assim, o Mapa Estratégico proporciona um meio lógico e abrangente para descrever a estratégica e comunicar os resultados almejados pela organização e as hipóteses sobre como esses resultados podem ser atingidos. O Mapa Estratégico (ME) é construído através de um processo hierárquico top-down norteado pela missão e visão da organização. Neste contexto alguns comentários merecem destaque: (i) a descrição de uma trajetória estratégica através da seqüência dos objetivos, que se ligam através de relações de causa e efeito, que pode ser expressa por uma seqüência de afirmativas do tipo se-então ; (ii) a preocupação em que haja um equilíbrio entre os objetivos de curto e longo prazo, 4

5 financeiros e não financeiros, de desempenho internos e externos (KAPLAN e NORTON, 1996, p.viii), tal preocupação é manifestada explicitamente em seu nome: Balanced Sorecard. De posse do Mapa Estratégico, que fornece as estratégias da organização, bem como seus objetivos, cabe, agora, a elaboração do Painel Balanceado (BSC) (na literatura também são encontrados os termos scorecard, Balanced Scorecard, painel de desempenho), que geralmente apresenta as perspectivas, os objetivos estratégicos, os indicadores e as metas a serem perseguidas, por meio das iniciativas ou projetos (alternativas ou ações). 3 METODOLOGIA MULTICRITÉRIO DE APOIO À DECISÃO CONSTRUTIVISTA Esta abordagem foi proposta pelas Metodologias Multicritérios, cuja área de pesquisa que se constitui numa evolução da Pesquisa Operacional e gerou, dentro de uma mesma comunidade científica, duas principais correntes de pensamento: Multicriteria Decision Making (MCDM) e Multicriteria Decision Aid (MCDA). Cumpre esclarecer que a diferença entre estas duas correntes de pensamento se traduz na forma de atuação: enquanto que a MCDM procura desenvolver um modelo matemático, para o descobrimento da solução ótima que, acredita-se preexistir, independentemente dos indivíduos envolvidos, a MCDA procura auxiliar na modelagem do contexto decisional, a partir da consideração das convicções e valores dos indivíduos envolvidos, de tal forma a permitir a construção de um modelo em que se baseiam as decisões em favor do que se acredita ser o mais adequado (ROY, 1990). Em vista disso, pode-se dizer que, como seu próprio nome indica, a metodologia MCDA-C é uma ferramenta de apoio à tomada de decisão. Um aspecto crucial da MCDA-C é a definição do que se entende por problema. No contexto desta metodologia, e segundo Landry (1995), o conceito de problema depende da perspectiva sob o qual ele é visto. Assim, a partir da perspectiva construtivista, problemas não têm existência própria, embora sejam dependentes de algum tipo de realidade objetiva. Ou seja, um problema não é, apenas, uma realidade objetiva ou um estado de espírito subjetivo, mas sim, um processo dinâmico de interação entre o objeto e o sujeito. Problemas não são nem apenas dados, nem tampouco criados, mas identificados e reconhecidos como tal por um sujeito. Assim, a formulação de um problema implica a construção, pelo sujeito, da representação do objeto concreto (ROY, 1993). Em outras palavras, um problema, nesta perspectiva, tem um dono, isto é, pertence a algum sujeito que o vê como tal. Vale ressaltar que, na perspectiva construtivista, um problema é estruturado em oposição a descoberto, conforme na perspectiva objetivista. Daí, a utilização da expressão Estruturação do Problema, na metodologia MCDA-C. A metodologia se divide em quatro grandes etapas (ENSSLIN, MONTIBELLER e NORONHA, 2001), a saber: (i) identificação do contexto decisório; (ii) estruturação do problema; (iii) construção do modelo de avaliação multicritério; e, (iv) avaliação das ações potenciais. Os dois primeiros itens podem ser englobados no processo de estruturação; o terceiro avalia a performance das ações, e o quarto propõem melhorias. A fase de caracterização do contexto decisório consiste na realização de um diagnóstico da situação. Este diagnóstico inclui: a contextualização do problema, a descrição do contexto (em que se indica o dono da insatisfação), o que gerou a insatisfação, o desempenho atual e o desempenho que se pretende alcançar. Além disso, é importante mencionar a relevância da situação e a sua factibilidade ou seja, se é possível de ser resolvida (CHECKLAND e SCHOLES, 1999). Na fase de estruturação do problema, apresentam-se os atores o decisor, o facilitador, os intervenientes e os agidos diretos e indiretos; nesta fase, define-se, também, um 5

6 rótulo para o problema e levantm-se os elementos primários de avaliação (EPAs) (BANA E COSTA, 1995). A partir destes elementos procede-se o seu agrupamento por áreas de afinidade. Este agrupamento e desdobramento em níveis é realizado até que sejam alcançados aspectos passíveis de mensuração (pontos-de-vista) (KEENEY, 1992). Para estes aspectos passíveis de mensuração, uma escala ordinal é construída (descritores), com o objetivo de informar os possíveis níveis de desempenho em cada um deles (BANA E COSTA e SILVA, 1994). A fase de construção do modelo de avaliação multicritério inicia-se com a construção das funções de valor para cada descritor. Realiza-se este processo com o auxílio do software Macbeth-scores (BANA E COSTA e VASNICK, 1997). Até este momento é possível proceder-se a uma avaliação local. Para que seja possível chegar a uma avaliação global, fazse necessário agregar estas avaliações locais. Para tanto, identificam-se as taxas de substituição de cada ponto-de-vista (PV), isto é, as taxas de substituição informam a importância relativa de cada PV, para o modelo em construção. O software Macbeth-weights auxilia nesta tarefa (BANA E COSTA e VASNICK, 1997). Na última etapa avaliação das ações potenciais o decisor e o facilitador impactam as alternativas de modo a identificar a sua avaliação em termos de pontuação numérica. Entretanto, apenas esta informação não é suficiente para informar em quais PVs o desempenho da ação (SDR-GF) é adequado ou insuficiente. Para auxiliar nesta identificação, o perfil de impacto propicia o diagnóstico. Com base neste, torna-se possível o gerenciamento da ação, por meio da sugestão/recomendação de ações de melhoria. Todo este processo é permeado pela visão construtivista de Piaget (LANDRY, 1995, p. 326), segundo a qual o conhecimento é resultado de algum tipo de interação entre o elemento subjetivo e o objetivo, ou seja, entre um sujeito ativo em busca de uma adaptação a um objeto, encontro este que resulta em uma representação que é objetivamente válida e subjetivamente significativa. Esta visão pressupõe a noção de produção de conhecimento (DUTRA, 1998, p. 49), em oposição à noção de pré-existência de uma verdade a ser descoberta. É importante salientar que, de acordo com Dutra (1998, p. 50), as implicações desta postura teórica para a área de Ajuda à Decisão se traduzem em uma aceitação da noção de que as recomendações feitas não podem ser vistas como a única solução possível, mas como uma solução bem fundamentada. Com base nestas considerações de cunho teórico-metodológico, passa-se, a seguir, à apresentação do estudo de caso informado pelas bases teóricas apresentadas na seção 2 e 3. 4 ESTUDO DE CASO Nesta etapa, apresenta-se uma ilustração da utilização conjunta das abordagens selecionadas, por meio de um estudo de caso. Neste sentido, propõe-se um modelo para a avaliação do desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis (SDR-GF). Devido à reforma administrativa implementada pelo Governo do Estado, por meio da lei complementar nº 243, de 30 de Janeiro de 2003, que dá uma maior autonomia à gestão das SDR s, faz-se necessário o acompanhamento da atuação dessas instituições com o intuito de garantir o real alcance dos objetivos estratégicos propostos pelo governo do estado. As próximas sub-seções apresentam a proposta formulada neste artigo. 4.1 FASE DE ESTRUTURAÇÃO O novo contexto em que as SDR s se inserem o processo de descentralização implementado pelo governo do Estado de Santa Catarina tem como intenção a otimização da atuação das mesmas, em que as decisões sejam tomadas em escala mais adequada, 6

7 ampliando-se as possibilidades de participação popular no processo e proporcionando-se um melhor atendimento ao cidadão. Estas ações têm, também, como propósito a minimização do êxodo rural resultante da tradicional centralização governamental, aliada a uma preocupação com o impacto ambiental das ações implementas pelas SDR s. Sendo assim, revela-se necessária a disponibilização de uma ferramenta capaz de realizar um acompanhamento da atuação da SDR-GF, com vistas a garantir o alcance dos objetivos estratégicos pretendidos pelo Governo do Estado. Dado o contexto decisório, apresenta-se a seguinte descrição: Dono da insatisfação: Representante da SDR-GF; Gerador da insatisfação: Reforma Administrativa implementada pelo Governo do Estado (Lei complementar nº 243, de 30 de janeiro de 2003), que estabelece a descentralização da estrutura governamental e das ações para as SDR s; Desempenho atual: SDR-GF não é avaliada por meio de um processo sistemático e permanente; Desempenho pretendido: Criação de um instrumento de avaliação de desempenho da SDR-GF; Relevância: A atuação eficaz da SDR-GF é importante para o alcance dos objetivos pretendidos com a Reforma Administrativa; Factibilidade: O problema é factível de solução, devido ao interesse das partes envolvidas na criação de um instrumento (modelo) de avaliação e da necessidade de implementação de melhorias. A partir do contexto decisório apresentado, podem-se identificar os atores envolvidos, conforme a seguinte relação: Decisor: Representante da SDR-GF; Intervenientes: Demais SDR s do Estado de Santa Catarina; Facilitador: Autores do trabalho, envolvidos no processo; Agidos diretos: Colaboradores da SDR-GF; Agidos indiretos: Governo do Estado e a sociedade que sofre os impactos relativos às decisões tomadas pela SDR-GF. Após a definição do contexto decisório e dos atores, inicia-se a construção do modelo. Para tanto, torna-se necessário, em primeiro lugar, a definição de um rótulo para o problema. O rótulo é o enunciado do problema e deve conter o foco do trabalho, indicando o propósito a ser atingido, sem deixar margem para dúvidas (ENSSLIN, MONTIBELLER e NORONHA, 2001). No caso do presente estudo, define-se o rótulo como: Avaliação de Desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis (SDR-GF) Assim, com base no rótulo, parte-se para a definição da missão específica da SDR-GF e para a identificação dos Elementos Primários de Avaliação (EPA s). Ou seja, busca-se identificar em primeiro lugar o propósito maior da sua atuação, a sua razão de existência, que se estabelece por sua missão para, em seguida, identificar-se as primeiras impressões que o decisor externaliza em relação ao contexto decisional as preocupações que vêm à mente em primeiro lugar, quando se confronta a situação (KENNEY, 1992). Realiza-se esta etapa por meio de workshops, técnicas de brainstorming e entrevistas com o decisor. Portanto, após as 7

8 primeiras rodadas de entrevistas, definiu-se a missão da SDR-GF: Atender às necessidades dos cidadãos da região, gerenciando a SDR-GF com base no reconhecimento do papel central que esta representa na estrutura da sociedade onde está inserida e na cultura da excelência em gestão. Nestas entrevistas, também, identificaram-se os EPA s. Os EPA s são orientados à ação e transformados em conceitos, os quais identificam os pólos presentes pretendidos e os pólos opostos mínimo aceitável pelo decisor (ENSSLIN, MONTIBELLER e NORONHA, 2001). Este processo, resultado de estratégias de brainstorming durante as entrevistas, gerou um número de 55 (cinqüenta e cinco) Elementos Primários de Avaliação. A partir dos EPA s identificados, pode-se compreender melhor as preocupações do decisor, por meio do agrupamento dos EPA s em áreas de afinidade, ou clusters. Estes clusters são utilizados para a definição dos temas estratégicos que se abordam na construção do modelo, por meio da sua ordenação pelas relações de causa-e-efeito. Definidos os temas estratégicos, parte-se para a construção do Mapa Estratégico (na pesrspectiva do BSC) para cada um desses. Conforme afirmam Kaplan e Norton (2004, p. 58), o mapa estratégico fornece a representação visual para a integração dos objetivos da organização nas quatro perspectivas do Balanced Scorecard. A Figura 1 apresenta o Mapa Estratégico referente ao tema estratégico Sustentabilidade. No presente artigo foram identificados 5 (cinco) temas estratégicos, quais sejam: Sustentabilidade, Articulação e Mobilização, Eduação, Saúde e Planejamento. Buscar o Desenvolvimento sustentável da região SOCIEDADE Desenvolver a economia da região Contribuir para o bem estar social Minimizar o impacto ambiental Aumentar a arrecadação Abrir linhas de financiamento FINANCEIRA Aumentar a renda da população Aumentar o número de empresas Reduzir a pobreza Gerar emprego Aumentar a qualidade de vida Melhorar a fiscalização Desenvolver projetos de recuperação ambiental PROCESSOS INTERNOS Estimular a transformação da região APRENDIZADO E CRESCIMENTO Melhorar habilidades analíticas Estabelecer sistemas de informação Figura 1: Mapa Estratégico referente ao tema Sustentabilidade Fonte: Elaboração própria Observe-se que o mapa parte da perspectiva da sociedade, desdobrando-se nas perspectivas financeira, dos processos internos e do aprendizado e crescimento. O mapa estratégico é construído desta forma pois parte-se da afirmação de Kaplan e Norton (2004, p. 9) de que o critério definitivo de sucesso para as organizações do setor público e para as entidades sem fins lucrativos é o desempenho no cumprimento da missão. Neste sentido, a perspectiva financeira deixa de ser o lag-indicator e passa a ser uma ferramenta para impulsionar a organização no atigimento do seu objetivo maior. A perspectiva dos processos internos se baseia nos processos regulatórios e sociais, importantes para melhorar a sociedade e o meio ambiente. Por fim, a perspectiva do aprendizado e crescimento identifica os ativos 8

9 Desenvolvimento Econômico Planejamento Infra Estrutura Melhoria da Saúde Complexidade dos Serviços Prestados Docentes Escolas Participação da Sociedade Desenvolvimento Regional Impacto Ambiental Orçamento Capacitação dos Servidores Alta Gestão por Projetos Campanhas de Vacinação Saneamento Básico Média Baixa Alunos Analfabetismo Educação de Adultos Contratação Capacitação Gestão Infra Estrutura Projetos de recuperação Licenças Abientais Redução da pobreza Qualidade de Vida Empresas Instaladas Ensino Médio Ensino Fundamental Reforma Tecnologia da informação Construção Desemprego PIB per capita Média IDH Maior DIH Menor IDH Financiamentos Arrecadação Nº de empresas Salário médio Empregos gerados Valor Prazo intangíveis da organização e como estes se organizam para auxiliar o cumprimento da estratégia estabelecida. A partir da definição dos temas estratégicos (informados pela abordagem Balanced Sorecard) é possível construir uma Estrutura Hierárquica de Valor (KEENEY, 1992) (momento este em que a metodologia MCDA-C retorna a informar a construção do modelo de avaliação). Os autores do presente artigo argumentam que as informações contidas na representação gráfica do Mapa Estratégico podem ser melhor analisadas e tratadas se transformadas na representação gráfica da Estrutura Hierárquica de Valor (conforme será explicado e demonstrado abaixo). A Figura 2 apresenta uma estrutura hierárquica de valor para o problema em estudo, distribuída em 5 (cinco) temas estratégicos: Sustentabilidade, Articulação e Mobilização, Educação, Saúde e Planejamento. Observe-se que a terminologia temas estratégicos, no contexto do BSC, é sinônimo da terminologia áreas de interesse, cluster, grandes áreas de preocupação, dimensões no contexto da metodologia MCDA- C. As grandes áreas de preocupação são, ainda, desmembradas em sub-áreas, para oferecer uma melhor compreensão e detalhamento. Para fins de ilustração, apresenta-se a dimensão/tema estratégico Sustentabilidade, a qual é explicada pelas sub-áreas Desenvolvimento Econômico, Desenvolvimento Social e Impacto Ambiental. Na estrutura hierárquica de valor (seguindo-se a leitura da Figura 2 de cima para baixo), o nível superior é o que menciona o objetivo geral dos dirigentes/gestores da SDR-GF. O nível inferior a este é destinado às dimensões ou áreas de interesse, denominação sugerida por Bana e Costa (1992). Em cada área de interesse agrupam-se os seus aspectos relacionados. Vale salientar que devem ser identificadas tantas áreas de interesse quantas forem necessárias para se apresentar todos os EPA s. Assim, as áreas de interesse, por sua vez, são as explicações do objetivo geral do problema em questão e, posteriormente, representadas pelos Pontos de Vista Fundamentais (PVFs). Um ponto de vista representa todo o aspecto da realidade decisória que o ator percebe como importante para a construção de um modelo de avaliação de ações existentes ou a serem criadas (BANA e COSTA, 1992, p. 113), as quais, por sua vez, podem ser explicados pelos Pontos de Vista Elementares (PVE s). Avaliação do Desem penho da SDR - Grande Florianópolis Articulação Sustentabilidade Educação Saúde e Mobilização Planejamento Desenvolvimento Social Sociedade Geração de Renda Figura 2: Estrutura hierárquica de valor Fonte: Elaboração própria 9

10 4.2 CONSTRUÇÃO DO MODELO DE AVALIAÇÃO MULTICRITÉRIO Após a construção da estrutura hierárquica de valor (árvore de PVFs), passa-se à etapa de construção dos descritores, os quais permitem a mensuração e a avaliação da performance das ações potenciais. Conforme explicado por Dutra (1998, p. 154), um descritor pode ser definido como um conjunto de níveis, associado a um PV, o qual descreve os possíveis impactos das ações potenciais. Assim, quando se proceder à avaliação local (avaliação de uma ação em relação a um determinado PV) de uma ação potencial, basta identificar em qual dos níveis de seu descritor esta ação impacta. Neste sentido, os níveis de impacto devem, necessariamente, ser: (i) bem definidos, de tal forma que não suscite dúvidas aos dirigentes da SDR-GF entre um nível de impacto e outro; e, (ii) ordenados, com a direção de preferência, de forma a encontrar a seqüência das diferentes atratividades (BANA E COSTA e SILVA, 1994) em cada nível de impacto. Observe-se que atratividade é entendida como a intensidade de preferência de um nível em relação a outro (DUTRA, 1998, p. 154). Sendo assim, os possíveis níveis devem estar ordenados do melhor ao pior nível de impacto, constituindo-se, assim, numa escala de preferência local. Para fins de ilustração, apresenta-se, na Figura 3, os níveis de impacto do descritor nº de licenças ambientais emitidas na região. NÍVEIS DE NÍVEIS DE DESCRIÇÃO MACBETH IMPACTO REFERÊNCIA N N4 BO M N N2 NEUTRO N Figura 3: Descritor nº de licenças ambientais emitidas na região e sua função de valor Fonte: Elaboração própria Para cada descritor definem-se os níveis de referência, também conhecidos como níveis âncora (BANA E COSTA e SILVA, 1994). Estes níveis determinam as faixas limítrofes, no interior das quais os níveis impactados são considerados como de mercado. O nível acima do Bom é considerado benchmarking o nível de excelência buscado; o nível abaixo do Neutro é considerado comprometedor e é penalizado no modelo. Diante do até aqui apresentado, constata-se que a fase de estruturação visa a construção de um modelo que seja aceito, por todos os atores envolvidos, como uma estrutura que represente aqueles valores considerados importantes, dentro do processo de tomada de decisão, para avaliar as ações potenciais. Keeney (1992) afirma que são os valores que se constituem como a base para o interesse na investigação de qualquer situação decisional. Após a construção dos descritores, pode-se prosseguir a fase de avaliação. Conforme a afirmação de Bana E Costa, Stewart e Vansnick (1995b, p. 266), em um arcabouço metodológico multicritério, o modelo de avaliação, basicamente, consiste de dois estágios, como se segue: (1) a construção de um critério para cada PV, ou seja um modelo de avaliação que represente, formalmente, as preferências parciais de um(s) decisor(es) sobre um único PV; e (2) a aplicação e exploração de um procedimento de agregação multicritério que, considerando-se algumas informações de natureza inter-ponto de vista, agrega os vários critérios em um modelo de avaliação geral. A representação matemática das preferências dos decisores (dirigentes da SDR-GF), por meio de gráfico ou escalas numéricas, é oferecida pela função de valor. Assim, as escalas representam, numericamente, quanto para os dirigentes um nível de impacto é preferível (ou 10

11 mais atrativo) em relação a outro. Neste trabalho, utilizam-se as escalas de intervalo. Neste tipo de escala, os números indicam a ordem de preferência do decisor e existe a possibilidade de quantificação da preferência de um nível em relação a outro, uma vez que o intervalo existente entre dois destes números pode ser comparado com outro intervalo, devido ao fato de que dois dos números da escala são arbitrados, o 100 (cem) e o 0 (zero). Dentre as abordagens propostas na literatura para a construção das funções de valor, neste trabalho, utiliza-se a abordagem MACBETH devido ao seu processo de questionamento ser realizado mediante comparações par-a-par, no qual se solicita ao decisor que indique, por meio de informações semânticas, a perda de atratividade percebida no descritor, da passagem de um nível para outro (BANA E COSTA e VANSNICK, 1997). Estas informações são estruturadas em matrizes semânticas no software Macbeth-scores, que oferece a escala de intervalo que representa as preferências dos dirigentes da SDR-GF, conforme a Figura 4. Observa-se, na Figura 4, que o software foi informado sobre os níveis considerados Bom (impacto mais atrativo) e Neutro (impacto menos atrativo). Na determinação do nível Bom, este é fixado no valor 100 (cem) e no nível Neutro, 0 (zero). Com a fixação destes valores, o software MACBETH gera a escala definitiva. Justifica-se tal necessidade pelo fato de que as taxas de substituição (próxima etapa da fase de avaliação) são calculadas levando-se em conta o intervalo de variação entre o impacto mais preferido e o menos preferido. Figura 4: Função de valor gerada pelo software MACBETH Fonte: Elaboração própria Após o término da construção das funções de valor para todos os pontos de vista, identificam-se as taxas de compensação (substituição) que permitem a agregação das avaliações locais dos PVs (DUTRA, 1998). Com a obtenção da taxa de substituição para cada PV, pode-se transformar o valor da avaliação local em global. A abordagem MACBETH é, novamente, utilizada para dar conta desta tarefa. A determinação das taxas de substituição (w j ) é realizada em dois momentos: primeiro ordena-se os PVs; e, na seqüência, constrói-se a matriz semântica do julgamento de valor de forma semelhante àquela usada para a construção das funções de valor. A única diferença é a introdução de um PV de referência A0, que é usado como uma ancoragem (ponto zero) e recebe, assim,uma importância de 0% (zero por cento). Visualiza-se este procedimento na Figura 5, que se refere aos sub-níveis do PV Desenvolvimento Econômico : Geração de Renda e Empresas Instaladas. Com a determinação das taxas de compensação, conclui-se o modelo de avaliação multicritério relativo à dimensão (tema estratégico) Sustentabilidade para a SDR-GF. 11

12 Sustentabilidade Desenvolvimento Econômico 57% 43% Empresas Instaladas Geração de Renda Figura 5: Taxas de compensação dos sub-critérios vinculados ao PV Desenvolvimento Econômico Fonte: Elaboração própria 4.3 AVALIAÇÃO DAS ACÕES POTENCIAIS A partir de agora, passa-se à operacionalização da avaliação do status quo da SDR-GF. Para tal, identifica-se o desempenho da SDR-GF em cada um dos PVs do modelo, cujos dados são identificados pelos descritores, com os quais se tem a representação do perfil atual do desempenho da SDR-GF. Para ilustrar este procedimento, apresenta-se a Figura 6, com o perfil do desempenho da SDR-GF para a dimensão/tema estratégico Sustentabilidade. Pode-se perceber, pelo comportamento gráfico do perfil, conforme Figura 6, que em apenas dois PVs o desempenho da SDR-GF merece atenção, por não apresentar um desempenho dentro das expectativas dos dirigentes, quais sejam: licenças ambientais e projetos de repercussão. Perfil de Desempenho - Sustentabilidade Níveis de Impacto 150,00 100,00 50,00 0,00 (50,00) (100,00) (150,00) STATUS QUO BOM NEUTRO Descritores Figura 6: Gráfico do Perfil de Impacto para o tema estratégico Sustentabilidade Fonte: Elaboração própria 12

13 Para o procedimento de avaliação global do modelo, utiliza-se a abordagem do critério único de síntese (BANA E COSTA, 1992), uma vez que os dirigentes da SDR-GF manifestaram o fato de que a diminuição na performance de qualquer um dos PVs pode ser compensada pelo aumento em outro PV. Assim, procede-se à avaliação global com a utilização de um modelo de agregação que pode ser representado como: V(a) = W 1 *V 1 (a) + W 2 *V 2 (a) + W 3 *V 3 (a) +... W n *V n (a) onde: V(a) = Valor Global do status quo da SDR-GF; V 1 (a), V 2 (a),... V n (a) = Valor parcial da SDR-GF nos pontos de vista 1, 2, 3,..., n; W 1, W 2,..., W n = Taxas de Substituição dos pontos de vista 1, 2, 3,..., n; e n = número de pontos de vista do modelo. Conforme se observa na Figura 6, os descritores, em que a SDR-GF apresenta um desempenho julgado Neutro, recebem pontuação 0 (zero) e os que se encontram no nível Bom recebem 100 (cem). Assim, a SDR-GF é avaliada, na dimensão/tema estratégico Sustentabilidade, com 55,94 pontos, cuja situação se justifica pelo baixo desempenho de dois PVs. Como decorrência da avaliação, a próxima etapa do processo se constitui na apresentação das ações de melhoria as ações potenciais que o decisor pode implementar para que o desempenho da SDR-GF melhore em relação ao status quo. Tais ações representam uma sugestão do que se pode fazer para que o desempenho da SDR-GF, em um determinado descritor, passe de um nível para outro acima. Para fins de ilustração no modelo, apresenta-se, a seguir, uma ação de melhoria para o PV Licenças ambientais. Ação 1 (Descritor 1.3.1): Elevar o nº de licenças ambientais, na região, de 200 para 300 ao ano Para tanto, sugere-se a criação de um comitê para avaliação de projetos, com autonomia para emitir licenças ambientais no âmbito da região. Com a proposição dessa ação de melhoria, percebe-se um aumento no desempenho da SDR-GF na dimensão Sustentabilidade de 55,94 para 65,39 pontos. A Figura 7, a seguir, apresenta o gráfico do desempenho após a implantação desta ação de melhoria. Perfil de Desempenho - Sustentabilidade Níveis de Impacto 150,00 100,00 50,00 0,00 (50,00) (100,00) (150,00) Ação de Melhoria BOM NEUTRO Descritores Figura 7: Gráfico do Perfil de Impacto para ação de melhoria na dimensão Sustentabilidade Fonte: Elaboração própria 13

14 5 CONCLUSÃO No contexto da avaliação e do gerenciamento do desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis SDR-GF apresentou-se uma proposta advinda da combinação das abordagens Balanced Sorecard (BSC) e da Metodologia Multicritério de Apoio à Decisão Construtivista (MCDA-C). O presente artigo objetivou a construção de um modelo de avaliação de desempenho para esta Regional, buscando possibilitar uma explicitação dos objetivos que a SDR-GF deve perseguir, uma representação de seu status quo, e uma evidenciação das formas de gerar ações de melhoria de sua performance, sempre em consonância com suas estratégias organizacionais. Foi proposta, então, a combinação do BSC (Mapa Estratégico) e da MCDA- C. Num primeiro momento, apresentou-se o resultado da pesquisa bibliográfica pertinente às bases teóricas que informam a construção do modelo; a seguir, procedeu-se à aplicação deste conhecimento ao estudo de caso em questão. Para a construção do modelo, foram utilizadas a pesquisa documental e entrevistas semi-estruturadas. A Pergunta de Pesquisa que informou o trabalho Como avaliar o desempenho da Secretaria de Desenvolvimento Regional da Grande Florianópolis (SDR-GF) e, ao mesmo tempo, subsidiar o seu gerenciamento, de forma a identificar e operacionalizar suas estratégias organizacionais e propor um procedimento que a oriente em direção ao alcance de seus objetivos? é considerada a seguir: Para avaliar o desempenho da SDR-GF e, simultaneamente, subsidiar gerenciamento de tal desempenho, os autores apresentaram a proposta de consorciação das abordagens BSC e MCDA-C, explorando a sinergia advinda desta combinação. Cumpre lembrar que, para efeitos de ilustração do modelo construído, apresentou-se um recorte relativo à dimensão Sustentabilidade, cuja relevância foi argumentada em termos de sua importância e impacto direto nas condições econômicas, sociais e ambientais que a SDR-GF oportuniza à população. O modelo construído nestas bases, seguiu as seguintes etapas: procedeu-se à identificação das estratégias da SDR-GF relacionadas ao tema estratégico Sustentabilidade (Figura 1); a seguir, passou-se à identificação do que se desejava avaliar no âmbito desta regional (caracterização de um objetivo) e ao estabelecimento, em forma hierárquica, dos desdobramentos de desempenho destas variáveis (Figura 2); a próxima etapa constituiu-se da identificação de como medir o desempenho de tais variáveis (Figura 3 e Figura 4); a partir daí, foi possível proceder-se à identificação do nível de desempenho da SDR nestas variáveis construídas, à avaliação global do desempenho da SRD-GF e à identificação das variáveis em que o desempenho da SDR-GF não se encontrava adequado (Figura 6); finalmente, foi possível sugerir ações de melhoria para o desempenho da SDR-GF, naquelas variáveis em que intervenção se fez necessária (Figura 7). Como resultados, tem-se que o modelo proposto se mostrou adequado para responder às necessidades da SDR-GF, uma vez que foi capaz de contemplar as percepções dos gestores e considerar, simultaneamente, a missão e os objetivos estratégicos desta secretaria. A realização deste trabalho possibilitou vislumbrar a sinergia advinda da consorciação da ferramenta Mapa Estratégico com a metodologia Multicritério em Apoio à Decisão Construtivista. A consorciação permitiu explorar as potencialidades do BSC, no que diz respeito aos 4 (quatro) processos críticos apontados por Kaplan & Norton (1997, p.9), quais sejam: (i) Esclarecer e traduzir a visão estratégica; (ii) Comunicar e associar objetivos e medidas estratégicas; (iii) Planejar, estabelecer metas e alinhar iniciativas estratégicas; e (iv) Melhorar o feedback e o aprendizado estratégico. Dentre estes processos, o processo (i) é possibilitado apenas pelo BSC identificação dos objetivos macros ou temas estratégicos que devem ser tratados; já os processos (ii), (iii) e (iv) são possibilitados pela combinação do BSC com a MCDA-C, que permite capturar e encapsular as preocupações, crenças e valores dos 14

15 gestores e cidadãos envolvidos e utilizar estas informações para a construção de um modelo de avaliação representativo e adequado para o tratamento das questões de gerenciamento das SDR s. Assim, é ratificada a robustez da proposta de consorciação aqui apresentada. Os autores salientam a originalidade da pesquisa, cujos resultados contribuíram para disponibilizar aos dirigentes da SDR-GF uma proposta de gerenciamento do desempenho desta Regional, proposta esta que leva em conta as percepções dos decisores, seus valores e experiências, bem como as estratégias governamentais desta Secretaria. Com recomendações para trabalhos futuros, os autores sugerem: (i) a incorporação da ferramenta Painel de Desempenho, proposto por Kaplan e Norton (1997), para possibilitar aos gestores uma representação mais clara das informações relativas ao gerenciamento da SDR- GF; (ii) uma análise custos-benefício e uma hierarquização das ações recomendadas, de forma a auxiliar os gestores na escolha de qual ação implementar. 6 REFERÊNCIAS BANA E COSTA, C. A., SILVA, F. N. Concepção de uma Boa Alternativa de Ligação Ferroviária ao Porto de Lisboa: uma aplicação da metodologia multicritério de apoio à decisão e à negociação. Investigação Operacional, vol. 14, pp , BANA E COSTA, C.A. Structueation, construction et exploitation d um Modéde Multicritère d aide à la Decision. Universidade Técnica de Lisboa. Tese de Doutorado, BANA E COSTA, C.A. Processo de apoio à decisão: problemáticas, actores e acções. Apostila do Curso Metodologias Multicritérios de Apoio à Decisão - ENE/UFSC Florianópolis, Agosto, 1995a. BANA E COSTA, C.A., STEWART, T.J., VANSNICK, J.C. Multicriteria decision analysis: some troughts based on the tutorial and discussion sessions of the ESIGMA meetings. Euro XIV Conference, pp , Jerusalém, Julho 3-6, 1995b. BANA E COSTA, C.A., VASNICK, J.C. Applications of the MACBETH Approach in the Framework of an Additive Aggregation Model, Journal of Multi-criteria Decision Analysis, v.6, n.2, p , BARBOSA, L. Meritocracia à brasileira: o que é desempenho no Brasil? Revista do Serviço Público RSP/ENAP. 47 (3), set-dez, pp , BEINAT, E., Multiattribute Value Functions for Environmental Management. Amsterdam: Timbergen Institute Research Series, CAMPOS, A. M. et al. Avaliação de agências reguladoras: uma agenda de desafios para a sociedade brasileira. Revista de Administração Pública RAP/FGV. 34 (5), set-out, pp , CARLOS, Luiz.; PEREIRA, Bresser. Reforma do Estado para a Cidadania: A Reforma Gerencial Brasileira na Perspectiva Internacional Ed. ENAP, CATELLI, Armando; SANTOS, Edilene S. Mensurando a criação de valor na gestão pública. Revista de Administração Pública EBAPE / FGV, n. 3, CHECKLAND, P., SCHOLES, J. Soft Systems Methodology in Action: a 30-year retrospective. Chichester: John Wiley & Sons Ltd, DOS SANTOS, Luís P. G. Uma contribuição à discussão sobre a Avaliação de Desempenho das Instituições Federais de Ensino Superior Uma abordagem da Gestão Econômica. Revista Contabilidade e Finanças USP, São Paulo, n.28 p Jan/Abr,

16 DUTRA, A. Elaboração de um sistema de Avaliação de Desempenho dos Recursos Humanos da Secretaria de Estado da Administração SEA à luz da Metodologia Multicritério de Apoio à Decisão. Florianópolis Brasil. Dissertação de Mestrado Programa de Pós-Graduação em Engenharia de Produção, UFSC, ENSSLIN, Leonardo.; ENSSLIN, Sandra R.; IGARASHI, Deisy Cristina C. Visão Hard e Visão Soft da Pesquisa Operacional? Reflexões sobre posturas e procedimentos XXV ENEGEP Porto Alegre, RS, Brasil, 29 de Outubro a 01 de Novembro, ENSSLIN, Leonardo.; MONTIBELLER, Gilberto N.; NORONHA, Sandro M. Apoio à Decisão: Metodologias para Estruturação de Problemas e Avaliação Multicritério de Alternativas Ed. Insular, FIGUEIREDO, José Rômulo de. Identificação de indicadores estratégicos de desempenho a partir do Balanced Scorecard. Dissertação submetida à Universidade Federal de Santa Catarina para obtenção do título de Mestre em Engenharia de Produção. Florianópolis, FREITAS, C.A.S. A implementação do Governance Performance and Results Act na administração pública dos EUA. Revista do Serviço Público RSP/ENAP. 50 (3), jul-set, pp , GLASER, M. A.; DENHARDT, R. B. Local government performance through the eyes of citizens. Journal of Public Budgeting, Accounting & Financial Management. Fort Lauderdale, nº 1, vol.12, pp (numeração de páginas conforme texto via Internet), KAPLAN, R. S., NORTON, D. P. A Estratégia em Ação: Balanced Scorecard. Rio de Janeiro: Ed. Campus, KAPLAN, R. S., NORTON, D. P. Organização orientada para estratégia. Rio de Janeiro: Ed. Campus, KAPLAN, R. S., NORTON, D. P. Mapas Estratégicos Balanced Scorecard: convertendo ativos intangíveis em resultados tangíveis. Rio de Janeiro: Ed. Elsevier, KEENEY, R. L. Value Focused-Thinking: A Path to Creative Decision-making. Cabridge: Harvard Univ. Press, LANDRY, Maurice. A Note on the Concept of Problem Organization Studies, 16/2 p EGOS / , OSBORNE, D.; GAEBLER, T. Reinventando o governo. Tradução de Sérgio Fernando G. Bath e Ewandro M. Júnior. 6. ed. Brasília: MH Comunicação, PETRI, Sérgio Murilo. Modelo para apoiar a avaliação das abordagens de gestão de desempenho e sugerir aperfeiçoamentos: sob a ótica construtivista. 235 f. Tese de Doutorado (Doutorado em Engenharia de Produção). Programa de Pós-Graduação em Engenharia de Produção. Universidade Federal de Santa Catarina, Florianópolis, ROY, B. Decision-aid and decision making. in: BANA E COSTA (ed.) Readings in Multiple Criteria Decision Aid, Berlin: Springer, pp , ROY, B. Decision science or decision-aid science? European Journal of Operacional Research, v.8, n.1, pp , THOENIG, J.C. Avaliação como conhecimento utilizável para reformas de gestão pública. Revista do Serviço Público RSP/ENAP. 51 (2), abr-jun, pp ,