Avaliação de Desempenho de Escolas Técnicas Estaduais de São Paulo: um modelo baseado em indicadores

Transcrição

1 Avaliação de Desempenho de Escolas Técnicas Estaduais de São Paulo: um modelo baseado em indicadores Autoria: Leonardo Fabris Lugoboni, Leticia Sakamoto Soares, Hamilton Luiz Corrêa, Joice Chiareto, Bárbara Galleli Dias Resumo O presente artigo tem por objetivo propor um modelo inicial de avaliação de desempenho para instituições de ensino técnico público da região da Grande São Paulo, a partir da visão de gestores considerados especialistas na área. Foi realizada uma pesquisa empírica, por meio da concretização de uma sessão de grupo de foco e de entrevistas com gestores e diretores de instituições de ensino. Chegou-se a uma estrutura composta por 11 dimensões e 77 indicadores de desempenhos. A triangulação das informações permitiu delinear uma representação sistêmica de um modelo de avaliação de desempenho organizacional escolar, o MADOE, bem como algumas premissas. 1

2 1 Introdução Os ambientes competitivos globais em que se situa boa parte das grandes organizações demandam das mesmas posturas e ações que possam contribuir com a gestão, e com a implementação e o acompanhamento de estratégias adequadas, com vistas à manutenção ou ainda alavancagem do posicionamento da empresa no mercado, bem como à sustentação de vantagens competitivas. Neste contexto, instrumentos como os de avaliação e mensuração do desempenho organizacional, mostram-se fundamentais para a tomada de decisão estratégica. Pode-se dizer que a preocupação e as ações voltadas à performance e aos resultados no ambiente empresarial são regras e não exceções. De fato, as discussões sobre avaliação e mensuração do desempenho organizacional não são recentes ainda que não nestes termos, contudo, os primeiros estudos sobre o assunto datam do início do século XX quando o modelo Tableau de Bord foi criado na França por engenheiros de processos (PAULA; SILVA, 2005). Apesar de reconhecida sua validade, de modo geral, instrumentos de avaliação e mensuração do desempenho organizacional também recebem suas críticas. Argumenta-se que estes são comumente desenvolvidos e utilizados de forma diretamente relacionadas apenas à elaboração e ao controle de relatórios financeiros, enquanto são negligenciadas as conexões e aproximações com os planos estratégicos (HALACHMI, 2005; MOÇO, 2007). Como consequência à esta lacuna, inúmeros modelos de avaliação de desempenho foram desenvolvidos na última década. Entre os trabalhos que analisaram a estrutura e evolução destes modelos de avaliação de desempenho, áreas de atuação e atributos necessários para a eficácia empresarial identificou-se os estudos de Corrêa (1986), Kaplan e Norton (1992; 1993; 1996, 1997; 2000, 2001), Martins (1999), Hourneaux (2005), Lugoboni (2010), Cunha (2011) e Crispim e Lugoboni (2012). As contribuições dos estudiosos deste tema oportunizam o desenvolvimento de modelos de avaliação de desempenho setoriais. Justifica-se como uma necessidade a elaboração de modelos que não sejam de tais modos exclusivos que se restrinjam a uma única empresa, mas que também não tenham a ambição de ser tão generalizáveis a ponto de afirmarem-se aplicáveis a todos os tipos de organizações (YOKOMIZO, 2009). É preciso um equilíbrio neste sentido. A padronização setorial possibilita a definição de parâmetros e comparações de desempenhos em níveis inter ou intraorganizações. Diversas pesquisas foram realizadas nessa área, tanto nas esferas nacionais quanto internacionais. Podem ser encontrados na literatura modelos para avaliação de desempenho de empresas multinacionais (YENIYURT, 2003), empresas do setor químico (HOURNEAUX, 2005), empresas de software (YOKOMIZO, 2009), gestão pública (KLOOT; MARTIN, 2000), pequenas empresas (ALBERTI; COCCA, 2010) e hospitais filantrópicos (CUNHA, 2011), instituições de ensino (ALVES; CORRÊA; GALVÃO, 2011; CRISPIM; LUGOBONI, 2012), entre outros. Em pesquisa ao Portal Periódicos da CAPES, a consulta nas bases de dados nacionais e internacionais, da área de Ciências Sociais Aplicadas, pelas palavras-chave modelo de avaliação de desempenho organizacional revelou 159 artigos completos publicados. A partir da leitura dos títulos e resumos/abstracts, constatou-se que até o momento da realização do presente estudo não foi identificado nenhum modelo de avaliação de desempenho desenvolvido especificamente para as instituições de ensino técnico público. A política educacional implementada a partir de 1995 reservou um lugar especial ao ensino técnico. Conforme declara o Ministério da Educação e Cultura (MEC, 2013), a educação profissional e tecnológica possui valor estratégico para o desenvolvimento nacional, à medida que é convocada não só para atender às novas configurações do mundo do trabalho, mas, igualmente, a contribuir para a elevação da escolaridade dos trabalhadores. O Estado de São Paulo mantém um sistema estadual de formação técnica de nível médio centralizado no Centro Estadual de Educação Tecnológica Paula Souza (CEETEPS), o 2

3 maior centro de formação profissional da América Latina. O Centro Paula Souza é uma autarquia do Governo do Estado de São Paulo vinculada à Secretaria de Desenvolvimento Econômico, Ciência e Tecnologia e administra 209 Escolas Técnicas (Etecs) e 56 Faculdades de Tecnologia (Fatecs) estaduais, em 159 municípios paulistas. As Etecs atendem cerca de 220 mil estudantes nos ensinos técnico e médio. Atualmente, são oferecidos cerca de 125 cursos técnicos para os setores Industrial, Agropecuário e de Serviços (CENTRO PAULA SOUZA, 2012). É notório que desde sua criação, as instituições de ensino técnico são alvos de diversos estudos relacionados a temáticas como a inclusão social (AZEVEDO, 2008), a formação docente (MOURA, 2008; MACHADO, 2008), os reflexos no mercado de trabalho (ARAÚJO, 2008), entre outros. Entretanto, são escassos os trabalhos que abordam questões associadas à administração destas organizações. A partir das considerações apresentadas, define-se como objetivo deste artigo propor um modelo inicial de avaliação de desempenho para instituições de ensino técnico público da região da Grande São Paulo, a partir da visão de gestores considerados especialistas na área. A estrutura sequencial deste artigo corresponde ao seguinte: introdução; conceitos de modelos de avaliação de desempenho; revisão de modelos; avaliação em instituições de ensino; procedimentos metodológicos; análise dos resultados e a apresentação da proposta do modelo de avaliação de desempenho para instituições de ensino técnico público, e considerações finais. 2 Conceituando Modelos de Avaliação de Desempenho Embora a discussão sistematizada sobre a avaliação de desempenho organizacional provavelmente remonte a era da Administração Científica, os estudos sobre avaliação de desempenho nas organizações são relativamente recentes. Entretanto, Corrêa (1986) identificou que até a década de 1980 a teoria de avaliação de organizações tinha evoluído muito pouco, tanto na quantidade de estudos realizados quanto na profundidade dos mesmos. Em estudo semelhante, Martins (1999) esclarece que as pesquisas sobre modelos de avaliação de desempenho aumentaram de forma considerável na década de 1990, principalmente após a publicação dos artigos de Kaplan e Norton (1992) sobre o Balanced Scorecard (BSC), que se tornou um dos modelos mais disseminados. Kaplan e Norton (1992) associam o BSC ao painel de instrumentos da cabine do piloto do avião, os quais fornecem informações de diferentes aspectos para voar, como a quantidade de combustível, a altura da aeronave, a velocidade do vento, etc. O tomador de decisões na organização, assim como o piloto do avião, tem a necessidade de conhecer as variáveis envolvidas no processo e é esta a função do BSC. Lotta (2002), por sua vez, define a avaliação do desempenho como um mecanismo que busca mensurar o desempenho dos indivíduos na organização por meio da comparação entre o que é esperado e o que é realizado. Nesta pesquisa assume-se o modelo de avaliação de desempenho como uma iniciativa de controle que permite a organização propor melhorias para seu negócio (HALACHMI, 2005), seus processos (AMARATUNGA; BALDRY, 2002) e para a manutenção de altos padrões de desempenho (COCCA; ALBERTI, 2010). Possibilita a orientação para consecução de objetivos (NANNI; DIXON; VOLLMANN, 1990) e funciona como elemento de mensuração e regulação por meio da quantificação de indicadores capazes de dar suporte às atividades de controle gerencial (POWER, 1997), permitindo que, periodicamente, os gestores possam checar a saúde da organização (NEELY, 1998; 1999). Martins (1999), após a análise de vários estudos na área, estabeleceu as principais características de um modelo de avaliação de desempenho: a) ser congruente com a estratégia competitiva; b) ter medidas financeiras e não financeiras; c) direcionar e suportar a melhoria contínua; d) identificar tendências e progressos; e) facilitar o entendimento das relações de 3

4 causa e efeito; f) ser facilmente inteligível para os funcionários; g) abranger todo o processo, desde o fornecedor até o cliente; h) disponibilizar informações em tempo real para toda a organização; i) ser dinâmico; j) influenciar a atitude dos funcionários, e k) avaliar grupos, e não indivíduos. Modelos de avaliação de desempenho organizacional são constituídos por um conjunto de itens como processos, pessoas, infraestrutura, métodos, indicadores, dimensões e fatores culturais (KENNERLEY; NEELY, 2002). Tais itens são estruturados para coletar, descrever e representar dados com a finalidade de gerar informações sobre múltiplas dimensões de desempenho, para seus usuários dos diferentes níveis hierárquicos, e que seja capaz de integrar as diferentes medidas de desempenho num mesmo plano de análise (GHALAYINI; NOBLE, 1996; BITITCI; CARRIE; MCDEVITT, 1997). Para Alves, Corrêa e Galvão (2011), as respostas das perguntas: para quê ; para quem ; o quê ; como ; quem e quando, auxiliam na compreensão da finalidade das dimensões e dos conjuntos de indicadores que constituem um modelo de avaliação de desempenho organizacional, bem como define quem os usará, o conteúdo, quais os passos de desenvolvimento e de implantação e qual a frequência da aplicação. A essencialidade da adoção e aplicação dos modelos de avaliação de desempenho organizacional reside no impacto que seus resultados devem causar sobre o desempenho da organização como um todo, assim como das suas unidades de negócios. Bem por isso, é necessária cautela e coerência na maneira pela qual os dados que irão alimentar um modelo como este serão adquiridos, analisados, interpretados, comunicados e colocados em prática (BOURNE; KENNERLEY; FRANCO-SANTOS, 2005), tendo em vista a resolução de problemas, ou o aprimoramento da atuação estratégica da organização, por exemplo. O ambiente, o mercado e as pessoas, entre outros fatores, mudam constantemente e as organizações necessitam acompanhar esta mudança alterando seus processos, seus valores, suas competências e, por consequência, sua forma de avaliar o desempenho (KENNERLEY; NEELY, 2002). Neste sentido são propostos continuamente novos modelos, que normalmente aprimoram ou complementam modelos de avaliação até então existentes, conforme a revisão exposta na seção seguinte. 3 Revisão de Modelos de Avaliação de Desempenho Observa-se que ao longo do tempo, a área avaliação de desempenho tem agregado atributos relacionados a diversas esferas como finanças, recursos humanos, estudo de cenários de mercado, processos internos e de apoio, inovação, entre outros. Com isso, aumentou a multidisciplinaridade de requisitos e a complexidade no gerenciamento dos modelos. A partir da análise a literatura, Crispin e Lugoboni (2012), apresentam uma visão integrada e sintética dos modelos de avaliação de desempenho disponíveis, identificaram os modelos, suas ideias principais e seus pontos fortes e pontos fracos. Realizada uma revisão sobre esta iniciativa, selecionados os modelos mais presentes na literatura científica, apresenta-se o Quadro 1. Quadro 1 Principais modelos de avaliação de desempenho e seus pontos fortes fracos Nome do Modelo ou Área de Avaliação / Líderes Presumidos / Data ou Período de Origem (Ideia Principal do Modelo) Pontos Fortes Pontos Fracos Painel de Controle de Bordo (Tableau de Bord) / Engenheiros de processos franceses / 1930 a 1950 (Identificação de relações de causa e efeito antecessor ao conceito do BSC ) 4

5 Prover para os gerentes uma visão geral e concisa do desempenho de suas unidades visando tomada de decisão; informar o próximo nível sobre o desempenho de cada unidade; forçar cada unidade a posicionar-se com relação ao contexto da estratégia global; identificar fatores críticos de sucesso e indicadores chave de desempenho; contribuir para estruturar a agenda e dirigir as discussões; Concentrar em um mesmo plano e instrumento um conjunto de indicadores que pudessem explicar o desempenho da organização. Apresentar dados predominantemente financeiros; não analisar o impacto das decisões sobre variáveis não financeiras; não estabelecer relações de causa e efeito; não estabelecer relação entre estratégia e operação; não considerar variáveis com impacto nos resultados futuros; ficar muito focado em dados históricos. Método das Áreas-Chave de Resultado / R. Cordiner (CEO - GE) / 1955 (Baseia-se em 8 pontos chaves: lucratividade; posição de mercado; produtividade; liderança de produto; pessoal; atitude dos empregados; responsabilidade pública e equilíbrio entre curto e longo prazo ) Adaptar-se a diferentes tipos de empresas; mensurar Focar na definição de indicadores, e não de padrões, de variáveis alinhadas aos objetivos de curto e longo desempenho e em 7 áreas que não têm relação direta com a prazo; mensurar variáveis em todos os níveis lucratividade; não ter indicadores para todas as áreas-chave. organizacionais. O Método da Avaliação Global de Desempenho de Corrêa / H. L. Corrêa / 1986 (Verifica as causas de desempenho, dentro de cada módulo de desempenho da organização) Usar mecanismos de análise crítica do desempenho Faltar clareza sobre como as informações relevantes são global; estimular o aprendizado; usar múltiplas disponibilizadas no momento certo; faltar mecanismos de dimensões de desempenho; identificar relações de adaptação às mudanças externas e internas; haver possível causa e efeito; buscar o alinhamento entre a estratégia e resistência interna ao processo; concentrar discussões na alta a estrutura; usar métodos de avaliação qualitativos e administração. quantitativos. BSC - Balanced Scorecard / Robert S. Kaplan e David P. Norton /1990s (Scorecard para medir e relacionar 4 perspectivas : financeira, clientes, processos e crescimento ) Ter uma lógica convincente; correlacionar Estabelecer relações de causa e efeito unidirecionais; não indicadores e desempenho financeiro; estabelecer contemplar mecanismos para validação; não estabelecer relações de causa e efeito; ter literatura bem maiores vínculos entre a estratégia e a operação; ser rígido e desenvolvida e consistente; Ser muito funcional na estático; ser limitado por quatro perspectivas; dar pouca formulação de estratégias e ajudar no atenção a recursos humanos, conhecimento e criação; tratar comprometimento interno. de forma restrita o ambiente externo (apenas cliente). SMART - Strategic Measurement and Reporting Technique / Lynch e Cross / 1991 (Levar a visão, traduzida em objetivos financeiros, aos sistemas de operação do negócio, de forma que as medidas operacionais suportem a visão da organização ) Usar medidas vinculadas à estratégia desdobradas no Enfatizar satisfação de clientes e acionistas, e desconsiderar nível operacional; estabelecer relações de causa e efeito os demais grupos; não agregar medidas do nível operacional entre os indicadores e os objetivos; utilizar múltiplas às do nível estratégico; não usar mecanismos de dimensões de desempenho. retroalimentação; não estimular a participação de funcionários. MQMD - Modelo Quantum de Medição de Desempenho / Hronec / 1994 (Avaliar o valor para o cliente-relação custo/qualidade, e o serviço para o cliente-relação qualidade/tempo) Propor medidas de desempenho vinculadas à estratégia Faltar clareza na interação dos sistemas de medição da e abrangendo três níveis (organização, processos e integração com as áreas funcionais da organização; faltar pessoas); enfatizar a satisfação dos principais grupos de agilidade na disponibilização de informações relevantes; interessados (clientes, acionistas, funcionários, falta clareza na agregação dos indicadores. fornecedores, governo, sociedade e meio-ambiente). Skandia Navigator /L. Edvinsson / 1997 (Fornecer uma imagem equilibrada do capital financeiro e intelectual, para, a partir disso criar um Valor sustentável agindo de acordo com uma visão empresarial e a estratégia que dela resulta ) 5

6 Identificar os resultados decorrentes de uma estratégia Desconsiderar outros fatores não relacionados com o baseada na criação de conhecimento; trabalhar com o capital intelectual. Ter pouca aderência À empresas onde o passado presente e futuro; tratar o desenvolvimento do capital intelectual não é de uso tão intenso. Não apresentar capital intelectual como foco central da concepção do completa validade prática, com relação aos indicadores modelo; identificar os resultados decorrentes de uma desenvolvidos pelo modelo, criando margem para estratégia baseada na criação de conhecimento. contestação de seus resultados. SIGMA Sustainability Scorecard / British Standards Institution e outros / 1999 (Triple Bottom Line Scorecard:medir e estabelecer relações sob quatro enfoques: sustentabilidade, cliente externo e interno, conhecimento e habilidade ) Valorizar os aspectos da sustentabilidade; adotar um enfoque orientado para stakeholders. Não mensurar a estratégia de negócio, e focar muito as ações sociais e ambientais; deixar resultados econômicos em segundo plano. VCS - Value ChainScoreboard / Baruch Philip Bardes, professor da New York University / 2001 (O scoreboard usa uma cadeia de valor, que consiste em três fases: descoberta de novos produtos ou serviços ou processos; estabilização de exequibilidade tecnológica; e comercialização de novos produtos e serviços ) Basear-se em minuciosa pesquisa científica sobre o Focar somente em inovação; Pouca adequação a empresas relacionamento entre intangíveis e valor de mercado da que não investem muito em P&D; Focar basicamente a companhia; ser simples e abrangente. relatórios externos. PP - Performance Prism / Neely, Adams e Crowe (2001) e por Kennerley e Neely (2002) / 2002 (Utiliza modelos existentes buscando maximizar pontos fortes e minimizar pontos fracos. Utiliza o prisma de desempenho com base em perguntas relacionadas à satisfação dos interessados, às estratégias, aos processos, às capacidades e à contribuição dos interessados ) Usar diferentes perspectivas de desempenho; enfatizar Faltar integração com os sistemas de informação da a satisfação dos diferentes grupos de interessados; organização; Faltar agregação dos indicadores de Definir processos claros de criação de valor; propor desempenho; não usar mecanismos de avaliação metodologia que facilita o alinhamento estratégico, organizacional. alinhamento horizontal, e relações de causa e efeito. PNQ Prêmio Nacional da Qualidade /FPNQ - Fundação para Prêmio Nacional da Qualidade / 2002 (Visão abrangente para otimizar o desempenho organizacional. É mais uma ferramenta de diagnóstico do que um sistema de medição ) Propor mecanismos de análise crítica do desempenho Utilizar múltiplas dimensões de desempenho; não utilizar global facilitam a avaliação organizacional; estimular a mecanismos para o monitoramento do ambiente interno e participação dos funcionários no processo de avaliação externo da organização; Faltar agilidade na disponibilização do SMDO; fornecer informações que facilitam o de informações. aprendizado. Fonte: Adaptado de Crispim e Lugoboni (2012) É perceptível nesta estratificação que todos os modelos analisados aparecem incompletos em alguma instância, já que todos eles contêm pontos fracos. Aparentemente, os pontos fracos mais citados estão relacionados à falta de integração com outras dimensões da organização, problemas com a disponibilização de informação e a falta de vínculo com a estratégia organizacional. Por outro lado, os pontos fortes também existem. São mencionados com mais frequência a utilização de diversas perspectivas de desempenho, o envolvimento de grupos de stakeholders, além da consideração sobre a sua satisfação. Baseado em Hourneaux (2005) e Crispim e Lugoboni (2012), buscou-se consolidar a ampliar os estudos sobre os aspectos coincidentes entre os modelos de avaliação, criando um quadro que represente de maneira simplificada os principais elementos analisados em cada um dos métodos, conforme o Quadro 2. A análise foi centrada em 18 aspectos classificados em cinco temas: a) clientes e mercado; b) finanças; c) gestão e organização; d) recursos humanos; e) sociedade em geral. Quadro 2 Aspectos considerados pelos diferentes modelos de avaliação de desempenho Modelos de Avaliação de Desempenho Cliente e Mercado Econômico Financeiro Gestão e Organização Recursos Humanos Sociedade em Geral 6

7 Painel de controle de bordo (Tableau de Bord) 1 Mercado 2 - Clientes 3 - Econômicos e financeiros 4 - Considerações das políticas fiscais existentes 5 - Recursos físicos necessários 6 - Acionistas 7 - Avaliação de planos e objetivos 8 - Parcerias e alianças estabelecidas 9 - Qualidade e eficiência na produção 10 - Pesquisa e desenvolvimento e inovação 11 - Ativos intangíveis e não-financeiros 12 - Relações de causa-efeito 13 - Direção da organização 14 - Estrutura organizacional x x x x x x x x Administração por objetivos x x x x x x x x x x x Método das Áreas-Chave de Resultado O Método da Avaliação Global de Desempenho de Corrêa MADE-O x x x x x x x x x x x x x x x x x x x x x x x x x x BSC Balanced Scorecard x x x x x x x x x x x PMQ Performance Measure Questionnaire x x x x x x SMART Strategic Measurement and Reporting x x x x x x x x x x Technique MQMD Modelo Quantum de Medição de Desempenho x x x x x x x x SKANDIA NAVIGATOR x x x x x x x x x x SIGMA Sustainability Scorecard x x x x x x x x x x VCS - Value Chain Scoreboard x x x x PP Performance Prism x x x x x x x x PNQ- Prêmio nacional de x x x x x x x x x qualidade Fonte: Adaptado de Hourneaux (2005) e Crispim e Lugoboni (2012) Desempenho dos executivos 16 - Desenvolvimento dos funcionários 17 - Capacidade de adaptação ao ambiente 18 - Sociedade em geral Conforme observaram Crispim e Lugoboni (2012), os modelos Método das Áreas- Chave de Resultado, Método da Avaliação Global de Desempenho de Corrêa, BSC The Balanced Scorecard, SMART Strategic Measurement and Reporting Technique e SIGMASustainability Scorecard, destacam-se por contemplarem ao menos 10 aspectos dentre os elencados, dentro das organizações. Vários modelos demonstraram ter pequena abrangência, sendo desenvolvidos com foco em determinados temas, como o Skandia Navigator, que se concentra no capital intelectual e no desenvolvimento de pessoas. Com base nessas informações, prima-se pela proposição de um modelo de avaliação de desempenho de instituições de ensino técnico que se apoie nos pontos fortes dos modelos existentes e, ao mesmo tempo, se desvie dos pontos fracos evidenciados. Ademais, busca-se a abrangência do modelo que deverá ser proposto, de forma adequada ao que demanda o objeto em estudo. O próximo tópico irá esclarecer os aspectos utilizados e considerados apropriados por pesquisadores no que tange à avaliação em instituições de ensino. 7

8 3 Avaliações em Instituições de Ensino Há muitos estudos preocupados com a gestão do ensino e, com frequência, o foco das pesquisas recai sobre a qualidade dos serviços oferecidos pelas instituições, na visão de seus clientes, ou seja, dos estudantes. Em geral, as pesquisas são direcionadas para instituições de ensino superior (MARINHO, 1996; BARBOSA, 2001; COUTINHO, 2007) e tratam da satisfação dos alunos do ponto de vista da qualidade e efetividade. No caso de escolas técnicas, são poucos os estudos encontrados, e também nota-se o foco na qualidade do ensino (MAZZEI, 1998). Prado et al. (2011) identificaram as dimensões da qualidade percebidas pelos alunos de instituições de ensino. São elas: 1) aprendizagem percebida; 2)grade curricular; 3) conteúdo das aulas; 4) método de ensino; 5) relacionamento com os professores; 6) formação e quantidade de professores; 7) nível de exigência, flexibilidade e justiça na avaliação; 8) planejamento e distribuição das atividades do curso; 9) qualidade do ensino; 10) imagem da instituição; 11) infraestrutura e acesso à infraestrutura, e 12) atendimento dos funcionários. Coda e Silva (2004), da mesma forma, descrevem as dimensões consideradas por estudantes dos cursos de Administração para avaliar a qualidade da instituição: 1) desenvolvimento pessoal; 2) confiança gerada pelo curso para o exercício da profissão; 3) imagem da faculdade; 4) estruturas e ferramentas de suporte e apoio ao ensino; 5) infraestrutura; 6) metodologia de aprendizagem; 7) relações interpessoais e integração e cooperação entre os alunos, e 8) identificação com o curso de administração e vocação para o exercício da profissão. Venturini et al. (2008) incluíram a preocupação com a gestão da educação como serviços, e definiram os seguintes construtos para a avaliação da instituição com respeito à satisfação do estudante: 1) envolvimento do professor; 2) interesse do estudante, 3) interação professor-estudante, e 4) organização do curso. Já na perspectiva da avaliação da instituição de ensino enquanto uma organização, Sonneborn (2004) e Moço (2007) relatam que há uma exagerada importância por parte dos gestores dedicada aos indicadores financeiros e às exigências das avaliações institucionais feitas pelo Ministério da Educação e Cultura (MEC). Estas breves considerações sobre avaliações em instituições de ensino permitem observar a pluralidade dos estudos na área e, simultaneamente, sua incompletude ou falta de integração. Notou-se que em todas as pesquisas supramencionadas aparecem itens que não são contemplados em outros, denunciando a insuficiência da abrangência quando se trata de avaliação em instituições de ensino, sejam elas na dimensão da qualidade percebida pelo aluno ou da visão da gestão. 4 Procedimentos Metodológicos Tendo em vista o objetivo propor um modelo inicial de avaliação de desempenho para instituições de ensino técnico público da região da Grande São Paulo, a partir da visão de gestores considerados especialistas na área, este artigo constitui uma pesquisa que pode ser considerada como exploratória, qualitativa, realizada a partir de levantamento bibliográfico (GIL, 2002), e cuja pesquisa de campo foi delineada a partir da realização de uma sessão de grupo de foco e de entrevistas focalizadas, com roteiros semiestruturados (FLICK, 2009). O fato de o foco da pesquisa ser as escolas técnicas do Centro Paula Souza justifica-se em virtude de este ser de grande importância para o cenário educacional e profissionalizante brasileiro. O centro possui um número significativo de alunos matriculados no ensino técnico e ensino médio no estado de São Paulo, cerca de (CENTRO PAULA SOUZA, 2012). Todas as escolas vinculadas ao CEETEPS são administradas pelo Regimento Comum das Escolas Técnicas do CEETEPS e pelo Plano Plurianual de Gestão (PPG), o qual apresenta 8

9 a proposta de trabalho das Etecs. Quanto à avaliação de desempenho, o Centro possui algumas ferramentas que auxiliam a busca pela excelência em gestão: o Observatório Escolar e o Sistema de Avaliação Institucional (SAI) (CENTRO PAULA SOUZA, 2012). Do total das 209 Etecs do Centro Paula Souza, seis estão na Região do Grande ABC. Esta é parte da Região Metropolitana de São Paulo, constituída pelas cidades que originalmente formavam a região, sendo: Santo André (A),São Bernardo do Campo (B) e São Caetano do Sul (C), além das cidades de Diadema, Mauá, Ribeirão Pires e Rio Grande da Serra. As Etecs localizadas no Grande ABC hoje possuem em conjunto de aproximadamente doze mil alunos matriculados, sendo que uma das suas unidades é a maior da rede, tanto em área quanto em alunos matriculados (CENTRO PAULA SOUZA, 2012). Definido o escopo de pesquisa e diante do caráter exploratório do estudo, foi realizado um grupo de foco a fim de estabelecer dimensões e indicadores iniciais considerados apropriados para avaliação de desempenho de instituições de ensinos técnico e médio. A sessão foi composta pelos autores do artigo, por cinco especialistas acadêmicos, pesquisadores da área de avaliação e mensuração de desempenho organizacional, filiados à Universidade de São Paulo. Além disso, participou um profissional de uma das instituições de ensino vinculada ao Centro Paula Souza, convidado devido à sua grande experiência nesse campo, mais de uma década, além de questões de facilidade de acesso por parte dos pesquisadores. A sessão foi gravada e realizada no final do mês de setembro de 2012 e durou cerca de quatro horas. Nesta fase da pesquisa, os autores apresentaram uma série de estudos referentes a modelos de avaliação de desempenho e avaliações em instituições de ensino para que debates fossem estimulados. As discussões desenvolvidas resultaram em um consenso de 74 indicadores, distribuídos em 11 dimensões. Estes indicadores representariam uma proposta inicial que basearia as entrevistas com gestores considerados especialistas. Após realizada esta primeira etapa, foram iniciados os contados com os possíveis participantes da pesquisa. Foram convidados todos os gestores que atuavam até o momento nas seis Etecs da Região do Grande ABC, cujo o total era de 36, além do supervisor da região. Destes, consentiram a participar do estudo dezessete profissionais, todos com cargos estratégicos na gestão, sendo que todas as seis instituições foram representadas. Os profissionais possuem em média vinte anos de atuação na área do ensino e quinze anos de trabalho no Centro Paula Souza. O Quadro 3 mostra a quantidade e a respectiva lotação dos participantes da pesquisa. Quadro 3: Cargo e unidades de ensino que participaram do Survey. Cargo / Unidade de ensino Etec Júlio de Mesquita Etec Lauro Gomes Etec Jorge Street Etec Juscelino Kubitschek de Oliveira Etec de Mauá Etec de Ribeirão Pires Diretor de Etec x x x x Diretor de Serviços Acadêmicos x x x x Diretor de Serviços Administrativos x x x x Auxiliar Técnico Administrativo (ATA) x Coordenador Pedagógico x x Gestor de Recursos Humanos x Supervisão da região Sul Fonte: Elaborado pelos autores Responsável por todas Etecs x O objetivo das entrevistas foi obter a visão dos especialistas no assunto a respeito dos indicadores mais apropriados para constituir um modelo de avaliação de desempenho para o 9

10 setor das escolas técnicas estaduais, a partir dos 74 já estabelecidos na sessão de grupo de foco. Sendo assim, a partir de um roteiro semiestruturado, os principais tópicos que nortearam as conversas foram: a) dimensões de um modelo de avaliação de desempenho, b) seus respectivos indicadores, e c) aplicabilidade de um modelo de avaliação de desempenho. As entrevistas ocorreram durante os meses de novembro e dezembro de Cada entrevista durou em média 40 minutos e foi conduzida por ao menos dois dos autores do presente artigo. Um dos autores conduziu as entrevista e o outro prosseguiu com anotações e registro dos comentários feitos pelos entrevistados e entrevistador. As informações obtidas nas entrevistas foram comparadas e analisadas juntamente às informações angariadas no levantamento bibliográfico de forma a subsidiar a propositura do modelo. Tais considerações correspondem à triangulação de métodos de pesquisa, utilizada com o propósito de sustentar e aumentar a confiabilidade os resultados obtidos a partir da pesquisa empírica (YIN, 2001), além de possibilitar enriquecer e completar a produção do conhecimento buscado por esta pesquisa (FLICK, 2009). Segue-se à análise dos resultados e à apresentação da proposta do modelo. 5 Análise dos Resultados e a Apresentação da Proposta do Modelo A proposição do modelo de avaliação de desempenho para instituições de ensino técnico teve como fundamento os estudos selecionados a partir do levantamento bibliográfico e a realidade da gestão atual das instituições de ensino técnico estadual pesquisadas, a partir da visão de especialistas registrada nas entrevistas. A triangulação dessas informações possibilitou a inferência de onze dimensões essenciais, as quais permaneceram desde sua definição no grupo de foco, e 77 indicadores. Ressalta-se que, apesar de ser um indicador a mais do que foi levantado no grupo, eles não são exatamente os mesmos, alguns foram excluídos e outros adicionados. As dimensões e os respectivos indicadores constituem, portanto, o que pode ser considerada a estrutura de um modelo de avaliação de desempenho adequado a Etecs. No Quadro 4, estão dispostos as dimensões, suas definições operacionais e seus indicadores. Quadro 4 Dimensões do modelo de avaliação de desempenho proposto. Dimensão Definição Operacional Indicadores Receita/Vestibulinho Receita/Mês (APM) Receita de verba miúda Receita Total/Mês Relacionado à capacidade da Receita/Curso (APM) Sustentabilidade instituição manter-se Custo/Aluno/Centro de Custos Financeira financeiramente Custo/Centro de custo Desp c energia (R$/Aluno) Desp c Água (R$/Aluno) Desp c Telefone (R$/Aluno) Desp. c/ serv. de terceiros Desempenho Acadêmico Relacionado com a produtividade e a qualidade do ensino % Concluintes % Concluintes/Curso Faltas - % utilização da capacidade total (cada semana) Faltas - % utilização da capacidade por curso e por módulo (cada semana) Ranking Escolas da Região (Lista Enem - Particulares, públicas e etecs) Trancamentos/Semestre Desistência/Semestre Class. ABC das desistências e trancamentos Reprovados por semestre (Técnicos) Reprovados por Ano (Médio) 10

11 Estrutura Física Clientes Mercado Capacitação dos Funcionários e Docentes Atendimento Clima e Cultura Ambiental Parcerias e Alianças Estabelecidas Sociedade em geral Relacionado às condições físicas necessárias para um bom desempenho acadêmico; Relacionado com o conhecimento acerca de seus alunos Relacionado com o entendimento que a instituição possui do mercado que atua Relacionado com o capital intelectual presente na instituição Relacionado à qualidade do atendimento prestado pelos funcionários e professores da instituição Relacionado com o ambiente de trabalho Relacionado à preocupação com as questões ambientais referentes à instituição Relacionado em como a instituição se relaciona com os agentes da sociedade, Relacionado à qualidade do relacionamento com a sociedade próxima à % Alunos estagiando (por curso) Nota do observatório Visitas técnicas/semestre Reclamações por mês (ouvidoria) Rotatividade de Professores Absenteísmo de professores Alunos/micro (curso) % Salas com DataShow % Salas com Micro/Notebook % Salas com Som % Salas com Cortina % Salas com Ar % Salas com Ventiladores Nota das instalações físicas da escola (carteiras, bebedouros, lousas, etc. pesquisa com alunos) Mb/funcionário (internet) Notas dos laboratórios (avaliação dos alunos) Satisfação dos alunos (Realizar pesquisa) % de candidatos por mídia % de escolas da cidade divulgadas Imagem da Etec na opinião do candidato Alunos/Bairro Candidato/Bairro Candidato/ Vaga /curso Horas de treinamento por funcionário Horas de treinamento por Professor % de professores não licenciados % de professores licenciados % de professores especialistas % de professores mestres e doutores Nota de Avaliação do Funcionário (Realizar pesquisa) Nota de Avaliação do Professor (Realizar pesquisa) Nota de Avaliação do Coordenador (Realizar pesquisa) Nota de Avaliação do Diretor (Realizar pesquisa) Comunicação Via (Realizar pesquisa) Comprometimento (Realizar pesquisa) Clima (Realizar pesquisa) Sugestões e reclamações / semestre % de conhecimento da estratégia (missão visão, principais objetivos, etc.) Rotatividade Funcionários Absenteísmo de funcionários Relação da unidade com o Centro Paula Souza Professores por coordenador Alunos por coordenador Consumo de Água - M³/por aluno Consumo de Energia - Kw/aluno Consumo de papel - Folhas/Aluno/Semestre Parcerias firmadas (outras instituições de ensino) Parceria firmada (Prefeitura) Parcerias firmadas (empresas) Parcerias firmadas (comércio) Parcerias firmadas com objetivos pedagógicos (soma de todas as áreas) R$ gerados decorrente de parcerias/ano Eventos por semestre que estão relacionados com a comunidade Quantidade de participantes por evento relacionado com a 11

12 instituição de ensino. Fonte: Elaborado pelos autores. comunidade Média das notas atribuídas pelas empresas da região com alunos estagiando De acordo com os as pessoas que participaram da pesquisa, o resultado final da gestão das ETECs é sempre o desempenho acadêmico. Concluintes, quantidade de aprovados por semestre, nota no Enem, são preocupações diárias. A partir daí, existe uma preocupação secundária sobre as questões financeiras da instituição, uma vez que sem recursos, não há como atender as necessidades rotineiras de uma instituição de ensino. Para os entrevistados, a estrutura física possui uma postura central na gestão das escolas uma vez que permeiam todos os processos como por exemplo o atendimento dos alunos na secretaria, a percepção dos alunos com relação aos laboratórios e estruturas da sala de aula, a dinâmica das aulas, entre outros. Além disso, questões como a capacitação dos professores e o clima e a cultura são a base da gestão das IEs. Já fatores relacionados à mercado, sociedade em geral, parcerias e ambiente externo, apesar de reconhecida sua influência, foram considerados aspectos que fogem ao controle da instituição. Todos os entrevistados afirmaram que um modelo de gestão por indicadores seria muito importante para a gestão, pois dentro da estrutura do Centro Paula Souza não há nenhuma ferramenta que consolide todas as informações em um único relatório. Tal circunstância afeta o conhecimento global sobre os pontos críticos associados ao desempenho da instituição pelos funcionários. A fala do Entrevistado A reflete esta ideia. Muitos gestores possuem a informação, mas não sabem o que fazer. Acabam não tomando a melhor decisão uma vez que não conseguem compilar os dados e direcionar os recursos para o local correto. As decisões são muitas vezes corretivas em vez de serem preventivas (Entrevistado A) Foi indagado aos participantes da pesquisa sobre a aplicabilidade de um modelo de avaliação de desempenho constituído pela estrutura de dimensões e indicadores proposta e, de forma unânime, a ferramenta foi considerada plausível e aplicável, conforme a fala do Entrevistado J. Os entrevistados comentaram inclusive que nas instituições onde trabalham, apesar de não estarem consolidadas em forma de indicadores, a maioria das informações que demandam a proposta deste estudo já são registradas de alguma forma. Ferramentas como essa seriam muito importantes, pois em estruturas maiores como a nossa unidade serviriam de base, inclusive para a tomada de decisões. (Entrevistado J) Por outro lado, muitos dos entrevistados relataram preocupação com relação à operacionalização de um modelo como o proposto, uma vez que as estruturas administrativas das instituições são enxutas. Foi mencionado também certo receio sobre a necessidade de comprometimento dos envolvidos. As falas dos entrevistados H e Q refletem estas preocupações. Esses indicadores que vocês estão propondo, me parecem completos. Mas, eu acho que quando forem pra ser aplicados de fato, pode ser que falte braço, não sei se temos uma estrutura administrativa que comporte isso...(entrevistado H) Vejo que são fundamentais para a tomada de decisão e a aplicação também seria possível, desde que haja interesse e dedicação de todos para isso. Além disso, tem a questão de estabelecer uma cultura de comprometimento com os dados que esses indicadores podem fornecer. (Entrevistado Q) A triangulação das informações angariadas nas entrevistas e no levantamento teórico realizado, chegou-se a uma proposição inicial de uma representação sistêmica de um modelo de avaliação de desempenho organizacional escolar (MADOE), conforme a Figura 1. 12

13 Figura 1 Modelo de Avaliação de Desempenho Organizacional Escolar (MADOE) Fonte: Elaborado pelos autores O MADOE considera que o desempenho de fatores externos, as dimensões ambiental, parcerias e alianças, sociedade em geral e mercado, influencia em alguma medida o desempenho de fatores internos, as dimensões capacitação dos funcionários e docentes, clima e cultura, estrutura física, atendimento,clientes, sustentabilidade financeira e desempenho acadêmico. É premissa do MADOE também que há pesos em cada uma dessas dimensões, definidos a partir da estratégia da IE, o que faz que os pesos variem de instituição para instituição, assim como ocorre sobre a influência dos fatores externos sobre os internos. Do mesmo modo, há trade-offs entre as dimensões, os quais podem interferir na avaliação dos indicadores das mesmas. Para cada indicador, as IEs devem estabelecer metas, mediante sua realidade contextual. Os resultados obtidos pelos indicadores são analisados a partir de expectativas estabelecidas e o realizado, determinados pela instituição, até que sejam criadas condições para formação de um registro histórico que pode ser utilizado para fins comparativos. 6 Considerações Finais Diante do objetivo de propor um modelo inicial de avaliação de desempenho para instituições de ensino técnico público da região da Grande São Paulo, a partir da visão de gestores considerados especialistas na área, foi realizada uma pesquisa empírica, por meio da concretização de uma sessão de grupo de foco e de entrevistas. Chegou-se a uma estrutura composta por 11 dimensões e 77 indicadores de desempenhos. A triangulação das informações permitiu delinear uma representação sistêmica de um modelo de avaliação de desempenho organizacional escolar, o MADOE, bem como algumas premissas. Evidenciou-se a necessidade e plausibilidade da adoção de um modelo como o MADOE em instituições de ensino médio técnico. Buscou-se desenvolver uma estrutura de modelo de avaliação de desempenho suficientemente abrangente que possa ter aplicação em um grande escopo de instituições de ensino. Reconhece-se, entretanto, o universo limitado da pesquisa e que não são cabíveis inferências generalizadas. Considerando que as instituições de ensino técnico exigem uma estrutura administrativa como qualquer outra organização salvo suas especificidades, argumenta-se que modelos de avaliação e mensuração de desempenho direcionados a este segmento devem 13

14 contribuir substancialmente nos seus processos de gestão e tomada de decisão, ao facilitar no gerenciamento de fatores críticos de sucesso e insucesso destas instituições. Aos pesquisadores acadêmicos envolvidos com a temática, este trabalho torna-se relevante, pois será mais uma contribuição em uma área relativamente ainda tão pouco explorada nestes aspectos. Como enfatizado, foi elaborada uma proposição inicial de modelo de avaliação de desempenho para instituições de ensino médio e técnico, são necessárias pesquisas futuras para que se possa avançar nesse sentido. Primeiramente, as premissas do MADOE demandam maiores aprofundamentos e ampliação teórica. O MADOE, assim como suas dimensões e estruturas, para que ganhe maior abrangência, deve ser submetido à apreciação de um maior número de profissionais de IEs, não apenas da região do ABC, mas de todo o estado de São Paulo, além de outros do país. Esta consulta poderá subsidiar análises estatísticas, como a fatorial, para que seja comprovada a relevância e exaustividade dos indicadores e dimensões estabelecidas. Enfim, o MADOE necessita de validação quantitativa e qualitativa, além de testes pilotos que permitam análises de seus resultados e denunciem problemas práticos enfrentados. Referências ALBERTI, M., COCCA, P.. A Framework to Assess Performance Measurement Systems in SME. International Journal of Productivity and Performance Management, v. 59, n. 2, p , ALVES, J. L.; CORRÊA, H. L.; GALVÃO, H. M. Modelo de avaliação de desempenho Global para instituição de ensino superior. Revista de Administração da Universidade Federal de Santa Maria, v. 4, n. 3, p , AMARATUNGA, D.; BALDRY, D. Moving from Performance Measurement to Performance Management. Facilities, v. 20, n. 5 / 6, p , AZEVEDO, G.M.E.. Incluir é sinônimo de dignidade humana. Revista Brasileira da Educação Profissional e Tecnológica. v. 1, n. 1, Brasília: MEC, SETEC, BARBOSA, A. M. C. Avaliação do desempenho da universidade no Brasil: um instrumento de auto-avaliação focando no ensino e na gestão. Universidade Federal do Rio de Janeiro, Tese (Doutorado em Engenharia da Produção). Rio de Janeiro, RJ. BITITCI, U. S., CARRIE, A. S.; MCDEVITT, L.. Integrated performance measurement systems: a development guide. International Journal of Operations & Production Management, v. 17, n. 5, p BOURNE, M.; KENNERLEY, M.; FRANCO-SANTOS, M. Managing Through Measures: a Study of Impact on Performance. Journal of Manufacturing Technology Management, v. 16, n. 4, p , CENTRO PAULA SOUZA. Perfil e Histórico. Disponível em: < Acesso em: 20 nov CODA, R.; SILVA, D. Sua Escola de Administração é uma Excelente Escola para se Estudar? Descobrindo Dimensões de Alunos em Cursos de Administração: uma contribuição metodológica. In: 28º Encontro Nacional dos Programas de Pós-Graduação em Administração. Curitiba: Anais... Curitiba: ENANPAD 2004 (CD ROM). COUTINHO, F. F. C. Avaliação da qualidade dos serviços de uma instituição de ensino superior. Universidade Federal da Bahia Dissertação (Mestrado em Administração). Salvador, BA. CORRÊA, H. L. O estado da arte da avaliação de empresas estatais Tese (Doutorado em Administração de empresas). Faculdade de Economia, Administração e 14

15 Contabilidade da Universidade de São Paulo (FEA USP). Universidade de São Paulo, São Paulo. CORRÊA, H. L.; HOURNEAUX JR., F.; RUIZ, F. M. A evolução dos métodos de mensuração e avaliação de desempenho das organizações. In: XXIX Encontro da ANPAD, 2005, Brasília, DF. Anais eletrônicos... Brasília: ANPAD, CD-ROM. CRISPIM, S. F. LUGOBONI, L. F. Modelos de Avaliação de Desempenho Organizacional nas Instituições de Ensino Superior da Região Metropolitana de São Paulo. Revista Portuguesa e Brasileira de Gestão. v.11 n.1, p.42-54, CUNHA, J. A. C. Avaliação de desempenho e eficiência em organizações de saúde: Um estudo em hospitais filantrópicos f. Tese (Doutorado em Administração de Empresas). Faculdade de Economia, Administração e Contabilidade (FEA) Universidade de São Paulo, São Paulo. FLICK, U. Introdução à pesquisa qualitativa. 3. ed. Porto Alegre: Artmed, 2009 GHALAYINI, A. M..; NOBLE, J. S.. The changing basis of performance measurement. International Journal of Operations & Production Management. Vol. 16; No. 8.; pp ; GIL, A. C. Métodos e técnicas de pesquisa social. 4.ed. São Paulo: Atlas, HALACHMI, A, Performance measurement is only one way of managing performance. International Journal of Productivity and Performance Management, v. 54, n. 7, p , HOURNEAUX JR., F.; Avaliação de desempenho organizacional: estudo de casos de empresas do setor químico Dissertação (Mestrado em Administração de Empresas). Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo (FEA USP). Universidade de São Paulo, São Paulo. KAPLAN, R. S.; NORTON, D. P. The balanced scorecard - measures that drive performance. Harvard Business Review, v. 70, n. 1, p , Putting the Balanced Scorecard to Work. Harvard Business Review, v. 71, n. 5, p , Using a Balanced Scorecard as a Strategic Management System. Harvard Business Review, v. 74, n. 1, p , Organização orientada para a estratégia: como as empresas que adotam o Balanced Scorecard prosperam no novo ambiente de negócios. Rio de Janeiro: Campus, Transforming the balanced scorecard from performance measurement to strategic management: part I. Accounting Horizons 2001 KENNERLEY, M. P.; NEELY, A. D. A Framework of the Factors Affecting the Evolution of Performance Measurement Systems. International Journal of Operations & Production Management, v. 22, n. 11, p KLOOT, L.; MARTIN, J. Strategic Performance Management: A Balanced Approach to Performance Management Issues in Local Government. Management Accounting Research, v. 11, n. 2, pp , LOTTA, G.S. Avaliação de desempenho na área pública: perspectivas e propostas frente a dois casos práticos. RAE-eletrônica. São Paulo, v.1, n.2, MACHADO, L.R.S.. Diferenciais inovadores na formação de professores para a educação profissional. Revista Brasileira da Educação Profissional e Tecnológica. v. 1, n. 1, Brasília: MEC, SETEC, MARTINS, R. A. Sistemas de medição de desempenho: um modelo para estruturação de uso Tese (Doutorado em Engenharia de Produção) - Escola Politécnica, Universidade de São Paulo, São Paulo. MATTOZO, T. C. Análise do desempenho de vendas em telecomunicações utilizando técnicas de mineração de dados Dissertação (Mestrado em Administração) - Centro 15

16 de Tecnologia. Programa de Engenharia e Produção, Universidade Federal do Rio Grande do Norte, Natal. MOÇO, L. C. E. S. Proposta De Um Modelo De Avaliação De Desempenho Da Instituição De Ensino Superior Com Enfoque Em Indicadores De Desempenho do BSC Balanced Scorecard: Caso UNIARAXA Dissertação (Mestrado em Ciências Contábeis e Financeira). Pontifícia Universidade Católica de São Paulo, São Paulo. MAZZEI, A. M. A. A questão da qualidade do ensino profissionalizante em enfermagem na perspectiva de alunos egressos de uma escola técnica do município de Ribeirão Preto - SP. Centro Universitário Moura Lacerda Dissertação (Mestrado em Educação). Ribeirão Preto, SP. MOURA, D.H.. A formação de docentes para a educação profissional e tecnológica. Revista Brasileira da Educação Profissional e Tecnológica. v. 1, n. 1, Brasília: MEC, SETEC, NANNI, A. J.; DIXON, J. R.; VOLLMANN, T. E. Strategic Control and Performance Measurement. Journal of Cost Management, v. 4, n. 2, pp , NEELY, A. Three Modes of Measurement: Theory and Practice. International Journal of Business Performance Management, v. 1, n. 1, pp , The Performance Measurement Revolution: Why Now and What Next? International Journal of Operations & Production Management, v. 19, n. 2, p , PAULA, A. P.P.; SILVA, R. S. Balanced Scorecard: o Discurso da Estratégia e o Controle Social nas Organizações. In: XXIX Encontro da ANPAD, 2005, Brasília, DF. Anais eletrônicos... Brasília: ANPAD, CD-ROM. POWER, M. The Audit Society. Rituals of Verification. Oxford: Oxford University Press, PRADO, P. H. M.; et al. Percepção da qualidade de ensino em uma instituição pública de Ensino Superior: Um estudo multimétodos. Revista Portuguesa e Brasileira de Gestão. v.10 n.3, p.48-59, SONNEBORN, M. J. Desenvolvimento de um modelo de apoio à gestão para uma instituição de educação superior baseado em indicadores de desempenho Dissertação (Mestrado em Engenharia). Universidade Federal do Rio Grande do Sul, Porto Alegre. VENTURINI, J. et al. Satisfação dos alunos do curso de Ciências Contábeis da Unifra: um estudo à luz das equações estruturais. 8º Congresso USP Controladoria e Contabilidade. Jul /2008. YENIYURT, S. A literature review and integrative performance measurement framework for multinational companies. Marketing Intelligence & Planning. v. 21, n.3, YOKOMIZO, C. A. Avaliação de desempenho organizacional: Um estudo exploratório em empresas brasileiras de desenvolvimento de software Dissertação (Mestrado em Administração). Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo (FEA USP). Universidade de São Paulo, São Paulo. 16