AVALIAÇÃO DO IMPACTO ORGANIZACIONAL DE ESTRATÉGIAS FORMATIVAS DE CONSULTORIA FORMATIVA RELATÓRIO FINAL

Transcrição

1 AVALIAÇÃO DO IMPACTO ORGANIZACIONAL DE ESTRATÉGIAS FORMATIVAS DE CONSULTORIA FORMATIVA JULHO DE 2004

2 FICHA TÉCNICA Avaliação do Impacto Organizacional de Estratégias Formativas de Consultoria Formativa Autoria: Eurisko Estudos, Projectos e Consultoria, S.A. Composição da Equipa Técnica: Joaquim Azevedo, Nelson Lima Santos, Sílvia Pina Neves, Fernando Rei Lima, Armanda Borges, Carlos Ferreira, António Lopes Eurisko Estudos, Projectos e Consultoria, S.A. Fundo Social Europeu Estado Português - Ministério do Trabalho e da Solidariedade Abril de 2003

3 ÍNDICE APRESENTAÇÃO GERAL 5 PARTE 1 AVALIAÇÃO DO IMPACTO DA FORMAÇÃO NAS ORGANIZAÇÕES Capítulo 1 Enquadramento conceptual Avaliação da formação e do seu impacto Níveis e estratégias de avaliação 010 PARTE 2 ESTUDO DE AVALIAÇÃO DO IMPACTO DO PROGRAMA FORMAÇÃO PME Capítulo 1 Enquadramento e apresentação do estudo O Programa Formação PME Público-alvo, objectivos e organização Modelo e princípios de intervenção A organização do estudo A equipa de avaliação Dos objectivos do estudo às fases e actividades previstas Descrição das fases e respectivas actividades e estratégias 25 Capítulo 2 Concepção de uma metodologia de avaliação Identificação, definição e operacionalização de indicadores de avaliação Recolha e revisão bibliográfica Realização de entrevistas Organização da informação em indicadores de impacto Concepção do instrumento de avaliação Construção do instrumento Realização do pré-teste ao instrumento 44 3

4 Capítulo 3 Avaliação do impacto do Programa Formação PME Estudo exploratório Objectivos Metodologia População e amostra Caracterização das empresas da amostra Caracterização dos empresários da amostra Procedimento Preparação e administração Tratamento e análise dos dados Apresentação e análise dos resultados Análise das expectativas iniciais dos empresários Análise da percepção do impacto Análise das mudanças e dos seus factores Análise dos factores de sucesso e de insucesso da intervenção Avaliação da intervenção do Programa Formação PME Conclusões do estudo exploratório Estudos de caso Objectivos Metodologia Amostra Procedimento e instrumentos Preparação dos estudos de caso e dos instrumentos Realização dos estudos de caso Tratamento e análise dos dados Apresentação e análise dos resultados Apresentação e caracterização dos casos estudados Diferenciação dos casos de sucesso e de insucesso Análise do processo de intervenção Análise dos factores de sucesso e de insucesso Análise dos pontos fortes e dos pontos fracos da intervenção Conclusões dos estudos de caso 176 4

5 PARTE 3 REFLEXÕES E CONCLUSÕES Capítulo 1 A metodologia de avaliação do impacto Estruturação final da metodologia de avaliação Revisão do instrumento de avaliação 184 Capítulo 2 O impacto do Programa Formação PME Discussão integrada dos resultados 186 Capítulo 3 Reflexões finais: Boas práticas da consultoria formativa Uma intervenção feita à medida Proposta de linhas de acção 191 CONCLUSÃO GERAL 196 BIBLIOGRAFIA 205 ANEXOS: Anexo 1 Calendarização das fases do estudo Anexo 2 Guião de entrevista aos consultores/formadores Anexo 3 Guião de entrevista aos empresários Anexo 4 Instrumento (1ª versão) Anexo 5 Instrumento (2ª versão) Anexo 6 Instrumento (versão final utilizada no estudo exploratório) Anexo 7 Ficha de caracterização das empresas seleccionadas para os estudos de caso Anexo 8 Guião para as entrevistas dos estudos de caso Anexo 9 Instrumento (versão final revista e melhorada) 5

6 APRESENTAÇÃO GERAL Este relatório final tem como objectivo apresentar uma síntese descritiva das fases e das actividades desenvolvidas no âmbito do Estudo de Avaliação do Impacto Organizacional de Estratégias Formativas de Consultoria Formativa, como é o caso do Programa Formação PME. Na Parte 1, introduzimos a temática da avaliação do impacto da formação nas organizações, apresentando um enquadramento teórico-prático acerca da avaliação da formação e do seu impacto (Capítulo 1) e descrevendo os principais meios e estratégias de avaliação do impacto (Capítulo 2). Nesta parte encontram-se reunidas as directrizes teóricas e práticas que fundam a concepção, a organização, o desenvolvimento e a execução do estudo de avaliação do impacto. Na Parte 2, apresentamos o estudo de avaliação do impacto do Programa Formação PME, enquadrando-o no âmbito da intervenção preconizada pelo Programa Formação PME, para depois descrever os seus objectivos, fases, actividades e principais estratégias e meios utilizados (Capítulo 1). Nesta parte, concede-se um especial destaque à forma como foi concebida a metodologia de avaliação do impacto, nomeadamente à construção de um instrumento de avaliação, concebido especificamente para este estudo (Capítulo 2), bem como aos resultados do estudo exploratório e dos estudos de caso realizados (Capítulo 3), reflectindo sobre as estratégias, as condições e as actividades que caracterizam e promovem a qualidade e o sucesso das intervenções. Na Parte 3, em jeito de conclusão e a par de algumas reflexões que nos parecem relevantes, destacamos quer a assunção da pertinência do instrumento, por nós construído de raiz, para avaliar aspectos importantes do impacto de intervenções de consultoria formativa (Capítulo 1), quer alguns organizadores e analisadores que podem contribuir para o desenvolvimento de boas práticas e para o sucesso de intervenções no quadro da consultoria formativa (Capítulos 2 e 3). 6

7 PARTE 1 AVALIAÇÃO DO IMPACTO DA FORMAÇÃO NAS ORGANIZAÇÕES 7

8 CAPÍTULO 1 ENQUADRAMENTO CONCEPTUAL 1. AVALIAÇÃO DA FORMAÇÃO E DO SEU IMPACTO A avaliação da formação é uma questão que, no actual mundo do trabalho e das organizações, tem vindo a assumir um destaque cada vez maior (Lima Santos & Pina Neves, 2002), preocupando e envolvendo todos aqueles que participam no desenvolvimento de programas e acções de formação profissional, desde os formadores aos formandos, passando pelos empresários e trabalhadores, pelos gestores da formação e pelos técnicos que a concebem e a operacionalizam. Neste contexto, os formadores querem conhecer os efeitos que as suas acções produzem ao nível das aprendizagens dos formandos; os empresários querem conhecer as mais valias que o investimento em formação profissional traz para as suas empresas; os trabalhadores querem saber até que ponto o seu desempenho profissional pode melhorar; os gestores da formação querem conhecer o impacto que os seus programas têm ao nível das pessoas e das organizações (Parry, 1997). Deste modo, a avaliação da formação e do seu impacto é fundamental para que possamos compreender o papel da formação enquanto instrumento de desenvolvimento das pessoas, dos profissionais e, também, das organizações. Mais concretamente, a avaliação da formação identifica, organiza e analisa resultados concretos, permitindo: 8

9 - Regular o desenvolvimento das actividades no sentido da consecução de objectivos (Lima Santos & Pina Neves, 2002); - Verificar a concretização de actividades e de objectivos; - Analisar o impacto/efeito dos resultados no desenvolvimento pessoal e profissional dos indivíduos e no desenvolvimento das organizações; - Analisar a eficácia da intervenção, nomeadamente no sentido de saber em que medida os resultados obtidos justificam o investimento realizado; - Validar a própria intervenção (Masingue, 1999; Zufiaur, 1987); - Organizar linhas de acção para o futuro, na perspectiva de uma contínua melhoria das intervenções (Kirkpatrick, 1994; Lima Santos & Pina Neves, 2002). Deste modo, a avaliação assume especial importância na concretização e regulação das acções de formação, pois é esta que, constituindo-se como um processo sistemático, dinâmico e simultâneo ao processo de intervenção, contribui para a garantia e para a promoção do sucesso global dessa intervenção (Lima Santos & Pina Neves, 2001). A este propósito, Parry (1997) refere que uma acção de formação é bem sucedida quando os formandos certos (selecção) desenvolvem os conhecimentos, as competências e as atitudes necessários (conteúdos da formação), através de meios, estratégias e formadores adequados (processo), no tempo e espaço certos (contexto), por forma a concretizar as expectativas iniciais dos empresários e das organizações (objectivos e resultados esperados para o desempenho). Por conseguinte, a avaliação da formação e do seu impacto deve ter em consideração todas as fases da formação desde a sua concepção e preparação, passando pela sua execução, até à sua avaliação, bem como os diferentes níveis em que essa avaliação pode ser concretizada (Lima Santos & Pina Neves, 2002). 9

10 2. NÍVEIS E ESTRATÉGIAS DE AVALIAÇÃO A avaliação da formação pode ser concretizada em diferentes níveis, pelo que permite recolher, analisar e interpretar diferentes tipos de resultados (Parry, 1997; Patrick, 1992; Pereira, 1996). De acordo com o Modelo do Ciclo de Avaliação de Hamblin (in Patrick, 1992), a avaliação da formação pode desenvolver cinco níveis distintos, a saber: 1) Reacções, 2) Aprendizagens, 3) Comportamentos, 4) Impacto nas Organizações, 5) Valor Acrescentado para a Envolvente 1. Estes cincos níveis distinguem-se pelo plano em que a avaliação pode ser feita, considerando-se que existe uma complexidade crescente quando avançamos desde o 1º nível até ao 5º nível, que é o que apresenta maior complexidade na avaliação que prevê. Assim, para avaliar a formação em diferentes níveis torna-se necessário recorrer a diferentes estratégias de avaliação e envolver diferentes actores nesse processo (Quadro 1). Nível 1 Reacções Este nível prende-se com a avaliação da opinião dos formandos quanto à qualidade da formação de que são alvo, nomeadamente quanto aos meios técnicos utilizados, quanto às condições logísticas, quanto aos métodos pedagógicos, quanto à utilidade e adequabilidade dos programas, entre outros. É um nível essencialmente afectivo, já que se centra no registo do gosto/não gosto, do é bom/é mau ou do estou satisfeito/não estou satisfeito, que pode ser mais ou menos fundamentado. Este tipo de informações/avaliações pode ser recolhido quer através de um questionário construído para o efeito (o que pode permitir quantificar facilmente os dados 1 O modelo de Hamblin é muito semelhante ao modelo de Kirkpatrick (1994), um dos modelos de avaliação da formação mais difundidos, que contempla 4 níveis de avaliação: 1) Reacções, 2) Aprendizagens, 3) Comportamentos e 4) Resultados. 10

11 Quadro 1 Níveis, estratégias e intervenientes na avaliação NÍVEIS ESTRATÉGIAS INTERVENIENTES Reacções Aprendizagens Questionários de avaliação de opiniões. Testes de avaliação de conhecimentos. Formando Formador Comportamentos Avaliação do desempenho. Impacto na Organização Valor Acrescentado para a Envolvente Procedimentos e instrumentos adaptados aos indicadores que se pretende avaliar. Auditorias internas à organização Análise de custo-benefício. Organização Entidades responsáveis pela concepção, execução e avaliação da formação profissional Entidades responsáveis pela direcção política e económica nacional recolhidos), quer simplesmente através de uma conversa informal que o formador pode promover na última sessão de formação. Nível 2 Aprendizagens Este nível compreende a avaliação das aprendizagens através da avaliação dos conhecimentos adquiridos pelos formandos. A este nível, as principais preocupações prendem-se, em primeiro lugar, com a avaliação dos conhecimentos adquiridos (que implica a identificação de conteúdos aprendidos pelo formando, que se podem denominar por aprendizagens em sentido restrito) e, em segundo lugar, com a avaliação da progressão da aprendizagem (que implica a apreciação de um processo, o qual representa a aprendizagem do formando 11

12 em sentido mais amplo). Assim, a avaliação encontra indicadores que podem dar resposta às questões seguintes: Houve ou não aquisição de conhecimentos na intervenção formativa desenvolvida? e Houve ou não progressão global da aprendizagem na intervenção formativa desenvolvida?, tendo presente que a aquisição de conhecimentos pode ser um indicador da existência de uma progressão global da aprendizagem, embora não a possa representar directamente. Neste nível de avaliação da formação encontramos vários procedimentos de avaliação de aprendizagens e da aprendizagem, nomeadamente (i) aqueles que nos permitem conhecer o nível de conhecimentos dos formandos à saída do processo de intervenção (p.e., testes de avaliação final de conhecimentos), possibilitando conhecer as aprendizagens adquiridas, (ii) aqueles que nos permitem conhecer o nível de conhecimentos à entrada e à saída do processo de intervenção, logo, por consequência, possibilitam conhecer o nível de progressão da aprendizagem (p.e., pré e pós-testes de conhecimentos) e (iii) aqueles que nos permitem conhecer a evolução do nível de conhecimentos ao longo do processo de intervenção (p.e., testes de avaliação intercalar de conhecimentos). Nível 3 Comportamentos Este nível respeita à avaliação das consequências da intervenção formativa no desempenho do formando, pressupondo que essa intervenção promove a melhoria desse desempenho no seu posto de trabalho. Desde logo, a avaliação de nível 2, ao permitir conhecer as aprendizagens e a aprendizagem nos domínios em que houve intervenção, fornece indicadores acerca do desempenho futuro nesses domínios, já que à aquisição de aprendizagens e a uma progressão da aprendizagem está associada uma melhoria do desempenho. No fundo, há como que um processo de transferência das aprendizagens adquiridas na formação profissional para o posto de trabalho particular do formando, isto é, para a situação profissional real onde têm de ser concretizadas determinadas tarefas que 12

13 implicam conhecimentos, capacidades e competências. A avaliação desta transferência pode ser concretizada pela avaliação do desempenho numa situação de trabalho real, sendo importante que a avaliação do desempenho do formando tenha como referência o seu posto de trabalho habitual. Ora, este tipo de avaliação é, na maioria das vezes, difícil de concretizar pela instituição que concretiza e avalia a formação profissional, devido aos constrangimentos que se colocam a este tipo de procedimentos, quer seja pela própria natureza do trabalho (que por vezes é desempenhado em diferentes locais e horários e compreende variados tipos de tarefas), quer seja pelos obstáculos que as empresas/organizações colocam à concretização da avaliação do desempenho por entidades externas. E, no caso de essas empresas/organizações possuírem já um sistema de avaliação do desempenho dos seus colaboradores, dificilmente a instituição que concretiza e avalia a formação profissional tem acesso às avaliações do desempenho dos colaboradores que são ou foram formandos. Deste modo, torna-se importante aproveitar outras situações reais de trabalho que permitam a concretização de uma avaliação de nível 3, como por exemplo eventuais estágios profissionais que sejam desenvolvidos no âmbito do processo de intervenção formativa, os quais podem constituir uma situação mais acessível para avaliar o desempenho do formando, ainda que não permitam confrontar o desempenho do formando antes e depois da intervenção formativa. Nível 4 Impacto na Organização Este nível compreende a avaliação do impacto da formação na empresa/organização em que o formando está inserido. Espera-se que os efeitos que a formação profissional tem no desempenho profissional do formando se reflictam de forma positiva na empresa/organização em que o formando é colaborador, nomeadamente no que respeita à qualidade da produção, à produtividade, à segurança, ao absentismo, ao turnover, às atitudes face ao trabalho, à satisfação profissional, às despesas e aos 13

14 investimentos em métodos de trabalho. Ora, a avaliação do impacto da formação na organização recai, sobretudo, sobre a análise de mudanças que ocorrem na empresa e dos respectivos efeitos. Assim, o impacto organizacional da formação só pode ser avaliado no seio da própria empresa/organização, mostrando-se necessárias a colaboração e a participação de todos os elementos, desde empresários a trabalhadores. Nível 5 Valor acrescentado para a Envolvente A este nível pretende-se conhecer as mais valias que a formação profissional traz para a envolvente externa às organizações que investem na formação profissional, sendo o principal procedimento de avaliação a análise de custo-benefício. Esta análise assenta sobretudo na determinação do valor da formação profissional sob um ponto de vista sócio-económico, podendo esse valor ser considerado em termos do seu efeito ao nível de um sector económico, da economia nacional ou até da economia internacional, logo, do respectivo desenvolvimento social. De um modo geral, os estudos de análise de custo-benefício são raros, já que enfrentam dificuldades de ordem técnica por exemplo, a recolha de todas as informações necessárias e pertinentes à sua concretização é complexa e morosa, uma vez que é difícil determinar com clareza quais os efeitos que se devem exclusivamente à formação profissional, bem como dificuldades de ordem prática, já que o custo da concretização desses estudos pode exceder o valor do retorno do investimento na própria formação profissional. De qualquer modo, a avaliação de nível 5 mostra que é possível atribuir um valor global à formação profissional, valor esse que se torna importante para incentivar o investimento das empresas/organizações na formação profissional, ao mesmo tempo que contribui para o reconhecimento da formação profissional enquanto instrumento que promove o desenvolvimento pessoal, profissional e organizacional, o qual se 14

15 traduz numa mais valia para o trabalhador, para a empresa/organização e respectivo sector de actividade e, de um modo mais global, para o desenvolvimento social e económico. Em suma, vemos que os cinco níveis de avaliação fornecem informações distintas sobre as intervenções formativas: os formandos podem pronunciar-se acerca da sua satisfação com o processo formativo (Nível 1), é possível conhecer a progressão da aprendizagem e a consequente melhoria do desempenho profissional dos formandos (Níveis 2 e 3), e podem ser previstos indicadores acerca do impacto da formação na empresa/organização e na envolvente externa (Níveis 4 e 5). Deste modo, os diferentes níveis permitem avaliar diferentes objectivos a que a formação profissional se pode propor e, neste sentido, os diferentes níveis assumem diferente importância consoante a figura ou a entidade envolvida na formação profissional. Se, por um lado, ao formando interessa desenvolver uma relação empática com o formador (Nível 1) que permita a aquisição de um conjunto de aprendizagens (Nível 2), que, por sua vez, lhe proporcionem a melhoria do seu desempenho profissional (Nível 3), por outro lado, às empresas/organizações importa que a formação introduza mudanças/melhorias no desempenho dos seus trabalhadores (Nível 3), já que daí podem decorrer benefícios para a produtividade, bem como para a estrutura e o funcionamento das empresas/organizações (Nível 4). Deste modo, para avaliar a qualidade e o sucesso da formação não chega que o formando diga que gostou e que achou bom (Nível 1); é também necessário que ele aprenda (Nível 2) e que consiga/tenha oportunidade de concretizar as suas aprendizagens numa situação real de trabalho (Nível 3), trazendo mais valias para a sua empresa/organização em particular (Nível 4) e para a envolvente de um modo mais global (Nível 5). 15

16 PARTE 2 ESTUDO DE AVALIAÇÃO DO IMPACTO DO PROGRAMA FORMAÇÃO PME 16

17 CAPÍTULO 1 ENQUADRAMENTO E APRESENTAÇÃO DO ESTUDO 1. O PROGRAMA FORMAÇÃO PME 1.1. PÚBLICO-ALVO, OBJECTIVOS E ORGANIZAÇÃO O Programa Formação PME é um programa de apoio ao desenvolvimento de pequenas e médias empresas (PME) com dimensão até 50 trabalhadores, concebendo e concretizando uma intervenção de consultoria formativa no seio das PME. Enquanto intervenção orientada para o desenvolvimento das PME, o Programa Formação PME tem como objectivos gerais: Desenvolver as práticas de organização e gestão empresarial; Desenvolver as competências de gestão dos empresários; Promover a qualificação de activos e o desenvolvimento das suas competências. Estes objectivos concretizam-se em três níveis de intervenção mais específicos, mas interdependentes, envolvendo as empresas, os empresários e os respectivos colaboradores. Como podemos ver no Quadro 2, são definidos objectivos mais específicos para cada um dos níveis de intervenção. 17

18 Quadro 2 Objectivos específicos da intervenção do Programa Formação PME Ao nível das empresas Ao nível dos empresários Ao nível dos colaboradores Melhorar formas de organização e de gestão. Incorporar práticas de análise e planeamento estratégicos. Promover uma cultura de projecto e de trabalho por objectivos, fundada na partilha e na análise de problemas e de soluções. Promover práticas coerentes de relacionamento com o exterior. Desenvolver competências de gestão e de liderança. Promover práticas de relacionamento interno e externo à empresa. Promover e instituir a formação como instrumento de desenvolvimento pessoal e profissional. Aumentar as qualificações específicas para melhorar a adequação aos postos de trabalho. Desenvolver competências transversais. Melhorar o desempenho profissional. Promover a integração e a participação na vida da empresa. A intervenção é executada a partir de uma rede de Promotores Locais, apoiados por Equipas de Consultores e de Formadores que actuam no terreno e desenvolvem acções de consultoria e acções de formação no contexto da empresa (Figura 1). AEP Entidade co-gestora do Programa Formação PME PROMOTORES LOCAIS Associações Empresariais Regionais Instituições de Desenvolvimento Local EQUIPAS LOCAIS COORDENADOR Responsável pela coordenação da equipa de consultores e formadores Consultores Especialistas Intervêm na implementação de medidas que requerem saberes técnicos especializados Consultor de Ligação Responsável pela condução da intervenção nas PME Formadores PME Intervêm nas medidas de formação de empresários e activos Figura 1 Organização estrutural e funcional do Programa Formação PME 18

19 Neste contexto, a AEP (Associação Empresarial de Portugal) surge como entidade co-gestora do Programa Formação PME, sendo responsável pela aplicação dos recursos financeiros, e pela coordenação e avaliação da intervenção e do trabalho de todos os intervenientes MODELO E PRINCÍPIOS DE INTERVENÇÃO A intervenção do Programa Formação PME está concebida para ser desenvolvida e concretizada à medida das necessidades específicas de cada uma das empresas, executando-se um modelo de intervenção (Pena, 2002) que contempla três fases distintas: - Fase de Diagnóstico Permite diagnosticar a situação inicial da empresa, identificando problemas e estabelecendo relações de causalidade entre eles (inclui, entre outras componentes, a construção da Árvore de Problemas 2 ). - Fase de Construção do Plano de Desenvolvimento Permite definir medidas de intervenção para solucionar os problemas terminais da Árvore de Problemas, determinando e planeando os recursos, estratégias e actividades necessários para concretizar essas medidas, e prevendo prazos para a sua execução e verificação. - Fase de Implementação Permite intervir para executar as medidas previstas no plano de desenvolvimento, nomeadamente através de duas estratégias-chave de intervenção: a consultoria na empresa e a formação de empresários e de activos. 2 A Árvore de Problemas é uma representação gráfica das relações de causalidade entre os diversos problemas da empresa, permitindo visualizar, de uma forma hierárquica, quais são as situações problemáticas que contribuem para um problema central. Essas situações problemáticas são chamadas de problemas terminais, os quais, quando resolvidos, levam à resolução do problema central (Pena, 2002). 19

20 Para além destas fases, estão previstos (i) o estabelecimento de um Contrato para o Desenvolvimento, que deve ser formalizado antes da fase de diagnóstico, e (ii) a elaboração de um Relatório Final no termo da intervenção, que deve ser validado pelo empresário, pelo consultor de ligação e pelo coordenador (Pena, 2002) (Quadro 3). Quadro 3 Modelo de intervenção do Programa Formação PME 3 CONTRATO PARA O DESENVOLVIMENTO DIAGNÓSTICO ÁRVORE DE PROBLEMAS ANÁLISE SECTORIAL ANÁLISE DE ASPECTOS POSITIVOS, MENOS POSITIVOS E DE DESAFIOS PLANO DE DESENVOLVIM. QUADRO QUADRO DE DE MEDIDAS ACTIVIDADES POR MEDIDA MATRIZ DE PLANEAMENTO DE PROJECTOS IMPLEMENTAÇÃO CONSULTORIA E FORMAÇÃO INTERVENÇÃO DE: - Consultores de Ligação - Consultores Especialistas - Formadores PME (Adaptado de Pena, 2002) Este modelo de intervenção assenta em dois princípios básicos, que sustentam o próprio Programa Formação PME. O primeiro prende-se com a participação dos elementos da PME (empresário e trabalhadores) nas actividades desenvolvidas ao longo da intervenção (AEP, 2000; Pena, 2002). O segundo respeita à necessidade de planear e executar medidas de intervenção cujos resultados sejam objectivamente verificáveis (Pena, 2002). 3 Para um conhecimento mais pormenorizado acerca das fases de intervenção e das suas componentes, consultar o Modelo de Intervenção do Programa Formação PME (Pena, 2002). 20

21 O princípio da participação dos elementos da PME enuncia que empresários e colaboradores devem participar activamente na intervenção do Programa Formação PME, desde o levantamento de problemas até à execução das medidas do plano, apropriando-se dos objectivos do programa como sendo os objectivos da sua própria empresa e do seu próprio trabalho. Esta postura faz com que, por um lado, a intervenção seja desenvolvida à medida das necessidades e das características de cada empresário e dos respectivos colaboradores, e que, por outro lado, o consultor de ligação assuma uma atitude facilitadora do processo, sendo mais construtivo do que instrutivo e surgindo mais como um apoio ao empresário do que como um seu substituto. Este princípio assume, ainda, que a disponibilidade dos empresários e dos colaboradores para participarem nos trabalhos realizados, é um factor que potencia o sucesso da intervenção do Programa Formação PME, o que leva a considerar que uma das características essenciais do perfil do empresário é a disponibilidade para participar e para aprender com a intervenção. O princípio da verificação das medidas propõe que os resultados das medidas que constam no plano de desenvolvimento sejam objectivamente verificáveis. Este procedimento vai, por um lado, permitir que as medidas sejam operacionalizadas de forma clara e simples para o empresário, que vai compreender facilmente os resultados esperados para cada medida executada, e, por outro lado, facilitar a verificação e a avaliação das medidas e da própria intervenção. 2. A ORGANIZAÇÃO DO ESTUDO O Estudo de Avaliação do Impacto do Programa Formação PME surgiu no âmbito da avaliação das intervenções de consultoria formativa concretizadas pelo Programa Formação PME, pretendendo, por um lado, conceber uma metodologia de avaliação do impacto dessas intervenções, e, por outro lado, avaliar efectivamente o impacto do referido programa ao nível organizacional, o que corresponde a uma avaliação de nível 4 de acordo com o modelo de Hamblin, descrito anteriormente (Parte 1). 21

22 A este nível, é de salientar que o Estudo de Avaliação do Impacto do Programa Formação PME preconizou e promoveu o envolvimento dos vários actores que, com experiências distintas, agem no contexto das PME. Neste sentido, este estudo de avaliação funda-se, por um lado, na realidade da consultoria formativa transmitida pelos consultores e formadores do Programa Formação PME, através da realização de entrevistas e, por outro lado, na realidade das PME transmitida pelos próprios empresários, através da realização de entrevistas e da administração de instrumentos A EQUIPA DE AVALIAÇÃO Para a conceptualização, desenvolvimento e concretização deste estudo, procedeu-se à formação de uma equipa de avaliação, composta por dois consultores (externos à AEP e à EURISKO) especialistas em avaliação da formação profissional. Paralelamente, procedeu-se à constituição de um painel de especialistas, composto por 6 elementos, a saber: um administrador da AEP; uma coordenadora e um técnico da AEP, responsáveis pela coordenação das edições do Programa Formação PME; um administrador da EURISKO, responsável pela supervisão deste estudo; o consultor-sénior e a consultora da equipa de avaliação, responsáveis pela elaboração deste estudo. O painel de especialistas, no qual a equipa de avaliação está integrada, funciona como um grupo que gera e gere informações e que acompanha as actividades, permitindo seleccionar e integrar as experiências e as informações recolhidas em diversos cenários, por diferentes interlocutores, de modo a adequar e regular o desenvolvimento do Estudo de Avaliação do Impacto do Programa Formação PME. 22

23 2.2. DOS OBJECTIVOS DO ESTUDO ÀS FASES E ACTIVIDADES PREVISTAS O Estudo de Avaliação do Impacto do Programa Formação PME tem como principal objectivo construir, aplicar e sistematizar uma metodologia de avaliação do impacto das práticas de consultoria formativa em empresas que participaram no Programa Formação PME, nomeadamente identificando, operacionalizando e avaliando factores que contribuem para o impacto e para a qualidade deste tipo de intervenção. Deste modo, definem-se os seguintes quatro objectivos específicos: (i) Identificar e operacionalizar indicadores de avaliação do impacto produzido pelo modelo de intervenção de consultoria formativa do Programa Formação PME; (ii) Conceber, desenvolver e testar um conjunto de instrumentos de recolha de informação que identifiquem e avaliem eficazmente os resultados e as consequências (impacto) da intervenção do Programa Formação PME ao nível organizacional; (iii) Identificar quais os factores que mais têm contribuído para a qualidade e para o sucesso das intervenções do Programa Formação PME; (iv) Organizar e sistematizar os instrumentos utilizados numa metodologia de avaliação do impacto do Programa Formação PME ao nível organizacional, metodologia esta que seja adequada ao contexto das PME e, também, susceptível de ser transferida e generalizada para a avaliação do impacto de intervenções análogas. Para concretizar estes objectivos, foram previstas várias fases de trabalho, cujos objectivos e principais actividades estão descritos no Quadro 4: 23

24 Quadro 4 Fases, objectivos e principais actividades do estudo de avaliação do impacto do Programa Formação PME FASES OBJECTIVOS PRINCIPAIS ACTIVIDADES 1ª - Identificação, definição e operacionalização de indicadores de avaliação Constituir e organizar um conjunto de parâmetros de avaliação que permitam operacionalizar o estudo. Recolha e revisão bibliográfica Realização de entrevistas 2ª - Concepção de instrumentos de avaliação Criar, desenvolver e pré-testar instrumentos que permitam concretizar a avaliação do impacto. Construção de instrumentos Realização do pré-teste 3ª - Estudo exploratório Administrar os instrumentos e explorar o seu funcionamento. Avaliar o impacto do Programa Formação PME nas empresas participantes na 4ª edição. Administração dos instrumentos Tratamento estatístico dos dados Análise e interpretação dos resultados Elaboração do Relatório Intercalar 4ª - Estudos de caso Avaliar e analisar o impacto do Programa Formação PME junto de casos de sucesso e de insucesso. Refinar, se necessário, os instrumentos de avaliação desenvolvidos. A definir, em função dos resultados obtidos na fase anterior 5ª - Análise e integração de resultados Analisar e interpretar de forma integrada os resultados do estudo exploratório e os dos estudos de caso. Análise e discussão integrada de resultados Organização de conclusões 6ª - Estruturação e apresentação de uma metodologia de avaliação Apresentar a versão final revista dos instrumentos utilizados e sistematizar uma metodologia de avaliação do impacto. Estruturação da metodologia Revisão do instrumento de avaliação Elaboração do Relatório Final 7ª - Comunicação e divulgação dos resultados do estudo * Apresentar e divulgar amplamente os resultados do estudo de avaliação do impacto. Preparação e realização de um Seminário Elaboração e publicação de uma Brochura * Fase ainda não executada; a executar após a aprovação deste relatório final. 24

25 3. DESCRIÇÃO DAS FASES E RESPECTIVAS ACTIVIDADES E ESTRATÉGIAS O Estudo de Avaliação do Impacto do Programa Formação PME foi desenvolvido entre Maio de 2003 e Março de 2004, perfazendo um total de 10 meses de trabalho (Anexo 1). Durante este período, foram executadas as 6 primeiras fases, uma vez que a Fase 7 só irá ser executada após a aprovação deste relatório final. Seguidamente, apresentamos de modo esquemático os objectivos previstos, as actividades realizadas e as estratégias e meios utilizados nas 6 primeiras fases do estudo. Quadro 5 Descrição detalhada da Fase 1 Identificação, definição e operacionalização de indicadores de avaliação OBJECTIVOS Constituir e organizar um conjunto de parâmetros de avaliação que permitam operacionalizar o estudo de avaliação do impacto do Programa Formação PME. ACTIVIDADES Recolha e revisão bibliográfica Realização de entrevistas com consultores e formadores Realização de entrevistas com empresários Organização da informação em indicadores de impacto ESTRATÉGIAS E MEIOS Análise documental Guiões de entrevista (Anexos 2 e 3) Análise de conteúdo Quadro 6 Descrição detalhada da Fase 2 Concepção de instrumentos de avaliação OBJECTIVOS Criar, desenvolver e pré-testar instrumentos que permitam concretizar a avaliação do impacto. ACTIVIDADES Construção de um instrumento de avaliação Realização do pré-teste ao instrumento: - 1ª etapa: com o painel de especialistas; - 2ª etapa: com consultores/formadores; - 3ª etapa: com empresários. ESTRATÉGIAS E MEIOS Versões do instrumento de avaliação (Anexos 4, 5 e 6) Grelha de registo do pré-teste Grelha de registo da reflexão falada com empresários 25

26 Quadro 7 Descrição detalhada da Fase 3 Estudo exploratório OBJECTIVOS Administrar os instrumentos e explorar o seu funcionamento; Avaliar o impacto do Programa Formação PME nas empresas participantes na 4ª edição. ACTIVIDADES Administração do instrumento Tratamento estatístico dos dados Análise e interpretação dos resultados ESTRATÉGIAS E MEIOS Instrumento de avaliação versão final (Anexo 6) Packages estatísticos (Statistical Package for Social Sciences SPSS, versão 11.5) Organização dos resultados em quadros e gráficos Quadro 8 Descrição detalhada da Fase 4 Estudos de caso OBJECTIVOS Avaliar e analisar o impacto do Programa Formação PME junto de casos de sucesso e de insucesso; Refinar, se necessário, os instrumentos de avaliação desenvolvidos. ACTIVIDADES ESTRATÉGIAS E MEIOS Realização de entrevistas exploratórias para planear a realização dos estudos de caso (com coordenadores das equipas de consultores e formadores) Realização de entrevistas com empresários para estudar casos de sucesso e de insucesso Análise e interpretação dos dados Guião para Entrevistas dos Estudos de Caso (Anexo 8) Grelhas de registo de informação (Anexo 7) Análise de conteúdo das entrevistas Organização dos dados em quadros Quadro 9 Descrição detalhada da Fase 5 Análise e integração dos resultados OBJECTIVOS Analisar e interpretar de forma integrada os resultados do estudo exploratório e os dados dos estudos de caso. ACTIVIDADES ESTRATÉGIAS E MEIOS Análise e discussão integrada de resultados Organização e produção de conclusões Resultados e conclusões produzidos na Fase 3 e na Fase 4 26

27 Quadro 10 Descrição detalhada da Fase 6 Estruturação e apresentação de uma metodologia de avaliação OBJECTIVOS Apresentar a versão final revista e melhorada dos instrumentos utilizados e sistematizar uma metodologia de avaliação do impacto. ACTIVIDADES ESTRATÉGIAS E MEIOS Estruturação e sistematização da metodologia Revisão do instrumento de avaliação Instrumento de avaliação versão revista e melhorada (Anexo 9) Estas fases e as respectivas actividades vão ser descritas passo a passo e em pormenor nas diversas partes e capítulos deste relatório. Assim: (i) (ii) (iii) as Fases 1 e 2 serão descritas no CAPÍTULO 2 da PARTE 2, versando a Concepção de uma metodologia de avaliação, as Fases 3 e 4 serão apresentadas no CAPÍTULO 3 da PARTE 2, a propósito da Avaliação do impacto do Programa Formação PME ; as Fase 5 e 6 estarão integradas na PARTE 3, destinada a Reflexões e conclusões. 27

28 CAPÍTULO 2 CONCEPÇÃO DE UMA METODOLOGIA DE AVALIAÇÃO 1. IDENTIFICAÇÃO, DEFINIÇÃO E OPERACIONALIZAÇÃO DE INDICADORES DE AVALIAÇÃO A fase de identificação, definição e operacionalização (Fase 1) foi concretizada ao longo de várias actividades. Em primeiro lugar, procedemos a uma recolha e revisão bibliográfica sobre a temática da avaliação da formação e da avaliação do seu impacto nas organizações. Em segundo lugar, realizámos entrevistas de recolha de informação, junto de consultores e formadores do Programa Formação PME e junto de empresários que participaram em edições do Programa. Finalmente, após a análise bibliográfica e a análise das informações recolhidas em situação de entrevista, estavam criadas as condições para podermos operacionalizar indicadores de impacto RECOLHA E REVISÃO BIBLIOGRÁFICA Grande parte desta recolha e revisão está descrita e apresentada na Parte 1 deste relatório final, dedicada à Avaliação do impacto da formação nas organizações. Assim, aqui apenas vamos descrever quais os procedimentos subjacentes a essa recolha e revisão bibliográfica, bem como sintetizar as principais directrizes-teóricas que fundam, por um lado, a concepção da metodologia de avaliação do impacto e, por outro lado, a operacionalização de indicadores de impacto. A recolha e revisão bibliográfica foi feita entre várias obras e artigos de revistas científicas da especialidade, privilegiando-se, por um lado, as publicações de autores 28

29 especialistas na avaliação da formação e, por outro lado, as publicações mais recentes e as que abordam a avaliação da formação sob a perspectiva da investigação-acção. O principal objectivo da recolha e revisão bibliográfica, nesta 1ª fase, era constituir e organizar um conjunto de directrizes teórico-práticas que funcionassem como parâmetros axiais do estudo de avaliação do impacto do Programa Formação PME, e que fundamentassem, desde logo, a construção de um enquadramento teórico acerca da avaliação do impacto da formação profissional. Para além disto, a recolha e revisão bibliográfica atravessou todas as fases do estudo, uma vez que se mostrou necessário actualizar continuamente o material bibliográfico que apoiava e fundamentava as actividades concretizadas. A análise bibliográfica permitiu sistematizar o seguinte conjunto de directrizes acerca da avaliação do impacto: A avaliação do impacto da formação é um dos níveis de avaliação (4º nível) previstos no modelo de Hamblin (Patrick, 1992), remetendo, sobretudo, para a avaliação das consequências da formação na produtividade e no lucro das organizações; A avaliação do impacto é uma questão que remete para a avaliação de dois aspectos-chave: o desempenho no local de trabalho e o retorno do investimento (Parry, 1997; Zufiaur, 1987); - Ao nível do desempenho profissional podem avaliar-se aspectos como a quantidade de trabalho produzido, a qualidade do trabalho produzido e a capacidade para transferir e aplicar as competências desenvolvidas com a formação. Este tipo de avaliação pode assumir a forma de auto-avaliação (feita pelo próprio trabalhador) ou ser feita por avaliadores, como, por exemplo, o chefe de equipa (Lima Santos, 1991; Parry, 1997); - Ao nível do retorno do investimento podem avaliar-se aspectos como a produtividade global, a quantidade e qualidade de produção, o aumento/redução de custos, o nível de satisfação do cliente, a cota de 29

30 mercado, os acidentes de trabalho e o absentismo. Este tipo de avaliação pode ser feita através de análises de custo-benefício ou através da técnica do pré e pós-teste, sendo possível, neste caso, comparar o valor destes aspectos antes e depois da intervenção formativa (Parry, 1997; Zufiaur, 1987); A avaliação do impacto prende-se, sobretudo, com a avaliação de resultados, mais do que com a avaliação de processos. De acordo com Masingue (1999), a avaliação dos resultados da formação inclui (i) a avaliação de skills (aprendizagens e competências adquiridas e desenvolvidas com a formação), (ii) a avaliação de efeitos (transferência e aplicação de aprendizagens e competências no trabalho) e (iii) a avaliação de representações (percepções que se constroem acerca dos skills adquiridos e dos seus efeitos no trabalho); A avaliação do impacto pode também incluir a avaliação das expectativas que os formandos desenvolvem para as acções de formação em que participam, bem como a avaliação da concretização dessas expectativas (Parry, 1997); A avaliação do impacto não deve ser feita imediatamente após o termo da intervenção formativa, pois ainda não houve tempo para consolidar as aprendizagens e as competências desenvolvidas, nem tão pouco para as transferir para o contexto do posto de trabalho. De acordo com a literatura, a avaliação do impacto deve ocorrer alguns meses após a acção de formação (Parry, 1997), mas nenhum autor refere com precisão o intervalo de tempo ideal para essa avaliação acontecer. Na verdade, não parece existir um intervalo de tempo ideal, o que faz com que a decisão de avaliar num determinado momento remeta para a necessidade de se conseguir uma solução de compromisso, de tal modo que possa passar o tempo suficiente para que a formação comece a surtir efeitos susceptíveis de serem avaliados, mas sem deixar passar demasiado tempo, ao ponto de esses efeitos se diluírem e se confundirem com os efeitos de outros factores ou outras intervenções; A avaliação do impacto, ao oferecer uma avaliação dos efeitos e dos resultados da formação profissional, permite (i) (re)definir estratégias de intervenção, 30

31 tornando-as mais adaptadas e eficazes, (ii) fornecer informações para que os formadores e os técnicos envolvidos melhorem o seu trabalho, (iii) melhorar a qualidade das intervenções futuras, e (iv), em última instância, a avaliação do impacto visa provar que a formação profissional não é tanto um custo, mas sim um investimento. Estas directrizes teórico-práticas constituíram os principais parâmetros referentes do estudo de avaliação do impacto do Programa Formação PME, permitindo constituir um corpo de linhas de acção teóricas e práticas que viabilizou a concepção e a concretização de uma metodologia de avaliação do impacto REALIZAÇÃO DE ENTREVISTAS A entrevista constitui uma das técnicas mais adequadas quando queremos explorar informações ainda pouco estruturadas ou recolher novas informações sobre uma determinada temática (neste caso, sobre a avaliação do impacto da formação). Ora, nesta fase, a realização de entrevistas foi feita junto de consultores/formadores e empresários, e tinha como principais objectivos (i) aprofundar e explorar a informação que já tínhamos reunido a partir da análise bibliográfica e (ii) recolher informações sobre o impacto do Programa Formação PME junto dos actores mais envolvidos no processo (consultores e empresários que participaram em edições anteriores do programa), enriquecendo as informações provenientes da literatura especializada. Assim, a realização de entrevistas permitiu concretizar o primeiro contacto com a realidade do Programa Formação PME e com a realidade de algumas empresas que nele já tinham participado, bem como com as percepções dos respectivos empresários. A este nível, optamos por realizar entrevistas semi-estruturadas, utilizando guiões de entrevista construídos para o efeito (Anexos 2 e 3). A este propósito, é importante referir que as questões que constam nos guiões de entrevista funcionaram apenas 31

32 como questões-chave, tendo sido exploradas durante as entrevistas, até porque foram surgindo novas questões à medida que a informação era registada e à medida que os entrevistados iam respondendo e expondo os seus pontos de vista. Concretizando, foram realizadas entrevistas com: 6 consultores/formadores responsáveis pela concretização das acções de consultoria e de formação nas PME participantes no Programa Formação PME; 2 consultores de acompanhamento e avaliação do Programa Formação PME; 8 empresários, cujas empresas participaram no Programa Formação PME. A análise de conteúdo da informação recolhida nas entrevistas com os consultores/formadores e com os empresários permitiu, em primeiro lugar, conhecer os motivos que levaram os empresários a aceitar participar no Programa Formação PME, bem como as suas expectativas iniciais acerca do programa (Quadro 11); em segundo lugar, identificar os pontos fortes e os pontos fracos do Programa Formação PME (Quadro 12); em terceiro lugar, avaliar os resultados que têm sido alcançados pelo Programa Formação PME (Quadro 13); e, em quarto lugar, explorar e organizar informações acerca de possíveis indicadores de impacto tendo em conta as intervenções desenvolvidas pelo Programa Formação PME (Quadro 14). Motivos da participação e expectativas iniciais dos empresários (Quadro 11) De acordo com os consultores/formadores, a maioria dos empresários aceita participar no Programa Formação PME pelo facto de este ser um programa financiado na sua totalidade, não implicando quaisquer custos financeiros para a empresa. No que respeita às expectativas iniciais dos empresários, os consultores/formadores observam que, no início do Programa Formação PME, os empresários partem com nenhumas ou poucas expectativas, uma vez que não entendem muito bem o que se 32

33 Quadro 11 Síntese das principais informações recolhidas nas sessões de entrevista: motivos da participação e expectativas iniciais dos empresários Consultores/Formadores Empresários Motivos Motivos De acordo com os consultores/formadores, a maioria dos empresários aceita participar no Programa Formação PME pelo facto de este ser um programa financiado, não implicando custos financeiros para a empresa. A maioria dos empresários refere como principal motivo para participarem no Programa Formação PME o facto de terem sido contactados pela Associação Local onde estão inscritas as suas empresas. Expectativas iniciais Expectativas iniciais Os consultores/formadores referem que, no início do Programa Formação PME, os empresários partem com nenhumas ou poucas expectativas, uma vez que não entendem muito bem o que se vai passar. Uma grande parte dos empresários refere que não tinha quaisquer expectativas no início do Programa Formação PME. Uma pequena parte refere que tinha expectativas elevadas, não conseguindo, no entanto, indicar o que esperava que viesse a acontecer. Os consultores/formadores referem também que uma grande parte de empresários vêem o Programa Formação PME como uma oportunidade para fazer coisas sem grandes custos, formando expectativas apenas para as áreas em que sabem existirem problemas. Contata-se que, no início do Programa Formação PME, os empresários não têm a noção do que se vai passar na sua empresa. Só mais tarde começam a formar expectativas acerca da intervenção que vai ser feita. vai passar. Inicialmente, parece que os empresários pensam que o incentivo do programa será acima de tudo financeiro, vendo-o como uma oportunidade para fazer coisas sem grandes custos, e só mais tarde constatam que o programa pode ser um meio para melhorar a empresa a vários níveis e, assim, fomentar a sua produtividade. A par desta mudança, assiste-se a um aumento dos níveis de expectativa e também a um maior realismo na formação dessas expectativas. Os consultores/formadores referem também que existe uma tendência para o 33

34 empresário formar expectativas apenas para áreas em que existam problemas explícitos. Nas entrevistas com os empresários, a maioria dos entrevistados refere que o principal motivo para terem aceite participar no Programa Formação PME foi o facto de terem sido contactados pela Associação Local onde estão inscritas as suas empresas, enquanto que uma minoria refere que a sua decisão teve também em consideração o facto de o Programa Formação PME constituir uma oportunidade para as suas empresas serem analisadas por uma equipa externa, praticamente sem custos. No que respeita às suas expectativas iniciais, uma grande parte dos empresários refere que não tinha quaisquer expectativas no início do Programa Formação PME, enquanto que um pequeno grupo de empresários refere que tinha expectativas elevadas, não conseguindo, no entanto, indicar especificamente o que é que esperava que acontecesse nem em que áreas. Este facto vai ao encontro da ideia, também referida pelos consultores/formadores, de que no início do programa os empresários não têm bem a noção do que se vai passar na sua empresa. Assim, parece que só no final da fase de diagnóstico, isto é, quando é apresentado o plano de desenvolvimento, é que os empresários começam a formar expectativas acerca da intervenção que vai ser feita, expectativas essas que depois vão sendo cada vez mais realistas e mais ajustadas. Pontos fortes e pontos fracos do Programa Formação PME (Quadro 12) De acordo com os consultores/formadores, o principal ponto forte do Programa Formação PME reside no facto de este oferecer uma intervenção adaptada às pequenas e médias empresas e de ir ao encontro das suas necessidades mais específicas. Para além disso, o Programa Formação PME viabiliza uma leitura da empresa por uma equipa externa, o que pode contribuir para um diagnóstico mais claro dos problemas e para uma intervenção mais imparcial e eficaz. Outro ponto forte salientado refere-se à utilidade e à pertinência da sessão de arranque do 34