Veloso, A., Avaliação da Formação: um estudo de caso in Caetano, A., Silva, S., Tavares, S.,(Ed.) (2014). Formação e desenvolvimento organizacional: abordagens e casos práticos. Lisboa: Mundos Sociais Cap. 12. pp 157-165, ISBN: 978-989- 8536-38- 9 Avaliação da Formação: um estudo de caso Ana Veloso (alveloso@psi.uminho.pt) Escola de Psicologia, Universidade do Minho A avaliação da formação sendo uma importante e útil etapa do ciclo de formação é também muito exigente no seu desenho e concretização. As dificuldades de realização relatadas incidem sobre as dificuldades metodológicas, em especial a qualidade psicométrica de instrumentos, e a identificação de critérios de impacto (Kraiger, McLinden, & Casper, 2004) bem como constrangimentos ao nível organizacional e da estratégia de avaliação (Dionne, 1996, p. 282). É nosso objectivo apresentar o estudo de caso de um processo de avaliação da formação realizado numa empresa de prestação de serviços, a Sociedade Portuguesa de Inovação (SPI). Esta empresa pretendia avaliar um programa de formação específico com incidência sobre a aprendizagem e comportamentos dos formandos e do seu impacto em termos de empregabilidade. Foi realizado um processo de avaliação a três edições de curso de formação com base no modelo de Kirkpatrick (Kirkpatrick & Kirkpatrick, 2006) e que incluiu entrevistas, focus group e inquéritos aos elementos envolvidos no programa de formação (formandos, formadores e organizações de acolhimento). INTRODUÇÃO A formação, e a avaliação da formação em particular, tem recebido crescente atenção (Aguinis & Kraiger, 2009; Arthur, Bennett Jr, & Edens, 2003). Por exemplo, Salas e Cannon- Bowers, em 2001, numa revisão dos artigos sobre formação, publicados no Annual Review of Psychology nos trinta anos anteriores, referem o grande desenvolvimento que a formação e a avaliação da formação, em particular, tiveram. Apontam como razões para esse
desenvolvimento, na perspectiva das organizações, o investimento realizado ao nível da formação, fruto da competitividade, das alterações ao nível do conhecimento e das mudanças na força de trabalho, a que se associam a necessidade e preocupação em avaliar o seu impacto na performance organizacional, nomeadamente ao nível da produtividade, lucros, redução de erros, etc.. Por outro lado, estes autores referem também a evolução que ocorreu na investigação neste domínio que se traduz por uma maior disponibilidade de teorias, modelos, de resultados empíricos, etc. (p. 472). Mais recentemente, Aguinis & Kraiger (2009) como resultado de uma meta-analise realizada no mesmo jornal, referem a importância de desenvolver uma abordagem multidisciplinar a esta temática, e reconhecer os contributos de outros dominios além da Psicologia como a gestão de recursos humanos, desenvolvimento de recursos humanos, factores humanos e gestão do conhecimento e, a um nivel mais micro, a utilidade de envolver outros niveis de análise para além do individual, nomeadamente o da equipa e organizacional (p. 452-453). Parece-nos também relevante o desenvolvimento de investigação sobre factores importantes para a eficácia da formação como, por exemplo, o levantamento de necessidades de formação e o desenvolvimento de modelos de avaliação de formação (Holton, 2005; Philips & Stone, 2002). O nosso propósito é o de apresentar um estudo de caso que relate o desenho de um processo de avaliação. Apesar de estarem publicados alguns exemplos práticos como o de Holton III, Bates, & Naquim (2000), Lingham, Richley, & Rezania (2006) ou Laing (2011), estes não são frequentes na literatura. O modelo de avaliação de formação de Kirkpatrick Existem diferentes modelos de avaliação da formação, como por exemplo o de Holton ou de Phillips. O modelo de Kirkpatrick, publicado pela primeira vez em 1959 (Kirkpatrick & Kirkpatrick, 2006) é um dos mais utilizados pelas organizações (Salas & Cannon-Bowers, 2001) ainda que algumas criticas lhe sejam feitas como, por exemplo, restringir os factores de sucesso e insucesso da formação à própria formação, não reconhecendo outros elementos que podem influenciar o impacto da formação como, por exemplo, o ambiente organizacional favorável (ou não) à transferência de conhecimento (Holton, 2005, pp 37-38). Contudo, nesta situação específica pareceu-nos que a adopção deste modelo tinha algumas vantagens, não só porque a própria SPI o já utilizava mas também pela particularidade de oferecer formação, como entidade externa às suas organizações clientes. O modelo de Kirkpatrick organiza-se considerando diferentes níveis de avaliação que partem da avaliação ao nível individual até ao nível organizacional, diferentes tempos de avaliação
(imediato até mais de seis meses) e conteúdos: (1º nível) reacção dos formandos à formação em termos dos sentimentos sobre os diferentes aspectos da realização (organização, material, formação, programa, métodos pedagógicos, etc.) e sobre a sua motivação para a mudança de comportamentos; (2º nível) aprendizagem (conhecimentos adquiridos, aptidões desenvolvidas ou mudança de atitudes); (3º nível) aplicação no posto de trabalho das aprendizagens realizadas e (4º nível) impacto nos resultados da organização. O PEDIDO Uma organização que presta serviços de consultadoria e formação, Sociedade Portuguesa de Inovação (SPI) solicitou uma avaliação externa da formação realizada ao nível de cursos para jovens licenciados, que o seu estatuto de entidade certificada obrigava. A avaliação incidiu sobre um período de três anos, imediatamente anterior à realização do processo de avaliação. Os cursos de formação avaliados visavam a integração de jovens recém-licenciados (independentemente da sua especialização académica) no mercado de trabalho, em áreas específicas como o marketing, a inovação, internacionalização e a qualidade, entre outras. A estrutura dos cursos incluía uma parte de formação em sala e outra de estágio prático em organizações, que integravam por vezes os estagiários, contratando-os no final da formação. A operacionalização do pedido da organização focalizou-se principalmente na avaliação da eficácia da sua actividade formativa, relativamente a aspectos como o desenho interno dos cursos oferecidos (conteúdos, metodologias, sequência modular, etc.), bem como na actividade prática em domínio de conhecimento diferente da formação inicial. Assim, situando o processo de avaliação no 3º e 4º nível do modelo de Kirkpatrick (Kirkpatrick & Kirkpatrick, 2006), seria de todo o interesse a recolha de informações sobre conhecimentos adquiridos no âmbito dos cursos de formação e sua aplicabilidade ao nível do posto de trabalho, área de intervenção funcional durante e pós estágio e avaliação do período de estágio. Efectuou-se também, um processo de levantamento de necessidades, orientado para a oferta de novos cursos pela SPI. Estes processos de avaliação de formação e diagnóstico de necessidades têm a particularidade de incidir, não na SPI mas numa audiência mais vasta, que são os potenciais clientes desta organização: organizações externas situadas preferencialmente na zona metropolitana do Porto e no norte do país, com uma enorme diversidade no que se refere à natureza da sua actividade produtiva, dimensão, fases de desenvolvimento e objectivos estratégicos.
A associação das necessidades de formação à ausência, ou necessidade de desenvolver, competências em áreas específicas de conhecimento ou do comportamento exige um exercício complicado de conceptualização no que se refere ao desenho do processo de avaliação e às opções relativas às técnicas e instrumentos a utilizar. A SPI, como anteriormente referimos, oferecia cursos de formação a jovens licenciados com a perspectiva de estes conseguirem empregar-se. Assim, é razoável pensar que as organizações-clientes da SPI teriam de encontrar nestes jovens, resposta às suas necessidades, em termos de força de trabalho. Nesta perspectiva seria importante e adequado assumir como factor de eficácia do desempenho da SPI e da sua oferta formativa, a taxa de empregabilidade dos seus ex-formandos e a satisfação dos clientes face ao desempenho dos jovens licenciados, que integraram após a formação. A SPI efectuava sistematicamente diagnósticos de necessidades de formação e processos de avaliação de formação. Estes últimos tinham sido realizados ao nível da reacção dos formandos à formação em termos dos sentimentos sobre os diferentes aspectos da realização (organização, material, formação, programa, métodos pedagógicos, etc.) e da sua motivação para a mudança de comportamentos e da aprendizagem (conhecimentos adquiridos, aptidões desenvolvidas ou mudança de atitudes) ou seja o 1º e 2º nível do modelo de Kirkpatrick (Kirkpatrick & Kirkpatrick, 2006). Este estudo de caso centra-se nos níveis (3) - aplicação no posto de trabalho das aprendizagens realizadas e (4) - impacto nos resultados da organização, tendo sido utilizados alguns dos resultados obtidos das fases anteriores do processo (1º e 2º níveis), expressos nos relatórios de avaliação de formação. Levantamento necessidades de formação Definição objectivos de Desenho programa do Avaliação acompanhamento e Implementação do programa Fonte: Kubr & Prokopenko (1992, p.47) Ao realizarmos um diagnóstico de necessidades de formação em sequência com a avaliação da formação permitiu-nos clarificar e concretizar o perfil ideal/performance ideal, ou seja
perceber as expectativas das organizações-clientes da SPI e do formando a empregar. O levantamento de necessidades de formação implica um exercício de avaliação, ou seja confrontando um perfil desejado/performance ideal com o perfil real/performance real procura-se encontrar as não coincidências. O perfil desejado é geralmente construído com base nos requisitos dos clientes ou pela antecipação das suas necessidades futuras. Por outro lado, e considerando que nos referimos a uma organização que presta serviços, as informações decorrentes da avaliação e acompanhamento contínuos da implementação de programas são um complemento importante da própria actividade de diagnóstico. Pelas suas características intrínsecas, o processo de avaliação possui um desenho único e é concebido considerando a especificidade da organização que o solicita. Esta especificidade traduz-se não só no que se refere às opções da metodologia e instrumentos utilizados mas também no grau de pormenor e especificidade das informações recolhidas e nos resultados obtidos. METODOLOGIA Consideraram-se três agrupamentos distintos de informação a recolher e optaram-se por métodos adequados à sua natureza e às condições de realização do projecto: Clarificação dos objectivos definidos pela SPI para a sua actividade na formação. Análise de documentação interna nomeadamente: memorandum de apresentação da oferta formativa da SPI, em que se encontram definidos os objectivos formativos, conteúdos programáticos e formas de avaliação, relatórios anteriores de diagnóstico de necessidades de formação; relatórios de avaliação da formação (ambos realizados por entidades exteriores e credíveis) e relatórios de avaliação de estágios de organizações que acolheram estágios e dos próprios estagiários. Avaliação do impacto da formação realizada. As informações recolhidas na fase anterior permitiram identificar os indicadores de impacto da formação, contrastando o realizado face aos objectivos gerais da SPI para a formação. A identificação da taxa de empregabilidade é um exemplo, como já referimos. A avaliação para além de validar a realização dos objectivos formativos enunciados pela SPI, especificamente em cada um dos seus projectos de formação, permitiu recolher informações
sobre necessidades não satisfeitas quer na perspectiva dos clientes quer na perspectiva dos exformandos. Foram realizados dois focus goup com os ex-formandos e entrevistas individuais aos formadores, ao responsável pedagógico da SPI e aos orientadores de estágio das organizações acolhedoras de estágios. Identificação prospectiva de necessidades. O objectivo foi sinalizar as competências e necessidades de formação futuras através da recolha de informação junto às organizações clientes da SPI sobre: planos de desenvolvimento, caracterização da força de trabalho; áreas de actividade e necessidades de recrutamento (perfil de competências mais procurado). Face às características das organizações clientes da SPI decidiu-se pela utilização de um questionário, construído especificamente para este processo. Adoptou-se como estratégia de incentivo à resposta, o envio do questionário por correio, correio electrónico e fax. Por último, realizaram-se entrevistas telefónicas, cujo guião tinha por base o questionário elaborado. O processo iniciou-se com a análise de documentação, seguindo-se a realização dos focus group e o lançamento dos questionários. As entrevistas ocorreram por último. Os focus group. Guião. O guião foi organizado em torno das seguintes questões: i) actividade profissional actual dos ex-formandos, caso estivessem activos, ii) tipo e áreas de conhecimento necessários para o desempenho das funções actuais, iii) grau de importância da formação adquirida nos processos de formação em que participaram, iv) avaliação do curso de formação frequentado (formadores, colegas, manuais, etc.), v) avaliação do estágio (o que foi importante no estágio, o apoio da organização acolhedora de estágio, apoio da organização promotora da formação, sugestões de optimização) e vi) pedido de sugestões de formação para cursos futuros a promover pela SPI. O guião elaborado para ambos os focus group procurou orientar a entrevista sem a limitar, ou seja, sempre que um assunto merecia maior interesse dos participantes dedicou-se mais tempo à sua discussão e exploração. Um exemplo da aplicação deste procedimento foi na avaliação pormenorizada da articulação da SPI com as organizações acolhedoras de estágios. Com efeito, os participantes dos focus group deram especial relevo a este assunto pelo que os
moderadores decidiram explorá-lo com maior profundidade do que aquela que inicialmente tinham planeado. Composição e número de grupos. Os dois focus group integraram 8 e 12 ex-formandos dos diferentes cursos promovidos e realizados pela organização cliente. Foram também critérios de selecção, a data de conclusão do curso de formação, pelo que se seleccionaram formandos das três edições (uma edição por ano) realizadas nos três anos anteriores à data da avaliação, e as condições de empregabilidade, estando presentes quer ex-formandos com situação laboral estável, obtida na sequência da conclusão dos cursos de formação quer em situação de desemprego. Os critérios de selecção foram idênticos para ambos os focus group e procurouse obter um elevado grau de estandardização nos procedimentos relativos ao focus group. Colocou-se a possibilidade de realizar mais dois focus group para além dos planeados, caso não se obtivesse um grau reconhecível de saturação nos factores em avaliação. Contudo, no segundo focus group, os dados obtidos confirmaram os do primeiro, sem introdução de nenhuma novidade, pelo que se decidiu não se realizar mais nenhum. Preparação. O recrutamento dos participantes nos focus group foi realizado pela SPI, que os convidou a participar através de contacto pessoal do director pedagógico, o que garantiu uma elevada taxa de adesão. Os participantes receberam posteriormente uma carta de confirmação da data, local e hora de realização dos focus group bem como uma breve nota informativa sobre o objectivo dos focus group (informação prévia prestada verbalmente pelo director pedagógico). Os focus group foram seguidos de um jantar oferecido pela organização. Realizaram-se nas instalações da SPI, em salas que garantiam o conforto dos participantes e a confidencialidade das informações prestadas. Condução do Focus group. Estiveram presentes dois moderadores, em simultâneo, tendo um deles liderado a realização de ambos os focus group. Desta maneira, pretendeu-se diminuir as diferenças na moderação, nomeadamente na introdução dos tópicos a discutir. O estilo de moderação foi flexível, ou seja, não se pretendeu que fosse muito estruturado, ainda que rigoroso: o guião do focus group definiu os aspectos a abordar, mas a sequência e o tempo dedicado a cada um dos tópicos foi determinado pelos participantes. Cumpriu-se a regra de todos os elementos dos focus group participarem na discussão, intervindo o moderador quando algum dos elementos se remetia ao silêncio ou, pelo contrário, sendo muito activo limitava, com a sua participação, a dos outros elementos.
Análise e divulgação dos dados. Os focus group foram gravados, com acordo prévio dos participantes, e integral e rigorosamente transcritos pelos elementos da equipa de investigação. A análise dos dados foi realizada com recurso à Template Analysis (King, 1998). Os resultados obtidos nos focus group integraram um relatório final a par com os resultados das entrevistas e dos questionários realizados. Especificamente, os resultados dos focus group tiveram implicações ao nível da reorganização dos módulos e dos estágios profissionais e na criação de novos cursos. O Questionário O questionário teve como objectivo geral a recolha de informação prospectiva, isto é, a definição do perfil de competências ideal do colaborador a recrutar pelas organizações-cliente da SPI. A sua estrutura assenta no seguinte conjunto de informação: 1.Dados demográficos: caracterização da organização quanto ao sector de actividade; dimensão (número de colaboradores), volume de negócios e áreas funcionais existentes na organização interna (comercial, recursos humanos, administrativo-financeira, marketing, etc.). 2.Identificação dos planos estratégicos e operacionais das organizações-clientes da SPI e das áreas de conhecimento mais importantes, e em desenvolvimento, para o seu negócio. Por exemplo, Que desafios se coloca à sua organização a curto e médio prazo? Indique que medidas pensa adoptar, para a concretização dos desafios. Considera que a formação profissional pode apoiar a concretização desses desafios? 3.Existência da prática de Formação na gestão de recursos humanos interna e suas características. Por exemplo, A organização realiza acções de formação profissional? Indique o modelo de formação a que recorre habitualmente (interna, externa, etc.) 4.Características do perfil dos estagiários no que se refere á sua formação base bem como às suas competências pessoais e técnicas. Por exemplo, No âmbito dos estágios realizados foram sentidas dificuldades associadas ao desempenho dos estagiários? Em caso afirmativo, indique os motivos que julga terem estado na origem dos problemas/dificuldades? A empresa tem sentido dificuldades no recrutamento de colaboradores para alguma área específica?
Os questionários foram enviados e recebidos pela própria SPI. O tratamento de dados foi realizado com recurso ao SPSS e á Template Analysis (King, 1998), nas questões abertas, optando-se também por apresentar a frequências dos temas nas respostas a estas questões. O questionário obteve uma taxa de resposta de 4,0% (37 questionários) face ao universo inquirido. As entrevistas Realizaram-se entrevistas às empresas que acolheram estágios dos formandos da SPI, ao coordenador pedagógico da SPI e a alguns formadores. As questões, no caso dos formadores e director pedagógico incidiram sobre: estrutura do curso de formação, conteúdos, análise dos estágios e aprofundamento dos relatórios de avaliação de 1º nível. Por exemplo, Os estágios visam a aplicação dos conhecimentos adquiridos em sala? A actualização dos conteúdos programáticos é realizada por quem: por iniciativa do formador, do director pedagógico? Nas entrevistas aos responsáveis de estágio nas organizações, as questões colocadas abordavam os seguintes aspectos: análise dos estágios e perspectivas de melhoramento; análise do perfil do estagiário, suas competências e em particular, os seus comportamentos; análise da oferta formativa da SPI e sugestões de melhoramento. Por exemplo, Porque recebem estagiários da SPI? Porque contrataram posteriormente os estagiários? Qual a sua opinião sobre a estrutura do estágio? Que aspectos pensa ser necessários desenvolver no perfil/comportamentos dos estagiários? As informações recolhidas foram coligidas num relatório, que foi analisado e discutido com a SPI. O relatório foi organizado em torno dos seguintes aspectos: 1. Desenho do processo de avaliação. Plano metodológico. 2.Caracterização do público-alvo (organizações, candidatos aos cursos de formação e formandos) 3.Apresentação dos resultados (inquéritos, análise de documentação, entrevistas e focus group) 4.Conclusões (impacto da formação; sugestões de melhoria e propostas de novos domínios de formação/oferta formativa.).
CONCLUSÕES O desenho metodológico adoptado resultou numa maior consolidação dos resultados obtidos. Verificou-se que as diferentes perspectivas (organizações-clientes da SPI; formandos, formadores) se articulavam e confirmavam mutuamente, ou seja, as áreas de sucesso e de melhoria foram comuns ainda que com perspectivas diferentes. Por exemplo, os estágios embora importantes e eficazes para, e na, integração dos formandos no mercado de trabalho necessitavam ser reestruturados, na opinião dos três grupos de inquiridos. Revelou-se uma boa opção, realizar os focus group na sequência da análise de documentação e antes da elaboração do questionário e das entrevistas. Contudo, alguns aspectos poderiam ser melhorados, como por exemplo um tratamento mais robusto dos questionários. O processo foi condicionado pelo prazo de apresentação dos resultados da avaliação, o que condicionou o desenvolvimento e validação do questionário e a quantidade de respostas. REFERÊNCIAS Aguinis, H., & Kraiger, K. (2009). Benefits of Training and Development for Individuals and Teams, Organizations, and Society. The Annual Review of Psychology, 60, 451 74. Arthur, W., Bennett Jr, W., & Edens, P. S. (2003). Effectiveness of Training in Organizations: a meta-analysis of design and evaluations features. Journal of Applied psychology, 88(2), 234-245. Dionne, P. (1996). The evaluation of training activities: a complex issue involving different stakes. Human Resource Development Quarterly, 7 (3), 279-286. Holton III, E. (2005). Holton's Evaluation Model: New Evidence and Construct Elaborations advances. Developing Human Resources, 7 (1), 37-54. Holton III, E., Bates, R., & Naquim, S. (2000). Large-scale performance-driven training needs assessment: a case study. Public Personnel Management, 29(2), 249-268. King, N. (1998). Template Analysis. In G. Simon, & Cassell,C. (Ed.) Qualitative methods and analysis in organizacional research, a pratical guide (pp. 118-134). London: Sage Publications. Kirkpatrick, D., & Kirkpatrick, J. (2006). Evaluating training programs: the four levels. S. Francisco: Berrett-Koehler Publishers, 3rd Ed.
Kraiger, K., McLinden, D., & Casper, W. (2004). Collaborative planning for training impact. Human Resource Management, Winter, 43 (4), 337-351. Kubr, M., & Prokopenko, J. (1992). Diagnosing management training and development needs. International Labour Office. Laing, G. (2011). Empirical validation of outcomes from training programes: a case study. International Journal of Human Resource Studies, 1 (1), 111-118. Lingham, T., Richley, B., & Rezania, D. (2006). An evaluation system for training programs: a case study using a four- phase approach. Career Development International, 11(4), 334-351. Philips, J., & Stone, R. (2002). How to measure training results. USA: McGraw-Hill. Salas, E., & Cannon-Bowers, J. (2001). The science of training: A Decade of Progress. Annual Review of Psychology, 52, 471 99.