AVALIAÇÃO DA EFETIVIDADE DE AÇÕES DE TD&E: DESAFIOS METODOLÓGICOS E PRÁTICOS

Transcrição

1 AVALIAÇÃO DA EFETIVIDADE DE AÇÕES DE TD&E: DESAFIOS METODOLÓGICOS E PRÁTICOS Professora: Dra. Gardênia da Silva Abbad Programas de Pós-Graduação em Psicologia Social e do Trabalho e Administração

2 Tópicos Avaliação de treinamento: definição e objetivos Eficácia e efetividade em TD&E Níveis de avaliação Preditores e modelos de avaliação Impacto de treinamentos no trabalho Mudança e Valor final de ações de TD&E Desafios metodológicos e práticos

3 Bell Kraiger Tannenbaum Noe Ford Bell, B.S.; Tannenbaum, S.I.; Ford, K.; Noe, R.A.; Kraiger, K. (2017). 100 Years of training and development research: What we know and where we should go Journal of Applied Psychology

4 Autores brasileiros TD&E Núcleo Pronex-CNPq

5 Revisões de literatura (25)

6 Linhas de pesquisa Avaliação de necessidades de treinamento Características dos treinandos Clientelas específicas Projeto, desenho, métodos de treinamento Contextos de treinamento antes, durante e após Avaliação de treinamento Reações, Aprendizagem Transferência de Treinamento Comportamento do Cargo Impacto do Treinamento no Trabalho Mudança e Valor Final

7 Avaliar e medir: Qual é a diferença?

8 Objetivos da Avaliação 1) verificar cumprimento de objetivos, desempenhos de pessoas e instituições (Tyler, 1949), 2) julgar o mérito de ações (Hamblin, 1978; Scriven, 1991) 3) analisar processos e observar situações a partir do olhar de agentes externos (Worthen, Sanders, & Fitzpatrick, 2004) 4) reconhecer o nexo causal entre ações e eventos (McLauglin & Jordan, 2010; Oston, 2007), 5) julgar e aplicar padrões de qualidade, utilidade, eficácia e efetividade àquilo que foi avaliado (Bloom, Hastings, & Madaus, 1983; Khandker, Koolwal, & Samad, 2010; Vianna, 2000), 6) suscitar reflexão sobre ações (Hoffmann, 1991) 7) fomentar comunicação entre atores sociais diversos (Guba & Lincoln, 1989), dentre eles os stakeholders (Knowlton & Phillips, 2009; McLaughlin & Jordan, 2004; 2010). Fonte: Souza (2013)

9 AVALIAÇÃO DE TREINAMENTO: NÍVEIS Modelos Tradicionais Foco em resultados Hamblin (1978) Kirkpatrick (1976, 1977) o r g a n i z a c i o n a l Reação Aprendizagem Comportamento Mudança Valor Final I n d i v i d u a l

10 AVALIAÇÃO DE TREINAMENTO MODELOS INTEGRADOS Preditores Treinamento Critérios Reação Aprendizagem Alliger e Janak (1989) observaram após análise de 203 artigos que somente oito artigos relataram correlações entre dois ou mais níveis de avaliação. Clientela Suporte Comportamento Mudança Organizacional Tannenbaum e Yukl (1992) observaram que não há suporte empírico à suposição de relacionamento direto causal entre os níveis de avaliação. Inúmeros resultados de pesquisas nacionais e estrangeiras indicam que cada efeito é explicado por conjuntos diferentes de variáveis

11 Preditores: Características do Treinamento -taxonomias de resultados de aprendizagem e de treinamentos e abordagens de desenho instrucional -interações (6 tipos): tutor-tutor, tutor-aluno,alunoaluno,aluno-material,tutor-material,material-material ou interações com instrutor etc. - desenhos ou métodos (modelação comportamental, PBL, aprender fazendo, aprendizagem por cenários, ambientes abertos de aprendizagem, jogos, simulações realísticas, simulações de alta e baixa fidelidade) -interfaces gráficas e tipos de ambientes (manipulação, experimentação, armazenamento, interação, apoio), realidade aumentada, AI, internet das coisas, simuladores -mídias (internet, computador, videoconferência, rádio, tv, cd, dvd, mobile, papel), uso de hipertexto, hipermídia e hiperbases

12 Preditores: Suporte, Clima, Contexto, Ambiente Suporte psicossocial e Material Clima para Transferência Suporte à Aprendizagem Contínua Cultura de Aprendizagem Restrições Situacionais à Transferência (ead-tad) Suporte gerencial Clima para a transferência Relação Temporal Suporte Antes- Durante-Após o Treinamento Fonte do suporte Colegas, gerentes Organização Família, ambiente externo Foco Suporte - Restrição Tipo de Influência Distal Proximal

13 Preditores - Características da Clientela 1. Repertório de Entrada 2. Sócio- Demográficas 3. Psicossociais 4.Motivacionais 5. Cognitivocomportamentais Conhecimentos habilidades e atitudes prévias Sexo, idade, escolaridade, formação, etc. Locus de Controle Motivação para Aprender Estratégias Cognitivas Experiências anteriores Tempo de serviço, cargo, função, etc. Auto-eficácia Motivação para Transferir Estratégias Comportamentais Condição sócioeconômica Comprometimento Prazer e Sofrimento Valor Instrumental Estratégias Autoregulatórias Figura 1. Organizador avançado do capítulo 21 de TD&E em O&T.

14 AVALIAÇÃO DA EFETIVIDADE EM TD&E CONTEXTO INSUMOS PROCESSOS PRODUTOS RESULTADOS Modelos Kaufmann & Keller (1994) Warr, Bird & Rackham - CIRO (1970) Stufflebeam CIPP (2003) Phillips ROI (2007) Critérios de avaliação Enabling-Reação Aquisição Aplicação Resultados Organizacionais Resultados societais Contexto Insumos Reações Resultados Contexto Insumo Processo Produto Reação, Aprendizagem Aprendizagem aplicada no trabalho, Resultados de negócio Retorno de investimento Adaptado: Passmore e Velez (2015)

15 Modelos de avaliação: relações entre componentes Contexto Problema Demanda Insumo Processo Produto Resultado Impacto Necessidade de Treinamento Instrutores Orçamento previsto Desenhistas instrucionais Recursos Atividades de treinamento Profissionais treinados Reações Aprendizagem Transferência para o trabalho Melhoria do desempenho

16 Representação da Associação do Modelo Lógico com Modelo IMPACT Abbad CNPq Necessidades Recursos Insumos Atividades Processos Produtos Resultados imediatos Resultados de médio-longo prazos

17 Desafios Descrever e compreender as ligações entre os elementos que compõem o sistema de treinamento Necessidade insumos/recursos-atividades produtos/resultados imediatos/resultados tardios É possível realizar esse tipo de análise nas organizações? Identificar variáveis externas ao treinamento que afetam seus resultados Explicações alternativas Externalidades - Escolher fontes (humanas/documentais) e medidas confiáveis - Construir ou adaptar instrumentos e procedimentos de avaliação existentes (com evidências de validade) Resposta: Sim

18 Treinamento, resultados e explicações alternativas ou externalidades Outras influências Treinamento Outras influências Aprendizagem Outras influências Retenção, Generalização Outras influências Transferência Outras influências Impacto em amplitude Outras influências Mudança na organização Mensuração Indivíduo participante do treinamento Valor final

19 Caso Stella Cristina Pereira (2009)

20 Caso - Pereira (2009)

21 Caso - Modelo Lógico Bolo de Noiva Souza (2013) INGRESSANTES Perfis EM FORMAÇÃO S1 S2 S3 S4 S5 Residência Social Conjunto Mínimo de Competências EGRESSOS T 1 T 2 T Curto Prazo - Satisfação com o curso - Aprendizagem dos conteúdos (S1 A S5) -Motivação para aplicação dos conteúdos aprendidos 2. Médio Prazo -Expressão de novas competências no trabalho (desempenhos individuais) -Sistematização de práticas de desenvolvimento e Gestão Social A -Potencialização dos espaços de aprendizagem e engajamento b --Difusão social dos conhecimentos produzidos -Elaboração e gestão de projetos de intervenção e mudança em contextos sócio-territoriais de diferentes escalas de poder -Elaboração de Diagnósticos. - Implementação das ações previstas nos projetos de intervenção - Eficácia dos Diagnósticos Dissertação - Projeto 3. Longo Prazo (Sociedade) -Impacto no desenvolvimento social das instituições atendidas -Impacto do programa na rede solidária 4. Longo Prazo (Organizações) 5. Longo Prazo (ONGs e OSCIPs) 6. Longo Prazo Parcerias Público- Privadas)

22 TRANSFERÊNCIA DE TREINAMENTO E IMPACTO DO TREINAMENTO NO TRABALHO EM PROFUNDIDADE Capítulo 24 TD&E 2006 Capítulo 8 Medidas de avaliação

23 Treinamento, resultados e explicações alternativas ou externalidades Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola p.129

24 Impacto no Trabalho e Transferência de Treinamento Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades e/ou atitudes aprendidos por meio de treinamentos.

25 O que medir? Resultados no nível do indivíduo Afetivos (atitudes frente a pessoas, objetos, aspectos do trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental) Cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade) Psicomotores (velocidade, fluidez) Efeitos instrumentais extrínsecos (aumento, promoção e novos trabalhos) Efeitos instrumentais relacionais (networking, relações de colaboração, capacitação de outras pessoas) Efeitos instrumentais não relacionados ao trabalho (mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida).

26 Etapas construção de medidas Zerbini, Coelho Jr., Abbad, Mourão, Profa. Alvim, Dra. Loiola Gardênia da Silva p.131 Abbad

27 Como medir impacto no trabalho individual? Questionários impressos e online Auto (treinandos) e hetero (supervisores, colegas ou clientes) Combinação seria o ideal. Validade e alta precisão confirmadas seguidamente. Validar os resultados dessas avaliações baseadas em julgamentos humanos com resultados de desempenho (indicadores objetivos). Estudos permitiram avanços importantes nesse nível de avaliação.

28 Como medir impacto no trabalho? As medidas de transferência (impacto em profundidade) são específicas para cada treinamento ou programa Resultados objetivos de desempenho do egresso (antes, durante e após) Itens construídos a partir de objetivos instrucionais contidos na documentação do treinamento e/ou extraídos de relatos de instrutores, desenhistas instrucionais, estudantes. Medidas de desempenho individual disponíveis na organização (nem sempre válidas e confiáveis) As medidas impacto em amplitude são mais gerais: itens gerais e aplicáveis a quaisquer tipos de treinamentos que objetivam efeitos no desempenho profissional do egresso no trabalho (Abbad, 1999); itens que espelham objetivos gerais de programas educacionais ou de capacitação (Carvalho (2003), Pereira (2009), Neto (2009); itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003). Resultados objetivos do trabalho.

29 IMPACTO DO TREINAMENTO NO TRABALHO MEDIDA EM AMPLITUDE Livro: Medidas de Avaliação em TD&E Capítulo 9 páginas Gardênia da Silva Abbad Ronaldo Pilati Jairo Borges-Andrade Lucia Henriques Sallorenzo

30 Treinamento, resultados e explicações alternativas ou externalidades Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998)

31 O que é impacto em amplitude? Impacto em amplitude é o efeito da transferência de treinamento sobre o desempenho do egresso. Difere do impacto em profundidade em termos da abrangência e da natureza do relacionamento que mantém com o desempenho do egresso no pós-treinamento.

32 Questionário de Autoavaliação de Impacto em Amplitude Escala de Concordância: 1 - discordo Totalmente e 5 - concordo totalmente Construído em 1999 por Abbad, validado em diversas Profa. organizações. Dra. Gardênia Estrutura da Silva Abbad empírica confirmada em 2004 por Pilati e Abbad., 2005

33 Exemplos de itens impacto em amplitude - curso para empreendedores Renata Carvalho (2003)

34 O que mais medir e avaliar?..?!!

35 O que mais medir e avaliar? Externalidades - Suporte Variáveis interferentes preditivas de resultados: Suporte ao treinamento Suporte externo e interno à transferência de treinamento

36 Impacto e Desempenho rrr Fontes: Abbad (1999) e Abbad; Borges Andrade (2004, 2014)

37 Suporte PSICOSSOCIAL à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1). Abbad, 1999 Abbad e Sallorenzo, 2001

38 Suporte Material Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho Abbad e cols (2012). P

39 Suporte Interno Exemplos de itens de Gestão e carga de trabalho Quantidade de atribuições e serviços a serem realizados no dia-a-dia de trabalho. Quantidade de funcionários na unidade para atender a outras demandas de trabalho. Quantidade de metas a serem cumpridas além das metas relativas ao DRS. Distribuição de atividades entre os funcionários. Disponibilidade de tempo para aplicar, no trabalho, o que aprendi no curso DRS. Grau de prioridade dada às atividades de DRS em relação às outras atividades de trabalho. Prazos para realização das etapas da metodologia DRS. Número de funcionários treinados na Agência que atuam com DRS. Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira 2009 PSTO

40 Suporte Externo Exemplos de itens de Suporte Externo à Organização Engajamento da comunidade e dos líderes comunitários em discussões e na busca de soluções para o desenvolvimento regional sustentável. Interesse da comunidade e dos líderes comunitários pelo sucesso da implementação do plano de negócios DRS. Apoio de parceiros (órgãos públicos e privados) de acordo com suas competências, para o planejamento e a realização das ações de DRS. Nível de concertação dos membros da equipe DRS. Potencial econômico do meu Município ou região para implementar a estratégia DRS (atividades produtivas, fatores climáticos, mão-de-obra, desenvolvimento, etc). Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira 2009 PSTO

41 MEDIDAS DE IMPACTO DE TD&E: O NÍVEL DA MUDANÇA ORGANIZACIONAL Isa Aparecida de Freitas Luciana Mourão Capítulo 10

42 Treinamento, resultados e explicações alternativas ou externalidades Outras influências Treinamento Outras influências Aprendizagem Outras influências Retenção, Generalização Outras influências Transferência Outras influências Impacto em amplitude Outras influências Mudança na organização Valor final

43 AVALIAÇÃO DE TREINAMENTO: MUDANÇA E VALOR FINAL Mudança refere-se aos efeitos produzidos por eventos educacionais nos processos de trabalho dos grupos e da organização. Podem ser mensurados por meio de indicadores de resultados e/ou de mudanças no desempenho e atitudes de grupos. Valor Final refere-se aos efeitos globais do treinamento sobre indicadores organizacionais de resultados e produtividade. Freitas e Mourão (2012), capítulo 10, p Mourão e Meneses (2012), capítulo 11,

44 O que medir? O que não medir? Mudanças que a ação de TD&E possa ter provocado na organização. O foco deve ser no comportamento da organização ou de suas unidades. Efeitos de médio e longo-prazos.

45 Impacto no Nível de Mudança e Valor Final Mudança refere-se aos efeitos produzidos por eventos educacionais nos processos de trabalho dos grupos e da organização. Podem ser mensurados por meio de indicadores de resultados e/ou de mudanças no desempenho e atitudes de grupos. Valor Final refere-se aos efeitos globais do treinamento sobre indicadores organizacionais de produtividade e/ou retorno social.

46 No nível da equipe: O que medir? Resultados Longo Prazo afetivos (coesão, satisfação, autoeficácia, ambiguidade de papéis e orientação para tarefa) cognitivos (conhecimento possuído e representado) de desempenho (comunicação interna, tomada de decisão, solução de conflitos, níveis de participação) instrumentais intrínsecos (responsabilidades e variedade de trabalho recebido) instrumentais extrínsecos (bônus) instrumentais de qualificação (certificações formais) No nível da organização relativos a metas de produtos (quantidade, qualidade, variedade) relativos a metas do sistema (crescimento, lucro, retorno de investimentos) aquisição de recursos (novos clientes, compra de outras organizações) constituintes (satisfação de consumidores e acionistas, imagem) de processos internos (novas tecnologias, clima, absenteísmo, rotatividade, taxas de acidentes) mudança organizacional

47

48 Com o que medir? Quais indicadores de efeitos no comportamento da organização devem ser utilizados? Indicadores de melhoria nos processos organizacionais: agilidade na utilização de novas tecnologias, análise de mercado mais eficiente, clima organizacional favorável, tempestividade na criação de novos produtos. Indicadores de resultados (medidas objetivas) aumento de clientes, melhoria na satisfação do cliente, redução do número de horas na fila, número de novos produtos lançados Obs: O mesmo processo de avaliação pode contemplar os dois tipos de indicadores

49 Como medir? Analisando documentos Observando e analisando resultados (redução de custos, melhoria de processos de trabalho, diminuição do retrabalho) Perguntando (questionários, entrevistas)

50 Desafios e Recomendações As mudanças de comportamento da organização a serem verificadas deveriam ser derivadas dos desempenhos esperados do conjunto dos indivíduos treinados, que, por sua vez, deveriam ser deduzidos dos objetivos dos eventos. O ideal seria encontrar em qualquer planejamento de TD&E os objetivos esperados para cada um desses níveis (comportamento no cargo, organização e valor final). O planejamento instrucional poderia definir prioritariamente até que nível se espera a contribuição do evento e então, explicitá-los em cada um desses níveis possíveis. A lógica de planejamento poderia ser a de formular os objetivos do nível de valor final e deles derivar os objetivos do nível da organização, e assim por diante, até os objetivos do nível do indivíduo.

51 Quais eventos avaliar? Critérios mais importantes: vinculação estratégica do treinamento quantidade de pessoas treinadas e processos de trabalho abrangidos. Escolher treinamentos ou programas que objetivam produzir impactos em diversas unidades da organização, que envolvem muitas pessoas e processos de trabalho. Escolher processos de trabalho bem descritos e com indicadores de resultados em série histórica. Escolher indicadores sensíveis aos efeitos do treinamento disponíveis na organização. Observação: Poucas organizações investem nesse tipo de avaliação.

52 Fontes de informação e tempo necessário para avaliar efeitos de treinamento O prazo para avaliar o impacto de TD&E na organização depende: Humanas: participantes do evento, seus superiores imediatos, colegas, gestores de unidades, clientes etc. Documentais: dados secundários existentes na organização. da natureza do evento, das competências treinadas; do porte da organização do tipo de mudanças organizacionais esperadas. Geralmente é necessário mais tempo para capturar efeitos no nível da organização do que no nível dos indivíduos treinados. O primeiro efeito é na atuação da pessoa treinada, geralmente depois em seu grupo ou unidade e aí se propaga para toda a organização. Discutir com stakeholders para definir tempo necessário ao surgimento dos efeitos e externalidades

53 Como medir impacto nos níveis de mudança organizacional? Questões equivalentes às do nível anterior: - indicadores objetivos de desempenho organizacional Foco no comportamento da organização, processos, equipes ou de suas unidades Mudanças (deduzidas dos objetivos) a serem detectadas na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D São altos os custos associados à construção de indicadores Falta de definição prévia dos níveis de resultados esperados das ações educacionais.

54 Obrigada! Profa. Gardênia da Silva Abbad Departamento de Psicologia Social e do Trabalho - Instituto de Psicologia - Universidade de Brasília - Pesquisadora 1 C - CNPq Programas de Pós-graduação: IP - PSTO e FACE PPGA Curriculum Lattes disponível no site: hl=pt-br&oi=pll