Avaliação de treinamento em uma Agência Reguladora: aprendizagem, reação e impacto

Transcrição

1 Universidade de Brasília - UnB Instituto de Psicologia - IP Avaliação de treinamento em uma Agência Reguladora: aprendizagem, reação e impacto Mestranda: Maria Cecília dos Santos Queiroz de Araujo Orientadora: Gardênia da Silva Abbad PSTO/IP/UnB 14/12/2015

2 Estrutura da apresentação 2/38 Introdução Referencial Teórico e Revisão da literatura Objetivos e hipóteses Estudo 1 Método Estudo 2 Resultados Discussão Considerações finais

3 Introdução 3/38 Aprendizagem Treinamento, Desenvolvimento e Educação (TD&E) Avaliação de TD&E

4 Introdução 4/38 Avaliação de TD&E: fornecer informações sistemáticas sobre lacunas na aprendizagem dos indivíduos e no desempenho dos instrutores identificar falhas no planejamento verificar aplicabilidade e utilidade Informar sobre o impacto no trabalho

5 Introdução 5/38 Objetivo geral Avaliar aprendizagem, reação e impacto de três treinamentos no nível individual, buscando relações de causalidade e correlações entre variáveis

6 Introdução 6/38 Justificativa: agenda de pesquisa do campo: delineamento quaseexperimental, estudo longitudinal, múltiplas fontes investigação da variável experiência prévia avaliação do retorno dos investimentos contribuição prática para a organização estudada

7 Referencial Teórico 7/38 Teoria de aprendizagem: cognitivista Mudança duradoura do comportamento: interação com contexto resulta em processos mentais ou aquisição de CHAs Taxonomia de aprendizagem: Anderson et al. (2001) Nível de complexidade do processo cognitivo, tipos de conhecimento, objetivos instrucionais Teoria instrucional: Gagné e Medsker (1985) Influência dos eventos externos de instrução na aprendizagem

8 Referencial Teórico 8/38 Modelo de avaliação: IMPACT (variáveis de resultado e de contexto) Fonte: Abbad, 2014

9 Revisão da literatura 9/ a estudos brasileiros e 40 estudos estrangeiros nível de avaliação (reação, aprendizagem e impacto), natureza da pesquisa, desenho da pesquisa, temporalidade, campo de pesquisa, variáveis preditoras, instrumentos de coleta dos dados, procedimentos de análise dos dados, principais resultados e agenda de pesquisa.

10 Revisão da literatura 10/38 Brasileira Avaliação de impacto Reação e impacto Estudos quantitativos: correlacionais Questionários Testes paramétricos Órgãos públicos Estrangeira Avaliação de impacto Reação e aprendizagem Estudos quantitativos: equilíbrio Questionários Testes paramétricos Campo de pesquisa mais diversificado

11 Objetivos e hipóteses 11/38 Estudo 1: caracterizar o treinamento e avaliar a aprendizagem H1: Não haverá diferenças nos resultados obtidos pelo grupo experimental (treinado) e controle (não treinado) no préteste. H2: O grupo experimental obterá melhores resultados no pósteste 1 do que o grupo controle. H3: O grupo experimental obterá melhores notas no pósteste 2 do que o grupo controle. H4: O grupo experimental terá melhores notas no pós-teste 1 do que no pré-teste.

12 Objetivos e hipóteses 12/38 Estudo 1: caracterizar o treinamento e avaliar a aprendizagem H5: O grupo experimental terá melhores notas no pós-teste 2 do que no pós-teste 1. H6: Não haverá diferenças nos resultados obtidos pelo grupo controle no pré-teste e no pós-teste 1. H7: Não haverá diferenças nos resultados obtidos pelo grupo controle no pós-teste 1 e no pós-teste 2. H8: Não haverá diferenças nos testes do grupo experimental em função da experiência prévia e os dados demográficos.

13 Objetivos e hipóteses 13/38 Estudo 2: avaliar a reação e o impacto de treinamentos no nível do indivíduo, analisando variáveis preditoras e o relacionamento entre elas H9: Se houver reação favorável, haverá aprendizagem. H10: Se houver reação favorável, haverá impacto do treinamento no trabalho elevado. H11: Se houver aprendizagem, haverá impacto do treinamento no trabalho elevado. H12: Se houver elevado suporte psicossocial e material, haverá impacto do treinamento no trabalho elevado.

14 Objetivos e hipóteses 14/38 Estudo 2: avaliar a reação e o impacto de treinamentos no nível do indivíduo, analisando variáveis preditoras e o relacionamento entre elas H13: O impacto do treinamento no trabalho não irá variar em função da experiência prévia e dados demográficos. H14: Não haverá diferença de opinião entre participantes e chefias nas avaliações de suporte psicossocial, suporte material e impacto do treinamento no trabalho.

15 Método comum 15/38 Contexto da pesquisa: Agência Nacional de Vigilância Sanitária Treinamentos avaliados Nome do Treinamento Indicadores na Saúde Redação de Normas Oficina de Metas e Indicadores Objetivos Formulação, monitoramento e avaliação da situação de saúde e do trabalho em vigilância sanitária, por meio do uso de indicadores. Elaborar textos normativos, com o emprego das formalidades exigidas para redação de normas, observando os princípios da clareza, coerência e boa fundamentação. Elaborar proposta de metas e indicadores individuais de desempenho. Carga Horária Número de Turmas 20h 2 20h 3 8h 2 Número de Participantes

16 Estudo 1 - Método 16/38 Desenho de pesquisa: misto Qualitativo: caracterizar o treinamento, por meio de análise documental (roteiro de análise do material didático) Quantitativo: quase-experimento

17 Estudo 1 - Método 17/38 Objetivo Participantes Instrumentos Momento da realização Avaliação de aprendizagem Grupo Experimental e Grupo Controle Grupo Experimental e Grupo Controle Grupo Experimental e Grupo Controle Teste situacional 1 Teste situacional 2 Teste situacional 3 Antes do início do treinamento Ao final do treinamento 3 meses após o término do treinamento Procedimentos de coleta Aplicação do préteste Aplicação do pósteste 1 Aplicação do pósteste 2 Procedimentos de análise Médias, Desvios-Padrão, Mínimos e Máximos, Mann- Whitney, Kruskal Wallis, Anova de Friedman, Ancova com bootstrap

18 Estudo 1 - Método 18/38 Participantes: 238 Experimental: 150; Controle: 80 Sexo feminino: 67,8% Idade média: 34,94 (DP = 7,06) Especialização: 34,8%; Nível superior: 26,5% Farmácia: 34,3%; Administração: 10% Tempo médio de atuação: 62,99 meses (DP = 52,8) Experiência prévia do grupo experimental: 71%

19 Estudo 1 - Resultados 19/38 Análise documental objetivos descritos em termos de desempenhos observáveis estratégias educacionais adequadas sequência de ensino e conteúdos apropriados exercícios e exemplos aderentes à realidade

20 Estudo 1 - Resultados 20/38 Quase-experimento Hipótese Teste Resultado H1 Não haverá diferenças nos resultados obtidos pelo grupo experimental (treinado) e controle (não treinado) no pré-teste. H2 O grupo experimental obterá melhores resultados no pós-teste 1 do que o grupo controle. H3 O grupo experimental obterá melhores notas no pós-teste 2 do que o grupo controle. H4 O grupo experimental terá melhores notas no pós-teste 1 do que no pré-teste. H5 O grupo experimental terá melhores notas no pós-teste 2 do que no pós-teste 1. U = 3,43, p > 0,05 U = 2,156, p < 0,05 U = 77,5, p > 0,05 2(1) = 22,26, p < 0,05 2(1) = 1,80, p > 0,05 Confirmada Confirmada Não confirmada Confirmada Não confirmada

21 Estudo 1 - Resultados 21/38 Hipótese Teste Resultado H6 Não haverá diferenças nos resultados obtidos pelo grupo controle no pré-teste e no pós-teste 1. H7 Não haverá diferenças nos resultados obtidos pelo grupo controle no pós-teste 1 e no pós-teste 2. H8 Não haverá diferenças nos testes do grupo experimental em função da experiência prévia e os dados demográficos. 2(1) = 1,29, p > 0,05 2(1) = 1,60, p > 0,05 Cargo: Pré: H(4) = 14,86, p < 0,05 Pós 1: H(3) = 14,34, p < 0,05 Demais: p > 0,05 Confirmada Confirmada Parcialmente confirmada

22 Estudo 2 - Método 22/38 Desenho de pesquisa: misto Quantitativo: survey (correlacional) Qualitativo: análise de conteúdo das falas das entrevistas e grupos focais

23 Estudo 2 - Método 23/38 Survey Objetivo Participantes Instrumentos Momento da realização Avaliação Participantes Escala de Reação Ao final do de reação do ao Curso (ERC) e a treinamento treinamento Escala de Reação ao Desempenho do Instrutor (ERDI). Procedimentos de coleta Aplicação da ERC e da ERDI Procedimentos de análise Médias, Desvios- Padrão, Mínimos, Máximos, Percentuais

24 Estudo 2 - Método 24/38 Survey (cont.) Objetivo Participantes Instrumentos Momento da realização Avaliação de suporte psicossocial e material Participantes do treinamento Chefias dos participantes do treinamento Escalas de suporte à transferência de treinamento (EST) - avaliação pelos egressos EST - avaliação pelas chefias 3 meses após o término do treinamento Procedimentos de coleta Aplicação das EST Procedimentos de análise Médias, Desvios-Padrão, Mínimos, Máximos, Percentuais, Mann-Whitney

25 Estudo 2 - Método 25/38 Survey (cont.) Objetivo Participantes Instrumentos Momento da realização Participantes do treinamento Avaliação de impacto em amplitude Chefias dos participantes do treinamento Escala de autoavaliação de impacto do treinamento no trabalho Escala de heteroavaliação de impacto do treinamento no trabalho 6 meses após o término do treinamento Procedimentos de coleta Aplicação da Escala de avaliação de impacto do treinamento no trabalho Procedimentos de análise Médias, Desvios- Padrão, Mínimos, Máximos, Percentuais, Mann-Whitney, Rho de Spearman

26 Estudo 2 - Método 26/38 Participantes: 211 Egressos: 150 Chefias: 61 Egressos: Sexo feminino: 70% Idade média: 35,02 anos (DP = 7,35) Especialização: 38%; Nível superior completo: 29,3% Farmácia: 29,3%; Biologia: 8,7% Tempo de atuação médio: 64,79 meses (DP = 53,67) Experiência prévia dos participantes: 47,38%

27 Estudo 2 - Método 27/38 Chefias Sexo feminino: 65,6% Idade média: 38,88 (DP = 6,8) Especialização: 62,3%; Mestrado: 24,6%

28 Estudo 2 - Método 28/38 Etapa qualitativa Objetivo Participantes Instrumentos Momento da realização Instrutores Roteiro para Semana dos entrevista seguinte ao treinamentos semiestruturada treinamento Explorar as questões relacionadas à aprendizagem no contexto da Anvisa Participantes dos treinamentos Roteiro semiestruturado para grupo focal Semana seguinte ao treinamento Procedimentos de coleta Entrevista (5) Grupo Focal (7) Procedimentos de análise Análise de conteúdo

29 Estudo 2 - Resultados 29/38 Survey Reação ao curso e ao desempenho do instrutor: favorável Suporte psicossocial e material (participantes e chefias): positivo Impacto em amplitude (participantes e chefias): mediano

30 Estudo 2 - Resultados 30/38 Survey Hipótese Teste Resultado H9 H9: Se houver reação favorável, haverá aprendizagem. rs = 0,199%, p > 0,05 / rs = 0,245%, p > 0,05 Não confirmada H10 H10: Se houver reação favorável, haverá impacto do treinamento no trabalho elevado. rs = 0,539%, p < 0,05 / rs = 0,284% p > 0,05 Parcialmente confirmada H11 H11: Se houver aprendizagem, haverá impacto do treinamento no trabalho elevado. H12 H12: Se houver elevado suporte psicossocial e material, haverá impacto do treinamento no trabalho elevado. rs = -2,5%, p > 0,05 rs = 6,76%, p < 0,05 / rs = - 4,8%, p > 0,05 rs = - 41,5%, p > 0,05 / rs = - 2,4%%, p > 0,05 Não confirmada Parcialmente confirmada

31 Estudo 2 - Resultados 31/38 Hipótese Teste Resultado Tempo de atuação: rs = - Parcialmente 0,375%, p<0,05 confirmada Demais: p > 0,05 H13 H13: O impacto do treinamento no trabalho não irá variar em função da experiência prévia e dados demográficos. H14 H14: Não haverá diferença de opinião entre participantes e chefias nas avaliações de suporte psicossocial, suporte material e impacto do treinamento no trabalho. U = 2,00, p > 0,05 U = 12,50, p > 0,05 U = 11,50, p > 0,05 Confirmada

32 Estudo 2 - Resultados 32/38 Etapa qualitativa Entrevistas Corpus: 16 laudas, 538 linhas, 25 parágrafos 8 categorias Categoria Frequência Características dos participantes 15 Seleção dos participantes 12 Necessidades de treinamento 10 Sugestões 8 Avaliação do treinamento 7 Impacto do treinamento 7 Expectativas dos participantes 3 Condições desfavoráveis de 2 aprendizagem

33 Estudo 2 - Resultados 33/38 Etapa qualitativa Grupos focais Corpus: 27 laudas, 918 linhas, 57 parágrafos 5 categorias Categoria Frequência Estratégias de ensino e aprendizagem 54 e características dos participantes Condições desfavoráveis para 41 aprendizagem Avaliação de aprendizagem 40 Sugestões 34 Impacto do treinamento 7

34 Discussão 34/38 O treinamento foi eficaz e a aprendizagem não foi explicada por outros fatores do ambiente organizacional ou dos indivíduos Uso da Taxonomia de Anderson et al. (2001): positivo Influência da experiência prévia e dados demográficos: análises estatísticas x verbalizações Suporte: escalas x entrevistas e grupos focais Reação: escalas x grupos focais

35 Discussão 35/38 Impacto: pós-teste 2, escalas e verbalizações Facilitadores de aprendizagem: desenho instrucional e instrutores Barreiras à aprendizagem: ausência de suporte ao treinamento e experiência anterior Sugestões: Teoria Instrucional Caracterização do treinamento: análise do material didático x grupos focais Aprendizagem: testes situacionais x grupos focais

36 Considerações Finais 36/38 Contribuições: Quase-experimento, estudo longitudinal (Cromwell & Kolb, 2004; Abbad, Corrêa e Meneses, 2010; Steensma & Groeneveld, 2010; Laing & Andrews, 2011; Santos Junior, 2012; Homklin et al. 2013; Yotamo, 2014; e Zumrah, 2014). Múltiplas fontes de informação, comparação entre auto e heteroavaliação (Creswell e Clark,2013; Yotamo,2014; Abbad e Meneses, 2003) Testes situacionais Análise qualitativa Início dos estudo sobre TD&E na Agência

37 Considerações Finais 37/38 Limitações: Número de participantes, formação dos grupos Pesquisadora interna à organização Agenda de pesquisa: Ampliação da amostra Estudos quase-experimentais Pesquisas sobre estratégias de facilitação da transferência (Gaudine & Saks, 2004) Investigar as expectativas dos participantes (Tan et al., 2003) Impacto na organização (Tracey et al., 2001; Montesino, 2002; Iqbal et al., 2011)

38 Obrigada! Maria Cecília dos Santos Queiroz de Araujo