XXIII ENANGRAD. Ensino, Pesquisa e Capacitação Docente em Administração (EPD) AVALIAÇÃO DA APRENDIZAGEM EM SIMULADORES DE NEGÓCIOS

Transcrição

1 XXIII ENANGRAD Ensino, Pesquisa e Capacitação Docente em Administração (EPD) AVALIAÇÃO DA APRENDIZAGEM EM SIMULADORES DE NEGÓCIOS Gabriel Vianna Schlatter Bento Gonçalves, 2012

2 ENSINO, PESQUISA E CAPACITAÇÃO DOCENTE EM ADMINISTRAÇÃO - EPD TÍTULO DO TRABALHO: AVALIAÇÃO DA APRENDIZAGEM EM SIMULADORES DE NEGÓCIOS

3 TÍTULO DO TRABALHO: AVALIAÇÃO DA APRENDIZAGEM EM SIMULADORES DE NEGÓCIOS RESUMO: NESTE ARTIGO SE PROCURA APRESENTAR AS TÉCNICAS DE AVALIAÇÃO ATUALMENTE ADOTADAS QUANDO DO USO DE SIMULADORES GERENCIAIS. IDENTIFICAM- SE OS OBJETIVOS DE ENSINO QUE VEM SENDO DESIGNADOS PARA ESSA FERRAMENTA, DELINEANDO O ESCOPO DO PROCESSO DE AVALIAÇÃO. ANTES DE APRESENTAR AS MEDIDAS IDENTIFICADAS, FOI FEITA UMA ANÁLISE DO PROCESSO DE AVALIAÇÃO SOB O PONTO DE VISTA DO PORQUÊ DE SE AVALIAR E DO QUÊ AVALIAR, REFLETINDO SOBRE POTENCIAIS DIFICULDADES E VIESES QUE UMA ABORDAGEM BASEADA EM DESEMPENHO PODE TER NA AVALIAÇÃO DA APRENDIZAGEM. NA SEQUÊNCIA, SÃO APRESENTADAS AS MEDIDAS UTILIZADAS NO PROCESSO DE AVALIAÇÃO E SE COMPARAM AS MEDIDAS DE DESEMPENHO DE GRUPO COM AS POSSÍVEIS MEDIDAS DE DESEMPENHO INDIVIDUAL. POR FIM, SE PROPÕE UMA FORMA DE ORGANIZAR AS MEDIDAS ENCONTRADAS, BASEANDO-SE NOS MODELOS ESTUDADOS. ABSTRACT: THIS PAPER PRESENT THE EVALUATION TECHNIQUES CURRENTLY ADOPTED WHEN USING MANAGEMENT SIMULATIONS. WE IDENTIFY LEARNING OBJECTIVES THAT HAVE BEEN ASSIGNED TO THIS TOOL, OUTLINING THE SCOPE OF THE EVALUATION PROCESS. BEFORE PRESENTING THE MEASURES IDENTIFIED, AN ANALYSIS OF THE EVALUATION PROCESS FROM THE POINT OF VIEW OF WHY TO EVALUATE AND WHAT TO ASSESS IS DONE, REFLECTING ON THE DIFFICULTIES AND POTENTIAL BIASES THAT A PERFORMANCE-BASED APPROACH MAY HAVE ON LEARNING ASSESSMENT. WE PRESENT THE MEASURES USED IN THE EVALUATION PROCESS AND COMPARE THE MEASURES OF GROUP PERFORMANCE WITH THE POSSIBLE MEASURES OF INDIVIDUAL PERFORMANCE. FINALLY, WE PROPOSE A WAY TO ORGANIZE THE MEASUREMENTS OBTAINED, BASED ON THE MODELS STUDIED. PALAVRAS-CHAVES: SIMULADORES DE NEGÓCIOS; AVALIAÇÃO DA APRENDIZAGEM; APRENDIZAGEM EM GRUPOS. KEYWORDS: BUSINESS SIMULATIONS; EVALUATION OF LEARNING, LEARNING IN GROUPS.

4 AVALIAÇÃO DA APRENDIZAGEM EM SIMULADORES DE NEGÓCIOS 1. INTRODUÇÃO O uso de simuladores de negócios como apoio ao ensino e prática de conceitos de gestão e planejamento tem crescido significativamente nos últimos anos (Faria, 2008). Segundo pesquisa de Faria (2008), 97,5% das universidades americanas com cursos de administração já utilizavam algum tipo de simulação em Bernard (2007) mostra que essa tendência também está sendo acompanhada pelas faculdades de administração e contabilidade do Brasil. Nesse contexto, práticas docentes de uso desses simuladores tem sido cada vez mais discutidas, incluindo-se aspectos didático-pedagógicos, arquiteturas e abordagens que melhor explorem os seus benefícios. Em particular, é objeto desse artigo analisar um componente da relação ensino-aprendizagem que é a avaliação, restrito ao ambiente acadêmico de uso dos simuladores. Para que fique claro o escopo desta análise, convém definir o que são simuladores gerenciais. Para isso, adotaremos a definição de simuladores proposta por Tang (2007): Simuladores são sistemas de software que envolvem simulação de experiências da vida real, destinadas ao desenvolvimento de habilidades onde os desafios apresentados reproduzem fielmente um cenário do mundo real. (Tang, 2007, p. 6). Além disso, queremos nos restringir ao uso de simuladores do tipo gerencial e, em função disso, limitaremos o conceito mais amplo de Tang (2007) para aquele proposto por Bernard (2006a): Método de capacitação gerencial em que os participantes competem entre si através de empresas simuladas, tomando decisões que, processadas por um simulador, geram relatórios gerenciais para que um novo ciclo de análise e tomada de decisões seja realizado (Bernard, 2006a, p. 85). Assim sendo, o objetivo do artigo é identificar as possíveis formas de se avaliar o desenvolvimento de um aluno ao participar de uma simulação gerencial, procurando compreender as vantagens e desvantagens de cada forma. Como síntese, se propõe um conjunto equilibrado de medidas que permitam auxiliar o professor na avaliação do aprendizado obtido por seus alunos, usuários da simulação. 2. O QUÊ OS SIMULADORES SE PROPÕEM A ENSINAR É fundamental que possamos definir os objetivos de aprendizagem a que os simuladores gerenciais se propõem de modo a direcionarmos o objeto da avaliação. Avaliar se os simuladores ensinam boas práticas de gestão seria uma abordagem muito ampla e pouco relacionada ao direcionamento definido no desenvolvimento de uma simulação. Convém, portanto, uma análise prévia que permita definir claramente que competências cada simulação pretende desenvolver. Bernard (2006a), por exemplo, propõe que uma ferramenta de simulação gerencial tem por objetivo, no caso acadêmico, a capacitação gerencial através de revisão e assimilação de conceitos aprendidos em disciplinas anteriores. Cadotte (1995), apesar de também embasar o conhecimento necessário à realização da simulação em disciplinas prévias, explicita os objetivos da mesma, definindo-os como o da prática de importantes habilidades, incluindo o pensamento e o planejamento estratégico, a estratégia gerencial, a liderança, o trabalho em equipe, além de habilidades interpessoais. Sobre conteúdos e conceitos, cita como trabalhados nas simulações os de orçamentação, gestão do fluxo de caixa, compreensão e entrega de valor ao consumidor. Esses conteúdos estão alinhados com os propostos por Bernard (2006a), o qual lista, além do planejamento estratégico, outros como estruturas de custos para formação de preço, análises contábeis e financeiras, marketing, recursos humanos e economia. Uma pesquisa realizada por Faria (2008) apontou que, no caso em particular das simulações de mercado, os usos típicos se dão em disciplinas de gestão de marketing, marketing estratégico e princípios de marketing. Um programa de treinamento baseado em simulação é uma experiência vivencial que procura reproduzir a realidade gerencial (Dumblekar, 2004), tendo sido comprovada sua efetividade em desenvolver, principalmente, cinco fatores: estratégia, mercado, liderança, competência gerencial e foco de atuação. Na opinião dos próprios usuários de simulações, pesquisas (Johnsson, 2006) indicaram que os aprendizados mais citados foram materializados da seguinte forma: a geração de estratégias competitivas para o alcance de metas; a compreensão das dinâmicas dos mercados; o desenvolvimento de uma visão de liderança; o desenvolvimento de habilidades de tomada de decisão, a identificação de ameaças e solução de problemas e; a gestão de recursos com foco e

5 melhoria de performance da empresa. Johnsson (2006) destaca na sua pesquisa alguns aspectos trabalhados, elencando o processo de tomada de decisão sob pressão e em equipe, a visão sistêmica do negócio ligada aos aspectos estratégicos e a análise e compreensão do mercado, principalmente na gestão dos quatro "pês", sendo a gestão de preço o "pê" mais citado. Como benefícios diretos esperados de uma simulação de mercado, já comprovados por diversos estudos, Faria (2008) cita os seguintes: desenvolve habilidades analíticas, empreendedoras, administrativas, de negociação, de planejamento, de comunicação e de liderança. Além disso, ensina sobre modelamento matemático, pesquisa e análise de dados, conceitos financeiros, previsões econômicas, além de exercitar conceitos da área de relacionamento, tais como habilidades interpessoais e ética. Assim sendo, Chin (2009) coloca que, dados todos esses benefícios, o que os educadores acabam querendo verificar ao final da experiência vivencial da simulação se traduz em duas questões fundamentais: 1) Os participantes aprenderam o modelo de mundo real que a simulação se propôs a ensinar? 2) O modelo do mundo real é verossímil? Embora essa segunda questão não faça parte do escopo desse artigo, a proximidade do modelo com o mundo real impacta diretamente sobre a percepção de utilidade da vivência (simulação) por parte dos treinandos (Chin, 2009). 3. O PROCESSO DE AVALIAÇÃO Um dos maiores especialistas no uso e aplicação de simulações é, atualmente, Clark Aldrich. Em seu livro "Simulations and the future of learning", Aldrich (2004) faz uma instigante reflexão, relatando debates entre colegas, sobre se devemos ou não avaliar os participantes de uma simulação. Além disso, caso devamos, é necessário refletir sobre como e por que fazê-lo. Naturalmente, ele compreende as exigências do contexto acadêmico no qual um estudante, por norma, deve ter um conceito associado ao seu desempenho em uma disciplina. Mas a grande reflexão é, justamente, sobre como os educadores têm utilizado o processo de atribuição de notas aos estudantes. Uma das propostas é a de que a nota possa ser uma espécie de diagnóstico resultante da análise da participação do aluno na simulação. Mesmo assim, ele questiona se essa nota não deveria ser algo do tipo aprovado ou reprovado, apenas para verificar se os alunos atingiram ou não um certo grau de competência. Não satisfeito com isso, ele pergunta: "e o que fazer com os alunos que já chegam na simulação acima desse nível de competência?" (Aldrich, 2004). A dúvida crucial levantada por Aldrich (2004) é a que surge diante da seguinte reflexão: "As notas devem indicar níveis absolutos de realização ou avaliar a melhoria?". Em outras palavras, devemos dar notas altas para alunos que apresentaram elevadas competências gerenciais ao final de uma simulação independente do ponto de partida ou devemos "premiar" aqueles que obtiveram o maior desenvolvimento de suas competências. Note-se que são abordagens que instigam atitudes diferentes nos participantes de uma simulação, pois as notas não serão, necessariamente, as mesmas nos dois casos. O que se tem visto é que, em uma simulação, os participantes precisam tomar decisões e desejam um retorno sobre sua adequação. O feedback construtivo faz parte do processo de modelagem e a atribuição de notas, quer seja ao longo do processo ou ao final do mesmo, dá ao participante um referencial de validade para os modelos construídos. Chin (2009) tece um importante alerta para os educadores: "não devemos confundir nota com avaliação!". As notas estão focadas na instituição, em padrões acadêmicos, enquanto que a avaliação se foca no processo de aprendizagem na perspectiva do estudante. Em complemento, ele diz não acreditar que nota seja um substituto adequado para avaliação de aprendizagem, mas sim apenas um resultado desse processo de feedback ao aluno. 4. MEDIDAS A SEREM UTILIZADAS NO PROCESSO DE AVALIAÇÃO A grande maioria das referências consultadas aponta que os processos de avaliação não se limitam a escolher uma ou outra métrica, mas sim de desenhar o conjunto de medidas que melhor corresponde aos objetivos da simulação. Assim sendo, nesse ponto procuramos agrupar os tipos de medidas utilizadas nos diferentes instrumentos de avaliação citados. Por instrumentos de avaliação nos referimos aos métodos de coleta de dados, os quais, de acordo com Chin (2009) em geral se caracterizam por exames ou testes de performance, de aprendizado, auto-percepções de aprendizado ou estudos atitudinais. Estes poderão ser realizados através de testes, relatórios, planos, apresentações, debates, entrevistas e muitos outros, sendo que cada uma dessas formas será mencionada, dependendo do tipo de medida que se esteja estudando. 4.1 Medidas de reação ou auto-percepção

6 Vários dos autores consultados relatam que as medidas de reação ou de auto-percepção são as mais adequadas para se tentar validar o desenvolvimento de habilidades interpessoais ou de maior complexidade, as quais são de difícil avaliação objetiva. Kenworthy (2005), por exemplo, enquadra quase todas as medidas de avaliação de treinamentos com simulação na categoria de auto-percepção, limitando a apenas quatro o número de medidas objetivas. Os resultados de aprendizagem oriundos de uma simulação que Kenworthy avalia através de medidas de autopercepção são consolidados em quatro aspectos: Habilidades interpessoais; Habilidades analíticas em geral Inter-relacionamento entre fatores e; Habilidades e conhecimentos específicos de negócios. Como se pode notar, há uma enorme quantidade de resultados esperados em uma simulação cuja avaliação é realizada, predominantemente, através de medidas de auto-percepção. Da lista de Kenworthy (2005), o único item que o autor sugere que seja avaliado exclusivamente com indicadores objetivos é o de habilidade de previsão. Salas (2009), por sua vez, afirma que os questionários de auto-avaliação são o método mais popular para se tentar avaliar os ganhos cognitivos e afetivos em simulações, principalmente no nível de time. O autor propõe que se classifiquem os resultados das análises individuais em três grupos de características: globais, compartilhadas e configurais. As características globais existem apenas no nível grupal (tamanho e estrutura do grupo), as compartilhadas são comuns a todos os membros do grupo (eficácia coletiva, confiança) e as configurais são compostos de diferentes tipos de propriedades individuais (parcerias). 4.2 Medidas de desempenho O uso de indicadores de desempenho para avaliar o aprendizado em simulações tem sido amplamente discutido nas pesquisas sobre o tema. Por um lado, muitos pesquisadores colocam que o desempenho em uma simulação não está necessariamente associado ao aprendizado, muito embora reconheçam que isso frequentemente ocorre. Por outro, existem achados que comprovam que, em alguns aspectos, aprendizagem e desempenho estão intimamente ligados. Anderson (2002), por exemplo, cita que testes revelaram uma significativa correlação entre as notas finais de um curso de marketing básico e o desempenho em um simulador de mercado. Quanto maior foi a quantidade de conceitos de marketing utilizados durante a gestão da companhia simulada, tanto maior foram os indicadores de receita líquida de vendas e lucro líquido. Além disso, embora se deseje avaliar os alunos pelo aprendizado, autores como Bernard (2006b), Johnsson (2006) e outros destacam que no mundo real gerentes e diretores são continuamente avaliados pelo desempenho da empresa e raramente pelo aprendizado. Assim sendo, se a simulação procura reproduzir situações e modelos da vida real, então também o processo de atribuição de nota deverá estar em consonância com esses preceitos. Nesse caso, a avaliação acadêmica poderá ser formada por um composto entre medidas de aprendizagem e de desempenho. As medidas de desempenho mais utilizadas se referem aos resultados da empresa simulada como um todo, sendo que esses indicadores são gerados automaticamente pelos softwares de simulação. Os indicadores mais utilizados, segundo Bernard (2006b), são os econômicos (patrimônio líquido, margem de lucro), financeiros (capital circulante líquido, gestão de caixa) e mercadológicos (participação de mercado, crescimento de vendas). Frequentemente, essas medidas são agregadas em um único indicador como a cotação da empresa na bolsa de valores ou um Balanced Scorecard (BSC) global. Uma abordagem complementar à avaliação global da empresa, a qual permitiria gerar apenas uma nota para todos os integrantes do grupo, consiste em avaliar o desempenho de cada cargo de gestão, conforme os itens de responsabilidade da cada aluno. Assim sendo, é possível desmembrar os indicadores globais em indicadores por área de atuação, avaliando a performance em cada caso e compondo a nota final do aluno em função dos indicadores cujos resultados são afetados diretamente por suas decisões. Também se pode incluir indicadores acadêmicos no processo de avaliação. Um modelo relatado por Bernard (2006a) propõe avaliar os alunos através do uso de três indicadores de desempenho gerencial (patrimônio líquido, cotação das ações e avaliação por função) e de três indicadores de desempenho acadêmico (participação na tomada de decisão, participação nas assembleias ordinárias e trabalhos escritos). Desse conjunto de indicadores, três são de igual valor para todos os integrantes do grupo (indicadores gerenciais) e trabalhos escritos, sendo os outros

7 individuais. Os indicadores acadêmicos poderão incluir, eventualmente, percentual de frequência, entrega de trabalhos no prazo, qualidade das apresentações orais, nível de interação com o professor ou outros. Embora de caráter acadêmico, trabalhos de avaliação teriam aplicações práticas dentro da simulação, sendo representados por relatórios de gestão, planilhas de custos, planejamento estratégico ou plano de investimentos para a empresa simulada. O sistema proposto por Bernard (2006a) é consistente com o proposto por Johnsson (2006), o qual se utiliza dos resultados econômicos e financeiros da simulação, somados ao market share como medidas de desempenho global. Ele propõe peso de 30% como avaliação da equipe, a qual seria materializada através da elaboração do diagnóstico empresarial e mercadológico, e peso 70% para a avaliação individual, realizada através de questões sobre o diagnóstico e as tomadas de decisão durante a simulação. Por fim, embora controverso, é importante notar que as simulações que rodam online possuem um recurso extra que é o registro de todo o tempo que o aluno se dedicou a cada uma das etapas da simulação. Esses registros incluem tempos de análise de informações, tempo de tomada de decisão e tempos de definição de parâmetros da rodada de simulação. O aspecto controverso surge do fato de que não existe um controle por parte dos facilitadores da simulação sobre o que está ocorrendo de fato durante esses tempos de conexão. Muitos alunos relatam que se conectam à simulação com o seu login, mas que o grupo inteiro avalia, em conjunto, os resultados e as decisões a serem tomadas. Outros alunos alegam que imprimem os relatórios existentes e que os estudam off line. Provavelmente tenha sido esse o motivo pelo qual não tenham sido encontradas referências de uso dessas medidas como indicador de desempenho para avaliação dos participantes de simulações. 4.3 Medidas de conhecimento e aprendizagem As medidas de aprendizagem ou dos ganhos de conhecimento são as mais complexas de serem realizadas. Pesquisas (Kenworthy, 2005) mostraram que os alunos tem certo grau de consciência dessa dificuldade, o qual se manifesta por solicitações dos mesmos no sentido de que possam expressar seus ganhos de conhecimento não somente em testes de avaliação, mas sim através de apresentações e debates a serem avaliados pelo professor ou por outros observadores. Uma forma de realizar esse tipo de avaliação foi descrita por Kenworthy (2005) como sendo através da formalização de um teste em que os alunos pudessem demonstrar os seus conhecimentos sobre análise estratégica em um problema real de negócios, previamente escolhido pela organização que solicitou o treinamento. Nesse caso, os superiores imediatos dos treinandos os observaram na solução do problema e classificaram os resultados em uma escala de seis pontos (de "nenhum aprendizado" até "um grande negócio") para cada uma das seguintes questões: Eles demonstraram ter realizado a análise do problema de negócio em questão? Eles definiram o problema? Eles definiram as metas e objetivos? Eles mostraram como os fatos foram analisados e como o problema se desenvolveu? Eles consideraram alternativas realísticas? Eles escolheram a melhor solução baseada nessas alternativas? Apesar de trabalhoso e de envolver outros atores além dos participantes do processo de treinamento, esse método é altamente prático e dirigido à validação de resultados, semelhante ao nível "resultado" no modelo de Kirkpatrick (2008). Entretanto, a grande maioria dos educadores que trabalham com simulações ainda adota os tradicionais testes e pesquisas pós-simulação (Chin, 2009). Ele destaca que, embora durando apenas 10 ou 15 minutos, esse tempo de reflexão individual é muito importante para a estruturação e sedimentação dos conhecimentos adquiridos ao longo da simulação. Alguns educadores também adotam uma sistemática de realização de pré-testes para comparação de resultados. Se a opção não for pela realização imediata dos testes, poderão ser solicitados trabalhos mais detalhados, a serem realizados em um período maior de tempo. Exemplos típicos são a redação de artigos ou jornais pessoais de reflexão, a descrição de conceitos, a escrita de cartas a destinatários imaginários ou de linhas de trabalho sugeridas para novos gestores. Chin (2009) destaca a importância que o escrever tem na estruturação e articulação de pensamentos, componente imprescindível para a montagem de modelos mentais duradouros. McDevitt (2000), por sua vez, considera igualmente importante que esse tipo de análise seja feito semanalmente ou a cada rodada da simulação. Sua proposta é a de que se faça um debriefing via jornais (relatos) dos estudantes, através dos quais estes possam relatar os resultados dos seus aprendizados. Além de

8 explicitar os ganhos de aprendizagem, os jornais acabam por revelar leituras realizadas pelos alunos muitas vezes inesperadas, permitindo ao professor ajustar compreensões distorcidas, elucidar dúvidas e separar o que se restringe à simulação dos conceitos generalizáveis para o mundo real. Quanto aos métodos de avaliação propriamente ditos, Salas (2009) propõe que os mais adequados para avaliação de aprendizagem são os do tipo qualitativo, apresentando os três que considera mais adequados: análise de protocolo, técnica do incidente crítico e mapeamento conceitual. Na abordagem quantitativa, o único método sugerido por Salas (2009) para medição de conhecimento é o da avaliação estrutural do conhecimento. Johnsson (2006) também apresenta um conjunto de métodos de avaliação dirigidos a facilitar a percepção do educador dos níveis de conhecimentos apreendidos, apresentados no quadro seguinte. Nome do método Roteiros de discussão Painel livre Discussão em subgrupos e relato em painel Questionários individuais Estabelecimento de correlações entre processo e resultado Brainstorming Descrição O professor elabora um grupo de perguntas que permita a exploração de fatos e conceitos cujo debate requeira compreensão, aplicação, análise, síntese e avaliação de conhecimentos. Discussão em torno das dificuldades, facilidades e padrões de desempenho dos grupos ao longo da simulação. Discussão em pequenos grupos sobe palavras chaves com temas relacionados à simulação, sendo que os resultados do debate são apresentados ao grande grupo. Questionários de auto-avaliação do desempenho, podendo ser seguidos de discussão dos resultados em grupo. Debate no entorno da identificação dos motivos de sucesso ou fracasso de cada grupo, bem como de fatores determinantes para esses resultados terem ocorrido. Elaboração de frases incompletas a serem concluídas pelas equipes através de uma dinâmica de geração de idéias. Quadro 1 - Métodos de avaliação de aprendizagem segundo Johnsson Fonte: Adaptado pelo autor a partir de Johnsson (2006). Os métodos propostos por Johnsson (2006) têm uma vantagem sobre os propostos por Salas (2009) sob o ponto de vista acadêmico na medida em que todos podem ser realizados somente com os participantes da simulação, mediante condução do professor, sem necessitar de agentes externos, como superiores imediatos ou outros professores. 4.4 Medidas comportamentais ou de atitude As medidas relacionadas a mudanças de comportamento ou atitude, pelo seu caráter extremamente subjetivo, são referenciadas na literatura como sendo realizadas através de avaliações subjetivas, muito embora se utilizem medições qualitativas e quantitativas. A maioria dos métodos se assemelha ao que Hoover (2008) designou de centro de avaliação, o qual consiste em estruturar um conjunto de observadores, com critérios de avaliação uniformizados, para acompanhar e avaliar o comportamento dos alunos. Hoover (2008) coloca que os componentes de comportamento são avaliados através dos seguintes métodos: uma atividade de trabalho, um encontro do grupo para uma decisão simulada de contratação de um executivo, um encontro para discutir a expansão do negócio ou novas oportunidades de negócio e, finalmente, um discurso individual. O conceito de centro de avaliação é baseado no fato de que as reuniões e os discursos são filmados e enviados para observadores externos, os quais avaliam os grupos sem saber de qual instituição se originam. Nesses casos, se pode até obter avaliações objetivas, baseadas somente em habilidades realmente demonstradas durante as atividades de teste. Além disso, uma abordagem ampla como esta não se limita a medir os aspectos comportamentais, podendo expandir suas análises para medições de conhecimentos. Petranek (2000), de outra forma, defende o uso de debriefings por escrito para se evidenciar as mudanças de comportamento. De acordo com ele, através desses escritos os alunos tem a oportunidade de expressar e de rever seus comportamentos, sentimentos e emoções vivenciados ao longo da simulação. Ele postula que debriefings escritos provem o tempo de reflexão em particular necessário para que as coisas tomem o devido sentido. O método consiste, basicamente, em oferecer de 10 a 20 questões instigadoras aos participantes, sobre as quais eles deverão refletir e escrever ao longo de uma semana. O ideal é que essas reflexões sejam solicitadas após os debriefings individuais, feitos de maneira verbal ao final das rodadas de simulação. O objetivo é fazer

9 os alunos analisarem seus comportamentos e sentimentos, aplicando na vida real as lições aprendidas no simulador. O papel do professor é o de verificar quais foram as mudanças que se processaram ao longo da experiência vivencial da simulação, evidenciando-as ao aluno caso esse não tenha tomado consciência das mesmas. Poucas foram as medidas analíticas de comportamento ou atitude citadas nas pesquisas, provavelmente dada a complexidade de cada fator. Entretanto, Driskell (2009) propôs sintetizar os resultados comportamentais de uma simulação gerencial em função da sua identidade com o mundo real. Ele considerou que os aspectos afetivos mais importantes a serem monitorados são: Satisfação, Motivação, Auto-eficácia e Ansiedade. O primeiro deles é frequentemente avaliado nas medidas de reação, porém, nesse caso, o enfoque se refere à satisfação pela realização de determinadas tarefas, caracterizando um componente de aceitação ou não do indivíduo diante do trabalho que lhe é designado. Os outros três componentes estão diretamente ligados à relação do indivíduo com a tarefa e com o time, indicando posturas mais ou menos colaborativas para o trabalho, bem como realização pessoal e sentido de utilidade. 5. O CONJUNTO EQUILIBRADO DE MEDIDAS Como se pode ver, existem diferentes métricas e métodos que auxiliam no processo de avaliação de uma simulação, distribuídos entre os diferentes níveis de percepção, aprendizado, desempenho e comportamental. Independentemente das métricas e métodos utilizados para a avaliação, o ponto chave parece ser como montar um conjunto equilibrado de medidas que permitam traduzir o desenvolvimento dos participantes da simulação. Bernard (2006b) lembra dos possíveis problemas que podem ocorrer quando nos limitamos a definir uma nota por equipe, de maneira única, independente do desempenho de cada um dos integrantes do time. Além disso, sempre existe o risco de que em um grupo alguns integrantes trabalhem mais ou se dediquem mais a compreender o contexto da simulação do que outros, os quais alegam acompanhar os trabalhos. Assim sendo, é importante que se definam modelos que avaliem com justiça o grau de evolução e aprendizado que cada um dos elementos do grupo teve. Anderson (1997) propõe um modelo genérico para composição da avaliação dos participantes de uma simulação, onde o resultado da avaliação venha a ser fruto de indicadores e trabalhos. Das atividades do grupo se obteriam as medidas coletivas, como o valor da ação da empresa, e individuais, como indicadores de desempenho por cargo. Uma pesquisa realizada pelo próprio Anderson (1997) mostrou que os métodos de avaliação utilizados pelos educadores em simulações contemplavam os seguintes aspectos: 92,5% utilizava como referência uma comparação do desempenho do time com os seus concorrentes; 76,7% utilizava a nota do plano escrito; 61,6% um artigo avaliando a performance do time, 52,7% a apresentação oral do desempenho do time e; 51,4% utilizava como avaliação uma comparação de resultados obtidos com os planejados. Outros aspectos utilizados também incluíam testes sobre regras e procedimentos da simulação (41,1%), habilidade de prever os resultados das decisões (26,0%), avaliação dos colegas (13,9%) e outros métodos (24,1%). Um último aspecto a ser considerado na montagem do conjunto de medidas é se e como considerar as medidas intermediárias, isto é, ao longo do processo, quando comparadas com os resultados finais. Sob o ponto de vista da performance da empresa ou do cargo, muitos simuladores já utilizam a abordagem da média das últimas rodadas. Os outros aspectos, principalmente os acadêmicos e os comportamentais, devem ser avaliados pelo professor, uma vez que estes poderão levar algum tempo para mostrar resultados significativos, conforme já debatido nos itens anteriores. Entretanto, embora de caráter subjetivo, a análise do processo precisa ser realizada, tendo, entre outros motivos, a possibilidade de avaliar tendências de desenvolvimento, posturas e atitudes dos alunos e, principalmente, comprometimento com o seu processo de aprendizagem. 6. REFERÊNCIAS ALDRICH, Clark. Simulations and the future of learning: an innovative (and perhaps revolutionary) approach to e-learning San Francisco: Pfeiffer, 2004 ANDERSON, Philip H. and LAWTON, Leigh. Demonstrating the learning effectiveness of simulations: where we are and where we need to go. Proceedings of the annual conference of ABSEL, vol 24, Is simulation performance related to application? An exploratory study. Developments in Business Simulation and Experiential Learning, Volume 29, 2002