Avaliação de ensino à distância: o caso de um treinamento virtual

Transcrição

1 Avaliação de ensino à distância: o caso de um treinamento virtual Márcia Zampieri Grohman (UFSM) marciazg@terra.com.br Débora Bobsin (UFSM) deborabobsin@gmail.com Bruno Weiblen (UFSM) bweiblen@terra.com.br Rodrigo Barros Severo (UFSM) rodrigosevero@ibestvip.com.br Alberto Emilio Maixner Filho (UFSM) aemaixner@yahoo.com.br Resumo Este artigo é fruto de um trabalho realizado com universitários para verificar o nível de conhecimentos adquiridos por estes quando colocados diante de uma nova ótica de ensino, ensino à distância, e mensurar a satisfação que esses estudantes têm frente a esta nova metodologia. Seus objetivos são: medir a variação de conhecimento dos treinados; identificar a reação e satisfação dos alunos frente ao ensino à distância, através de duas avaliações: de conhecimentos (que visa mensurar o nível de conhecimentos antes e após o curso); e de reação (que mensura a satisfação deles com relação ao curso a que foram submetidos). Os resultados encontrados no estudo mostraram que houve acréscimo de conhecimentos ao final do curso visto que os alunos aumentaram suas médias de acertos na avaliação de conhecimentos realizada após a conclusão do curso, já com relação à avaliação de reação identificou-se que os alunos apreentaram um bom nível de satisfação no que diz respeito as relações entre: aluno e interface, aluno e conteúdo, aluno e tutor e entre os alunos. Desta forma, conclui-se que a adaptação dos alunos a está nova tecnologia educacional ocorreu de forma simples e natural. Palavras-chave: Ensino à distância, Avaliação de Treinamento, Incremento de aprendizado. 1. Introdução O ensino, quando dirigido para o aprimoramento de habilidades ou a aquisição de novos conhecimentos diretamente relacionados com a prática profissional assume a nomenclatura de treinemaneto e desenvolvimento (T&D). O treinamento e desenvolvimento tem sido visto como um instrumento de extrema valia para as organizações, pois pessoas bem treinadas trazem inúmeros benefícios para as empresas como: redução de custos, agilização de processos, diminuição de falhas, entre outros, como relata Boog (1999). Para o alcance desses objetivos, as organizações têm a sua disposição diferentes formatos de T&D, muitos focados em novos modos de aprender e de adquirir conhecimento acompanhando as mudanças que o mundo contemporâneo impõe as organizações. Existem diferentes formas de operacionalização dos treinamentos, uma delas, o ensino à distância, que, segundo Moore (1999), pode ser definido como a família de métodos instrucionais onde as ações dos professores são executadas à parte das ações dos alunos, incluindo aquelas situações continuadas que podem ser feitas na presença de estudantes. Porém, a comunicação entre o professor e o aluno deve ser facilitada por meios impressos, eletrônicos, mecânicos ou outros. Segundo Borges-Andrade (1997), todo treinamento deve ser visto dentro do paradigma sistêmico, apontando-o como sistema composto por três subsistemas, a saber: levantamento de necessidades, planejamento e execução e avaliação do treinamento. O subsistema avaliação é quem fornece a retroalimentação para todo o sistema, indicando os pontos positivos que 1

2 devem permanecer nos treinamentos futuros, bem como sinalizando aspectos a serem modificados ou retirados do planejamento. A demanda crescente por avaliação de treinamento sinaliza que as organizações estão mais conscientes da necessidade de mensuração do sistema de treinamento e os resultados que ele produz (CARVALHO E ABBAD, 2003). Salas e Cannon-Bowers (2001) analisam que há preocupação crescente nas organizações de que o investimento em treinamento seja justificado em termos de melhoria organizacional, aumento da produtividade ou do desempenho. Diante da importância do T&D nas organizações, advinda dos resultados que o mesmo provoca e da necessidade de mensurá-los, e da presença cada vez mais constante dos novos formatos de treinamento, como no caso do treinamento à distância, busca-se nesse estudo responder o seguinte questionamento: o treinamento à distância gera incremento de aprendizado? Desta forma, os objetivos desse artigo são: medir a variação de conhecimento dos alunos; identificar a reação e satisfação dos mesmos frente ao ensino a distância. Vale ressaltar que é relativamente escassa a produção de trabalhos nacionais acerca da avaliação de treinamentos à distância. Um dos estudos encontrados tem como foco principal, o impacto do treinamento à distância no trabalho (Carvalho e Abbad, 2003), o que difere deste, que busca medir se o ensino à distância acarreta em incremento de conhecimento no indivíduo. Por fim, o artigo está estruturado com uma breve introdução, seguido de revisão teórica sobre T&D, treinamento à distância e avaliação de treinamento, além do método da pesquisa, resultados obtidos e considerações finais. 2. Treinamento e Desenvolvimento O cenário de mudanças vivido pelas empresas no contexto sócio-econômico vigente vem contribuindo para uma mudança de postura e para a reformulação de muitos procedimentos que hoje caíram em desuso. As práticas de Treinamento e Desenvolvimento (T&D) não fogem à regra. Boog (1999) destaca as modificações na forma de gerir pessoas nas organizações enfatizando as transformações que devem ocorrer nas ações de T&D. O autor sinaliza para a incorporação de novos paradigmas na gestão de pessoas, especialmente nas ações de T&D, apontando modificações que se manifestam do treinamento restrito à tarefa no cargo para o desenvolvimento contínuo de habilidades técnicas e sociais. Milkovich e Bordreau (2000) fazem uma distinção entre treinamento, que seria mais focalizado e orientado para questões relacionadas a desempenho no curto-prazo, e desenvolvimento, por sua vez, mais orientado à ampliação das habilidades dos indivíduos para futuras responsabilidades. No entanto, para Marras (2001), o treinamento possui orientação à tarefa, e um programa de desenvolvimento oferece ao treinando uma macro-visão do negócio. Os dois termos tendem a combinar-se numa única expressão treinamento e desenvolvimento para indicar a combinação de atividades nas empresas que aumentam a base de habilidades dos funcionários. 2.1 Treinamento à Distância O conceito de treinamento à distância vem sendo muito debatido entre pesquisadores das mais diversas áreas, pois existem confusões em relação à terminologia. Spodick (1995) define 2

3 educação à distância como um sistema que deve prover toda e qualquer oportunidade educacional que seja necessária para qualquer um, em qualquer lugar e a qualquer tempo. Quanto às vantagens apresentadas no treinamento à distância, Niskier (1999) afirma que ela alcança um número maior de pessoas, oferece flexibilidade de horários, valoriza a experiência individual, incentiva a observação, a crítica e o pluralismo de idéias. Ainda segundo Niskier (1999), ela integra recursos educativos à multimídia, respeitando o ritmo do aluno, desenvolvendo a independência e iniciativa, organizando o saber racionalmente. Algumas dessas vantagens apresentadas são bastantes polêmicas, pois existem questionamentos a respeito do treinamento à distância, se realmente reduz custos, se não estaria padronizando demasiadamente os conteúdos. Por outro lado, vale ressaltar que diversos autores reconhecem que o treinamento à distância apresenta uma série de limitações. Na visão de Kramer (1999) pode assumir características tecnicistas correndo o risco de forçar o educando a adaptar-se ao processo educativo. Atualmente, as ações educacionais corporativas têm feito uso das novas tecnologias, em particular, a internet. No entanto, percebe-se que as novas mídias exigem recursos distintos dos utilizados em treinamentos presenciais e ainda não são estudados, havendo pouco embasamento teórico e pouca preocupação em produzir conhecimento científico em treinamento à distância (SALAS & CANNON-BOWERS, 2001). 2.2 Modelo de Avaliação de Treinamento Segundo Bohlander, Snell e Sherman (2003), dentre as principais etapas do processo de treinamento, está a avaliação do treinamento etapa que serve para verificar a eficiência e eficácia do processo. Tal etapa somente poderá ser realizada de maneira adequada, se todos os módulos de treinamento forem previamente planejados e programados para que, no seu final, exista a possibilidade de mensuração dos resultados obtidos. Nesta etapa, concentra-se uma das grandes dificuldades na área. Dada a quantia elevada que as organizações investem em treinamento, parece prudente a maximização do retorno deste investimento, em quatro níveis básicos: reações, aprendizado, comportamento e resultados. Kirkpatrick (1998) desenvolveu uma metodologia de avaliação de treinamento dividida em quatro níveis a saber: reação, aprendizado, comportamento e resultados. Embora o processo de avaliação de Kirkpatrick seja dividido em quatro níveis, vale ressaltar que o sucesso do resultado da mensuração dos níveis independem um do outro e ressalta-se que no presente estudo serão abordados somente os níveis reação e aprendizado: A avaliação desempenha um papel de suma importância como elemento sistemático de correção de falhas e promoção de acertos. Assim, não pode ser realizada de forma isolada e sem critérios. 3. Método da Pesquisa Para se alcançar os objetivos deste trabalho, executaram-se várias etapas; a primeira constituiu-se no levantamento de subsídios teóricos necessários ao embasamento e à construção de um modelo de avaliação do Curso à Distância pesquisado, mediante a revisão de literatura específica na área em questão. 3

4 A segunda etapa correspondeu à elaboração do próprio modelo de avaliação, a partir da análise de modelos já existentes e divulgados pela bibliografia existente sobre treinamento à distância. Este estudo caracteriza-se por ser de natureza exploratória e descritiva, de cunho qualitativo e quantitativo, uma vez que busca conhecer como melhor avaliar as práticas de treinamento à distância segundo os indicadores previamente definidos pelos autores. Acrescenta-se ainda, a contribuição de Gil (1994) ao mencionar que um estudo exploratório proporciona maior flexibilidade na busca de informações sobre um determinado problema, com vistas a torná-lo mais claro, seja para a construção de novas hipóteses, seja no aprimoramento de idéias sobre o tema. O método utilizado é o estudo de caso que, segundo Yin (2001) investiga um fenômeno contemporâneo dentro de seu contexto de vida real, especialmente quando os limites entre o fenômeno e o contexto não são claramente definidos. A realização desse estudo culminou com dois enfoques considerados complementares como campos de pesquisa, ou seja, o enfoque qualitativo e quantitativo. O enfoque qualitativo justifica-se através da observação in loco por parte dos pesquisadores e, também, pela análise documental realizada. O enfoque quantitativo deve-se a aplicação de instrumentos que possibilitaram medir, quantitativamente, os conhecimentos adquiridos pelos sujeitos entrevistados em relação ao conteúdo abordado no treinamento a distância. O curso à distância analisado foi um curso de Introdução à Matemática Financeira com HP 12C realizado virtualmente universitários. Deste modo, a população estudada foram os alunos de uma turma da Universidade, compreendendo um universo de 20 indivíduos, sendo trabalhado com uma amostra de 14 pessoas voluntárias, em virtude dos demais não se disponibilizarem a participar da pesquisa. As técnicas de coleta de dados realizada neste estudo foram questionários e teste de conhecimentos. Para atingir aos objetivos delineados, os pesquisadores elaboraram e implementaram um curso à distância sobre o uso da calculadora HP-12C pelos sujeitos participantes da pesquisa. 4. Resultados Nesta seção apresenta-se uma descrição das pessoas que participaram do estudo de caso proposto, bem como a avaliação do aprendizado e nível de reação dos mesmos frente ao curso à distância. 4.1 Descrição dos participantes Os sujeitos da pesquisa são em número de 14 participantes que, voluntariamente, se dispuseram a participar de um curso à distância de como utilizar a calculadora financeira HP- 12C. Estes são, em sua totalidade, estudantes universitários, 57,14% destes tem menos de 20 anos e 42,86% têm de 20 a 25 anos. Quando questionados acerca da renda familiar, obteve-se os resultados de 50% tem renda variável entre 1 a menos de 5 salários mínimos, 21,43% de 5 a menos de 10 salários mínimos, 14,29% de 10 a menos de 15 salários mínimos, 7,14% tem renda superior a 15 salários mínimos. 4

5 Observa-se que a freqüência com que estes alunos acessam a Internet é alta, 92,86% tem acesso diariamente à Internet e somente 7,14% tem acesso semanalmente. O tipo de acesso mais utilizado entre eles é banda larga, 92,86% utilizam este tipo de conexão, somente 7,14% destes alunos utilizam conexão discada. O acesso à Internet é realizado quase que totalmente em casa, mais precisamente 92,86%, existem também aqueles realizam seus acessos na Instituição de Ensino, no trabalho ou em lan houses, porém em número bem menor. Destes alunos, somente 14,29% já tinham tido experiência com cursos virtuais, ou seja, 85,71% deles nunca tinham realizado um curso à distância. Resumidamente, pode-se definir o usuário neste caso como jovem, com idade inferior a 20 anos, renda entre 1 e 5 salários mínimos, com acesso diário à Internet através de conexão banda larga, com acessos efetuados em casa e sem experiência em treinamentos à distância. 4.2 Avaliação do aprendizado Fazendo a análise do desenvolvimento dos alunos no decorrer do curso pode-se constatar através da avaliação de conhecimentos que os alunos adquiriram um bom rendimento com relação ao seu nível de conhecimento no final do curso, isto pode ser melhor observado no Quadro 1, que mostra o desvio padrão, mínimo, máximo e média de acertos dos alunos nas avaliações de conhecimento inicial (antes do curso) e final (após o curso). N Mínimo Máximo Média Desvio Padrão Acertos prova inicial ,07 2,53 Acertos prova final ,86 1,41 Quadro 1: Estatística descritiva dos resultados da avaliação de conhecimentos. O Quadro 1 demonstra que os 14 sujeitos pesquisados tiveram na avaliação inicial de conhecimentos uma média de acertos igual a 6,07, o que representa que os alunos tiveram 60,7% de aproveitamento, sendo que o mínimo de acertos na avaliação inicial de conhecimentos foi zero e o máximo foi 9. Com isso o desvio padrão da turma na primeira avaliação de conhecimentos foi de 2,53. Com relação à avaliação de conhecimentos final, realizada após a conclusão do curso, os alunos obtiveram uma média de acertos igual a 8,86, o que representa 88,6% de acertos das questões da avaliação, tendo como o número mínimo de acertos igual a 7 e o máximo igual a 11. O desvio padrão desta avaliação foi de 1,41. Com os dados descritos acima, verifica-se que a turma como um todo teve uma melhora representativa em relação aos seus conhecimentos de matemática financeira com a utilização da calculadora HP-12C, pois sua média de acertos se elevou em 27,9%. Já o desvio padrão dos alunos em evidência baixou de 2,53 para 1,41 mostrando que houve uma maior homogeneização da turma após passar pelo curso. 4.3 Avaliação de reação Ainda com esta turma de alunos foi realizada uma avaliação de reação, a qual objetiva verificar a satisfação dos alunos em relação ao curso a distância à que foram submetidos. Na avaliação de reação, os alunos foram questionados sobre sua satisfação em relação às diversas interações que o curso de treinamento a distância os proporcionou, eles responderam estes questionamentos através de uma escala que partia do 1 (Muito insatisfeito) indo até 5 (Muito satisfeito). 5

6 As interações contempladas pelo curso a distância são as seguintes: relação entre aluno e interface, relação entre aluno e conteúdo, relação entre aluno e tutor e relação entre alunos. Estas interações serão analisadas individualmente através de quadros contendo algumas análises de cálculos estatísticos descritivos. O Quadro 2, a seguir, se refere a relação entre aluno e interface, na qual foram analisados os seguintes itens: amigabilidade da ferramenta utilizada neste curso, utilização do , utilização do Chat, utilização do fórum, utilização do mural de turma, utilização dos colaborativos, utilização das dicas do tutor, utilização do Sr. Ajuda (mascote do curso que apresenta dicas e lembretes aos alunos), utilização do quadro de avisos, utilização do material de apoio e quanto a facilidade no acesso. n Mínimo Máximo Média Desvio Padrão Amigabilidade da ferramenta utilizada no curso ,14 0,66 Utilização do ,64 1,01 Utilização do chat ,86 1,03 Utilização do forum ,07 0,83 Utilização do mural da turma ,79 1,19 Utilização dos colaborativos ,14 0,95 Utilização das dicas do professor ,79 0,97 Utilização do Sr. Ajuda ,29 0,91 Utilização do quadro de avisos ,43 1,02 Utilização do material de apoio ,29 0,83 Quanto a facilidade no acesso ,14 0,53 Avalie a relaçào entre aluno e interface ,00 0,96 Quadro 2 Relação entre aluno e interface Analisando o quadro 2, verifica-se que a média de respostas foi satisfatória pois a grande maioria dos itens ficou com uma média entre 3 e 4 (indiferente e satisfatório) e que quando perguntados sobre a relação entre aluno e interface, a resposta foi satisfatória, pode-se dizer que estas respostas não foram destoantes entre os alunos, pois os baixos resultados referentes ao desvio padrão da turma apontam para isso. Já com relação à utilização do Chat que possuiu uma média insatisfatória pode-se dizer que foi devido a alguns problemas operacionais do sistema. As relações entre aluno e conteúdo contempladas ainda na avaliação de reação têm seus resultados dispostos no Quadro 3 que analisou a forma como foi apresentado o conteúdo, a participação do aluno na interação aluno conteúdo, a absorção dos conteúdos, à utilização dos exercícios e a visualização das animações. n Mínimo Máximo Média Desvio Padrão A forma como foi apresentada o conteúdo ,36 0,50 Sua participação na interação aluno/conteúdo ,14 0,66 Sua absorção de conteúdos ,79 0,80 Quanto a utilização dos exercicios ,29 0,73 Quanto a visualização das animações ,57 0,51 Quadro 3 Relação entre aluno e conteúdo Com os resultados demonstrados no Quadro 3 pode-se perceber que os resultados referentes a interação entre aluno e conteúdo foram satisfatórios pois mantiveram-se em quase todos os itens analisados com uma média de respostas acima de 3,5 com exceção do item que se referia a utilização dos exercícios que ficou com uma média de 3,29 muito próximo a indiferente, 6

7 resultado apresentado devido a má localização dos exercícios dentro do sistema, pois muitos alunos disseram ao terminar o curso que não tinham visto que existiam exercícios. n Mínimo Máximo Média Desvio Padrão Quanto ao incentivo do tutor no seu processo de ,07 0,62 aprendizagem Quanto a freqüência das interações tutor/aluno ,57 0,76 Quanto a maneira como se deu a interação tutor/aluno ,71 0,83 Avalie a relação entre tutor/aluno ,86 0,77 Quadro 4 Relação entre aluno e tutor A avaliação de reação, também, contemplou a interação entre aluno e tutor, a qual os alunos foram indagados sobre sua satisfação com relação ao incentivo do tutor no seu processo de aprendizagem, à freqüência das interações entre aluno e tutor, e a maneira como se deu esta interação, os resultados desta interação serão contemplados no Quadro 4 a seguir. Os resultados da relação entre aluno e tutor expostos no Quadro 4 são satisfatórios mais uma vez, visto que todos os itens avaliados com relação a está interação obtiveram uma média entre os 14 sujeitos pesquisados muito próximo de 4, que na escala proposta pelo estudo representa a opção que se refere a satisfatório, a amostra também teve uma homogeneidade relevante, o que significa que não houve discrepâncias com relação a tal interação. 5. Considerações Finais Este estudo teve como objetivo principal identificar se o ensino à distância gera incremento no conhecimento do individuo. A idéia de analisar o ensino à distância advém do fato deste tipo de educação estar, cada vez mais, presente no dia-a-dia das instituições de ensino e nas empresas. Isto ocorre devido a esta tecnologia permitir ao aluno realizar seus estudos no período que melhor lhe convém. Entretanto, pelo fato de ser algo novo, estudos nesta área ainda estão se solidificando. Segundo Borges-Andrade (1997), os treinamentos possuem um valor estratégico nas organizações, fato este que faz com que cada vez mais se busquem formas de medir os seus resultados. Porém Abbad e Carvalho (2003) comentam que para novas tecnologias de ensino existem poucos estudos empíricos. Neste trabalho, realizou-se uma pesquisa longitudinal, medindo o conhecimento dos alunos antes do inicio do curso e após a sua realização, o que permitiu identificar o incremento de conhecimento dos alunos em relação ao assunto trabalhado. Abbad e Carvalho (2003) corroboram com este tipo de avaliação quando apresentam que medir o ganho de aprendizagem se dá através de pré e pós-teste realizados com o intuito de avaliar o alcance dos objetivos determinados para o curso realizado. Segundo Pantoja e Borges-Andrade (2002) a aprendizagem está relacionada com a aquisição e retenção de um novo conhecimento, fato este que vem ao encontro dos resultados apresentados. Com relação a avaliação de reação, pode-se concluir que ela demonstrou um bom nível de satisfação dos usuários em relação a aspectos como: relação entre aluno e interface, relação entre aluno e conteúdo, relação entre aluno e tutor e relação entre alunos. A importância de medir estes aspectos é apresentada por Abbad, Pantoja e Pilati (2001), devido ao fato de os cursos à distância estarem sustentados em novas tecnologias como no caso da Internet, o que faz com que o meio disponibilizado para que o aluno adquira os novos conhecimentos seja a 7

8 interface do sistema, ou seja, o ambiente em que o aluno tem contato com o conteúdo do curso. Este estudo possui a amostra como fator limitante, a qual pelo seu tamanho não permitiu analises aprofundadas, além de ser um estudo de caso. Outra limitação identificada é que o referencial teórico não esgota todos os estudos existentes na literatura. Entretanto, pode-se perceber a necessidade de aprofundar os estudos sobre avaliação de treinamento à distância, pois segundo Abbad e Carvalho (2003) existem poucos avanços nesta área apesar dos esforços de alguns autores como Lippert et al., 2001 e Walker, Sendo assim, visto que existe a necessidade de avaliar os treinamentos, e que percebe-se um aumento da presença dos treinamentos à distância nas organizações, faz-se necessário ampliar as discussões do assunto foco deste estudo. 6. Referências ABBAD, G; CARVALHO R.; Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho. Anais do ENANPAD Atibaia: ANPAD, v. CDRom. ABBAD, G.; PANTOJA, J.; e PILATI, R. Preditores de efeitos de Treinamento: O Estado da Arte e o Futuro Necessário. Anais do ENANPAD Florianópolis: ANPAD, v. CDRom. BOHLANDER, George; SNELL, Scott; SHERMAN, Arthur. Administração de recursos humanos. São Paulo: Thomson, BOOG, Gustavo G. Manual de Treinamento e Desenvolvimento ABDT. São Paulo: Makron Books, BORGES-ANDRADE, J. E. Treinamento de pessoal: em busca de conhecimento e tecnologia relevantes para as organizações brasileiras. In: Tamayo, A.; Borges-Andrade, J. E.; e Codo, W. (Orgs.) Trabalho, Organizações e Cultura (p ). São Paulo: Cooperativa de Autores Associados, GIL, Carlos Anônio. Como elaborar projetos de pesquisa. São Paulo: Atlas, KIRKIPATRICK, Donald L. Evaluating training programs: the four levels. San Francisco: Berret- Koehler,1998. KRAMER, Érika et all. Educação a Distância: da Teoria à Prática. Porto Alegre: Alternativa, LIPPERT, R. M.; RADHAKRISHNA, R.; PLANK, O.; e MITCHELL, C. C. Using different evaluation tools to assess a regional internet inservice training. International Journal of Instructional Media, v. 28, n.3, p , MARRAS, Jean Pierre. Subsistema de treinamento e desenvolvimento. In: Administração de recursos humanos: do operacional ao estratégico. São Paulo: Futura, MILKOVICH, George T.; BOUDREAU, John W. Administração de Recursos Humanos. São Paulo: Atlas, MOORE, M. G., Kearsley, Greg. Distance education: a systems view. Belmont (USA): Wadsworth Publishing Company, NISKIER, Arnaldo. Educação a distância: a tecnologia da esperança. São Paulo:Edições Loyola, PANTOJA, M. J. B;. e BORGES-ANDRADE, J. E. Uma abordagem multinível para o estudo da aprendizagem e transferência nas organizações. Anais do ENANPAD Salvador: ANPAD, v. CDRom. SALAS, E.; e CANNON-BOWERS, J. The science of training: a decade of progress. Annual Review of Psychology, v. 52, p , SCHRÖEDER, Christine da Silva. Critérios e Indicadores de Desempenho para Sistemas de Treinamento Corporativo Virtual: Um Modelo para Medir Resultados. Dissertação (Mestrado). Porto Alegre, Universidade Federal do Rio Grande do Sul. Rio Grande do Sul. SPODICK, Edward F. The Evolution of Distance Learning. Hong Kong: University of Science & Technology Library. Disponível na Internet em: Acessado em 01 de novembro de WILLIS, Barry. Distance education at a Glance. Series of Guides prepared by Engineering Outreach at the 8

9 University of Idaho. Disponível em: < Acesso em: 14 mar YIN, Robert K. Estudo de Caso: Planejamento e Métodos. Porto Alegre: Bookman, ª Edição. 9