A SISTEMÁTICA DA AVALIAÇÃO DO CURSO NA EDUCAÇÃO A DISTÂNCIA

Transcrição

1 1 A SISTEMÁTICA DA AVALIAÇÃO DO CURSO NA EDUCAÇÃO A DISTÂNCIA (EaD). Wanderley Lemgruber de Sousa*. Pós-graduado em Educação a Distância pela Universidade Castelo Branco / Exército Brasileiro e Chefe de Equipe de Educação a Distância da Justiça Federal do Rio de Janeiro. Justiça Federal de 1ª Instância Seção Judiciária do Rio de Janeiro. *wanderley.lemgruber@gmail.com

2 2 Resumo O processo de avaliação do desempenho institucional e dos cursos promovidos por organizações que atuam em Educação a Distância possibilita aperfeiçoar o próprio sistema de gestão e até mesmo os sistemas pedagógicos adotados. Com o objetivo de saber como a avaliação dos cursos virtuais pode ser sistematizada para garantir os resultados mais efetivos, partimos de Marshall Junior (2008) e Ricardo (2009), para identificarmos como um sistema de avaliação pode ser fundamentado em conceituais da administração, como Planejamento Estratégico e Ciclo PDCA ; consideramos os estudos de Carlini e Ramos (2009), Moore e Kearsley (2007) e Ministério da Educação (2007), para reconhecer as melhores diretrizes capazes de estabelecerem uma metodologia; e, recorremos a Kirkpatrick (1998), para sugerirmos procedimentos e instrumentais capazes de operacionalizarem a metodologia em situações de educação online corporativa. Adotamos como metodologia a pesquisa bibliográfica, onde os textos disponíveis foram levantados, selecionados e analisados. As discussões e estudos conduzidos fornecem as principais diretrizes metodológicas e sistematizações para a avaliação somativa do curso, capazes de conferirem os resultados mais consistentes aos programas em Educação a Distância. A partir desse estudo, pretende-se contribuir para o estabelecimento de procedimentos sistematizados adequados à realização deste tipo de avaliação para situações específicas de cursos On- Line. Palavras-chave: Avaliação do curso. Gestão em educação. Educação a distância. Abstract The evaluation process of institutional performance and the courses promoted by organizations acting in Distance Education makes perfect the own system of management and even the adopted pedagogic systems. In order to know how the evaluation of virtual courses can be systematized to ensure the more effective results, we started from Marshall Junior (2008) and Ricardo (2009), to identify as a system of evaluation can be based in conceptual of administration, as the Strategic Planning and PDCA cycle, we have thought over Carlini and Ramos studies (2009), Moore and Kearsley (2007) and the Ministry of Education (2007), for recognizing the best guidelines able to establish a methodology; and, we have resorted Kirkpatrick (1998), to suggest procedures and instruments able performing methodology in situations of corporate education on-line. We have adopted as methodology the bibliographical research, where the available texts have been raised, selected and analyzed. The discussions and conducted studies provide the main methodological guidelines for systematic and conclusive evaluation of the course, able to give most consistent results to the programs in Distance Education. From this study, there is the intention to contribute to the establishment of systematized

3 3 appropriate procedures for performing this kind of evaluation for specific situations of courses on-line. Key-words: Evaluation of the course. Management in Education. Distance Education.

4 4 1. Introdução Uma iniciativa fundamental à gestão das organizações que atuam em Educação a Distância (EaD) refere-se ao procedimento de avaliação adotado para verificar seu desempenho. É pela avaliação institucional que se faz possível aperfeiçoar o próprio sistema de gestão e até mesmo os sistemas pedagógicos adotados. Assim, o problema que adotamos para esse estudo é o de saber como a avaliação dos cursos virtuais pode ser sistematizada pelas organizações que atuam em EaD, de forma a garantir os resultados mais efetivos ao aperfeiçoamento dos cursos promovidos e da própria instituição. A avaliação de processos representa uma etapa envolvida na administração de um modo geral e, por isso, nosso tema de estudo insere-se no contexto amplo da gestão. Por esta razão, convém apresentar alguns esclarecimentos sobre conceitos básicos relacionados à gestão que serão importantes à compreensão deste capítulo introdutório. Inicialmente, é importante esclarecer que a gestão de qualquer empreendimento, segundo Martins (2007), sempre envolverá a análise do contexto no qual ele está inserido (Quem somos? Onde estamos?), o estabelecimento de metas a serem alcançadas (Quem queremos ser? Onde queremos chegar?), a definição e execução das estratégias para atingi-las (O que fazer para atingir as metas? Como fazer?), e a avaliação dos resultados obtidos (Estamos fazendo o que foi definido? Estamos indo em direção às metas traçadas? Somos quem queríamos ser? Chegamos onde queríamos chegar?). Em linhas gerais, planejar, executar e avaliar sempre estarão presentes, como etapas e atitudes, na gestão de qualquer processo e são inerentes a qualquer forma de administração. A tabela 1, a seguir, apresenta uma síntese para as atitudes e etapas gerenciais, e foi fundamenta em estudos conduzidos por Martins (2007). TABELA 1 Atitudes e etapas envolvidas no processo de gestão. ATITUDE ETAPA PLANEJAMENTO EXECUÇÃO AVALIAÇÃO PLANEJAR EXECUTAR AVALIAR Analisa o contexto Estabelece metas Define estratégias. Planeja como adequar à realidade as estratégias estabelecidas. Planeja como realizar a avaliação, qual a forma mais eficaz à realidade. Executa técnicas e procedimentos de operacionalização do planejamento em diretrizes, referenciais e planos. Executa as estratégias definidas. Executa os procedimentos avaliativos. Avalia dados e informações para diagnosticar e fundamentar o planejamento. Avalia se a execução está seguindo o planejado e se alcançará as metas. Avalia os resultados dentro do contexto da gestão e fornece informações relevantes para medidas corretivas.

5 5 Neste momento, é importante esclarecer que a Educação a Distância (EaD) é uma atividade específica que se vale de princípios administrativos para fundamentarem sua atuação e, por isso, planejar, desenvolver e avaliar também constituem etapas e atitudes inerentes à gestão educacional. Este fato permite visualizar a relevância da realização de estudos sobre a dimensão gerencial envolvida em EaD. Entretanto, precisamos ainda justificar a razão do nosso interesse recair especificamente sobre a importância da sistemática da avaliação do curso virtual para a gestão em EaD. Ao considerarmos que a atividade de administração (de um modo geral e de treinamentos virtuais em particular), para ser caracterizada como uma intervenção científica, precisa estar fundamentada em dados, informações e conhecimentos confiáveis e significativos, perceberemos que a avaliação torna-se uma estratégia gerencial fundamental. Além disso, é importante notarmos que a forma como a avaliação é sistematizada influencia na qualidade das informações obtidas. A avaliação do curso constitui um momento crucial à administração em EaD, tratando-se justamente do momento que o gestor pode comprovar se os objetivos traçados foram atingidos, identificando oportunidades de melhorias para as futuras edições e ciclos do referido curso. A realização de estudos e análises, envolvendo teorias e práticas sobre a implantação sistematizada da avaliação de cursos virtuais, permite discutir e compreender a dinâmica da avaliação e seu papel na gestão em EaD. Nosso estudo se insere neste contexto e tem como objetivo geral, investigar como a etapa de avaliação pode ser sistematizada na gestão em Educação Online de forma que se torne uma estratégia efetiva para obtenção de dados, informações e conhecimentos capazes de aumentarem continuamente a efetividade dos treinamentos virtuais promovidos e conferirem as performances mais eficientes e os resultados mais consistentes às organizações que atuam em EaD. A metodologia adotada em nossas investigações é a da pesquisa bibliográfica. A bibliografia disponível foi levantada, selecionada e analisada a partir da nossa principal questão de estudo. Ou seja, nosso estudo busca compreender, a partir de uma pesquisa bibliográfica, o papel da avaliação do curso para a gestão em EaD, identificando as melhores estratégias para sistematizar avaliações eficazes. No capítulo 2, objetivamos identificar como a avaliação de cursos online no contexto gerencial da educação a distância pode ser fundamentada a partir dos conceitos da administração como Planejamento Estratégico e Ciclo PDCA. Orientamos as discussões sobre estes conceitos gerenciais principalmente por Marshall Junior (2008) e recorremos, basicamente, a Ricardo (2009) e Moore e Kearsley (2007) para relacioná-los aos aspectos envolvidos na gestão em EaD. As discussões envolvidas no capítulo 3 buscam identificar as principais diretrizes metodológicas e sistematizações para a avaliação do curso capazes de conferirem as performances mais eficientes e os resultados mais consistentes aos programas em EaD. Fundamentamos nossas discussões

6 6 principalmente em Carlini e Ramos (2009), para classificarmos os diferentes tipos de avaliação do curso, em Moore e Kearsley (2007) e em estudos do Ministério da Educação (2007), para abordarmos a questão da sistematização da avaliação como ferramenta para a gestão em EaD. No capítulo 4 recorremos a Kirkpatrick (1998) para apresentar uma metodologia de mensuração e avaliação de treinamentos capaz de funcionar também para treinamentos online. Objetivamos, com isso, sugerir procedimentos operacionais adequados à realização da avaliação de cursos virtuais em situações específicas de educação online promovida no ambiente corporativo. As principais considerações e conclusões obtidas sobre a relevância e melhores diretrizes, metodologias e instrumentais utilizados para sistematizar a realização da avaliação do curso no contexto da gestão em Educação Online estão reunidas e apresentadas no capítulo Gestão em EaD: a importância do monitoramento e da avaliação Planejamento estratégico, projeto educacional e avaliação. A etapa de planejamento inicia o processo de gestão de qualquer atividade e representa o momento onde os atributos relacionados ao que vai ser gerenciado são alinhados e direcionados a uma finalidade. Em EaD o processo de gestão não foge a essa regra e também é iniciado com o planejamento. Na visão de Martins (2007), planejar é uma atividade que, necessariamente, envolve análise do ambiente onde o processo transcorrerá, estabelecimento de metas a serem atingidas e definição de ações para alcançá-las. Planejamento Estratégico é um tipo de planejamento feito no nível estratégico de uma organização, ou seja, envolve a alta gerência e considera o longo prazo para fazer análises abrangentes e estabelecer macro objetivos, como a missão e a visão da instituição, capazes de promover o alinhamento da organização como um todo em uma estratégia única. Cabe esclarecer aqui os conceitos de missão e visão em EaD. Missão representa o estabelecimento de uma diretriz de longo prazo, demarcando claramente o lugar que a instituição ocupa na sociedade em relação à educação a distância. Este local (e respectiva função social desempenhada) fornecerá um ponto seguro de referência aos responsáveis por tomar decisões. Já a visão representa a definição do local que a instituição ocupará na sociedade em um tempo futuro determinado. Este local futuro que a instituição pretende chegar, fornecerá o segundo ponto de apoio à tomada de decisão fundamental ao planejamento estratégico em EaD (MOORE E KEARSLEY, 2008).

7 7 Uma das principais responsabilidades dos dirigentes de uma instituição é o planejamento estratégico relativo à educação a distância, que significa definir uma visão, uma missão, metas e objetivos para a instituição em relação à EaD; escolher as estratégias que viabilizem alcance das metas traçadas, com qualidade e com os recursos disponíveis; avaliar as tendências que se alteram na demanda dos alunos, das empresas e da sociedade e das opções tecnológicas que surgem e trazem maior eficiência; e projetar as necessidades futuras de recursos para adotar as medidas necessária a concretizá-las (MOORE E KEARSLEY, 2008). Conforme Ricardo (2009), a elaboração de um projeto educacional é o primeiro passo do planejamento em EaD corporativa. Durante a elaboração do projeto educacional, a organização (e seus gestores) poderá refletir e encontrar sua identidade, evidenciando que tipo de instituição é, quem são as pessoas que a constituem, como é sua estrutura, como funciona sua dinâmica e qual é sua realidade e seu contexto. Este documento será fundamental ao planejamento e precisará detalhar os pontos fortes e fracos da organização e o vínculo estabelecido entre a ação educacional a ser promovida e a política, objetivos e metas organizacionais. Se compararmos as propriedades que o projeto educacional tem para o desenvolvimento da função treinamento em uma organização com as funcionalidades que o planejamento estratégico tem para a gestão de qualquer processo organizacional, concluiremos que são procedimentos correlatos. Os dois promovem a análise da organização, em seus contextos interno (identidade) e externos (ambiente), identificando seus talentos (pontos fortes) e deficiências (pontos fortes), estabelecendo objetivos, definindo estratégias e alinhando o todo em uma direção única. O projeto estratégico / educacional elaborado deverá necessariamente estabelecer as diretrizes da organização, respectivas filosofias e estratégias (administrativas / educacionais) que serão adotadas, tecnologias que precisarão ser incorporadas e as práticas cotidianas. De certa forma, podemos afirmar que o projeto educacional representa para a educação a distância corporativa o mesmo que o projeto político pedagógico representa para a educação a distância universitária. Conforme determinado pelo Ministério da Educação (2007), o projeto político pedagógico deve expor a opção epistemológica de educação da instituição (identidade) e definir, a partir disso, os princípios e diretrizes que fundamentarão o processo de ensino e aprendizagem (políticas, objetivos e metas), estabelecendo como se desenvolverão os processos de produção do material didático, de tutoria, de comunicação e de avaliação (estratégias). É importante ressaltar que o gerenciamento estratégico dos sistemas educacionais vem sendo estimulado e intensificado bastante nos últimos anos. Tal gestão é apontada como capaz de fortalecer a escola, do ponto de vista institucional, e de garantir a qualidade da educação efetivamente oferecida. (PAES DE CARVALHO, 2010). Gerenciar estrategicamente a função treinamento em uma organização é possibilitar que a educação seja definida e compreendida pela organização e por todas as pessoas que a integram, permitindo que interfiram na

8 8 operacionalização das ações educacionais e no alcance dos respectivos objetivos estabelecidos. O projeto educacional, em sua função estratégica, funcionará como o articulador capaz de dar sentido único ao sistema e conduzir ao alcance dos macro objetivos organizacionais. Cabe mencionar que o planejamento e o projeto educacional constituirão os principais fundamentos para a realização da avaliação. No planejamento ocorre a definição do estado atual, a projeção do estado desejável futuro e a definição das estratégias conduzirão de um estado ao outro. Assim, podemos afirmar que a avaliação só poderá acontecer se houver a definição dos elementos fundamentais ao planejamento e, mais, que a qualidade da avaliação depende diretamente da qualidade do planejamento. Dessa forma, podemos concluir que o projeto educacional é extremamente relevante para a avaliação e para a gestão como um todo Padronização de processos, indicadores e avaliação. De uma maneira geral, qualquer gestão é direcionada a partir de dois princípios fundamentais: padronização e melhoria dos processos. A padronização concretiza a possibilidade do gestor analisar criticamente os procedimentos e métodos adotados pela organização, identificando oportunidades concretas de implementar melhoria nos processos rumo à excelência (MARSHALL JUNIOR, 2008). A padronização e uniformização de procedimentos são práticas adotadas tanto no campo científico quanto no da gestão. A administração, ao padronizar os processos organizacionais, confere materialidade à gestão; correlatamente à Ciência que, via método científico, objetiva verificar a veracidade dos fatos e garantir maior confiabilidade aos resultados (MARCONI e LAKATOS, 2000). Uma realidade organizacional padronizada possibilita a adoção de indicadores para sistematizarem e racionalizarem comportamentos, otimizarem resultados e garantirem maior consistência ao processo de gestão. A gestão de qualquer organização, processo, atividade e tarefa, para ser efetiva, precisa estar fundamentada em dados, informações e conhecimentos confiáveis e significativos. Sveiby (1998), inclusive, afirma que o sucesso das organizações torna-se cada vez mais dependente de uma administração por indicadores e medidas de desempenho. Ideia reforçada por Takashina (1999), para quem os indicadores da qualidade e desempenho são indispensáveis e fundamentais a qualquer gestão que se faz por fatos. Entretanto, cabe mencionar a ressalva de Camargo (2000) ao afirmar que, embora a gestão deva ser baseada em indicadores, não é todo indicador que se revela essencial à gerência. Para ele, os indicadores adotados na gestão somente serão relevantes se confeccionados e escolhidos a partir dos seguintes critérios e parâmetros.

9 9 1) Seletividade ou importância: os indicadores devem informar sobre uma característica relevante do produto, serviço ou processo. (CAMARGO, 2000). 2) Simplicidade e clareza: os indicadores devem ter a capacidade de serem compreendidos e aplicados facilmente em qualquer nível da organização. (CAMARGO, 2000). 3) Abrangência: os indicadores devem ter a máxima representatividade possível, fundamentando a obtenção de informações e conhecimentos generalizáveis. Devem ser priorizados indicadores que representem situações ou contextos globais e não aqueles específicos para situações particulares ou extraordinárias. (CAMARGO, 2000). 4) Rastreabilidade e acessibilidade: os indicadores devem permitir o registro, manutenção e disponibilidade de todos os dados associados, preservando a memória do cálculo e viabilizando consultas posteriores. (CAMARGO, 2000). 5) Comparabilidade: os indicadores devem possibilitar a comparação com referenciais apropriados, que pode ser o desempenho em outra realidade (o melhor concorrente, a média do ramo e o referencial de excelência) ou da própria realidade em outros anos/condições. (CAMARGO, 2000). 6) Estabilidade e rapidez de disponibilidade: os indicadores devem ser estáveis no tempo e no espaço, mantendo-se ao longo do tempo e para diferentes condições, e incorporados às atividades inerentes ao negócio da organização, viabilizando sua disponibilidade rápida e fácil. (CAMARGO, 2000). 7) Baixo custo de obtenção: os indicadores não podem onerar a organização, devem ser gerados por procedimentos de baixo custo e utilizar unidades simples de fácil compreensão. (CAMARGO, 2000). Embora os parâmetros apresentados relacionem-se a indicadores para avaliação do desempenho institucional, acreditamos que servem adequadamente como referenciais de construção de instrumentais para avaliação que sirvam à gestão em EaD. Apesar de ser uma situação específica, a avaliação de um curso também visa a sistematizar e racionalizar procedimentos, otimizar resultados e garantir maior consistência ao processo de gestão. Assim, podemos concluir que os indicadores adotados para avaliar cursos em EaD também precisam ser seletivos e relevantes, simples e claros, abrangentes, facilmente rastreáveis e acessíveis, comparáveis com outros referenciais, estáveis, rapidamente disponíveis e de baixo custo de obtenção. As categorias descritas por Camargo (2000) funcionam perfeitamente a qualquer situação que busque adotar indicadores para avaliação de desempenho. Ressalto que a educação, como qualquer área humana, envolve aspectos subjetivos que dificultam o processo de padronização. Entretanto,

10 10 este aspecto não deve servir como obstáculo para justificar a não adoção de indicadores ou a não proposição de mecanismos de uniformização para procedimentos gerenciais da educação. Ao mesmo tempo, é importante não restringir o fenômeno educação apenas aos seus aspectos padronizáveis, pois a gestão e seus mecanismos devem ser postos a serviço da educação e não o contrário. Os estudos aqui conduzidos, portanto, não pretendem adequar a educação à filosofia produtiva, mas possibilitar encontrar mecanismos gerenciais adaptáveis à realidade da educação. Afinal, qualquer instrumento sempre será um meio para se obter algo e não um fim em si mesmo Melhoria contínua de processos, Ciclo PDCA e avaliação. A melhoria dos processos organizacionais representa a força motriz e a própria justificativa para a administração. Se a padronização dos processo organizacionais representa a materialidade necessária à atuação gerencial, a busca pela melhoria dos processos organizacionais caracteriza a própria dinâmica da gestão. Padronizar os processos, métodos, produtos etc. de uma organização não é o bastante, é preciso melhorá-los continuamente para que alcancem a satisfação e a superação das expectativas de todas as partes envolvidas: clientes, acionistas, fornecedores, sociedade e colaboradores (MARSHALL JUNIOR, 2008). Da mesma forma que os indicadores representam uma excelente possibilidade para operacionalizar a padronização da gestão, a filosofia do melhoramento contínuo dos processos encontra uma ótima representação prática no Ciclo PDCA, um método gerencial dividido em quatro fases que, praticadas de forma cíclica e ininterrupta, promove não só a melhoria contínua e sistemática na organização, mas também consolida a padronização de práticas organizacionais (MARSHALL JUNIOR, 2008). Vamos nos interessar particularmente pelo Ciclo PDCA não só por ser um método capaz de operacionalizar o princípio da melhoria dos processos, mas também por estruturar o ciclo em etapas relacionáveis ao processo tradicional de gestão em educação: planejamento (Plan), execução (Do), verificação (Check) e ação corretiva (Act). O Ciclo PDCA é um método que pode ser utilizado para gerenciar processos, desde seu nível macro (organização) até seu nível micro (tarefa), independentemente da natureza do negócio ao qual está relacionado. Conforme Marshall Junior (2008), o Ciclo PDCA estrutura-se em quatro fases: 1) Plan (Planejamento): São estabelecidos objetivos e metas (normalmente desdobrados a partir do planejamento estratégico) para que sejam desenvolvidos métodos, procedimentos e padrões para alcançá-los. Aqui o detalhamento deve ser tal que produza os procedimentos e orientações técnicas necessárias à execução rumo às metas. Como

11 11 resultado desta fase tem-se um plano de ação, que pode ser correlacionado ao projeto educacional e ao projeto político pedagógico em educação. (MARSHALL JUNIOR, 2008). 2) Do (Execução): Ocorre a implementação do que foi planejado, executase o plano de ação, treina-se os colaboradores e coleta-se dados para avaliação. (MARSHALL JUNIOR, 2008). 3) Check (Verificação): O planejado é confrontado com o executado, as metas desejadas são avaliados em relação aos resultados alcançados e também os previstos para o final do processo. Essa comparação deve basear-se em fatos e dados objetivos e não na subjetividade, por isso, é usual utilizar instrumentos (baseados em indicadores) para monitorar e fundamentar a avaliação. A confecção e escolha de indicadores é muito relevante nesta fase. (MARSHALL JUNIOR, 2008). 4) Act (Ação corretiva): A partir da avaliação feita, caso as metas não tenham sido alcançadas, busca-se identificar as causas fundamentais e prevenir a repetição dos efeitos indesejados. Caso as metas tenham sido bem sucedidas, busca-se desenvolver um padrão para o ciclo seguinte, e em caso de insucesso, identifica-se as causas para serem evitadas. A avaliação permite reconhecer os fatores de sucesso e as oportunidades de melhorias e fundamenta a ação. (MARSHALL JUNIOR, 2008). O planejamento é o momento da gestão onde são estabelecidos os objetivos a serem alcançados, os procedimentos que serão adotados para alcançá-los e os resultados que permitirão concluir se houve êxito ou não à empreitada. As práticas relacionadas a etapa de desenvolvimento são aquelas que garantem a execução do que foi planejado. Juntamente com elas também é adotado um conjunto de medidas com o objetivo de monitorar se a execução vai na direção certa, fundamentando a tomada de decisão e a atuação no caso de qualquer problema. A etapa de avaliação possibilita a realização de julgamentos e obtenção de informações fundamentais à correção e ao planejamento do novo ciclo a ser iniciado. Assim, no novo ciclo poderão ser corrigidos os erros cometidos no anterior, melhorando a performance do processo e propiciando a sua melhoria contínua. Por evidenciar um movimento de superação, cíclico e ascendente, o ciclo PDCA é denominado como processo em espiral (PACHECO et al., 2010). O modelo proposto no Ciclo PDCA é uma eficiente ferramenta de gestão e capaz de ser generalizada para processos relacionados à administração em EaD. Conforme podemos verificar ao compará-lo com o modelo que Filatro (2007) estabelece para o Design Instrucional em EaD, compreendido como: (...) a ação intencional e sistemática de ensino, que envolve o planejamento, o desenvolvimento e a utilização de métodos, técnicas, atividades, materiais, eventos e

12 12 produtos educacionais em situações didáticas específicas, a fim de facilitar a aprendizagem humana a partir dos princípios de aprendizagem e instrução conhecidos (FILATRO, 2007, p. 64 e 65). Da mesma forma como recomendado para a utilização do Ciclo PDCA, Filatro (2005), conforme apresentado por Araújo (2008), defende que o desenho instrucional de um curso online seja aberto, contextualizado, não linear e com suas fases articuladas e não isoladas. É importante ter em mente que o objetivo de qualquer gestão é obter sucesso no alcance dos objetivos traçados na etapa de planejamento e, embora apresentadas como consecutivas no modelo, as atitudes de planejar, executar, monitorar e avaliar, na verdade são sobrepostas durante todo o processo para viabilizar o êxito pretendido. O monitoramento acontece junto com a execução para que o gestor identifique e corrija imediatamente os problemas e, assim, um erro de planejamento poderá ser reparado durante o desenvolvimento de um curso, revendo e adequando melhor um objetivo à realidade encontrada. A consideração de cursos e programas de treinamentos EaD segundo os princípios de padronização e melhoria contínua dos seus processos permite constatar que a avaliação do curso, tanto como atitude quanto como etapa, constitui um mecanismo fundamental para que a gestão possa acontecer e ser bem sucedida. A avaliação caracteriza um momento que fundamentará a tomada de decisão que, em última análise, será responsável pelo sucesso de uma tarefa, uma atividade, um processo e até mesmo de uma organização. 3. A avaliação sistematizada do curso em EaD Classificação da avaliação do curso. Conforme Carlini e Ramos (2009), a avaliação como ferramenta para gestão em Educação a Distância pode ser classificada em diagnóstica (realizada antes do curso), formativa (durante o desenvolvimento do curso) e somativa (ao final do curso), mas, independentemente do nome (e do momento de realização), a avaliação sempre deverá ter como objetivo fundamentar a tomada de decisão e a elaboração de estratégias para obtenção da excelência. A avaliação diagnóstica busca reunir informações relevantes antes do desenvolvimento e realização de um curso a distância e é realizada por todos os envolvidos: os gestores, os docentes e os discentes. Os gestores buscam informações fundamentais ao planejamento e desenvolvimento do curso, valendo-se inclusive de avaliações existentes para outras edições do curso ou de cursos correlatos.

13 13 Tanto a instituição de ensino e a equipe docente quanto os futuros alunos realizam uma avaliação diagnóstica. Os primeiros o fazem quando executam o levantamento de dados sobre a viabilidade, as condições de realização, os recursos materiais e humanos necessários, o público-alvo e suas características, entre outros aspectos, no decorrer do processo de planejamento e de criação da proposta do curso. Os futuros alunos, por sua vez, investigam a seriedade e a competência da instituição de ensino e a adequação da proposta as suas condições educacionais e financeiras. (CARLINI e RAMOS, 2009, p. 161) Já a avaliação formativa é aquela que mais se assemelha a etapa check / monitoramento do Ciclo PDCA, pois tem como objetivo reunir dados e informações relevantes durante o desenvolvimento do curso, capazes de indicarem a ocorrência de problemas em tempo hábil para que sejam adotadas as respectivas medidas corretivas. Ela se vale dos comentários, sugestões e críticas que os alunos se disponham a fazer no decorrer do curso. Ela deve ser feita em momentos intermediários relevantes como finais de módulos ou unidades didáticas (CARLINI e RAMOS, 2009). Este tipo de avaliação tem como objetivo verificar a adequação do curso às expectativas dos alunos e, indiretamente, o êxito do planejamento gerencial e pedagógico do curso, conferindo o sucesso dos objetivos traçados para a gestão e para a aprendizagem. A avaliação somativa é a mais comumente empregada e conhecida, podendo ser ou não combinada com a avaliação formativa (CARLINI e RAMOS, 2009, p.162). Ela é realizada ao final do curso e tem como objetivo avaliar o curso desenvolvido e identificar oportunidades de melhorias para as futuras edições. Frequentemente, as informações obtidas na avaliação somativa são utilizadas na avaliação diagnóstica das turmas subseqüentes, auxiliando no processo de planejamento do novo ciclo do curso. A avaliação somativa é feita quando é possível aos envolvidos emitirem julgamentos definitivos, ou seja, quando o curso estiver finalizando ou finalizado. Nesta avaliação é possível identificar o nível de satisfação dos participantes em relação à experiência pedagógica em fase de conclusão ou já concluída (CARLINI e RAMOS, 2009). É um tipo de avaliação baseada em formulários, preenchidos pelos alunos, não havendo compromisso da equipe docente comentar as respostas obtidas. Representa um registro pontual que, quando empregado isoladamente, não revela ser um instrumento de monitoramento eficaz por

14 14 desconsiderar as sutilezas do processo que aconteceram ao longo do curso (CARLINI e RAMOS, 2009). A avaliação somativa é uma boa estratégia para levantar informações para a realização da avaliação diagnóstica de futuras turmas do mesmo curso ou de cursos correlatos. Se considerarmos o Ciclo PDCA, percebemos que a avaliação somativa permite produzir dados que servirão como input para a fase de planejamento, ou seja, para o início de um novo ciclo. Por outro lado, a avaliação formativa é aquela capaz de produzir as informações mais adequadas ao monitoramento da execução, sendo este tipo de avaliação o que melhor possibilita ao gestor identificar problemas e corrigilos a tempo de garantir o sucesso da ação. Para Carlini e Ramos (2009), a sistemática da avaliação de um curso a distância deve ser feita em processo e orientada por instrumentos capazes de identificarem qualquer alteração e fundamentarem a adoção dos procedimentos que garantam a reorientação rumo ao que foi planejado. Cada tipo de avaliação tem seu papel e relevância, e o fundamental é que os programas de EaD adotem uma sistemática que envolva todas as formas, configurando uma estratégia avaliativa capaz de cumprir os três requisitos / tipos / momentos avaliativos apresentados Sistema de monitoramento e avaliação. A gestão exerce suas funções primordiais de padronizar e melhorar processos através da avaliação. Afirmação que encontra apoio em Heimann (2010) quando diz que monitorar constitui uma atividade fundamental à gestão. Por intermédio da avaliação o gestor acompanha e avalia os resultados obtidos, diz com relativa segurança se os objetivos finais serão alcançados e adota as medidas necessárias para confirmar ou corrigir a ação. Embora a avaliação permita que o gestor exerça conscientemente o poder de dirigir, é importante salientar que não é qualquer avaliação que serve a este propósito. Conforme o próprio Heimann (2010) ressalta, um monitoramento eficaz requer produção sistemática de informações relevantes e em um ritmo adequado à tomada de decisões. Moore e Kearsley (2007) aprofundam esta ideia ao afirmarem que não basta adotar uma sistemática de avaliação em EaD. Para eles, um sistema de monitoramento e avaliação em EaD eficaz só é alcançado a partir de uma rede de indicadores que gere, freqüente e rotineiramente, os dados necessários sobre o desempenho dos diversos atores e fatores envolvidos; e, além disso, estes dados precisarão ser analisados de forma a fundamentar a revisão e a tomada de decisão. Somente uma adequada sistemática de avaliação será capaz de fornecer dados que possibilitem diagnosticar tempestivamente problemas pedagógicos e administrativos e elaborar estratégias efetivas para solucioná-

15 15 los. Esse aspecto que assume especial importância no caso da gestão em Educação a Distância; pois, o fato do aluno estar distante do instrutor e da entidade administrativa condiciona o sucesso de qualquer ação em EaD à existência de um sistema eficaz de monitoramento e avaliação. Para os instrutores, somente pelo uso de materiais de avaliação e pela adoção de procedimentos criados pela instituição de ensino é que podem saber se os alunos estão tendo dificuldades. Com o tipo adequado de dados de avaliação, deve ser possível determinar precisamente que tipo de ajuda é necessária para uma determinada pessoa. Um bom sistema de monitoramento também informa os administradores a respeito dos problemas que afetam os instrutores e os alunos, e indica se ocorrem atrasos ou interrupções nos sistemas de comunicação, enquanto ainda há tempo suficiente para uma ação corretiva. (MOORE e KEARSLEY, 2007, p. 130). Encontramos em Filatro (2007) reforço para aprofundar este raciocínio referente a relevância de ser desenvolvida e adotada uma sistemática capaz de operacionalizar um processo de avaliação de cursos a distância. Para a autora, a avaliação em EaD assume especial relevância por possibilitar aferir a eficácia do curso, rever a caracterização do público-alvo e analisar as estratégias pedagógicas e tecnológicas implementadas, propiciando o acompanhamento, a revisão e a manutenção do curso. Carlini e Ramos (2009) reforçam que um curso a distância envolve inúmeros componentes (instituição, gestores, docentes, discentes, ambiente virtual, conteúdos, metodologias etc) em uma complexa rede de relações. As variações são muitas, frequentes e imprevisíveis, e o sistema deve prover uma avaliação contínua e instrumentalizada, permitindo identificar e caracterizar imediatamente qualquer alteração para adoção das medidas de reorientação necessárias. Prosseguindo neste raciocínio, segundo Moore e Kearsley (2007), os bons sistemas de monitoramento e avaliação apresentam três características: 1. Os cursos contam com objetivos de aprendizagem bem especificados. (MOORE e KEARSLEY, 2007). 2. Os cursos são desenhados para que os alunos produzam muitas e freqüentes tarefas de aprendizagem. Esta característica do sistema é tão importante pelo fato de que são as tarefas realizadas pelos alunos durante o curso online que fornecerão os indicadores necessários ao monitoramento da ocorrência de problemas. (MOORE e KEARSLEY, 2007).

16 16 3. A coleta de dados, produção de relatórios e análise de resultados dos cursos acontecem cotidianamente de forma que possibilitem o monitorar tempestivamente a ocorrência de eventuais problemas. (MOORE e KEARSLEY, 2007). Para Moore e Kearsley (2007) a importância do sistema de avaliação e monitoramento é tão grande que creditam a ele boa parte do sucesso de um programa de EaD. Onde a adoção de um sistema ruim de monitoramento leva ao fracasso certo do programa. Portanto, a avaliação em EaD precisa ser sistematizada, contando com princípios, técnicas, métodos e ferramentas capazes de produzirem dados e informações relevantes de forma ordenada e coerente. Somente uma sistemática de avaliação inserida no contexto de gestão será capaz de apoiar e orientar a tomada de decisão Referenciais para avaliação da qualidade do curso EaD. As discussões conduzidas até aqui demonstram que a avaliação do curso EaD deve ser feita via sistema de monitoramento e avaliação eficaz, ou seja, construído a partir de uma rede de indicadores e instrumentais capazes de produzirem as informações necessárias a tomada de decisão. A padronização e sistematização da avaliação irá conferir maior consistência à gestão do processo e, neste sentido, o uso de instrumentos como questionários e formulários são recursos bastante objetivos, desde que contem com os melhores e os mais significativos indicadores. Camargo (2000) propõe uma lista de critérios gerais a serem adotados para criação e seleção de indicadores. Entretanto, estes parâmetros só poderão ser aplicados após a determinação dos aspectos fundamentais e válidos de serem avaliados nas diversas situações de educação a distância. A partir do momento que houver a definição desses fatores, os indicadores poderão ser criados e selecionados, possibilitando o desenvolvimento de instrumentos que sirvam efetivamente a avaliação da qualidade de em educação a distância A consideração das informações presentes nos documentos Marcos de Referência para o Sucesso da Educação a Distância Baseada na Internet e Referenciais de Qualidade para Educação Superior a Distância produzidos a partir de estudos conduzidos, respectivamente, pelo Institute for Higher Education and Policy (MOORE e KEARSLEY, 2008) e pelo MEC, Ministério da Educação (2007) permite formularmos uma lista de fatores e respectivos indicadores para referenciar uma avaliação em EaD, expostos na tabela 2, a seguir. TABELA 2 Fatores e indicadores para avaliação do curso em EaD INDICADORES

17 17 FATORES Organização Didático- Pedagógica Corpo Docente, Corpo de Tutores, Corpo Técnico- Administrativ o e Discentes Apoio institucional Institute for Higher Education and Policy (MOORE e KEARSLEY, 2008) a) Aprendizagem dos estudantes; b) Práticas educacionais dos professores e tutores; c) Material didático (seus aspectos científico, cultural, ético, estético, didático-pedagógico e motivacional, sua adequação aos estudantes e às tecnologias de informação e comunicação, sua capacidade de comunicação etc.) e às ações dos centros de documentação e informação (midiatecas); d) Currículo (sua estrutura, organização, encadeamento lógico, relevância, contextualização, período de integralização, dentre outros); e) Sistema de orientação docente e à tutoria (capacidade de comunicação através de meios eficientes; de atendimento aos estudantes em momentos a distância e presenciais; orientação aos estudantes; avaliação do desempenho dos estudantes; avaliação de desempenho dos professores e tutores; avaliação dos pólos de apoio presencial). f) Modelo de educação superior à distância adotado (uma soma dos itens anteriores combinada com análise do fluxo dos estudantes, tempo de integralização do curso, interação, evasão, atitudes e outros); g) Realização de convênios e parcerias com outras instituições. (MOORE e KEARSLEY, 2008). a) Corpo docente, vinculado à própria instituição, com formação e experiência na área de ensino e em educação a distância; b) Corpo de tutores com qualificação adequada ao projeto do curso; c) Corpo de técnico-administrativos integrado ao curso e que presta suporte adequado, tanto na sede como nos pólos; d) Apoio à participação dos estudantes nas atividades pertinentes ao curso, bem como em eventos externos e internos. (MOORE e KEARSLEY, 2008) a) Infra-estrutura material que dá suporte tecnológico, científico e instrumental ao curso; b) Infra-estrutura material dos pólos de apoio presencial; c) Existência de biblioteca nos pólos, com um acervo mínimo para possibilitar acesso aos estudantes a bibliografia, além do material didático utilizado no curso; d) Sistema de empréstimo de livros e periódicos ligado à sede da IES para possibilitar acesso à bibliografia mais completa, além do disponibilizado no pólo. (MOORE e KEARSLEY, 2008) Ministério da Educação (BRASIL, 2007) a) Adoção de padrões para criação, desenvolvimento, criação e veiculação do curso: os resultados do aprendizado determinam a tecnologia e não o contrário. b) Materiais instrucionais atualizados: revistos periodicamente para assegurar os padrões do programa. c) Cursos desenhados para exigirem dos alunos realização de análises, sínteses e avaliações para serem aprovados. d) A interação dos alunos com o corpo docente e com outros alunos é uma característica essencial e amplamente estimulada e facilitada. e) Feedback das tarefas é construtivo e rápido. f) Os alunos recebem todas as instruções e orientações necessárias para garantir aprendizagem efetiva. (BRASIL, 2007) a) Plano de tecnologia estruturado e seguro: garante qualidade, integridade e validade da informação. b) Tecnologia confiável: a prova de falhas. c) Sistema centralizado de suporte à infraestrutura de EaD. d) Avaliação diagnóstica: antes do início do curso os alunos são avaliados quanto a sua automotivação e compromisso e quanto a seu acesso à tecnologia mínima exigida. e) Divulgação de informações sobre o curso: os objetivos, conceitos e ideias do curso, e os resultados do aprendizado devem ser disponibilizados aos alunos. -

18 18 INDICADORES FATORES Avaliação Institute for Higher Education and Policy (MOORE e KEARSLEY, 2008) a) Meta-avaliação: um exame crítico do processo de avaliação utilizado: seja do desempenho dos estudantes, seja do desenvolvimento do curso como um todo. b) A Instituição deve considerar as vantagens de uma avaliação que englobe etapas de autoavaliação e avaliação externa. (MOORE e KEARSLEY, 2008) Ministério da Educação (BRASIL, 2007) f) Disponibiliza recursos suficientes para pesquisa e consulta: biblioteca acessível pela Web. g) Auxílio técnico aos docentes: dispõem de suporte para tecnologia. h) Suporte pedagógico aos docentes: dispõem de orientações para atuação docente em EaD, antes e durante o curso. i) Divulgação de informações administrativas: requisitos para admissão, taxas, aprovação, prazos etc. j) Disponibilização de orientações sobre conteúdos: treinamentos e tutoriais para acessar todos os conteúdos e recursos. l) Apoio técnico: alunos contam com suporte permanente para lidarem com a tecnologia. Todas as questões são respondidas rapidamente. (BRASIL, 2007) a) Processo de avaliação analisa a eficácia educacional aplicando padrões específicos e utilizando métodos diversificados. b) Dados sobre matrículas, cursos e usos da tecnologia são adotados como critérios para avaliação da eficácia. c) Avaliação deve ser formativa, confrontando regularmente os resultados planejados com os obtidos. (BRASIL, 2007). É importante mencionar que os indicadores apresentados representam categorias gerais e, portanto, devem ser contextualizadas às diferentes realidades. Entretanto, já representam referências fundamentais para o desenvolvimento de instrumentos adequados à condução da avaliação de programas de treinamento EaD via procedimentos padronizados. Até agora, nossas discussões levaram a verificar que o desenvolvimento de uma sistematização para a avaliação do curso em EaD depende da definição de referenciais que, por sua vez, orientam o estabelecimento dos fatores, indicadores e critérios que integrarão os instrumentais utilizados para avaliar. Entretanto, é importante completar que um sistema de avaliação para ser operacionalizado exige o estabelecimento de uma metodologia capaz de modelar todo o processo de avaliação e articular os diferentes níveis do sistema à realidade. A metodologia adotada em uma sistematização da avaliação do curso será capaz de integrar os aspectos mais abstratos, representados pelas diretrizes fornecidas pelos referenciais, com os aspectos mais concretos do sistema, expostos nos instrumentos utilizados para avaliar. 4. Metodologia para avaliação do curso no ambiente corporativo.

19 19 A partir do momento que já contamos com referenciais para criação e seleção dos indicadores que integrarão os instrumentos padronizados para a avaliação do curso EaD, o próximo passo é identificar uma metodologia adequada para uniformizar e garantir coerência ao processo avaliativo a ser adotado para treinamentos virtuais. A avaliação somativa do curso é aquela realizada ao final do curso - por intermédio de instrumentos padronizados e construídos com o objetivo de colher as opiniões e os julgamentos definitivos dos envolvidos -, tendo como objetivo aferir a eficácia do curso no contexto da gestão em EaD. No modelo da educação corporativa, proposto por Kirkpatrick (1998), este tipo de avaliação guarda relação com a denominada avaliação de reação, um tipo de avaliação também realizada ao final do curso, mediada por instrumentais padronizados e que objetiva fundamentar a gestão do curso. A metodologia envolvida na avaliação de reação pretende mensurar a reação dos participantes ao programa de treinamento, medindo a satisfação do aluno e obtendo informações cruciais para a avaliação e o planejamento do curso. Segundo Marras (2000), uma organização só promove ações de capacitação que representem aumento direto da produtividade e/ou da qualidade do que é produzido. Mesmo treinamentos que visam ao incentivo motivacional, à otimização pessoal e organizacional e ao atendimento de exigências das mudanças, representam estratégias indiretas para a formação profissional, a especialização e/ou a reciclagem de conhecimentos, conceitos e práticas de trabalho. Para as organizações, a promoção do treinamento representa, na verdade, um investimento, pois o capital empregado retornará acrescido de lucros. Neste ambiente, os programas de treinamento que não apresentam êxito (entendido como o sucesso em atingir os objetivos planejados) são revistos ou até mesmo cancelados. Por esta razão, a adoção de mecanismos para avaliação da efetividade dos treinamentos promovidos é uma prática muito difundida no ambiente corporativo. Nas organizações qualquer investimento feito precisa ser justificado e, no caso de treinamentos, o usual é se fundamentar em Kirkpatrick (1998), considerado o precursor da análise do retorno investimento feito em treinamento. Para ele, o êxito do treinamento só pode ser verificado a partir da sua relação com o desempenho profissional e organizacional. A partir deste pressuposto básico, Kirkpatrick (1998) constrói uma metodologia de mensuração e avaliação de sistemas de treinamentos que acontece em quatro níveis: 1) Avaliação de reação; 2) Avaliação de aprendizado; 3) Avaliação de comportamento; 4) Avaliação de resultados.

20 20 No nível de reação, os alunos são orientados a fazerem uma avaliação crítica sobre o sistema de treinamento com o objetivo de fornecerem informações importantes para a realização de modificações capazes de melhor adequar o curso ao público-alvo, aumentando sua eficiência pedagógica. No nível de aprendizagem, objetiva-se verificar o grau de aquisição que os alunos tiveram dos conhecimentos pré-definidos para o treinamento. Embora possa ser adotada uma avaliação de aprendizagem somativa, ao final do curso, é importante que neste nível a avaliação de aprendizagem priorize mecanismos formativos capazes de acompanharem a evolução dos aprendizes para identificar e corrigir fragilidades durante o desenvolvimento da ação. No nível de comportamento, pretende-se verificar as mudanças de comportamento decorrentes do aprendizado proporcionado pelo treinamento. Avaliam-se os efeitos do curso no desempenho do aluno e em sua produtividade no trabalho. Este momento da avaliação acontece algum tempo após a participação no treinamento, o aluno precisa de tempo e oportunidade para praticar o que foi aprendido. O objetivo de qualquer treinamento é promover mudança de comportamento, entretanto, conforme Kirkpatrick (1998) para que isso aconteça é necessário que se cumpra cinco requisitos: desejo de mudança, o conhecimento de o quê fazer e de como fazê-lo, um clima de trabalho adequado, auxílio na aplicação do aprendizado e recompensa pela mudança no comportamento. Portanto, a avaliação neste nível deverá investigar necessariamente a satisfação destas condições. No nível de resultados, objetiva-se comprovar, a partir de indicadores concretos, o efetivo retorno do investimento feito no treinamento, ou seja, quais foram os resultados advindos do treinamento do funcionário. Segundo Kirkpatrick (1998) é o mais importante e mais difícil dos quatro níveis porque na maioria das situações o que existem são evidências dos resultados. Faltam indicadores confiáveis e incontestáveis capazes de fornecerem a mensuração requerida neste nível de avaliação. Para Kirkpatrick (1998), conforme apresentado por Hack (1999), o processo de avaliação de um programa de treinamento sempre deve iniciar no nível 1 e incluir os demais níveis conforme o curso for consolidado. Kirkpatrick (1998) ressalta, ainda, que é um julgamento incorreto considerar que os primeiros níveis (avaliação de reação, nível 1, e avaliação de aprendizagem, nível 2) não são tão importantes quanto os demais (avaliação de comportamento, nível 3, e avaliação de resultado, nível 4), como costuma acontecer. A realização de um nível de avaliação é pré-requisito para a realização do nível posterior. Cada um dos níveis fornece dados e informações que interferem de forma específica no processo de planejamento e desenvolvimento dos cursos. Esta concepção metodológica é reforçada por Schröeder (2000) que propõe adequar a estrutura de avaliação de Kirkpatrick (1998) conforme a realidade de cada organização e de curso. Assim, as avaliações de reação (nível 1) e de aprendizagem (nível 2) serão feitas para todos os cursos; a avaliação de comportamento (nível 3) será feita apenas quando o principal