Desenvolvimento e Avaliação de Materiais Didáticos em EAD: o caso do Laboratório Virtual de Estatística Aplicada à Administração

Transcrição

1 Desenvolvimento e Avaliação de Materiais Didáticos em EAD: o caso do Laboratório Virtual de Estatística Aplicada à Administração Autoria: Daielly Melina Nassif Mantovani, Adriana Backx Noronha Viana, Maria Flávia Barbosa Leite Resumo Observa-se a utilização crescente de tecnologias educacionais no ensino universitário, em especial a utilização de ambientes virtuais de aprendizagem como apoio ao ensino presencial das disciplinas. A utilização destes ambientes apresenta como vantagens, aos alunos e professores, a flexibilidade de acesso e estímulo a autonomia de estudo. No entanto, deve-se considerar que para a efetividade do ensino-aprendizagem em ambientes virtuais é necessário que os materiais didáticos sejam elaborados muito cuidadosamente de forma que permitam interatividade e acessibilidade. Desta forma, o presente trabalho tem como objetivo estudar o desenvolvimento e avaliação de materiais didáticos para EAD (Educação a Distância), utilizados no ensino de Estatística, abordando-se especificamente o caso do LaViE (Laboratório Virtual de Estatística Aplicada à Administração). Estudou-se a metodologia aplicada para o desenvolvimento dos materiais e a forma como foram avaliados, na perspectiva do usuário/aluno, almejando-se com isso contribuir para o desenvolvimento de estudos neste campo de pesquisa. Os passos seguidos para o desenvolvimento dos materiais foram: definição dos materiais, criação dos protocolos de trabalho, desenvolvimento dos materiais, avaliação, correções e implementação. 1) Introdução O exercício da atividade do profissional de Administração envolve uma contínua tomada de decisões, que se traduz, em algumas circunstâncias, em um processo de incertezas gerado por um ambiente em constante mudança. No entanto, o gestor pode utilizar ferramentas que o auxiliem a reduzir o nível de incertezas, maximizando o retorno positivo de suas ações. Nesse contexto, pode-se citar a Estatística como uma ferramenta de grande auxílio na tomada de decisões, estando presente na rotina do Administrador e podendo ser aplicada a inúmeras áreas de uma organização. Diante deste cenário, é necessário que os cursos de Graduação em Administração possam oferecer de maneira efetiva um bom embasamento estatístico para que o futuro profissional da área possa exercer as suas funções com maior destreza. Neste sentido é que, atualmente, a Estatística tem tido uma abordagem crescente em todas as ciências, em especial na Administração. Adicionalmente, as dificuldades de aprendizagem desta disciplina, principalmente pelos alunos dos cursos de ciências sociais aplicadas, fazem dela um desafio tanto para o docente que a ensina como para o aluno que aprende. Considerando-se que os alunos iniciam o estudo de uma disciplina com expectativas iniciais de aprendizagem, é necessário que os métodos de ensino possibilitem a construção de um significado interno para esta disciplina, permitindo-se aplicar os conhecimentos aprendidos fora do ambiente acadêmico (KENNEDY, 1998). Partindo-se da premissa de que os alunos apresentam melhor aproveitamento ao participar ativamente de seu processo de aprendizagem, especialmente em disciplinas teóricas, as tecnologias educacionais podem constituir um recurso promissor no ensino de Estatística. Isto ocorre porque as tecnologias educacionais podem oferecer um ambiente interativo e individualizado, no qual o aluno é constantemente convidado a interagir com os conteúdos, podendo escolher o tipo de mídia que se adapta melhor ao seu estilo de aprendizagem. Ao contrário do que se imaginou no passado, a participação de tecnologias nos processos de ensino-aprendizagem não se restringe apenas a conteúdos complementares e de 1

2 cultura geral. Atualmente, as tecnologias têm sido utilizadas com sucesso no ensino de disciplinas altamente estruturadas e de nível universitário, como é o caso da Estatística (VELLEMAN; MOORE, 1996). Pode-se afirmar que um ambiente pautado apenas em interfaces amigáveis ou em recursos interativos de comunicação não consegue atingir o objetivo de tornar o ensino efetivo. A qualidade dos materiais disponibilizados influencia de forma crucial a funcionalidade do ambiente como um todo, isto é, a capacidade do ambiente em promover realmente a aprendizagem. Considerando-se a relevância dos conteúdos para a efetivação da aprendizagem, este trabalho tem como objetivo estudar o desenvolvimento e avaliação de materiais didáticos para EAD (Educação a Distância) utilizados no ensino de Estatística Aplicada à Administração, especificamente o caso do LaViE (Laboratório Virtual de Estatística Aplicada à Administração). Destaca-se que não há grande disponibilidade de bibliografia sobre o assunto e as referências existentes não apresentam uma discussão aprofundada. No entanto, a utilização de tecnologias educacionais em diversas vertentes do ensino é crescente, aumentando a importância de se criar uma metodologia de desenvolvimento para materiais didáticos a serem utilizados em laboratórios virtuais. Tal metodologia de desenvolvimento mostra-se relevante, haja vista que a efetividade do processo de ensino-aprendizagem está fortemente relacionada à qualidade e adequação destes materiais. Neste contexto, vislumbrou-se a possibilidade de desenvolver um laboratório virtual de Estatística Aplicada à Administração - o LaViE - como um recurso de apoio às aulas presenciais de Estatística para o curso de Administração da FEA-RP/USP. O LaViE tem como proposta oferecer um ambiente virtual de aprendizagem considerando três dimensões: - estrutura: interfaces e organização do portal; - ferramentas de interação: chat, fórum, FAQs, correio eletrônico, que permitam aos alunos se comunicarem com o professor e entre si; - materiais didáticos: conteúdos complementares às aulas presenciais. Este trabalho apresenta a metodologia utilizada no desenvolvimento dos materiais didáticos EAD para ensino de Estatística do LaViE, não abordando as duas outras dimensões do ambiente citadas anteriormente. Primeiramente é apresentada uma breve revisão bibliográfica que compreende aspectos do e-learning e considerações sobre o desenvolvimento de materiais didáticos para educação a distância. A seguir é apresentada a abordagem metodológica do estudo, o caso estudado, algumas considerações finais e as referências bibliográficas. 2) Revisão Bibliográfica 2.1. E-learning De acordo com o decreto nº 2494, a Educação a Distância é uma forma de ensino que possibilita a auto-aprendizagem, com mediação de recursos didáticos sistematicamente organizados, apresentados em diferentes suportes de informação, utilizados isoladamente ou combinados e veiculados pelos diversos meios de comunicação (BRASIL, 1998). A educação a distância (EAD) é antiga, sua primeira modalidade surgiu no ano de 1840 na Inglaterra com um curso por correspondência. Desde então, este recurso passou a ser utilizado em diversas partes do mundo e outras modalidades da EAD surgiram, tal como a educação por rádio, que permitia às populações nômades estudar (VIGNERON, 2005). Com a criação da televisão, novas ferramentas para educação a distância começaram a aparecer, como videocassete, TV por satélite, TV a cabo, videoconferência, Cd-rom e a 2

3 Internet (VIGNERON, 2005), cada modalidade com suas respectivas vantagens e desvantagens. A característica marcante da EAD é a transposição de barreiras de tempo e espaço e a ausência da figura do professor como responsável pela transmissão do conhecimento. De acordo com Nunes (2001 apud JACOBSOHN, 2003 p. 45), as principais características da educação a distância são: - separação física entre professor e aluno; - utilização de meios técnicos de comunicação para transmitir o conteúdo e aproximar professor e aluno; - previsão de comunicação de mão-dupla entre professor e aluno, incluindo tutorias, orientações, observações sobre trabalhos realizados, esclarecimento de dúvidas e avaliações finais; - possibilidade de atender alunos relativamente dispersos (posição geográfica ou disponibilidade de horários); - alunos predominantemente adultos (possibilita valorização da experiência individual); - cursos auto-instrucionais (o centro de todo o processo de ensino é o estudante, que precisa desenvolver habilidades de independência e iniciativa, buscando o autodesenvolvimento); - estudo individualizado (possibilidade de realizar o curso no ritmo desejado e de acordo com as características individuais de cada aluno); - cursos pré-produzidos (centralização da produção, utilizando diversos meios e recursos, tais como revistas, livros, rádio e televisão, filmes, computadores etc.); - comunicações massivas (vantagem de disponibilizar o curso para um grande número de alunos); - crescente utilização da tecnologia da informação; - tendência a adotar estruturas curriculares flexíveis (permite maior adaptação às possibilidades e expectativas individuais). Dentre as diversas modalidades de educação a distância destaca-se o e-learning. De acordo com Rosenberg (2002 apud JACOBSOHN, 2003), e-learning refere-se à utilização das tecnologias da Internet para fornecer um amplo conjunto de soluções que melhoram o conhecimento e o desempenho no processo de aprendizagem. Desta forma, o e-learning pode ser considerado uma das modalidades da educação a distância impulsionada via Internet, ou seja, utiliza a Internet para distribuir instrução aos alunos (SOLOMON, 2005), disponibilizando os conteúdos para acesso online (McKIMM; JOLLIE; CANTILLON, 2003). Segundo Penterich (2005), com o surgimento da web as novas tecnologias de comunicação e informação foram capazes de encurtar distâncias, atingindo públicos cada vez maiores, sobretudo as pessoas que estão em constante movimento. Isto é possível devido à capacidade de transmitir informações e avaliar o conhecimento de forma extremamente ágil e estratégica. Rosenberg (2002 apud JACOBSOHN, 2003) apresenta alguns critérios fundamentais em que o conceito de e-learning está baseado: - transmissão em rede, que possibilita atualização instantânea, arquivamento, distribuição e compartilhamento de instruções e informações; - disponibilização via computador, utilizando os padrões de tecnologia da Internet; - foco em uma visão ampla de aprendizado, soluções que se estendem além dos paradigmas tradicionais de treinamento. O autor ainda apresenta alguns benefícios do e-learning (ROSENBERG 2002 apud JACOBSOHN, 2003): - redução de custos: menor necessidade de infra-estrutura; - mensagens consistentes: as pessoas recebem o mesmo conteúdo, apresentado da mesma forma; - conteúdo pode ser atualizado com facilidade e rapidez; 3

4 - aprender vinte e quatro horas por dia, sete dias por semana: acesso de qualquer lugar em qualquer horário; - usuários familiarizados com Internet não terão dificuldades para acessar o curso; - universalidade: aproveitamento dos protocolos e browsers da Internet, que são universais; - construção de comunidades: a Internet permite construir comunidades para compartilhar conhecimentos e insights após o curso; - escala: possibilidade de aumentar o número de alunos com um pequeno esforço e custo incremental. Uma das vantagens dos cursos online é a possibilidade de incluir recursos de multimídia que auxiliam o estudante no estudo e no desenvolvimento de habilidades relacionadas ao uso da tecnologia e da Internet (MUPINGA, 2005), bem como o pensamento crítico, a comunicação escrita e a solução de problemas (JACOBSOHN, 2003). Nestes cursos podem-se utilizar fóruns de discussão, , vídeo-conferência e vídeos didáticos (McKIMM; JOLLIE; CANTILLON, 2003), que incentivam a participação do aluno, tendo em vista que barreiras como preconceito, timidez e medo são abandonadas mais facilmente do que em ambientes presenciais (JACOBSOHN, 2003) Materiais Didáticos em EAD Para que o processo de ensino-aprendizagem seja realmente efetivo na modalidade a distância, é necessário considerar alguns elementos mediadores. Dentre eles, o mais crucial seria o material didático. É comum pensar que o êxito de um curso online está atrelado à tecnologia utilizada no curso. No entanto, para Hardy (2004) a escolha da tecnologia a ser utilizada deve considerar os conteúdos abordados no curso, isto é, a tecnologia escolhida deve ser a mais adequada para distribuir os conteúdos desenvolvidos. Segundo essa idéia, são os conteúdos que determinam a qualidade do curso e a efetividade do processo de ensino-aprendizagem. Jacobsohn (2003) ressalta que os materiais disponíveis na Internet possuem vida útil limitada, não sendo possível utilizá-los por períodos de tempo muito longos, fazendo-se necessária a reformulação periódica. Segundo Loyolla e Prates (2003), na abordagem de educação a distância mediada por computador, especialmente na modalidade baseada na Internet, surge o conceito de unidade de aprendizado. A unidade de aprendizado pode ser definida como a menor quantidade de conhecimento que deve ser imposta à mente, tendo em vista sua modulação cíclica. Estas unidades exigem que os materiais didáticos sejam formulados para maximizar a eficiência do estudo e, para tanto, não devem demandar um tempo de estudo superior a três horas. Desta forma, os materiais devem apresentar uma primeira parte simples, contendo os conceitos a serem estudados. Somente depois desta visão geral, os conteúdos detalhados e os links internos e externos devem ser apresentados. Com esta seqüência, a mente do aluno terá condições de sintetizar e absorver os novos conhecimentos. O desenvolvimento destes materiais, incluindo a definição de mídias a se utilizar, deve considerar os pressupostos básicos da educação a distância e a abordagem pedagógica pretendida pelo curso ministrado. De forma geral, deve-se primar pela interação, interatividade, aprendizagem colaborativa e estudo autônomo, em sintonia com o desenvolvimento não só intelectual, mas também do ser humano (SALES, 2005). Os conteúdos dos materiais devem apresentar as seguintes características: interatividade, sequenciação de idéias, relação teoria-prática, auto-avaliação, linguagem clara e concisa, glossário, exemplificações cotidianas e/ou científicas, resumos e animações (SALES, 2005), sempre considerando as expectativas e interesses dos alunos (OLIVEIRA et al., 2004). 4

5 Em relação ao conteúdo, existem dois tipos de materiais didáticos para educação a distância: o material impresso e o material digital (ou material web). O material digital é aquele utilizado nos ambientes virtuais e apresenta como características marcantes a interatividade, hipertextualidade e dinamismo. O material impresso, muito utilizado em EAD, é de fácil manipulação e transporte. Ambos devem ser produzidos em uma linguagem que proporcione diálogo com o leitor, obedecendo à lógica do hipertexto, que pode ser definido como um emaranhado de elos que traçam a trama entre os vários textos (SALES, 2005). Um conteúdo é uma forma semiologicamente interpretável, desenvolvida em determinado formato e que adquire significado devido aos antecedentes sócio-culturais das pessoas que acessam. Assim, um conteúdo torna-se importante devido ao valor de uso que representa ao seu usuário. O conteúdo digital é caracterizado pelo fato de suas informações estarem codificadas em binário e serem processadas através de sistemas informáticos digitais. Trata-se de informação apresentada na forma digitalizada, organizada para transmitir conhecimentos sobre um determinado tema, em níveis de profundidade específicos. Adicionalmente, os conteúdos digitais com propósitos educacionais tendem a ser aperfeiçoados continuamente para acompanhar as necessidades de seus usuários (TORRES; MAZZONI, 2004). Segundo Torres e Mazzoni (2004), é imprescindível que se considere os critérios de usabilidade e acessibilidade ao se desenvolver conteúdos digitais a serem utilizados com objetivos de ensino-aprendizagem. Torres e Mazzoni (2004) afirmam ainda que a usabilidade de um conteúdo é compreendida como sendo o grau de facilidade de uso desse produto para um usuário que ainda não esteja familiarizado com ele. Por outro lado, a acessibilidade do produto considera a diversidade de seus possíveis usuários, no que tange a suas preferências, limitações de hardware (relacionadas ao equipamento utilizado), ou, até mesmo, à existência de usuários com necessidades educativas especiais. A questão da acessibilidade deve ser considerada um conceito bruto, o acesso aos conteúdos não pode depender de um tipo específico de equipamento ou de uma limitação orgânica que o usuário possua. Para ser acessível, o conteúdo deve estar disponível com a mesma qualidade para todos os usuários, estejam eles utilizando quaisquer equipamentos de hardware ou software, de forma que possam manipular os materiais de forma autônoma (TORRES; MAZZONI, 2004). A usabilidade visa satisfazer a um público-alvo específico, de forma que o resultado final seja um material que atenda da melhor forma possível às características daqueles usuários (TORRES; MAZZONI, 2004). Os conteúdos devem ser desenvolvidos em formatos diferentes para que o usuário possa optar por um ou outro tipo de material, de acordo com suas necessidades, preferências (estilo de mídia que mais lhe convém ou agrada) ou estilo de aprendizagem. A possibilidade de utilização dos recursos multimídia traz grandes contribuições para a produção de materiais didáticos digitais, considerando os diferentes estilos de aprendizagem dos usuários e as preferências quanto à forma de recepção da informação. Apesar de todos estes aspectos teóricos, deve-se atentar ao seguinte fato: se o professor ainda está baseado nos tradicionais paradigmas da educação, em que o processo de ensino-aprendizagem é linear e unidirecional, o material didático será meramente uma reprodução deste paradigma. O ambiente virtual de aprendizagem terá suas potencialidades subutilizadas, tornando-se apenas um depósito de textos. Os s e o chat serão utilizados apenas para que o professor passe informações ao aluno e o fórum se resumirá a um local em que se postam perguntas e respostas (SALES, 2005). Desta maneira, o desenvolvimento dos materiais didáticos para EAD envolve grande dose de criatividade, haja vista a fundamental importância destes materiais para a efetividade do ensino-aprendizagem. 5

6 Segundo Richardson (1999), a pesquisa para elaboração de material didático é um processo que consiste em desenvolver e validar produtos educacionais. Relativamente nova, esta metodologia de trabalho aparece como uma das mais promissoras estratégias já utilizadas, particularmente, no campo educacional. Como o próprio nome indica, esta metodologia tem como objetivo expressamente claro produzir livro-texto, material audiovisual, equipamento específico, material de treinamento, enfim, qualquer produto essencial ao desenvolvimento do ensino-aprendizagem. A funcionalidade desse tipo de metodologia caracteriza-se pelo direcionamento do produto a determinado tipo de escola e, sobretudo, às necessidades psicossociais do educando. A utilidade do emprego dessa metodologia verifica-se em sua capacidade de superar e corrigir graves problemas educacionais. Tais problemas seriam o emprego indistinto de livro-texto, de material didático e de equipamentos que, embora válidos para determinado padrão social e escolar, não atendem às carências de uma população estudantil específica e nem se ajustam às necessidades mais peculiares de certa comunidade. A pesquisa para elaboração de material didático distingue-se da básica porque não se volta diretamente para a busca de conhecimentos em uma área específica, mas para a elaboração de um produto que possa ser, efetivamente, utilizado em escolas. Neste tipo de pesquisa, a seqüência a ser adotada como forma de trabalho científico é bastante diferente das demais. A formulação da seqüência é considerada como a maior contribuição oferecida à área da pesquisa educacional e torna-se muito útil, mesmo não se tratando especificamente de materiais didáticos para EAD. Os passos desta seqüência são (RICHARDSON, 1999): 1) Definir um conjunto de objetivos específicos que o produto deve atingir. 2) Rever pesquisas anteriores a fim de descobrir deficiências de produtos elaborados e, naturalmente, identificar formas capazes de superar tais falhas. 3) Elaborar o produto de modo que se atinjam os objetivos previstos. 4) Testar o produto em um grupo do público-alvo e avaliar sua adequação aos objetivos. 5) Revisar o produto com base nos resultados obtidos. 6) Repetir o teste e a revisão tendo em vista a otimização do produto. A referida pesquisa pode também ser desenvolvida sob a forma de amplo programa, no qual se incluem montagem de um novo currículo, elaboração de livro-texto e material audiovisual, os quais incorporam o método de ensino e treinamento de pessoal. A abrangência de um programa dessa ordem exige a participação de um grande grupo de pesquisadores e recursos financeiros suficientes para manter o programa durante o tempo requerido. Richardson (1999) destaca a importância de descrever tanto quanto possível o produto que será desenvolvido. Esta descrição deve conter informações sobre o que é o produto, seus objetivos e modalidades de aplicação. Após o planejamento inicial, deve-se elaborar os materiais propostos e em seguida testá-los. Neste processo de teste deve-se buscar informações que permitam melhorar o produto desenvolvido. Baseando-se nestas informações, o produto deve ser revisado para garantir a obtenção substancial dos objetivos propostos. 3) Estudo de Caso Considerando-se que o objetivo deste trabalho estudar o desenvolvimento e avaliação de materiais didáticos para EAD (Educação a Distância) utilizados no ensino de Estatística Aplicada à Administração, especificamente o caso do LaViE (Laboratório Virtual de Estatística Aplicada à Administração), optou-se por realizar um estudo de caso. A justificativa para escolha desta metodologia bem como outros aspectos referentes ao método são apresentados no item 3.1. No item 3.2. apresenta-se um breve histórico sobre o projeto do 6

7 LaViE e no item 3.3. apresenta-se detalhadamente a análise realizada sobre os materiais do LaViE Método Este trabalho possuiu caráter exploratório e qualitativo. Gil (2002) define como exploratórios os trabalhos cujo objetivo seja obter familiaridade com o problema, explicitando-o. Cabe esclarecer que o método do presente artigo não foram os procedimentos de desenvolvimento e avaliação de materiais didáticos de EAD. Os procedimentos de desenvolvimento e avaliação se configuram apenas como os objetos de estudo e, portanto, as observações e análises se valeram de outras metodologias científicas. Dentre os métodos de pesquisa qualitativa, optou-se pelo método de estudo de caso único, devido a sua adequação ao problema de pesquisa proposto. Segundo Yin (2005), o método dos estudos de caso é mais que uma simples coleta de dados, é uma estratégia de pesquisa que enfrenta uma situação tecnicamente única em que haverá mais variáveis de interesse do que pontos dados, sendo baseada em diversas fontes de evidências. O autor ainda destaca que o método do estudo de caso é uma investigação empírica, que aborda um fenômeno contemporâneo dentro de seu contexto real, em especial quando os limites entre o fenômeno e o contexto não estão claramente definidos (YIN, 2005). Os estudos de caso devem ser projetados considerando-se o número de casos a serem estudados, podendo ser múltiplos casos ou um caso único. O caso único, como o desenvolvido neste trabalho, é apropriado quando se configura como um caso decisivo, um caso raro, extremo ou ainda quando se mostra revelador (YIN, 2005). As unidades de análise em estudos de caso constituem-se do próprio caso estudado. De acordo com Yin (2005), a definição da unidade de análise está relacionada à maneira como as questões iniciais de pesquisa foram definidas. Neste trabalho, definiu-se como unidade de estudo o desenvolvimento e avaliação de materiais didáticos EAD, para ensino de Estatística Aplicada à Administração, criados para o LaViE. O protocolo de pesquisa contém o instrumento, os procedimentos e regras gerais que devem ser seguidas ao se utilizar o instrumento. Destina-se a aumentar a confiabilidade do estudo e orientar o pesquisador na condução do estudo de caso (YIN, 2005). O estudo de caso deste trabalho seguiu um protocolo contendo os procedimentos e regras gerais para a construção e aplicação dos instrumentos de coleta de dados. Estas questões ajudaram na obtenção de respostas relacionadas ao problema de pesquisa e se orientaram em torno dos conceitos vistos na revisão bibliográfica. Os dados coletados foram analisados descritivamente por meio de observação participante, fontes de dados secundários e entrevistas com usuários finais do projeto, originando o relatório do caso LaViE Laboratório Virtual de Estatística Aplicada a Administração O LaViE teve início no ano de 2003 com a idéia de se criar um ambiente que disponibilizasse conteúdos e estrutura onde os alunos pudessem estudar fora dos horários de aula. Desta forma, desenvolveu-se um laboratório virtual de acesso aberto, disponível na Internet. O projeto foi desenvolvido contemplando-se três vertentes: 1) a criação da estrutura; 2) a criação das ferramentas de interação; 3) a criação dos materiais didáticos. Cada uma destas foi desenvolvida por pesquisadores diferentes. A estrutura trata dos espaços para inserção dos materiais e das ferramentas de interação. Como ferramentas de interação, têm-se recursos que permitem a comunicação dos alunos entre si e dos alunos com o laboratório. Os recursos citados são: o fórum, o chat e o fale conosco ( ). 7

8 Os materiais didáticos desenvolvidos abordam os assuntos de Estatística Aplicada à Administração tratados nas disciplinas de Estatística do curso de graduação em Administração da FEA-RP/USP. O acesso ao laboratório e aos materiais é livre, ou seja, não está restrito apenas aos alunos do curso. No entanto, é necessário que se faça um cadastro no próprio site para se obter uma senha que será requisitada no acesso a alguns materiais. Este cadastro permite o gerenciamento do laboratório à medida que torna possível conhecer o número e o momento dos acessos a cada material. O LaViE foi implementado de forma experimental nas disciplinas cursadas no ano de 2005, com intuito de aperfeiçoamento tanto da estrutura quanto dos materiais desenvolvidos. No ano de 2005, o laboratório virtual foi utilizado em três disciplinas do curso de graduação e uma disciplina do curso de pós-graduação stricto sensu. O período de aperfeiçoamento foi válido para identificar e eliminar possíveis falhas, para que a partir de 2006 o laboratório pudesse ser utilizado de forma definitiva nas disciplinas de Estatística Aplicada ministradas no curso citado Desenvolvimento e Avaliação dos Materiais Didáticos do LaViE Os materiais do LaViE foram desenvolvidos de acordo com a seqüência de passos sugerida por Richardson (1999) para elaboração de materiais didáticos. No entanto, não há na literatura referências sobre como explorar cada um dos passos desta seqüência. Considerou-se relevante descrever detalhadamente o desenvolvimento de cada um desses passos, ilustrados na figura 1. 1-Definição dos materiais a serem desenvolvidos 2-Criação de diretrizes e protocolos de desenvolvimento 3-Desenvolvimento dos materiais: - Glossário; -Textos explicativos; - Tutoriais; -Exemplos. 4-Criação das diretrizes para avaliação dos materiais 5-Realização da avaliação 6-Correções e implementação final do conteúdo Figura 1: Passos para o desenvolvimento de materiais didáticos para EAD. -Definição dos materiais para o LaViE. Nesta etapa foram definidos que tipos de materiais seriam desenvolvidos para o laboratório, bem como as tecnologias que seriam utilizadas no desenvolvimento. Considerouse, para estas decisões, a experiência das pesquisadoras, os conteúdos desenvolvidos em outros ambientes virtuais de estatística e conhecimentos adquiridos da literatura quanto a tecnologias pertinentes para e-learning. Decidiu-se por desenvolver os seguintes materiais: glossário de conceitos; textos explicativos para ferramentas estatísticas; tutoriais para o uso de softwares e exemplos. Glossário: contém breves definições de conceitos estatísticos que são encontrados com freqüência em Administração. Os conceitos foram retirados de livros de Estatística básica e aplicada à Administração. As definições foram desenvolvidas no editor de texto Microsoft Word, com base em pesquisa bibliográfica. Após a correção inicial foram passados para o formato HTML. Textos explicativos: materiais adicionais aos livros-texto de Estatística, apresenta-se de forma sintética os principais pontos da ferramenta estatística abordada. Foram desenvolvidos textos para as seguintes ferramentas: teste de hipóteses; análise de variância; análise de correlação; análise de regressão; análise fatorial; análise de clusters e análise discriminante. 8

9 Os textos foram desenvolvidos com o editor de textos Microsoft Word e após a correção inicial foram formatados em HTML. Tutoriais: explicações curtas de como utilizar os softwares SPSS e Microsoft Excel para aplicação das ferramentas estatísticas. Desenvolveu-se duas modalidades de tutoriais: - Tutoriais em texto: desenvolvidos utilizando-se o Microsoft Word. São explicações por escrito, seguidas das telas do software copiadas (SPSS ou MS Excel), indicando quais menus devem ser acessados para aplicar a ferramenta. Após a correção inicial, foram transformados em arquivos do formato pdf. - Tutoriais gravados: desenvolvidos utilizando-se o Microsoft Producer. São explicações em áudio, apresentadas concomitantemente à visualização das telas do software, em uma apresentação de MS Power Point. Estes tutoriais foram desenvolvidos para as mesmas ferramentas definidas para os textos explicativos. Exemplos: referem-se a publicações acadêmicas da área de Administração que utilizam alguma das ferramentas estatísticas escolhidas para analisar os dados. Os exemplos utilizados foram obtidos por meio de busca em bancos de publicações e estão disponíveis para acesso no laboratório de acordo com as áreas da Administração: Recursos Humanos; Marketing; Finanças; Produção e Logística; Outras áreas. -Criação de protocolos de desenvolvimento para os materiais. Nesta etapa foram desenvolvidos os protocolos, dentro dos quais foram feitos os conteúdos definidos na etapa anterior. Foram criadas as estruturas-padrão que nortearam o desenvolvimento dos textos, tutoriais e glossário, conferindo maior organização dos conteúdos dentro do laboratório e facilitando o estudo dos alunos. A elaboração dos protocolos foi baseada no referencial teórico sobre desenvolvimento de material didático e na experiência das pesquisadoras. Realizou-se também uma análise nos formatos dos materiais de outros ambientes virtuais de aprendizagem, visando extrair diretrizes. Glossário: os conceitos foram organizados em conceitos-chave e conceitosespecíficos, sendo que cada conceito-chave é composto por um grupo de conceitosespecíficos. Por exemplo, ao se clicar sobre o conceito-chave medidas de dispersão, serão apresentados os conceitos-específicos, ou seja, as respectivas medidas de dispersão: variância, desvio padrão, amplitude etc. Esta organização tem como objetivo capacitar o aluno a interligar os conceitos, pois visualizam quais conceitos (específicos) fazem parte de uma grande área da Estatística ou de uma ferramenta (conceito-chave), podendo estabelecer estas conexões mentais. Além disso, esta organização facilita a busca pelos conceitos. Textos explicativos: a estrutura foi baseada em nome da ferramenta ; para estudar este módulo você precisa saber (apresenta os conteúdos pré-requisitos para o entendimento do módulo e especifica-se em que módulo o aluno pode encontrar explicação sobre esses conteúdos); neste módulo você irá aprender (apresenta os pontos-chave da ferramenta que serão tratados no texto); conceitos pré-requisitos (apresenta os conceitos estatísticos básicos, com os quais o aluno deve ter familiaridade para entender a ferramenta); conceitos a serem estudados (apresenta os conceitos relacionados à ferramenta em estudo); dica de estudo (apresenta recomendações que o aluno pode seguir para facilitar seu estudo); situação problema (descreve um problema em Administração onde a ferramenta em questão pode ser utilizada para ajudar na sua resolução); entendendo a ferramenta (apresenta a teoria sobre a ferramenta); como devem ser os dados para podermos aplicar a ferramenta (apresenta os pressupostos básicos para que a ferramenta seja aplicada); passos para utilização (apresenta cada passo para que a ferramenta possa ser aplicada). 9

10 Tutoriais: para os tutoriais, tanto em texto quanto gravados, criou-se a seguinte estrutura nome da ferramenta, situação problema (apresenta uma situação, se possível real, com um banco de dados, que pode ser resolvida por meio do uso da ferramenta estatística em questão); preparação dos dados (apresenta a explicação de como os dados do problema podem ser inseridos nas planilhas dos softwares); parte 1- geração das tabelas (apresenta uma explicação dos passos necessários para aplicar as ferramentas e obter os resultados); parte 2- análise das tabelas (apresenta como devem ser analisadas as tabelas geradas no item anterior). Exemplos: foram considerados exemplos de produção científica da área de Administração que tenham utilizado alguma das ferramentas estatísticas abordadas para analisar seus dados. Estes exemplos foram obtidos por busca na Internet. Para publicações que utilizaram mais de uma das ferramentas, a classificação foi feita de acordo com o detalhamento das explicações. Por exemplo, se uma das publicações da área de Marketing apresentou a ferramenta análise fatorial e análise de cluster e apresentou mais detalhadamente a utilização da primeira, esta publicação foi classificada como um exemplo de utilização da ferramenta análise fatorial para a área de Marketing. Os exemplos têm como objetivo ilustrar situações em que as ferramentas apresentadas são utilizadas em contexto prático de Administração. -Desenvolvimento dos materiais para o LaViE. Nesta etapa iniciou-se o desenvolvimento dos materiais escolhidos na etapa 1, de acordo com os protocolos criados na etapa 2. Estes materiais consistem em um glossário, textos explicativos para as ferramentas estatísticas, tutoriais para utilização de softwares e exemplos de aplicação das ferramentas estatísticas. Glossário: contém definições de alguns conceitos da Estatística Aplicada à Administração. Estes conceitos foram escolhidos e elaborados com base na revisão bibliográfica em livros de Estatística básica e aplicada à Administração. Possui um total de 24 conceitos-chave, subdivididos em 213 conceitos-específicos. Textos explicativos: foram desenvolvidos para algumas ferramentas estatísticas que são ministradas nas disciplinas de Estatística do curso de Administração. Estes textos têm como objetivo complementar os conteúdos dados em sala de aula e não substituir os livrostexto de Estatística. Os textos apresentam, de forma resumida, os pontos principais das ferramentas, sem a intenção de esgotar o assunto. No total foram desenvolvidos 9 textos teóricos. Tutoriais: foram desenvolvidas duas modalidades de tutoriais, os tutoriais em texto e tutoriais gravados. Os tutoriais em texto mostram telas com os menus dos softwares que devem ser acionados e explicações por escrito. Os tutoriais em texto foram desenvolvidos para os softwares SPSS e MS Excel quando possível, pois o MS Excel não realiza algumas das análises multivariadas abordadas neste projeto.os tutoriais gravados ensinam a utilizar os softwares por meio de imagens e áudio. Os tutoriais gravados foram desenvolvidos para todas as ferramentas aplicadas com o software SPSS. Ao todo foram feitos 15 tutoriais em texto pra o software SPSS, 11 tutoriais texto para o software MS Excel e 30 tutoriais gravados. Exemplos: têm como objetivo ilustrar situações em que as ferramentas estatísticas são utilizadas nas diversas áreas da Administração. Estes exemplos foram obtidos a partir de pesquisa bibliográfica em bancos de dados científicos, nacionais e internacionais. Ao todo foram obtidas 32 publicações exemplo. -Criação de diretrizes para avaliação, correções e implementação dos materiais. O experimento teve como objetivo avaliar os produtos educacionais desenvolvidos junto aos usuários finais, os alunos de graduação em Administração, para que falhas 10

11 pudessem ser identificadas e corrigidas antes da disponibilização final dos materiais e que novos insights fossem gerados para melhoria dos materiais. Objetivou-se avaliar os materiais em relação a dimensões de qualidade dos conteúdos, adequação instrucional, utilidade, acessibilidade e usabilidade. Buscou-se identificar a opinião dos alunos em relação a estes materiais didáticos desenvolvidos e experiência geral com o LaViE. Para tanto, define-se o experimento como qualitativo e exploratório, cuja coleta de dados deu-se por meio de um focus group. Este, por sua vez, foi realizado com um grupo de oito alunos do segundo ano de graduação que cursavam a disciplina Estatística Aplicada II. Esperava-se obter como resultado uma lista com os pontos fortes e fracos dos materiais, pontos fortes e fracos do LaViE e sugestões de melhoria. Encontram-se como apêndices (apêndice A e B) os pontos fortes e fracos dos materiais mencionados pelos alunos, classificados dentro das dimensões usabilidade, acessibilidade, utilidade, qualidade e adequação instrucional, que de acordo com a literatura devem ser consideradas na avaliação dos materiais didáticos. Os alunos que participaram do experimento focaram o debate nos tutoriais, pois apenas dois deles haviam utilizado o glossário e três haviam utilizado os textos explicativos. Além disso, os estudantes consideraram os tutoriais como o material mais útil, pois para realização dos trabalhos da disciplina e da avaliação são necessárias diversas análises de tabelas, apresentadas nos tutoriais. Os alunos consideraram que os materiais existentes têm contribuído bastante para o aprendizado e desempenho na disciplina. No entanto, solicitaram maior volume de material teórico e exemplos práticos reais. Tal solicitação demonstrou que, possivelmente, os alunos não acessaram os textos explicativos, os quais abordam justamente os aspectos teóricos de cada ferramenta. Quando questionados sobre a possibilidade de ler os exemplos práticos (no caso artigos), os alunos afirmaram que apenas a minoria utilizaria este material, mas seria interessante se ele existisse. Um ponto fraco citado por todos os participantes foi a baixa qualidade do áudio e resolução do vídeo. Deve-se ressaltar que a produção destes não foi realizada em estúdio, portanto, justificam-se os ruídos e a falta de fluidez da narração. A grande quantidade de links vazios no LaViE (outra crítica feita pela maioria dos participantes) deve-se ao fato de o projeto estar em fase de implantação. Muitos conteúdos ainda não foram desenvolvidos e outros, já prontos, ainda não foram disponibilizados. Esta turma, segundo ano de graduação em Administração, utilizou os materiais de forma experimental para proporcionar feedback para as pesquisadoras. Os conteúdos foram disponibilizados pela docente responsável de acordo com o andamento da disciplina. Apenas os tutoriais, textos explicativos e glossário foram disponibilizados, o que não ocorreu com os exemplos de aplicação por falta de tempo hábil para a implementação. As dificuldades de utilização dos materiais mencionadas ocorreram devido a características técnicas e não ao conteúdo em si, considerado pelos alunos como muito didático e explicativo. Surgiram alguns pontos de divergência. Por exemplo, apenas um participante citou o aspecto estético como sendo importante. Para ele, a utilização de outras cores de letra e contrastes de fundo de tela seriam mais agradáveis para a leitura que letra preta com fundo branco. Este é um ponto a ser considerado, pois pode haver alguma outra combinação de cores que seja mais agradável, podendo incentivar ou facilitar a leitura. Percebe-se também que as opiniões sobre os tutoriais são bastante condicionadas ao gosto do aluno e ao seu estilo de aprendizagem. Por isso, os participantes que se mostraram mais favoráveis aos tutoriais escritos foram os que declararam preferir o formato escrito para estudar. Por outro lado, os participantes que se mostraram mais favoráveis ao modo em vídeo declararam sua preferência por aprender com mídias áudio e vídeo. 11

12 As sugestões dadas pelos alunos, de forma geral, são bastante interessantes para o aprimoramento do material. Destaca-se, porém, uma em particular: definir os objetivos do LaViE. Alguns comentários dos alunos mostraram que os objetivos do laboratório não estão muito claros. O LaViE foi desenvolvido para complementar o ensino presencial das disciplinas de Estatística, sem a intenção de substituir aulas presenciais, o livro-texto ou esgotar o assunto da disciplina. Os alunos fizeram alguns comentários como: inserir no LaViE material como de livro, para que a pessoa consulte um livro-texto apenas se desejar se aprofundar no assunto. Tais sugestões não se aplicam, pois não se deseja substituir o uso do livro. É realmente necessário esclarecer os objetivos do laboratório e de cada tipo de material, bem como o que pode ser encontrado no ambiente e as situações em que os recursos devem ser utilizados. A falha relatada em relação ao LaViE, instabilidade, deve-se ao fato de que o ambiente estava instalado em um servidor não exclusivo, ao qual não se tinha muito controle e que por vezes ficava desligado. Atualmente, este problema está sendo contornado, pois o laboratório será instalado em um outro servidor e com isto os problemas de site fora do ar serão minimizados. Os erros nos materiais, apontados pelos alunos, foram corrigidos e as falhas técnicas apuradas para identificar suas causas. A versão corrigida e os materiais completos serão implementados para utilização concomitante com as disciplinas presenciais de Estatística a partir do segundo semestre de O trabalho desenvolvido pode ser encontrado em 4) Considerações Finais Sob a perspectiva de que a utilização de tecnologias educacionais EAD, especialmente as vinculadas à Internet, têm tido espaço crescente nas salas de aula e de que a adequação dos materiais didáticos é fundamental para a efetivação do processo de ensino-aprendizagem, espera-se que as considerações tecidas a respeito da metodologia de desenvolvimento e avaliação de materiais didáticos para EAD contribuam para o desenvolvimento de estudos na área e para o melhor entendimento deste processo. A literatura consultada indica, em geral, os passos que devem ser seguidos para o desenvolvimento de materiais didáticos. Observou-se no caso estudado a concordância com cada um dos passos e, além disso, a criação de métodos para a execução de cada um destes. Neste trabalho estudou-se como os materiais do LaViE foram desenvolvidos e avaliados, com intuito de criar um marco referencial para este tipo de trabalho. É válido ressaltar que os protocolos e processo de avaliação podem ser adaptados e reportados a outros tipos de ambientes virtuais e não apenas aos destinados ao ensino de Estatística. Ressalta-se que o estudo possui algumas limitações. A primeira delas concerne ao fato de quase não haver bibliografia sobre o desenvolvimento e avaliação de materiais didáticos, especialmente a materiais para utilização em educação a distância. Adicionalmente, as considerações tecidas estão baseadas nas observações das pesquisadoras e podem, portanto, ser passíveis de vieses em algumas colocações. Os estudos sobre o desenvolvimento e avaliações de materiais didáticos em EAD consistem em um campo de estudo promissor em relação ao uso de tecnologias educacionais como auxílio no processo de ensino-aprendizagem. Considerando-se não apenas sua aplicação no ensino de Estatística Aplicada à Administração, mas também a possibilidade de utilização em diversas áreas do saber. Deve-se considerar que os aspectos de qualidade, adequação e usabilidade dos materiais são fundamentais para a efetividade da aprendizagem nos ambientes virtuais. Desta maneira, o planejamento cuidadoso dos materiais didáticos a serem desenvolvidos é de suma importância para que os ambientes virtuais consigam realmente 12

13 atingir seu objetivo de promover a aprendizagem e despertar o interesse e autonomia de estudo no aprendiz. Espera-se que este artigo contribua para o desenvolvimento deste campo de estudo, trazendo novas contribuições para os desenvolvedores e gestores de ambientes virtuais de aprendizagem e novas bases para futuros estudos exploratórios e conclusivos sobre este tema. 5) Referências. BRASIL. Decreto nº2494, de 10 de fevereiro de Regulamenta o Art. 80 da LDB (Lei nº9394/96). Diário Oficial da União, Brasília, DF, 11 fev Disponível em: < Acesso em: 11 mai GIL, A.C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Ed. Atlas, 2002, 175 p. HARDY, D. W. It s not the technology. Distance learning, v. 1, 4, p , JACOBSOHN, L. V. A contribuição do e-learning no desenvolvimento de competências do administrador: considerando o estilo de aprendizagem do aluno de graduação f. Dissertação (Mestrado em Administração de Empresas)- Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo, São Paulo, KENNEDY, P.E. Teaching undergraduate econometrics: a suggestion for fundamental change. Disponível em: < %3C487%3ATUEASF%3E2.0.CO%3B2-Y>. Acesso em: 11 abr LOYOLLA, W.; PRATES, M. Ferramental pedagógico da educação a distância mediada por computador. In: ENANPAD 27, 2003, Atibaia. Anais... Atibaia: Associação Nacional de Pós- Graduação e Pesquisa em Administração, MCKIMM, J.; JOLLIE, C.; CANTILLON, P. Web based learning. British Medical Journal, v. 326, p , abr MUPINGA, D. M. Distance education in high schools: benefits, challenges and suggestions. The Clearing House, v. 78, 3, p , jan/fev OLIVEIRA, T.Z.Q. et al. A construção do material didático em EAD: uma experiência de aprender fazendo, através da ação, do conhecimento e da afetividade. In: CONGRESSO INTERNACIONAL DE EDUCAÇÃO A DISTÂNCIA, 11, 2004, Salvador. Anais... Salvador: Associação Brasileira de Educação a Distância, PENTERICH, E. Ambientes virtuais de aprendizagem. In: VIGNERON, J; OLIVEIRA, V.B.de. Sala de aula e tecnologias. São Bernardo do Campo: Metodista, p RICHARDSON, R.J. Pesquisa social: métodos e técnicas. 3. ed. São Paulo: Atlas, p. SALES, M.V.S. Uma reflexão sobre a produção do material didático para EAD. In: CONGRESSO INTERNACIONAL DE EDUCAÇÃO A DISTÂNCIA, 12, 2005, Florianópolis. Anais... Florianópolis: Associação Brasileira de Educação a Distância,

14 SOLOMON, G. Shaping e-learning policy. Technology and Learning, v. 25, 10, p , mai TORRES, E.F.; MAZZONI, A.A. Conteúdos digitais multimídia: o foco na usabilidade e acessibilidade. Disponível em: < 1096&article=320&mode=pdf >. Acesso em: 02 out TORRES, E.F.; MAZZONI, A.A.; ALVES. J.B.M. A acessibilidade à informação no espaço digital. Disponível em: < 466&article=186&mode=pdf>. Acesso em: 02 out VELLEMAN, P.F.; MOORE, D.F. Multimedia for teaching statistics: promises and pitfalls. Disponível em: < 3AMFTSPA%3e2.0.CO%3B2-Z>. Acesso em: 6 abr VIGNERON, J. Do curso por correspondência ao curso on-line. In: VIGNERON, J; OLIVEIRA, V.B.de. Sala de aula e tecnologias. São Bernardo do Campo: Metodista, p YIN, R.K. Estudo de caso: planejamento e métodos. 3. ed. Porto Alegre: Bookman, 2005, 212 p. 14

15 Apêndice A Pontos fortes dos materiais didáticos do LaViE, de acordo com as dimensões utilidade, usabilidade, acessibilidade, qualidade e adequação instrucional. Dimensão Ponto Forte Significado 1) Utilidade - grande volume de material - os materiais têm muitas páginas, além de haver tutorial, textos explicativos e glossário, muito útil para estudar a disciplina. - explicação das tabelas no tutorial - muito útil, pois ajuda na interpretação dos dados. - exemplos de aplicação prática - ajuda a fazer a ligação entre teoria e prática, ajuda a identificar em quais situações a ferramenta é aplicável. - uso de diferentes mídias - tutoriais tem opção em texto e vídeo, que permite ao aluno escolher a forma mais adequada ao estilo de aprendizagem e variar o estudo (utilizar cada vez uma mídia), quebrar a rotina. 2) Acessibilidade - disposição na Internet - materiais disponíveis na Internet facilitam o acesso, permite com que seja feito de qualquer lugar a qualquer hora. - círculo vermelho - os círculos utilizados para chamar atenção aos passos são úteis, pois facilitam a compreensão e ajudam as pessoas mais lentas e com dificuldade de visão (haja vista que as letras são pequenas). - acesso fácil e rápido - apesar de os arquivos serem bem grandes é bem rápido para acessar. - divisão entre geração de tabelas e análise de resultados - esta separação ajuda a organizar o raciocínio, é muito útil para pessoas que pensam de forma linear. 3) Usabilidade - tutorial em vídeo segmentado e interativo - o tutorial em vídeo é composto de várias telas, com isto é possível avançar, recuar e parar a apresentação conforme necessário, é bem mais fácil manipular e se localizar dentro do material. - tutorial em texto PDF - o uso do PDF é muito bom, pois não se corre o risco de apagar alguma informação, como costuma ocorrer com o word. - explicação passo-a-passo - tutoriais são bem detalhados e muito fáceis de entender. 4) Qualidade - dicção nos vídeos - a dicção é muito boa, fala pausadamente e devagar, é possível acompanhar a ação do cursor e a explicação sem se perder. - linguagem didática e objetiva - todo o material é muito didático, muito fácil de entender, é praticamente uma aula sem sair de casa. - uso de ilustrações de telas - colocar as figuras das telas e tabelas e uma explicação ajudou muito na compreensão e torna possível fazer o trabalho da disciplina com facilidade, se não existisse o tutorial, teriam muito mais 5) Adequação Instrucional - os tutoriais estimulam autonomia e autodidatismo dificuldade para fazer o trabalho. - é possível aprender autonomamente, o professor passa a ser apenas um orientador para esclarecer dúvidas. Mesmo quem nunca teve contato com o software consegue aprender sem grandes dificuldades. - aplicabilidade - os materiais do LaViE são mais aplicáveis à prática do que o livro texto adotado, que é muito complexo. Estudando pelos materiais é possível entender realmente a ferramenta e resolver exercícios. - glossário - muito útil para consultas rápidas sobre definições de conceitos. 15

16 Apêndice B Pontos fracos dos materiais didáticos do LaViE, de acordo com as dimensões utilidade, usabilidade, acessibilidade, qualidade e adequação instrucional. Dimensão Ponto Fraco Significado 1) Utilidade - telas desnecessárias - nos tutoriais escritos há uma grande riqueza de detalhes, no entanto, há exagero, no caso de colocar várias ilustrações de telas apenas para ensinar a entrar no menu inicial. - ausência de tópicos nos tutoriais em texto - o texto é corrido, o que dificulta encontrar tópicos desejados, quando não se vai ler o texto inteiro, é necessário folhear o texto todo para encontrar o que deseja. - tamanho dos arquivos - arquivos muito pesados, difíceis de transportar, pois não cabem em disquete e há dificuldade em enviar por . 2) Acessibilidade - pouca interligação entre conteúdos - os tutoriais, textos explicativos, glossário e exemplos não estão interligados, se desejar passar de um material para o outro é necessário voltar para a tela inicial, isto é pouco prático. - acesso depende de programa especial - os tutoriais em texto estão em PDF, se o usuário não possuir este programa instalado não consegue acessar o arquivo, o word é acessível a um maior número de pessoas. - falta de padronização dos tutoriais - os textos não estão padronizados, em relação a títulos e menus, isto dificulta a familiarização (aprendizagem de como 3) Usabilidade 4) Qualidade 5) Adequação Instrucional - falta de quadro com definições específicas nos tutoriais usar o material). - não há explicação detalhada sobre o que são determinados conceitos (que são comuns e aparecem em várias ferramentas) para aquela ferramenta específica. - falta de um glossário de termos chave - não há um glossário em cada tutorial, contendo as definições no tutorial de termos-chave daquela ferramenta. - profundidade das explicações - alguns conteúdos são superficiais, especialmente o glossário e o tutorial, não ensinam a teoria em profundidade. - resolução de exercícios - existem poucos exercícios e as resoluções são meio vagas, além disso, não seguem um formato específico. - resolução e tamanho das figuras - as figuras são muito pequenas e embaçadas, o que dificulta a visualização, especialmente das pessoas que possuem algum problema de visão (precisam fazer um grande esforço), isto dificulta a fluidez do estudo. - qualidade do som - o áudio dos tutoriais em vídeo apresenta muito ruído, além de ser desagradável, prejudica o entendimento de algumas palavras. - uso de cores - os textos (textos explicativos e tutoriais) deveriam ser mais coloridos, com outras cores de fonte e de fundo. - erros encontrados - erro no tutorial em vídeo parte I (análise fatorial) pulou um passo e fez com que houvesse erros no trabalho da disciplina. - falta de explicações - faltam explicações mais detalhadas sobre como analisar alguns gráficos, isto traz dificuldades na confecção do trabalho da disciplina. - falha técnica encontrada - os tutoriais em vídeo apresentam uma falha técnica, há ocasiões em que a imagem some e o áudio continua rodando normalmente, a imagem pode voltar sozinha, mas às vezes não volta. - narração - a voz da narradora é infantil e faz com que se perca um pouco da credibilidade nos conteúdos apresentados, além disso, a narração não é contínua, não há fluidez. - ausência de casos práticos reais - apresenta poucos exemplos e eles são muito importantes na fixação da teoria. - excessiva vinculação ao software SPSS - os tutoriais são muito vinculados a um software específico, o SPSS, se por acaso o usuário precisar utilizar outro software, o material perde a utilidade. - teoria se mistura com passos para aplicar o software - ausência de um guia para situações não ideais - os tutoriais deveriam separar em parte teórica e outra de aplicação do software, pois as duas coisas se misturam e isto dificulta na assimilação dos conhecimentos. - os tutoriais não apresentam o que fazer em casos de exceção (em que os indicadores não assumam valores aceitáveis), assim, parece que as ferramentas são úteis apenas em situações perfeitas, sem muita utilidade na prática. 16