Avaliação Colaborativa: um Estudo com a Ferramenta Moodle Workshop

Transcrição

1 Avaliação Colaborativa: um Estudo com a Ferramenta Moodle Workshop Wallace Ugulino, Aline de Miranda Marques, Mariano Pimentel, Sean W. Siqueira Departamento de Informática Aplicada Universidade Federal do Estado do Rio de Janeiro (UNIRIO) Av. Pasteur, 458 Urca Rio de Janeiro RJ Brasil {wallace.ugulino, aline.marques}@uniriotec.br, pimentel@unirio.br, sean@uniriotec.br Abstract. To promote the learner engagement, some works have been developed in order to make the learning environment collaborative, in which the learners are active agents pursuiting knowledge. In this environment, assessment plays an important role and is a good opportunity to collaborative knowledge building. This paper presents an exploratory case study in which problems in applying the collaborative assessment technique with the Moodle Workshop system were identified. The main contribution of this work is to present a set of functionalities needed to improve the use of the collaborative assessment technique in Moodle. Resumo. Uma das maneiras de promover maior engajamento dos aprendizes nas atividades educacionais é tornar o ambiente educacional colaborativo e fazer do aprendiz um agente ativo na busca do conhecimento. No ambiente de aprendizagem colaborativa, a avaliação tem papel importante e é uma oportunidade de construção do conhecimento pela colaboração. Neste artigo é apresentado um estudo de caso exploratório em que foram identificados problemas na aplicação da técnica de avaliação colaborativa com a ferramenta Moodle Workshop. A principal contribuição deste trabalho é a proposta de um conjunto de funcionalidades para melhorar o uso da técnica de avaliação colaborativa através do aplicativo Moodle. 1. Introdução Em ambientes de educação colaborativa, onde o aluno tem papel ativo na aquisição de conhecimento e o professor atua como um mediador, a avaliação é uma oportunidade de estender a colaboração e possibilitar a construção do conhecimento através da interação [Shen et al. 2008]. Entretanto, apoiar e implantar a avaliação colaborativa não é trivial e tem sido alvo de estudos [Escovedo et al. 2006] [Ellis and Hafner 2005] [Trahasch 2004]. Em contrapartida, ensino e avaliação tradicionais favorecem estratégias de aprendizagem caracterizadas basicamente por um estudo focado apenas em obter aprovação em provas e exames [Shen et al. 2008] [Sitthiworachart and Joy 2003]. Neste artigo é apresentado um estudo exploratório, realizado numa turma de pósgraduação, em que a técnica de avaliação colaborativa foi adotada. A maior parte dos respondentes, 71,4%, disse que a qualidade da contribuição das avaliações recebidas para o trabalho foi alta ou muito alta. Quase todos os participantes, 95,2%, disseram que

2 avaliar os colegas contribuiu positivamente para o aprendizado na disciplina. Apesar dos indícios positivos, foram encontrados problemas ao realizar o processo de avaliação colaborativa com uma ferramenta especificamente projetada para esse fim: o Moodle Workshop. Na presente pesquisa, foi realizada uma revisão da literatura sobre aprendizagem colaborativa, conforme apresentado na Seção 2 e uma comparação das ferramentas disponíveis para suporte à avaliação colaborativa, apresentada na Seção 3. Foi realizado um estudo de caso exploratório com a ferramenta Moodle Workshop, especificamente projetada para educação online. O estudo e os problemas encontrados são descritos na Seção 4. A partir dos estudos, foram propostas algumas funcionalidades para serem implementadas na ferramenta Moodle Workshop, descritas na seção 5. Conclusão e trabalhos futuros são discutidos na Seção Aprendizagem Colaborativa A Aprendizagem Colaborativa é caracterizada pela promoção da interação entre aprendizes e professores e por possibilitar a construção do conhecimento [Stahl 2006]. Através das interações, cada aprendiz tem a liberdade de expor suas idéias, compartilhar entendimentos e questionamentos, sendo um participante ativo e responsável pela sua própria aprendizagem e pela aprendizagem do grupo. Assim, valoriza-se a participação do aprendiz e suas competências em resolver problemas [Fuks et al. 2006]. No ambiente colaborativo, o professor passa a atuar como um mediador, deixando o papel de autoridade que predomina no processo de ensino tradicional. Na Figura 1, são apresentados esquematicamente alguns processos de ensino-aprendizagem. Figura 1: Processos Educacionais (ilustração produzida nesta pesquisa)

3 No ambiente de ensino tradicional o processo é centrado no professor, o qual prepara o conteúdo da sua disciplina e apresenta para o aluno. Neste, o aluno assume uma postura passiva frente aos conteúdos que lhes são apresentados, se comportando como um recipiente de informações. Diferentemente, nos processos de aprendizagem colaborativa, pressupõe-se que a colaboração é positiva para a aprendizagem. Espera-se que os alunos construam conhecimento através das interações, da comunicação. São processos construídos sob o paradigma do sócio-interacionismo de Vygotsky (1934). Na aprendizagem colaborativa baseada em discussão, são usadas técnicas de comunicação para promover a discussão entre os aprendizes. Um exemplo é o processo usado no curso TIAE [Fuks et al. 2006], onde as discussões acontecem em dois momentos: um seminário educacional, apoiado por uma ferramenta do tipo fórum, ao longo da semana, e um debate educacional no fim da semana, apoiado por uma ferramenta de bate-papo específica, onde se discutem tópicos selecionados do seminário. Na aprendizagem colaborativa baseada em projeto, o processo se inicia com a definição dos projetos a serem elaborados pelos grupos. No decorrer do processo, os aprendizes desenvolvem os projetos e os apresentam para a turma, favorecidos por um ambiente onde as discussões promovem contribuições para o projeto. O processo de aprendizagem colaborativa baseada em projeto é usado no estudo apresentado neste artigo. O objetivo com a escolha da aprendizagem colaborativa baseada em projetos é fomentar a construção de conhecimento pela resolução de um problema, promover o comportamento investigativo dos aprendizes, ao mesmo tempo em que se usa a colaboração, que se pressupõe ser positiva para a aprendizagem [Vygotsky 1934]. 3. Avaliação nos Processos de Aprendizagem A avaliação é um instrumento valioso do processo ensino-aprendizagem, pois é uma tentativa de identificar se os objetivos educacionais propostos foram alcançados. Através da avaliação, o professor tenta obter indícios sobre a participação do aprendiz no desenvolvimento das tarefas e o aprendiz pode refletir sobre algumas de suas dificuldades. Nesse sentido, é importante que a avaliação deixe de ser um instrumento exclusivo do professor. É importante possibilitar que o aprendiz reflita sobre suas atividades e suas dificuldades. Para a auto-reflexão do aprendiz, pode-se usar, por exemplo, a auto-avaliação. Para casos em que a avaliação é realizada por mais de um avaliador, a avaliação é classificada como colaborativa. Quanto ao momento em que ocorre, a avaliação pode ser classificada como: Somativa, Formativa e Diagnóstica [Lopes 2007]. A avaliação diagnóstica é usada no início do processo, para analisar o perfil do aprendiz, habilidades e limitações, com o objetivo de adequar o processo de ensino às suas necessidades [Lopes 2007]. A avaliação formativa é usada durante o desenvolvimento das atividades para que o professor possa tomar conhecimento do efeito de seu trabalho pedagógico e para que o aprendiz possa tomar consciência de suas dificuldades, reconhecer e corrigir seus erros durante o processo de aprendizagem [Otsuka 2006]. A avaliação somativa é usada pontualmente, em um momento específico de um curso, por exemplo: ao final de um conteúdo didático. Serve para verificar de forma concentrada os resultados obtidos no

4 processo de ensino-aprendizagem [Lopes 2007]. A aplicação de qualquer uma destas modalidades de avaliação deve estar adequada ao plano pedagógico adotado. A avaliação deve contribuir para o desenvolvimento do senso crítico e para capacitar os aprendizes a refletir sobre os conteúdos através de análises e sínteses de atividades. É uma oportunidade de construção coletiva de conhecimento. Desenvolvimento de senso crítico, análise e reflexão são objetivos alcançáveis através da avaliação colaborativa. Na presente pesquisa, investiga-se o uso da avaliação colaborativa com os seguintes possíveis papéis de avaliador: avaliador externo (especialista), avaliador interno (professor), avaliação por pares (comissão interna de aprendizes), avaliação por comissão externa (comissão de avaliadores externos) e autoavaliação. Os aprendizes avaliam o próprio trabalho, os trabalhos dos seus colegas, assim como, são avaliados pelos mesmos, pelo professor e/ou por avaliadores externos. Dividir a responsabilidade de avaliação, entre os diversos papéis, possibilita olhares diferentes para o mesmo trabalho, o que aumenta as possibilidades de identificação de pontos de melhoria e de pontos positivos no trabalho realizado. Algumas ferramentas disponíveis nos sistemas de gestão de aprendizagem que dão suporte à avaliação colaborativa foram investigadas, como esquematizado na Tabela 1: Tabela 1. Quadro comparativo de ferramentas para avaliação colaborativa Tipo Tradicional Avaliadores Critérios Escala de Valor Pesos Avaliador Justifica -tiva Relatório Somativa Formativa Diagnóstica Colaborativa Auto-Avaliação Pares Professor Avaliador Externo Único Múltiplos Quantitativa Qualitativa Critério Auto-Avaliação Pares Professor Avaliador Externo Comentário Único Comentário / critério por Tarefa por Aluno Sumarizado Moodle AulaNet TelEduc SMA* Issue Net O Moodle possui um módulo denominado Workshop (Laboratório de Avaliação, na versão em português) que possibilita a realização do processo de avaliação por pares, avaliação feita pelo professor, auto-avaliação e a avaliação do professor para as avaliações realizadas pelos pares. O cálculo da nota final dos trabalhos é automático. Além de permitir diversos papéis de avaliadores, possibilita também: definir múltiplos critérios para a avaliação de uma determinada tarefa e atribuir pesos a cada critério, assim como, possibilita o registro de comentários para cada critério. Ao final do processo de avaliação, o aluno pode visualizar suas notas em cada tarefa ou agrupadas em um relatório final das avaliações. O professor tem acesso a um relatório com as notas de todos os alunos. O Workshop do Moodle é disponibilizado em todas as sub-versões inferiores à versão 2.0, embora venha desabilitado por padrão. Moodle Workshop foi a ferramenta escolhida para os estudos exploratórios desta pesquisa. A opção por contribuir com o desenvolvimento do Moodle é em função de sua popularidade e do fato de ser um software livre e de código aberto, com comunidade atuante.

5 Num Sistema Multi-Agentes (SMA) para avaliação, aplicado no TelEduc, foram previstos requisitos para incorporação da avaliação colaborativa. Entretanto, na versão apresentada em [Otsuka 2006], não foi desenvolvida a funcionalidade, o foco foi para a avaliação formativa. O IssueNet [Escovedo 2007] é um framework para avaliação colaborativa, testado no AulaNet. A versão disponível do AulaNet não incorpora os recursos do framework IssueNet. 4. Estudo de Caso Exploratório: Avaliação Colaborativa em um Workshop na Disciplina Foi realizado um estudo exploratório [Yin 2005] numa turma de pós-graduação em informática, na disciplina de metodologia de pesquisa científica. A turma possuía 27 alunos, que submeteram seus trabalhos para avaliação pelos colegas e pelo professor, além de também realizarem a auto-avaliação. Cada aluno avaliou o trabalho de outros 2 alunos, selecionados aleatoriamente, e foi orientado a avaliar seu próprio trabalho. Todos usaram o mesmo formulário de avaliação. O professor avaliou todos os trabalhos e também avaliou a avaliação feita por cada participante. O objetivo com o processo foi simular o que acontece em conferências de trabalhos científicos. Como instrumentos de coleta de dados, foram utilizados: registros do sistema (logs), entrevistas semi-estruturadas, que foram roteirizadas e analisadas segundo o MEDS [Nicolaci-da-Costa 2007], e um questionário com perguntas fechadas (16) e abertas (3). Os três instrumentos foram usados com o objetivo de se fazer um cruzamento e verificar indícios de problemas na ferramenta ou na dinâmica realizada. Todos os nomes de alunos e professor são fictícios para proteger a identidade dos participantes. Alguns alunos responderam ao questionário de forma anônima (foi opcional). Dos 27 alunos, 21 responderam voluntariamente o questionário e 12 foram entrevistados. Entre os respondentes do questionário, 15 foram homens e 6 mulheres. Mais da metade (52,38%) possuía mais de 30 anos na época do estudo. Onze alunos, 52,38% dos respondentes, declararam já ter participado de algum curso com avaliação colaborativa. Sobre o resultado da avaliação, 38,09% dos respondentes disseram achar o resultado injusto ou regular, enquanto 61,9% declararam que a avaliação recebida foi justa ou muito justa. A maior parte dos respondentes, 71,4%, disse que qualidade da contribuição das avaliações recebidas para o trabalho foi alta ou muito alta. Avaliar os trabalhos dos colegas contribuiu positivamente para o aprendizado na disciplina, segundo 95,24% dos alunos respondentes. Apesar dos números positivos, foram encontrados problemas relevantes, como: ausência de comentários nas avaliações recebidas, dificuldade de percepção do processo em curso e usabilidade inadequada da ferramenta. Para cada um dos problemas apresentados, foram encontrados indícios tanto nas respostas dos questionários, como nas entrevistas e na análise dos logs. Os problemas são descritos a seguir: 1. Dificuldade de percepção do processo em curso: a dinâmica realizada foi semelhante a um workshop ou conferência de trabalhos científicos. Durante todo o curso, os alunos escreveram seus artigos. A dinâmica foi explicada em sala de aula e implementada na ferramenta Moodle Workshop. Após a dinâmica, verificou-se nos logs que 9 alunos não fizeram a auto-avaliação, e alguns alunos

6 comentaram nas entrevistas a dificuldade de compreender o processo, bem como relataram nos questionários que se sentiram confusos em relação ao processo. (...) Eu não sei se estava escrito, lá: Por favor, faça sua auto avaliação, mas, se estivesse escrito, eu teria me auto avaliado. Se eu tivesse visto lá escrito, eu teria feito. Ou estava em algum lugar que eu não vi, ou não estava (...) (trecho da transcrição da entrevista de Alberto) (...)Eu tive uma dúvida, e fiquei pensando... Será que eu tenho que me auto avaliar, aí eu fiquei..., não, eu não entendi realmente esta parte da auto avaliação (...) (trecho da transcrição da entrevista de Edgar) (...)eu já sabia que tinha que avaliar alguma coisa, por que não estava disponível? então você fica Ué, quando é que vai aparecer? Já apareceu? (trecho da transcrição da entrevista de Armando Bastos) (...)parece que faltou assim, um detalhamento do que... a ausência do conceito, entendeu? E eu assumi alguma coisa no final, acho que aqui é pra avaliar isso entendeu? (...) (trecho da transcrição da entrevista de Isadora) Texto 1. Dificuldade de percepção do processo em curso Os indícios encontrados na análise das entrevistas transcritas são também encontrados na análise dos questionários, conforme é ilustrado na Figura 2. Mais de um quarto dos respondentes consideraram que o processo foi confuso. Figura 2. Classificação do processo de avaliação colaborativa pelos alunos 2. Ausência de comentário na avaliação recebida: alguns participantes reclamaram da ausência de comentário na avaliação recebida. Nas 12 entrevistas realizadas, o tema foi reclamado de maneira recorrente por 9 entrevistados. Nos dados dos questionários, 91,67% dos alunos que perceberam a ausência de comentários declararam que o grau de satisfação com a ausência de comentários era: regular, baixo ou muito baixo. Trata-se também de um problema já documentado na literatura: 1.)Escovedo et al. (2006), em estudos sobre avaliação colaborativa, relataram a importância de cada avaliação ser composta de um breve comentário e uma nota; 2.) Otsuka (2006), em estudos sobre avaliação formativa também pontuou a importância de a avaliação ser um instrumento formador para o aprendiz. Trechos da entrevista transcrita e trechos extraídos dos logs, que corroboram a importância do comentário do avaliador, são apresentados no Texto 2. (...)aí que tá, a pessoa deu uma nota, mas o que ela achou de bom ou ruim não... o que eu pequei ali? Não sei, ficou faltando. (...) Não deu um feedback, nenhum dos avaliadores deu feedback (...) (Trecho da entrevista transcrita de Armando Bastos). Eu sinto falta porque quero saber porque tá bom, porque tá ruim, porque ta médio... Eu acho importantíssimo que eu tenha feedback! Eu acho que tem que ser obrigatório... o cara colocou

7 muito ruim por quê? O cara colocou muito bom, ta eu gostei, mas por quê? (Trecho da entrevista transcrita de Homero) Senti falta apenas de saber o porquê das notas que recebi das minhas avaliações... Se não foi dada a nota máxima, então é necessário saber qual parte da minha avaliação não é válida ou está incompleta ou inadequada. (Resposta de pergunta aberta do questionário de Amanda) Texto 2. Ausência de comentário na avaliação recebida: trechos de entrevistas e questionário Os dados da entrevista são coerentes com os dados obtidos das respostas fechadas dos questionários. Na Figura 3, é apresentado um gráfico das respostas dadas pelos alunos quando questionados sobre a satisfação em relação à ausência de comentários nas avaliações recebidas. Figura 3. Grau de satisfação em relação aos comentários recebidos Com relação à ausência de comentário para a avaliação recebida, está planejado um novo estudo com o módulo Moodle Workshop. No novo estudo, para tentar resolver o problema, será ativada a configuração Assessments must be agreed. Através desta configuração, o avaliado pode discutir a avaliação de maneira anônima com o avaliador (também anônimo). Se não for alcançado um acordo, então a avaliação é desconsiderada da lista de avaliações do trabalho. 3. Usabilidade inadequada da ferramenta: a usabilidade da ferramenta foi citada como um fator negativo por 7 dos 12 entrevistados (58,33%). Entre os respondentes do questionário, 28,57% disseram que tiveram algumas dificuldades no uso da ferramenta. Um evento marcante foi de um aluno, pseudônimo Homero, que cometeu um erro na avaliação e não pôde consertá-lo. Homero disse que a usabilidade da ferramenta era ruim. O avaliado percebeu que um de seus avaliadores não soube usar a ferramenta ao receber diretamente do professor a avaliação corrigida pelo avaliador que não conseguiu usar a ferramenta. A seguir, trechos da entrevista: (...)Foi que eu analisei um artigo e quando eu vi tinha colocado uma resposta pro artigo errado. (...)tive que mandar por pra professora uma avaliação diferente (...) Atrapalhou, me deixou frustrado e preocupado... (trecho da transcrição da entrevista de Homero) (...)Depois, eu recebi por a questão adequada que ele me mandou. (...) foi quando eu recebi o da [professora] dizendo que a pessoa que teve alguma confusão, que teve algum problema, e, aí, que estava me passando a avaliação dela [pessoa] (...) (trecho da transcrição da entrevista de Danilo) Texto 3. Problemas de usabilidade afetaram a colaboração É necessário um estudo mais específico de usabilidade (análise por heurísticas,

8 análise da tarefa, comunicabilidade ou outra técnica específica para análise de interfaces) para determinar quais são os problemas de usabilidade da ferramenta Moodle Workshop. 5. Nova Funcionalidade Proposta: Assistente do Processo de Avaliação Dos três problemas encontrados, 1.) dificuldade de percepção do processo em curso, 2.) ausência de comentários nas avaliações e 3.) má usabilidade do software, no presente trabalho são propostas mudanças para tentar resolver especificamente o problema dificuldade de percepção do processo em curso. Para a ausência de comentários, um novo estudo será realizado com o módulo Moodle Workshop ativando uma configuração para possibilitar a negociação entre avaliado e avaliador. Para o problema de usabilidade, novos estudos estão em andamento com técnicas mais apropriadas para avaliação de usabilidade. Com relação ao problema dificuldade de percepção do processo em curso, é proposto um Assistente para o Processo de Avaliação. No Assistente do Processo de Avaliação, conforme exemplificado na Figura 4, são ilustradas as etapas do processo de avaliação e destacada a etapa atual para o aprendiz, assim como, as ações que precisam ser feitas na etapa. O objetivo é dar uma visão geral do processo, tarefas que precisam ser realizadas e resultados que podem ser obtidos em cada etapa. Figura 4. Assistente do Processo de Avaliação No assistente foram incluídos também os prazos para cada etapa, visto que, das transcrições das entrevistas, alguns aprendizes comentaram não saber quando deveriam fazer o que no processo. A composição da nota final também foi um item questionado pelos aprendizes durante as entrevistas. Para esclarecimentos adicionais do processo, é proposto no assisten te uma área para observações do professor. Na ilustração da Figura 4, a área de observações da etapa 4 foi usada para esclarecer a composição da nota final. 6. Conclusão e Trabalhos Futuros O estudo realizado deu indícios da relevância do uso da técnica de avaliação colaborativa para processos educacionais colaborativos. A maior parte dos respondentes,

9 71,4%, disse que a qualidade da contribuição das avaliações recebidas para o trabalho foi alta ou muito alta. Quase todos os participantes, 95,24%, disseram que avaliar os colegas contribuiu positivamente para o seu aprendizado na disciplina. O estudo também possibilitou a identificação de problemas relevantes que ocorrem ao aplicar a avaliação colaborativa com a ferramenta Moodle Workshop, notadamente a dificuldade de percepção do processo em curso, a ausência de comentário na avaliação recebida, e a usabilidade inadequada da ferramenta (que afetou a colaboração dos aprendizes). Para tentar diminuir o problema de dificuldade de percepção do processo em curso, foi proposto um Assistente para o Processo de Avaliação. Para tentar diminuir o problema de ausência de comentário na avaliação recebida, planeja-se um novo estudo com diferentes configurações do módulo Moodle Workshop. Para o problema da má usabilidade, estão sendo conduzidos estudos específicos com técnicas próprias para a avaliação da usabilidade de softwares. Outras ferramentas de avaliação colaborativa ou que apóiem a avaliação colaborativa estão sendo investigadas. O objetivo é ter um conjunto de dados sobre os sistemas para apoiar a avaliação colaborativa e, com isso, poder definir outras funcionalidades a serem implementadas e incorporadas no módulo Moodle Workshop. Além das funcionalidades destacadas, percebeu-se a necessidade de poder definir com maior liberdade os pesos atribuídos às avaliações por diferentes papéis. Foi uma dificuldade relatada pelo professor da disciplina. O Moodle possibilita definir um peso para a avaliação dos professores e outro peso para a avaliação dos alunos. Não se distingue a auto-avaliação (aluno) de avaliação por pares (aluno). Toda avaliação feita por aluno tem o mesmo peso. Outro papel que não é contemplado é o do Avaliador Externo. Também não é possível definir uma comissão de avaliação, seja interna (grupo de alunos) ou externa (banca avaliadora). Como trabalhos futuros, serão realizados estudos de caso múltiplos [Yin, 2005] para avaliar a influência das novas funcionalidades na ocorrência dos problemas identificados. Vários casos serão estudados com o mesmo roteiro de entrevistas e questionários, para investigar possíveis similaridades e singularidades da influência das funcionalidades na ocorrência dos problemas observados. Agradecimentos Os autores agradecem à professora Flávia Maria Santoro (UNIRIO) pelo apoio e acompanhamento na realização do estudo com sua turma de pós-graduação. Referências Ellis, T. J., Hafner, W. (2005) Peer Evaluations of Collaborative Learning Experiences Conveyed Through an Asynchronous Learning Network. In: Proceedings of the 38th Hawaii International Conference on System Sciences (CD-ROM), 03.Jan.2005, Computer Society Press, pags.7. Escovedo, T. (2007) IssueNet: Um Framewok para Avaliação Colaborativa de Tarefas. Pontifícia Universidade Católica do Rio de Janeiro, R.J, Dissertação de Mestrado. Escovedo, T., Pimentel, M., Fuks, H. & Lucena, C.J.P. (2006) Avaliei, Avaliei... Ensinei? Investigações Sobre Avaliação Nas Conferências de um Curso Online. XII WIE - Workshop de Informática na Escola, Anais eletrônico do XXVI Congresso da SBC. ISBN Campo Grande, MS, 14 a 20 de julho de p

10 Fuks, H., Pimentel, M., Gerosa, M.A., Fernandes, M.C.P. & Lucena, C.J.P. (2006) Novas Estratégias de Avaliação Online: aplicações e implicações em um curso totalmente a distância através do ambiente AulaNet. Avaliação da Aprendizagem em Educação Online, orgs. Marco Silva e Edméa Santos, ISBN São Paulo: Loyola, p Gerosa, M. A. (2006) Desenvolvimento de Groupware Componentizado com Base no Modelo 3C de Colaboração. Tese de Doutorado, Departamento de Informática, Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), 16 de março de Lopes, M.S.S. (2007) Avaliação da Aprendizagem em Atividades Colaborativas em EAD Viabilizada por um Fórum Categorizado. Universidade Federal do Rio de Janeiro, R.J, Dissertação de Mestrado. Nicolaci-da-Costa, A. M. (2007). O Campo da Pesquisa Qualitativa e o Método da Explicitação do Discurso Subjacente (MEDS). In: Psicologia: Reflexão e Crítica. vol.20 no.1. ISSN: RS, Porto Alegre: Otsuka, J. L. (2006) Modelo de Suporte à Avaliação Formativa baseado em Sistemas Multiagentes para ambientes de EaD. Campinas, S.P, Tese de doutorado. Otsuka, J. L., Rocha, H. Vieira da. (2005). Um modelo de suporte à avaliação formativa para ambientes de educação a distância: dos conceitos à solução tecnológica. In: Novas Tecnologias na Educação, vol.3. n o.2. ISSN Porto Alegre, Novembro de Santoro, F. M., Borges, M. R. S, Santos, N. (2000) An Infrastructure to Support the Development of Collaborative Project-Based Learning Environments. In: Proceedings of the Sixth International International Workshop on Groupware, CRIWG p Portugal, Madeira: Oct Shen J., Hiltz, S. R., Bieber, M. (2008). Learning Strategies in Online Collaborative Examinations. In: IEEE Transactions on Professional Communication. ISSN: vol. 51. Issue 1. USA, Auburn: IEEE Professional Communication Society: Mar p Sitthiworachart, J., Joy, M. (2003). Web-based Peer Assessment in Learning Computer Programming. In: Proceedings of the 3rd IEEE International Conference on Advanced Learning Technologies (ICALT). 9.Jul.2003, pags.5. Stahl, G., Koschmann, T., Suthers, D. (2006). CSCL: An Historical Perspective. Based on a chapter in: R. K. Sawyer (Ed.). (2006). Cambridge Handbook of the Learning Sciences. Cambridge, UK: Cambridge University Press. TelEduc (2008). Disponível em: http// Acesso em: 02 de dezembro de Trahasch, S. (2004). From peer assessment towards collaborative learning. In: Proceedings of the 34th Frontiers in Education, FIE vol.2. pags.5. Ugulino, W., Nunes, R. R., Oliveira, C. L., Pimentel, M., Santoro, F.M. (2008) Dos processos de colaboração para as ferramentas: a abordagem de desenvolvimento do projeto CommunicaTEC. Proceedings of XIV Brazilian Symposium on Multimedia and the Web: II Workshop of Business Process Management. Vila Velha, ES: Vygotsky, Lev. (1934) Thinking and Speaking. In: Thought and Language, Ed. Trad. Eugenia Hanfmann and Gertrude Vakar. The M.I.T. Press, Yin, Robert K. (2005). Estudo de caso: planejamento e métodos. trad. Daniel Grassi. 3.ed. ISBN: Porto Alegre: Bookman, p.