NOVAS ESTRATÉGIAS DE AVALIAÇÃO ONLINE

Transcrição

1 FUKS, H., PIMENTEL, M., GEROSA, M.A., FERNANDES, M.C.P. & LUCENA, C.J.P. Novas Estratégias de Avaliação Online: aplicações e implicações em um curso totalmente a distância através do ambiente AulaNet. Avaliação da Aprendizagem em Educação Online, orgs. Marco Silva e Edméa Santos, ISBN São Paulo: Loyola, p Disponível em NOVAS ESTRATÉGIAS DE AVALIAÇÃO ONLINE APLICAÇÕES E IMPLICAÇÕES EM UM CURSO TOTALMENTE A DISTÂNCIA ATRAVÉS DO AMBIENTE AULANET Hugo Fuks, Mariano Gomes Pimentel, Marco Aurélio Gerosa, Maria Cristina Pfeiffer Fernandes e Carlos José Pereira de Lucena Laboratório de Engenharia de Software (LES) - Departamento de Informática Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio) R. Marquês de São Vicente, 225, Rio de Janeiro, RJ, , Brasil {hugo, mariano, gerosa, pfeiffer, lucena}@inf.puc-rio.br RESUMO Novas dinâmicas educacionais exigem novas estratégias de avaliação. Neste capítulo, são apresentadas e discutidas 3 estratégias não-tradicionais: avaliação da participação em conferências (fórum e bate-papo), avaliação da competência e avaliação colaborativa. Estas estratégias têm sido investigadas em um curso realizado totalmente a distância pelo ambiente AulaNet, que fornece alguns mecanismos para viabilizar a aplicação destas novas estratégias de avaliação. 1. INTRODUÇÃO Muitos cursos aplicados através da Web utilizam um esquema tradicional de avaliação, baseado em questões que são corrigidas pelo professor ou que podem ser corrigidas automaticamente (múltipla escolha, verdadeiro ou falso, associação de colunas, etc.). Estes métodos de avaliação são insuficientes se o curso online utilizar uma abordagem colaborativa de aprendizagem. Na aprendizagem colaborativa, o aprendiz é responsável pela sua própria aprendizagem e pela aprendizagem dos outros membros do grupo. Os aprendizes constroem conhecimento através da reflexão a partir da discussão em grupo. A troca ativa de informações instiga o interesse e o pensamento crítico, possibilitando aos aprendizes alcançarem melhores resultados do que quando estudam individualmente. 1

2 Na aprendizagem colaborativa, os professores deixam de ser uma autoridade para se transformar num orientador (Lucena e Fuks, 2000). Na Tabela 1 são estabelecidas as principais diferenças entre o ensino tradicional e a aprendizagem colaborativa. Ensino Tradicional Estudo isolado Professor autoridade Aluno recipiente a ser preenchido com informações do professor Aprendizagem reativa, passiva Memorização de informações Seriação no tempo Centrada no Professor Ênfase no produto Sala de aula Aprendizagem Colaborativa Estudo em grupo Professor orientador Aprendiz agente que transforma informação em conhecimento através da interação social Aprendizagem ativa, investigativa Discussão e construção do conhecimento Formação de grupos em função da competência Centrada no Aprendiz Ênfase no processo Ambiente de Aprendizagem Tabela 1. Comparação entre Educação Tradicional e Aprendizagem colaborativa No ensino tradicional, os alunos são agrupados em turmas e percorrem um caminho determinado pelo professor durante um tempo fixo. Contrário ao mito de que o professor ensina e o aluno aprende, o resultado da aprendizagem de cada aluno é variável. O aluno é aprovado caso obtenha a pontuação mínima requerida. Na aprendizagem colaborativa, valoriza-se a participação do aprendiz e suas competências em resolver problemas. Se o aprendiz demonstrou ter as competências necessárias a partir de suas participações no curso, então passa de fase semelhantemente ao que ocorre nos videogames. Neste capítulo, são discutidas as novas estratégias de avaliação que têm sido investigadas num curso com abordagem de aprendizagem colaborativa realizado totalmente a distância através do AulaNet. Na seção 2, são apresentados o ambiente AulaNet e o curso TIAE (Tecnologias de Informação Aplicadas à Educação). Nas seções 3, 4 e 5, são discutidas as estratégias investigadas no curso: avaliação da participação, avaliação da competência e avaliação colaborativa. A conclusão é apresentada na seção AMBIENTE AULANET E O CURSO TIAE Nesta seção, são apresentados o AulaNet e o TIAE, ambiente e curso onde as novas estratégias de avaliação têm sido experimentadas. 2

3 2.1 O suporte à avaliação no ambiente AulaNet O AulaNet 1 é um ambiente gratuito de educação online. Os serviços disponíveis no AulaNet, que podem ser usados na composição de um curso, estão baseados no modelo de colaboração 3C (Ellis, Gibbs e Rein, 1991; Fuks, Raposo e Gerosa, 2002) que parte do princípio de que, para aprender em grupo, um indivíduo tem que compartilhar idéias (se comunicar), estar em sintonia com os outros participantes do grupo (se coordenar), e operar em conjunto em um espaço compartilhado (cooperar). Na Figura 1, os serviços do AulaNet encontram-se classificados em função do modelo 3C. COMUNICAÇÃO Assíncrona Síncrona Lista de Discussão Conferências Contato entre Aprendiz-Docente Debate Mensagem para Participante COMUNICAÇÃO Lista de Discussão sistema Conferências de conferência Debate sistema de mensagem Mensagem para Participante Contato entre Aprendiz-Docente Bibliografia Webliografia Documentação Tarefas Plano de Aulas Relatório de Participação Exames Bibliografia Webliografia Documentação Tarefas sala de reunião eletrônica espaço de informação compartilhada editor em grupo agentes inteligentes Plano de Aulas Relatório de Participação workflow Exames COOPERAÇÃO COORDENAÇÃO COOPERAÇÃO COORDENAÇÃO a) Classificação dos serviços do AulaNet b) Classificação em função das aplicações groupware Figura 1. Classificação dos serviços do AulaNet O AulaNet dispõe do serviço Exames, voltado para a avaliação mais tradicional, onde o docente pode compor provas para os aprendizes. Em contrapartida, para auxiliar uma avaliação mais inovadora, o AulaNet disponibiliza os serviços Acompanhamento da Participação e Gestão de Competências, discutidos nas seções 3 e O Curso TIAE A equipe de desenvolvimento do AulaNet também desenvolve e mantém o curso TIAE (Tecnologias de Informação Aplicadas a Educação), uma disciplina do Departamento de Computação da PUC-Rio que a partir (segundo semestre de 1998) vem sendo realizado totalmente a distância através do AulaNet. O curso fornece um ambiente real onde são realizados os experimentos relacionados ao desenvolvimento do AulaNet. 1 O download do ambiente AulaNet pode ser feito a partir de 3

4 O objetivo do curso de TIAE é que seus alunos aprendam a trabalhar com o grupo as tecnologias de informação e comunicação, tornando-se educadores baseados na Web (Fuks, Gerosa e Lucena, 2003). O curso é organizado em duas etapas: na primeira etapa, os aprendizes estudam e discutem os tópicos do curso através de seminários e debates; na segunda etapa, os aprendizes são organizados em pequenos grupos para construir novos conteúdos para o curso. Os conteúdos do curso TIAE são organizados em tópicos, sendo um tópico estudado e discutido a cada semana durante a primeira etapa do curso. Os aprendizes devem ler os conteúdos selecionados sobre o tópico da semana e realizar pesquisas de aprofundamento. Participam de um seminário assíncrono, realizado durante 50 horas pelo serviço Conferências, onde são discutidas questões específicas sobre o tópico em estudo. Participam, também, de um debate síncrono com duração de 1 hora pelo serviço Debate. A Figura 2 esquematiza como estas atividades são realizadas semanalmente. Como abordado na seção 3, avalia-se a participação dos aprendizes nos seminários e debates do curso. Sexta Sábado Domingo Segunda Terça Quarta Quinta Leituras (Plano de Aulas e pesquisas Web) Seminário (Conferência) 12hs 14hs Debate 12 às 13hs Figura 2. Atividades realizadas semanalmente na primeira etapa do TIAE Após a etapa de estudo e discussão, os aprendizes desenvolvem um novo conteúdo para o curso. Os aprendizes trabalham em pequenos grupos, geralmente duplas ou trios. Os mediadores do curso definem os membros dos grupos e o tópico sobre o qual cada grupo deverá desenvolver um conteúdo. Para auxiliar na formação dos grupos de aprendizes, os mediadores usam a Avaliação de Competência, discutida na seção 4. Através do serviço Tarefa, o grupo submete uma versão-protótipa do conteúdo em produção. Em seguida, inicia-se um período de avaliação colaborativa, detalhada na seção 5, onde os conteúdos submetidos são avaliados por toda a turma através do serviço Conferências. Em seguida, o grupo tem um novo prazo para submeter a versãofinal do conteúdo, revisada a partir das contribuições sugeridas pelos outros aprendizes. Alguns conteúdos, em sua versão final, são selecionados para fazerem parte das edições seguintes do curso. 4

5 A nota final do aprendiz no curso TIAE é calculada como uma média ponderada das notas de sua participação nos seminários, debates, avaliação colaborativa e nota da versão-final do conteúdo desenvolvido em grupo. 3. AVALIAÇÃO DA PARTICIPAÇÃO No sistema educacional tradicional, é o professor quem disserta sobre um conteúdo. No máximo, são toleráveis algumas intervenções dos alunos para tirarem dúvidas sobre o que está sendo explicado. Paulo Freire (1970) rotula este sistema educacional de educação bancária onde o professor realiza depósitos de conhecimento nos alunos. Neste sistema, a ausência de diálogo é um dos principais instrumentos de opressão. Para uma educação libertadora é preciso exercer o diálogo: somente o diálogo, que implica um pensar crítico, é capaz, também, de gerá-lo. Sem ele não há comunicação e sem esta não há verdadeira educação (ib.: p. 83). Como herança da cultura do silêncio praticado em sala de aula, boa parte dos cursos a distância faz uso da Internet na concepção instrucionista: são disponibilizados alguns conteúdos para depois verificar, através de provas, o nível de assimilação dos conteúdos pelo aprendiz. A maioria dos ambientes de educação online, inclusive o AulaNet, disponibiliza mecanismos para elaboração de provas e se todas as questões forem de múltipla-escolha, então o próprio sistema pode fornecer a nota no instante em que o aprendiz terminar a prova. Esta é a velha estratégia de avaliação, uma pseudoinovação reduzindo as novas possibilidades abertas pelo uso das tecnologias à simples otimização das práticas tradicionais (Nevado, Fagundes, Basso et al., 2002, p. 67). As ferramentas de comunicação em grupo, também denominadas por sistemas de conferência (vídeo-conferência, bate-papo, lista e fórum de discussão), têm um grande potencial para promover o diálogo e estão usualmente disponíveis nos ambientes de educação online. Contudo, freqüentemente os docentes não sabem o que fazer com estas ferramentas que, em geral, acabam não sendo usadas de forma integrada às atividades curriculares. Quando disponibilizadas no curso, são deixadas como um espaço à parte destinado à livre socialização e recreação. Assim como o diálogo sempre foi evitado nas salas de aula, as ferramentas de comunicação têm sido subutilizadas nos cursos a distância. O objetivo desta seção é apresentar possibilidades para usar os sistemas de conferência de forma integrada às atividades curriculares. Na subseção 3.1, apresenta-se a estratégia desenvolvida para avaliar a participação dos aprendizes nas atividades de 5

6 discussão realizadas no curso TIAE. Em seguida, detalha-se a aplicação desta estratégia nos seminários (subseção 3.2) e nos debates (subseção 3.3). 3.1 Participação com qualidade e quantidade Numa boa discussão, todos devem dar contribuições significativas e todos devem contribuir de forma equiparável. Quem participa sem se preparar, ilude e desaponta o grupo. Quem apenas lê, escuta ou vê as mensagens de uma conferência, não está participando, apenas assistindo. Quando uma pessoa participa muito mais do que as outras, está monopolizando a discussão. Assim, para avaliar a participação de um aprendiz numa conferência, é adequado considerar tanto a qualidade de suas mensagens como a freqüência de sua participação (Fuks, Cunha,, Gerosa e Lucena, 2003). A estratégia elaborada para avaliar a participação do aprendiz nas conferências realizadas no curso TIAE é a ponderação da qualidade pela quantidade das mensagens do aprendiz em cada sessão de seminário e de debate. Para avaliar a qualidade da mensagem, o mediador analisa o texto, atribui uma nota e apresenta comentários sobre a mensagem avaliada. A média das notas das mensagens do aprendiz numa sessão é, então, ponderada em função da quantidade de mensagens enviada pelo aprendiz. A Figura 3 apresenta alguns modelos para esta ponderação em função da quantidade. a) Quantidade Irrelevante A quantidade de mensagens não influencia a nota (avaliação apenas qualitativa) Peso 1 b) Quantidade Mínima O peso aumenta com a quantidade de mensagens até atingir um máximo Peso 1 mensagens M mensagens c) Quantidade Máxima O peso aumenta até atingir um máximo de mensagens e diminui ao afastar-se dele Peso 1 d) Quantidade Moderada O peso máximo é atingido entre um intervalo da quantidade de mensagens Peso 1 M mensagens N M mensagens Figura 3. Modelos para ponderar a qualidade em função da quantidade Com esta estratégia de avaliação, objetiva-se fazer os aprendizes buscarem um equilíbrio entre a qualidade e a quantidade de mensagens que enviam nas atividades de 6

7 discussão do curso. Nas próximas subseções, aborda-se como esta estratégia de avaliação tem sido aplicada nos seminários e debates do curso TIAE. 3.2 Avaliação da participação nos seminários Em cada seminário do curso TIAE, um aprendiz é selecionado para desempenhar o papel de seminarista ficando responsável por elaborar o texto do seminário e três questões para a turma discutir. Os aprendizes então discutem as questões argumentando e contra-argumentando as mensagens já enviadas. Os mediadores avaliam a qualidade das mensagens enviadas e, no horário de término do seminário, desativam a conferência bloqueando o envio de novas mensagens. Na Figura 4 é apresentado um trecho da discussão num seminário, podendo ser observado o encadeamento entre as mensagens e os conceitos atribuídos em cada mensagem. Figura 4. Sessão 2 do seminário da edição TIAE Os mediadores avaliam as mensagens conforme elas vão sendo enviadas para o seminário, atribuindo um conceito (que é mapeado numa nota) e escrevendo um comentário em cada mensagem. A Figura 5 mostra a interface do AulaNet para o mediador fazer a avaliação. 7

8 Atribuição de Conceito-Nota Atribuição de Comentários Figura 5. Interface para avaliação da mensagem de conferência do AulaNet Para avaliar a qualidade da mensagem enviada num seminário, o mediador analisa a mensagem em função de alguns critérios, como Adequação, Conteúdo e Linguagem. Em cada mensagem, o mediador lista os principais problemas identificados em cada critério explicando como eles ocorreram na mensagem. Em função da quantidade e do tipo dos problemas ocorridos, o mediador atribui um conceito a cada critério e, por fim, atribui um conceito final à mensagem. A análise baseada em critérios e a identificação dos problemas auxiliam o mediador na atribuição do conceito final, e o relatório desta avaliação fornece orientações para os aprendizes. Esta estratégia de avaliação, por ser aplicada durante a própria realização do seminário, caracteriza-se como avaliação formativa. Como resultado, observa-se uma progressiva melhora das mensagens do aprendiz e da turma ao longo dos seminários. O docente acompanha esta evolução através dos Relatórios de Participação, como o ilustrado na Figura 6. 8

9 Figura 6. Relatório de participação dos aprendizes nos seminários A média das notas das mensagens do aprendiz num seminário é ponderada em função da quantidade de mensagens que o aprendiz enviou naquele seminário. Esta função é apresentada na Figura 7. A função segue o modelo da Quantidade Moderada, sendo estabelecido que os aprendizes devem enviar entre 4 a 6 mensagens por seminário. Peso Quantidade de mensagens do aprendiz no seminário Figura 7. Pesos, em função da quantidade de mensagens, definidos para os seminários do curso TIAE para ponderar a nota média das mensagens Por exemplo, se o aprendiz enviar 2 mensagens num seminário (o peso de duas mensagens é 0,5), e se todas elas forem avaliadas com o conceito bom (este conceito é mapeado na nota 10), então a participação deste aprendiz neste seminário será 5,0 (é o resultado da multiplicação entre o peso e a média das notas de suas mensagens). Se um aprendiz enviar 4 mensagens (peso 1,0) e todas forem avaliadas com o conceito regular (nota 7,5), então a participação deste aprendiz será 7,5. A partir destes exemplos, percebe-se que, para os seminários do curso TIAE, é melhor enviar 4 mensagens regulares do que enviar apenas 2 mensagens boas. Enviar 3 mensagens péssimas (nota 9

10 2,5 e peso 0,8) é equivalente a enviar somente 1 mensagem boa (nota 10 e peso 0,2). Neste caso, considera-se que o aprendiz que participa pouco, ainda que com muita qualidade, tem uma participação tão ruim quanto a de um outro aprendiz que participa ativamente do seminário mas sem a qualidade esperada. O limite inferior de 4 mensagens por seminário foi definido para induzir os aprendizes a argumentarem e contra-argumentarem as mensagens do seminário, sem limitar-se a apenas responder as 3 questões propostas pelo seminarista. O limite superior foi definido para evitar casos como o que ocorreu na edição onde um único aprendiz enviou, em média, 15 mensagens por seminário além de provocar uma sobrecarga de mensagens, o aprendiz estava monopolizando a discussão. A dinâmica dos seminários e a estratégia para avaliar a participação dos aprendizes foram sendo desenvolvidas e experimentadas ao longo das edições do curso TIAE. A Figura 8 apresenta a média de mensagens enviada por aprendiz por seminário, sendo indicadas as influências da dinâmica e dos procedimentos de avaliação que fizeram os aprendizes participarem cada vez mais e melhor dos seminários do curso TIAE (Pimentel, Fuks e Lucena, 2004). Quantidade média de mensagens enviadas por aprendiz nos seminários Edições do curso TIAE Principais influências Avaliação não-sistemática Atribuição de conceito Categorização das mensagens Seminários realizados no serviço Conferência Estruturação da discussão inspirada no modelo IBIS Edições do curso TIAE Definição de 3 questões por seminário Qualidade ponderada pela quantitativa (4 a 6 mensagens por seminário) Figura 8. Média da quantidade de mensagens enviadas por aprendizes nos seminário 2 2 Vale ressaltar que na edição , um aprendiz foi identificado como um ponto fora da curva (GraphPad, 2002) sendo excluído desta análise, pois enviou, em média, 15 mensagens por seminário. 10

11 Nas edições de a , a participação foi esporádica: em média, cada participante enviou apenas 1 mensagem a cada 4 seminários. Justifica-se este fato como sendo decorrente, principalmente, da falta de avaliação sistemática da participação. Na edição de , a participação tornou-se regular: em média, cada aprendiz enviou 1 mensagem por seminário. Justifica-se a regularidade da participação em função da atribuição de notas às mensagens. Na edição seguinte, , a quantidade média de mensagens por aprendiz aumentou, principalmente, em função da transferência dos seminários para o serviço Conferências (antes realizada no serviço Lista de Discussão), onde as mensagens passaram a ser encadeadas e a estruturação da discussão foi inspirada no modelo IBIS (Gerosa, Fuks e Lucena, 2004; Conklin e Begeman, 1988). Nas edições seguintes, de até , a média aumentou principalmente porque foi definido que seriam discutidas 3 questões em cada seminário, o que fez os aprendizes suporem ser necessário e suficiente enviar 3 mensagens, uma sobre cada questão. Já na edição de , foi estabelecido que cada aprendiz deveria enviar entre 4 a 6 mensagens por seminário (ponderação da qualidade pela quantidade), fazendo os aprendizes suporem que é necessário e suficiente o envio do limite inferior desta meta: enviaram, aproximadamente, 4 mensagens por seminário. A principal lição aprendida ao longo destas experimentações é que avaliar as mensagens dos aprendizes, mesmo com apenas a atribuição de notas, incentiva a regularidade da participação e aumenta a qualidade das mensagens. Mas a pura atribuição de notas não é suficiente para orientar adequadamente os aprendizes. Comentar a avaliação também é necessário, embora ainda não esteja claro qual é o melhor procedimento para elaborar os comentários: é desejável seguir um conjunto de critérios para guiar a avaliação, mas é inviável apresentar, em cada mensagem, análises muito detalhadas sobre cada critério porque demanda muito tempo, torna-se cansativo para os mediadores, e os aprendizes ficam com a impressão de que a avaliação é demasiadamente rigorosa. Outra importante lição é que a ponderação da qualidade pela quantidade de mensagens incentiva o envio de mais mensagens sem ocorrer uma queda na qualidade, e torna mais regular a freqüência de mensagens enviadas pelos aprendizes ao longo dos seminários. 11

12 3.3 Avaliação da participação nos debates Nos debates do curso TIAE, um aprendiz previamente selecionado desempenha o papel de moderador, tornando-se responsável por coordenar a sessão de debate. Para cada questão previamente discutida no seminário, o moderador deve retomá-la no debate. Em seguida, cada aprendiz envia um comentário sobre a questão. Os aprendizes então elegem um comentário a ser discutido por todos. Após a discussão do comentário eleito, os participantes sintetizam o que foi discutido e apresentam suas conclusões. Após a discussão da terceira questão, os mediadores encerram o debate e posteriormente avaliam a participação dos aprendizes. Na Figura 9 é apresentado um trecho de um debate do curso TIAE, realizado através do serviço Debate do AulaNet. Este serviço também disponibiliza um módulo para os mediadores avaliarem a participação dos aprendizes. E no serviço Relatório de Participação há relatórios sobre a participação dos aprendizes nos debates do curso. Figura 9. Interface do serviço Debate (sessão 8, TIAE ) Para avaliar uma sessão de Debate, os mediadores atribuem conceitos às mensagens enviadas. Os conceitos são atribuídos em função de critérios de avaliação: o conceito bom (nota 10) é atribuído à mensagem com conteúdo relacionado ao tópico do debate; regular (nota 5) é atribuído à mensagem que fugir do tópico em debate; e péssimo (nota 0) à mensagem que atrapalhar o debate (por exemplo, mensagens enviadas após o moderador pedir "silêncio" ou "atenção" pois dificultam a coordenação do debate e desrespeitam a autoridade atribuída ao moderador). Para que a mensagem receba nota máxima, basta estar relacionada ao tópico em discussão e adequada à dinâmica em andamento - não se considera, por exemplo, os erros gramaticais. A ênfase 12

13 do debate está na troca de mensagens, sendo estabelecido que os aprendizes devem enviar um mínimo de 30 mensagens por debate. A função peso da quantidade de mensagens do debate é apresentada na Figura 10 e segue o modelo da Quantidade Mínima Figura 10. Função Peso definida para os debates do curso TIAE Com a realização dos debates ao longo das edições do curso TIAE, pôde-se identificar que, dentre as potencialidades, o bate-papo possibilita a constituição de um espaço para explorar novos métodos educacionais onde há ausência de conteúdo expositivo, alta dialogicidade e descaracterização do professor como detentor do conhecimento e da palavra. Identifica-se que a conversação informal, típica desta ferramenta, possibilita o aprendiz perceber melhor o outro e perceber-se melhor como parte do grupo, proporciona um espaço para emoções que diminuem a sensação de impessoalidade e isolamento. O uso contínuo e integrado das ferramentas de bate-papo nas atividades educacionais constitui-se numa forma de manter os aprendizes motivados e engajados para garantir o sucesso e continuidade de cursos a distância (Pimentel, Fuks e Lucena, 2003a). A avaliação da participação é um instrumento adequado para equiparar as atividades realizadas no bate-papo com as outras atividades do curso. Tanto os aprendizes quantos os mediadores têm aprovado o uso da estratégia de avaliação desenvolvida no curso TIAE (Pimentel, Fuks e Lucena, 2003b). 4. AVALIAÇÃO DA COMPETÊNCIA No AulaNet, a competência de uma pessoa é caracterizada por 3 dimensões: Interesse, Qualificação e Performance (Mitchell, Fuks e Lucena, 2003). Interesse e Qualificação são atributos informados pelo próprio participante. Já a dimensão Performance é calculada pelo sistema de acordo com os resultados obtidos nos cursos. Por exemplo, em cada seminário do curso TIAE, a média das notas das mensagens de 13

14 um aprendiz modifica a sua performance nos tópicos abordados naquele seminário em particular. Para visualizar a competência, o AulaNet disponibiliza o Relatório de Competências Figura 11. Neste relatório, são apresentados os valores das dimensões da Competência (Interesse, Qualificação e Performance) de cada aprendiz em cada tópico associado ao curso. Figura 11. Relatório de competências A partir deste relatório, pode-se classificar os aprendizes em função de suas competências Classificação de Aprendizes, Figura 12. O docente atribui pesos a cada dimensão da competência podendo priorizar uma dimensão (maior peso) ou desconsiderar alguma (peso zero). O ambiente então calcula a média ponderada para caracterizar a competência dos aprendizes e classificá-los. A classificação dos aprendizes em função de suas competências tem auxiliado os mediadores do curso TIAE na formação dos grupos de trabalho. 14

15 Figura 12. Classificação de Aprendizes em função de suas competências Para a formação dos grupos, o procedimento geral é utilizar o relatório de Classificação dos Aprendizes em função de suas competências. Contudo, os mediadores também levam em consideração algumas situações particulares. Por exemplo, na edição de , dois aprendizes trabalhavam juntos e manifestaram interesse em desenvolver um conteúdo sobre multimídia os mediadores formaram um grupo com os dois aprendizes e designaram o tópico Multimídia para o grupo deles, de forma independente do que o relatório informava. Nesta edição, também ocorreu um caso em que duas aprendizes queriam trabalhar juntas. No entanto, de acordo com o relatório, cada aprendiz manifestava interesses distintos. Neste caso, os mediadores decidiram que elas não formariam um grupo. Além disso, por ambas terem obtido altas performances em quase todos os tópicos do curso, cada uma foi alocada para tópicos onde o curso apresentava poucos conteúdos. Outra situação considerada foi a baixa performance de dois aprendizes. Neste caso, os mediadores decidiram que eles formariam um único grupo e o tópico seria o de menor prioridade para curso (tópico onde o curso já tem muitos conteúdos). Apesar da classificação dos aprendizes em função de suas competências, recurso disponível no ambiente AulaNet, pôde-se verificar que existem situações que ainda não são previstas pelo ambiente, tal como a afinidade entre os aprendizes. No curso TIAE, casos particulares são considerados porque o número de participantes é pequeno. No entanto, se o curso for lecionado para uma turma com muitos aprendizes, provavelmente os casos particulares não seriam considerados. A avaliação de competências é uma área 15

16 muito abrangente e as pesquisas no Projeto AulaNet ainda estão em andamento buscando soluções para alguns dos problemas aqui abordados. 5. AVALIAÇÃO COLABORATIVA Aprendizagem colaborativa exige avaliação colaborativa. Quando a responsabilidade de avaliar é compartilhada com os aprendizes, a compreensão e utilidade da avaliação aumentam (O'Sullivan, 2004). Para quem está sendo avaliado, as múltiplas avaliações de seu trabalho geram maior confiança nos resultados da avaliação. Para o aprendiz que avalia, com a prática, compreende melhor o processo e objetivos da avaliação, apura seu senso crítico e consegue avaliar melhor o seu próprio trabalho. O objetivo desta seção é discutir como a estratégia de avaliação colaborativa tem sido investigada no curso TIAE. A subseção 5.1 apresenta a avaliação colaborativa planejada para os seminários do curso. A seção 5.2 apresenta a efetivação da avaliação colaborativa da tarefa do curso. 5.1 Avaliação colaborativa das mensagens dos seminários Na edição , quando as mensagens dos seminários do curso TIAE passaram a ser avaliadas, os aprendizes sugeriram a realização de uma avaliação colaborativa. Nas palavras do aprendiz que sugeriu a proposta: Veja como seria simples se no próprio ambiente estivesse disponível, no final de cada mensagem, um campo para você marcar a nota que você daria e adicionar seu comentário quando você estivesse lendo as mensagens dos outros. (...) Aprender, pra mim, é também saber analisar e avaliar o texto do outro bem como desenvolver o senso crítico. Avaliar é uma atividade interessantíssima. Possibilita refletir, analisar, equacionar, "logificar"... tantos e tantos outros bons motivos poderiam ser levantados para justificar esta simples atividade: avaliar ao outro como a si próprio - pra mim, é algo quase religioso! Não entendo porque esta atividade tão deliciosamente cognitiva - avaliar - é um aperitivo restrito ao gosto dos professores. Posso aceitar que a avaliação do professor seja mais madura, e talvez por isto, possa ser dado um peso maior (que afinal, já assim o é feito por ser ele próprio o professor e por isto ter todo o mérito e consideração de seus alunos). A partir desta edição, a avaliação colaborativa das mensagens do seminário tem sido sugerida pelos aprendizes em quase todas as edições. O uso desta estratégia de avaliação já está planejado. Alguns aprendizes serão selecionados para avaliar as mensagens enviadas pelos outros aprendizes. Os mediadores continuarão avaliando, contudo, suas notas e comentários só serão publicados após o término do seminário para 16

17 não influenciar a avaliação dos aprendizes-avaliadores. Para encerrar esta avaliação colaborativa, o próprio autor da mensagem realiza a sua auto-avaliação levando em consideração todas as notas e comentários apresentados em sua mensagem. A nota final da mensagem será uma média destas avaliações. Para que este método de avaliação colaborativa das mensagens do seminário possa ser viabilizado, é preciso modificar o serviço Conferência. Novos mecanismos já estão sendo desenvolvidos para dar suporte à avaliação colaborativa no ambiente AulaNet, e o método planejado será experimentado em próximas edições do curso. 5.2 Avaliação colaborativa dos conteúdos desenvolvidos pelos aprendizes Na última etapa do curso TIAE, os aprendizes desenvolvem novos conteúdos sobre os tópicos estudados e discutidos durante o curso. Esta etapa do curso inicia-se com a organização dos aprendizes em pequenos grupos (seção 4). Em seguida, cada grupo submete um protótipo do conteúdo que está desenvolvendo. Este protótipo é avaliado pelos demais aprendizes da turma. Em função das avaliações, comentários, críticas e sugestões feitas por todos, cada grupo modifica o protótipo para gerar a versão final do conteúdo. A versão final é então avaliada pelos mediadores. Parte desta estratégia de avaliação é tradicional, pois os mediadores avaliam a versão final do conteúdo (avaliação pontual e somativa) e não avaliam o processo de desenvolvimento (que seria uma avaliação contínua e formativa), não diferindo muito da correção de trabalhos e monografias usualmente realizada na educação tradicional. O que há de novidade na estratégia de avaliação desta etapa do curso é a avaliação intermediária que é realizada pelos próprios aprendizes sobre o protótipo do conteúdo em desenvolvimento (avaliação colaborativa). A avaliação colaborativa é efetivada através do serviço Conferências do ambiente AulaNet. Para cada protótipo do conteúdo, é criada uma conferência onde os aprendizes analisam o protótipo em função de alguns critérios estabelecidos. Os desenvolvedores do protótipo devem argumentar e contra-argumentar as avaliações, dando início à discussão dos problemas identificados no protótipo. A avaliação colaborativa foi sendo desenvolvida e experimentada a partir da edição do curso TIAE. Na edição de , a participação dos aprendizes nesta atividade foi esporádica: muitos nem chegaram a avaliar os protótipos. Nas edições de a , o protótipo passou a ser avaliado numa conferência à parte com critérios pré-estabelecidos, e a participação passou a ser mais regular: todos, ou quase 17

18 todos, participaram da atividade. Na edição de , a estruturação da discussão passou a ser organizada em categorias específicas para esta atividade, diferenciando-se das categorias usadas nos seminários. Mesmo ocorrendo um crescente aumento da participação dos aprendizes na avaliação colaborativa, a participação ainda está abaixo do esperado. Visando aumentar a participação dos aprendizes, nas próximas edições do TIAE, a avaliação colaborativa será realizada em duas etapas. Na primeira etapa, os aprendizes enviam uma mensagem sobre cada critério de avaliação. Na segunda etapa, os desenvolvedores do conteúdo argumentam e contra-argumentam as avaliações feitas, e todos aprofundam a discussão. 6. CONCLUSÃO Para a aprendizagem colaborativa realizada através de ambientes de educação online, são insuficientes as estratégias de avaliação usualmente empregadas em sala de aula tradicional. Neste capítulo, foram discutidas as novas estratégias de avaliação que têm sido desenvolvidas e experimentadas no curso TIAE: avaliação da participação, avaliação da competência e avaliação colaborativa. Embora estas estratégias ainda estejam sendo aperfeiçoadas, e o Ambiente AulaNet sendo modificado para dar mais suporte para a efetivação destas estratégias, o que já se pode concluir é que estas estratégias têm possibilitado uma avaliação mais adequada dos aprendizes. AGRADECIMENTOS O Projeto AulaNet é parcialmente financiado pela Fundação Padre Leonel Franca e pelo projeto Sistemas Multi-Agentes para a Engenharia de Software (ESSMA) bolsa nº / Também é financiado pelas bolsas individuais do CNPq: Carlos Lucena nº /92-0, Hugo Fuks nº /02-2, Marco Gerosa nº / e Cristina Fernandes nº /03-1. Mariano Gomes Pimentel recebe bolsa CAPES. REFERÊNCIAS CONKLIN, J., BEGEMAN, M. gibis: A hypertext tool for exploratory policy discussion, ACM Transactions on Office Information Systems, v. 6, n. 4, out p

19 ELLIS, C. A., GIBBS, S. J., REIN, G. L. Groupware - Some Issues and Experiences. Communications of the ACM, v. 34, n. 1, jan p FREIRE, P. Pedagogia do Oprimido. Rio de Janeiro: Paz e Terra, FUKS, H., CUNHA, M. L., GEROSA, M. A., LUCENA, C. J. P. Participação e Avaliação no Ambiente Virtual AulaNet da PUC-Rio. In: Silva, M. (org.) Educação Online: Teorias, Práticas, Legislação e Formação Corporativa. Rio de Janeiro: Edições Loyola, p FUKS, H., GEROSA, M. A., LUCENA, C. J. P. Using the AulaNet Learning Environment to Implement Collaborative Learning via Internet. In: AUNG et al. (ed.) Innovations World Innovations in Engineering Education and Research. EUA: ineer, p FUKS, H., RAPOSO, A. B. & GEROSA, M. A. Engenharia de Groupware: Desenvolvimento de Aplicações Colaborativas. In: XXI Jornada de Atualização em Informática, Anais do XXII Congresso da Sociedade Brasileira de Computação, v. 2, cap. 3, p GEROSA, M. A., FUKS, H., LUCENA, C. J. P. Estruturação e Categorização de Mensagens em Ferramentas de Comunicação Textuais Assíncronas. In: Electronic Proceedings of the World Congress on Engineering and Technology Education, WCETE'2004. Santos, GRAPHPAD. Detecting Outliers Disponível em < >. Acesso em: jun LUCENA, C. J. P. & FUKS, H. Professores e Aprendizes na Web: A Educação na Era da Internet. Rio de Janeiro: Clube do Futuro, MITCHELL, L. H. R. G., FUKS, H., LUCENA, C. J. P. Extensão de modelos de competências para avaliação formativa e continuada e planejamento de recursos humanos. In: Anais XIV Simpósio Brasileiro de Informática na Educação, SBIE Rio de Janeiro: UFRJ: SBC, p NEVADO, R. A., FAGUNDES, L. C., BASSO, M. V. et al. Um recorte no Estado da Arte: O que está sendo produzido? O que está faltando segundo nosso subparadigma? In: Revista Brasileira de Informática na Educação, v. 10, n. 1, abr p

20 O'SULLIVAN, R. G. Practicing evaluation: a collaborative approach. Califórnia: SAGE, PIMENTEL, M. G., FUKS, H., LUCENA, C. J. P. Debati, debati... aprendi? Investigações sobre o papel educacional das ferramentas de bate-papo. In: WIE IX Workshop de Informática na Escola, Anais do XXIII Congresso da Sociedade Brasileira de Computação, v. 5. Campinas: SBC, p PIMENTEL, M. G., FUKS, H., LUCENA, C. J. P. Avaliação da Participação dos Aprendizes em Debates Síncronos. In: XIV Simpósio Brasileiro de Informática na Educação, SBIE Rio de Janeiro: UFRJ: SBC, 2003a. p PIMENTEL, M.G., FUKS, H. & LUCENA, C.J.P. Avaliação da Participação em Conferências Textuais Assíncronas. In: X Worshop sobre Informática na Escola, WIE Salvador: UFBA: SBC,