Estudo da relação entre a participação em fóruns de discussão e o rendimento acadêmico dos alunos de um curso a distância usando Análise de Redes Sociais Estêvão Domingos Soares de Oliveira PPGI/UFPB Virtual Cidade Universitária - João Pessoa/PB Brasil CEP: 58051-900 55 83 87545659 estevaodso@gmail.com Ricardo Afonso Pessoa Serrano Filho PPGI/UFPB Virtual Cidade Universitária - João Pessoa/PB Brasil CEP: 58051-900 55 83 87665980 ricardo@virtual.ufpb.br ABSTRACT This study analyzes the relationship between the students interactions in the online discussion boards of two classes from an undergraduate distance course in Linguistics and their academic performance in the corresponding courses. To achieve this, we proposed and developed an experimental project to clarify which of the chosen factors (metrics, number of discussion boards, courses and semesters) are the most relevant, that is, which corroborate the hypothesis that students who participate most in this type of online activity have the best final grades. Keywords Social Network Analysis; Forum; Virtual Learning Environment; Performance. RESUO O presente trabalho visa analisar a relação entre as interações dos alunos de duas turmas de um curso de licenciatura à distância em Letras nos fóruns de discussão online e os seus desempenhos acadêmicos nas disciplinas correspondentes. Para isso, foi proposto e desenvolvido um projeto de experimento para esclarecer quais dos fatores escolhidos (métricas, quantidade de fóruns, disciplinas e períodos letivos) são os mais relevantes, ou seja, quais os que corroboram com a hipótese de que os alunos que mais participam desta modalidade de atividade online têm melhores notas finais. Palavras-chaves Análise de Redes Sociais; Fórum; Ambiente Virtual de Aprendizagem; Desempenho. Descritor de Categorias e Assuntos K.3.1 [Computer Uses in Education]: Collaborative learning; Computer-assisted instruction; Distance learning. Termos Gerais Os termos gerais devem conter apenas termos da seguinte lista: Algorithms, Experimentation, Performance, Reliability. Agradecimentos Os autores agradecem à UFPB Virtual pelos apoios financeiro e logístico, sem os quais esta pesquisa não seria possível. 1. INTRODUÇÃO O surgimento de comunidades virtuais de ensino e aprendizagem é cada vez mais perceptível no âmbito da Educação a Distância (EaD). A abrangência e popularização desses agrupamentos online são sustentados por várias ferramentas síncronas e assíncronas de interação e colaboração entre seus participantes, geralmente disponibilizadas por plataformas chamadas Ambientes Virtuais de Aprendizagem (AVA). Por ser um ambiente com espaço dedicado à criação e ao compartilhamento de conhecimento, pode-se entender que um AVA consiste em uma rede social online com foco em educação. Dentre esses recursos de aprendizagem, os fóruns de discussão se destacam por serem, muitas vezes, o meio predominante de interação entre alunos, professores e tutores de um curso online. Um fórum é composto por um ou mais tópicos de discussão, através dos quais alunos, professores, tutores e demais integrantes debatem acerca dos temas abordados na sala de aula virtual, argumentam e colaboram entre si, tiram dúvidas, socializam-se etc. Devido à importância dos fóruns no contexto da EaD, analisar e entender a dinâmica das interações que ocorrem neles torna-se uma preocupação de relevo para os professores, tutores e demais mediadores da educação. Alguns estudos, como Bruno [2](2007), demonstram que a compreensão dessas interações pode fornecer informações valiosas sobre o andamento acadêmico dos alunos ao longo de um curso, bem como possibilitar formas de melhorar a qualidade do próprio ensino a distância prestado. Para tanto, a Análise de Redes Sociais (ARS) vem se mostrando uma área de pesquisa promissora para investigar o fluxo de informações e as interações entre os integrantes de uma rede, como mostra o trabalho de Silva e Brito [5](2013). Nesse contexto, o objetivo deste trabalho é analisar a relação entre as interações dos alunos de duas turmas de um curso de licenciatura a distância em Letras nos fóruns de discussão de um AVA e o seu desempenho acadêmico nas disciplinas correspondentes, bem como propor e desenvolver um projeto de experimento que esclareça quais fatores são mais relevantes na análise. 2. CONTEXTO DA UFPB VIRTUAL O curso de licenciatura em Letras em análise no presente trabalho pertence à unidade de educação a distância da Universidade Federal da Paraíba (UFPB). A UFPB Virtual atua no âmbito da educação a distância desde 2007. Com mais de 8000 alunos 894
ativos, sua presença abarca 28 municípios distribuídos em cinco estados do nordeste do Brasil. Atualmente, a unidade oferece vagas para diversos cursos de licenciatura, bacharelado e especialização a distância, além de cursos de aperfeiçoamento e capacitação, dentre outras atividades. Os mediadores, alunos e demais integrantes da UFPB Virtual utilizam o oodle como Ambiente Virtual de Aprendizagem (AVA) para a realização e cumprimento das atividades acadêmicas dos cursos. Dentre os recursos online de aprendizagem de que o oodle dispõe, os fóruns de discussão são um dos mais utilizados pelos cursos e disciplinas da UFPB Virtual. Os fóruns consistem em um ou mais tópicos de discussão, através dos quais alunos, professores e tutores debatem os temas abordados na sala de aula virtual, interagem entre si, tiram dúvidas, socializam-se etc. Na maioria das vezes, os fóruns são, de fato, o meio predominante de interação entre alunos, tutores e professores de uma disciplina. Por conta disso, é razoável supor que, de modo geral, um aluno que participa mais ativamente dos fóruns tende a ser mais engajado com as atividades das disciplinas de seu curso e a estar mais disposto a terminá-las com êxito. 3. REFERENCIAL TEÓRICO 3.1. Redes Sociais e suas métricas de análise O conceito de Análise de Redes Sociais, segundo Wasserman e Faust (1994), surge na década de 30 e tem suas primeiras investigações na década de 40, quando da inserção de um olhar matemático às análises sociais. Dessa forma, tais estudos possibilitam identificar tendências de comportamento entre os integrantes de determinada rede. Conforme arteleto [3](2001), a Análise de Redes Sociais firmam um novo modelo diante de pesquisas que lidam com a estrutura social. Para este estudo, quatro métricas da ARS foram escolhidas inicialmente: Degree, PageRank, Eigenvector e Betweeness. Contudo, após análise prévia a qual descreveremos na metodologia, selecionamos as métricas Degree e PageRank. 3.1.1. Degree Conhecer o grau de cada participante de uma Rede Social é essencial para uma análise consistente. Quanto maior o grau, maior também será a centralidade do aluno em um fórum em relação às interações que este realiza com os demais colegas, tutores e professores. Assim, o grau de um nó é calculado pela quantidade de ligações diretas que um discente possui. Nos fóruns do oodle, o grau da centralidade de um aluno, em comparação com os demais, pode determinar se a interação está concentrada em um determinado grupo ou distribuída uniformemente. Daí a importância de avaliar esta métrica. 3.1.2. Idioma As Redes Sociais evoluíram rápido e assumiram uma importante ferramenta de impacto social e econômico. Ainda assim, empresas como Facebook e Twitter precisam, mesmo com o grande sucesso de seus produtos, lucrar. Diante disso, estratégias de marketing foram desenvolvidas para fidelizar usuários especiais para que estes, por sua vez, influenciem novos usuários. Vemos assim que os usuários-chave, em termos de conectividade com outros usuários e atividade de comunicação e interação, desempenham um papel decisivo neste processo. O PageRank é a métrica utilizada, em Análise de Redes Sociais, para medir a influência de determinado nó ou participante em uma rede. Em fóruns do oodle esta análise é importante pois mostra aos professores e tutores os alunos mais influentes em relação aos demais. 3.2. Teoria dos Grafos A teoria dos grafos é um ramo da matemática que estuda as relações entre os objetos de um determinado conjunto. Para tal são empregadas estruturas chamadas de grafos. Um grafo é um par (V, A) em que V é um conjunto arbitrário e A é um subconjunto de V. Os elementos de V são chamados vértices e os de A são chamados arestas. No contexto dos fóruns em ambientes virtuais de aprendizagem, se a mensagem é uma nova postagem, o usuário é inserido como um ator (vértice). Se a mensagem é uma réplica a uma mensagem no fórum, o usuário é inserido como ator no ambiente e uma relação (aresta) é registrada entre este usuário e o autor da mensagem que sofreu réplica. Abaixo, na figura 1, temos um grafo onde os usuários (círculos) participam de tópicos de discussão (quadrados). Nele, cada aresta é desenhada quando o usuário faz a postagem inicial em um tópico (a borda pontilhada mostrada em verde) e também quando há interações entre os usuários. Figura 1. Representação de um fórum de discussão Fonte: Jun Zhang, ark S. Ackerman, Lada Adamic (2007). 3.3. Trabalhos Relacionados Bakharia & Dawson [1](2011), fazem uso de métricas de Análise de Redes Sociais como alicerce para visualização das relações entre os participantes dos fóruns de discussão do oodle, possibilitando, assim, que os professores planejem e implementem meios de promover o engajamento dos alunos. arteleto [3](2001) realiza o monitoramento abrangente das interações sociais em AVA s de forma a possibilitar ao professor uma postura mais ativa na mediação do processo de aprendizagem online. Já o trabalho de Zhang e outros [6](2007) mostra como se dá a distribuição de usuários que perguntam e que respondem perguntas nos fóruns de comunidades de programadores Java e como classificá-los de acordo com seu grau de participação. 4. ETODOLOGIA Para o projeto de experimento, o corpus de análise foram os fóruns de discussão das disciplinas (1º Período) e Pragmática da Língua Portuguesa (6º Período), ambas componentes curriculares do curso de licenciatura a distância em Letras (Habilitação Língua Portuguesa), ofertado pela UFPB Virtual. Estas escolhas foram feitas em virtude de o curso e as disciplinas em questão apresentarem maior quantidade 895
de fóruns durante o período letivo em relação tanto a outras disciplinas do curso de Letras, quanto aos demais cursos da UFPB Virtual. Os períodos investigados foram os semestres 2012.1 e 2012.2. Tal escolha se deu pelo fato de, no momento da extração dos dados, o ano letivo de 2013 ainda não ter finalizado, o que impossibilitaria a análise do semestre 2013.2. Para os referidos semestres investigados, a versão do oodle é a 1.9. Tabela 1. Distribuição de alunos por disciplina e período. Disciplina Período Quantidade de alunos 2012.1 373 2012.2 226 Pragmática da Língua Portuguesa 2012.1 142 Pragmática da Língua Portuguesa 2012.2 153 A próxima etapa tratou de integrar as redes dos fóruns, exportadas pelo SNAPP, em grafos que representassem todas as interações de metade dos fóruns e de todos os fóruns, para cada disciplina e período. O Gephi, ferramenta de visualização interativa para todos os tipos de redes e sistemas complexos, gráficos dinâmicos e hierárquicos, foi utilizado para esse fim. A Figura 2 mostra alguns fóruns agrupados em um único grafo no Gephi. Os dados das participações dos estudantes nos cursos do oodle foram extraídos utilizando o SNAPP, ferramenta online que permite visualizar e exportar a rede de interações resultantes de postagens nos fóruns de discussão do AVA. É válido destacar que as visualizações desses grafos de interações se mostraram como uma ótima oportunidade para os professores identificarem rapidamente os padrões de comportamento do aluno em qualquer estágio de progressão do curso. Definidos curso, disciplinas e períodos, a quantidade de fóruns também revelou ser um importante fator a ser incluído na análise das interações. Neste estudo, decidimos estabelecer dois níveis para esse fator: o primeiro abarca a primeira metade dos fóruns da turma e o segundo, todos os fóruns, para cada disciplina e semestre. O objetivo de considerar a quantidade de fóruns foi investigar a possibilidade de antever tendências de desempenho escolar dos alunos antes de a disciplina terminar, mais especificamente logo após 50% dos fóruns terem sido utilizados, e qual o peso desse fator no âmbito do experimento. Vale ressaltar que os fóruns avaliados, isto é, aqueles que pontuam os alunos de acordo com a sua participação, foram descartados do estudo, pois as interações que ocorrem neles influenciam diretamente na nota final dos estudantes, o que invalidaria o experimento proposto. Tabela 2. Distribuição da quantidade de fóruns por disciplina e período. Disciplina Período Quantidade de Fóruns (nãoavaliativo) Pragmática da Língua Portuguesa Pragmática da Língua Portuguesa etade Todos 2012.1 5 10 2012.2 5 11 2012.1 5 11 2012.2 6 13 Figura 2. Visualização de alguns fóruns agrupados na ferramenta Gephi. Por fim, selecionamos duas métricas de ARS, como dito anteriormente, para compor o último fator do projeto de experimento. Tal seleção foi escolhida a partir de um experimento prévio, onde foram executados os algoritmos Degree, PageRank, Eigenvector e Betweeness. Nele, foram utilizados apenas 4 e 8 fóruns da disciplina do período 2012.1. Com os resultados revelados, selecionamos os algoritmos que apresentaram o maior e menor valor, respectivamente Degree e PageRank. Com isso, os fatores e níveis do projeto de experimento deste estudo foram definidos. Tais atributos do projeto estão resumidos na Tabela 3. Tabela 3. Fatores e níveis do projeto de experimento. Fatores Nível ínimo (-1) Nível áximo (1) Algoritmo PageRank Degree Quantidade de fóruns Disciplinas etade Todos Pragmática da Língua Portuguesa Período 2012.1 2012.2 Após a definição dos níveis e fatores do projeto de experimento, foi preciso apenas definir uma variável resposta que correlacionasse, quantitativamente, as variações dos dados de entrada com o desempenho acadêmico dos alunos. Para isso, ordenamos as listas de alunos de cada variação de entrada decrescentemente de acordo com valor do algoritmo calculado pelo Gephi. Em seguida, calculamos, para cada lista ordenada, a média das notas finais da primeira metade de alunos (os primeiros 50% da lista, que correspondem aos que mais interagiram nos fóruns segundo os algoritmos) e subtraímos esse valor pela média das notas finais dos estudantes da segunda metade de alunos da lista. 896
O resultado é um valor quantitativo que expressa, para cada combinação de níveis de entrada, a distância da média de notas dos alunos que mais interagiram em relação à média de notas dos alunos que menos interagiram. Buscamos, com isso, perceber se os alunos que estão nos primeiros lugares em cada medida têm, necessariamente, as melhores notas. Antes de prosseguir para a Seção 5, cabe mencionar que as médias finais dos alunos, extraídas das disciplinas do oodle e citadas ao longo deste estudo, referem-se às notas dos estudantes antes de ser aplicada a prova final. O motivo desse cuidado foi evitar que a nota da prova final, que na UFPB Virtual consiste em prova escrita ou atividade extra, interferisse negativamente na relação entre participação nos fóruns e desempenho acadêmico. 5. DESENVOLVIENTO Com os fatores e níveis definidos, iniciamos os cálculos das variáveis resposta do experimento. Foi criada uma classe auxiliar na linguagem Java para minimizar o esforço relativo à ordenação de listas, comparação de alunos, cálculo de médias etc. A Tabela 4 detalha os valores das variáveis resposta para cada variação dos dados de entrada, que foram obtidos calculando a diferença da média dos 50% primeiros lugares da lista com a média dos 50% últimos lugares, conforme descrito na seção anterior. Tabela 4. Fatores, níveis e variáveis resposta do projeto de experimento. P - édia da Primeira etade / S - édia da Segunda etade / FL - / PLP - Pragmática da Língua Portuguesa. Disci- plina Período Fóruns Algo- ritmo P S Difer ença (Vari ávelrespo sta) FL 2012.1 etade PageRank 5,19 3,52 1,67 FL 2012.1 etade Degree 5,95 2,76 3,19 FL 2012.1 Todos PageRank 5,29 3,41 1,88 FL 2012.1 Todos Degree 6,01 2,70 3,31 FL 2012.2 etade PageRank 5,04 2,99 2,05 FL 2012.2 etade Degree 5,17 2,86 2,31 FL 2012.2 Todos PageRank 5,27 2,76 2,51 FL 2012.2 Todos Degree 5,87 2,16 3,71 PLP 2012.1 etade PageRank 6,91 5,28 1,63 PLP 2012.1 etade Degree 6,84 5,36 1,47 PLP 2012.1 Todos PageRank 6,92 5,28 1,64 PLP 2012.1 Todos Degree 6,88 5,32 1,56 PLP 2012.2 etade PageRank 6,17 4,63 1,54 PLP 2012.2 etade Degree 6,39 4,29 2,10 PLP 2012.2 Todos PageRank 6,19 4,62 1,57 PLP 2012.2 Todos Degree 6,31 4,37 1,94 aleatórias ao longo de re-execuções, não foram feitas replicações para este experimento. Além disso, como existem vários fatores e cada um deles possui dois níveis, um mínimo e um máximo, o modelo do projeto de experimento é o 2k, mais especifcamente 24, pois são quatro fatores. Com isso, montamos uma planilha de dados para executar o experimento, isto é, calcular as variações referentes aos efeitos de cada fator e as interações entre os fatores. A Figura 3 mostra a captura de tela da planilha do projeto de experimento. Figura 3. Captura de tela da planilha montada para o projeto de experimento. Na Figura 3, os fatores Disciplina, Semestre, Quantidade de fóruns e Algoritmo são atribuídos, respectivamente, às letras A, B, C e D. As variações explicadas pelos efeitos de cada fator, assim como os efeitos das interações entre os fatores, são mostradas abaixo, na Tabela 5. Por exemplo, SSA corresponde à parcela da variação explicada pelo efeito do fator A ( Disciplina ); SSAC corresponde à fração da variação relativa ao efeito da interação do fator A ( Disciplina ) com C ( Quantidade de fóruns ), e assim por diante. Tabela 5. Variações dos efeitos de cada fator e combinação de fatores. Fatores e combinações de fatores Variação do efeito SSA 43,43% SSB 1,60% SSC 3,93% SSD 21,91% SSAB 0,09% SSAC 4,15% SSAD 11,66% SSBC 1,42% SSBD 0,09% SSDC 0,46% SSABC 2,61% SSABD 5,96% SSACD 0,78% SSBCD 0,49% SSABCD 1,42% Com todos os dados obtidos, pudemos montar o projeto de experimento. Uma vez que este projeto não possui varições 897
6. RESULTADOS E DISCUSSÃO As variáveis resposta do experimento, expressas na Tabela 4, expõem dados importantes a respeito da possibilidade inicialmente levantada de correlacionar grau de interação dos alunos nos fóruns de discussão com sucesso acadêmico deles nas disciplinas. Todos os valores das variáveis resposta situam-se acima de 1,5, número significantemente maior que um valor próximo a 0,0 que seria esperado em uma ordenação aleatória de alunos. O menor valor da variável é 1,54, referente à disciplina Pragmática da Língua Portuguesa do semestre 2012.2, considerando o algoritmo PageRank para metade dos fóruns. Isso significa que, no âmbito deste trabalho, a média final dos alunos que mais participaram nos fóruns foi, no mínimo, 1,54 mais elevada que a média final dos alunos que menos interagiram para cada disciplina. No caso da disciplina do semestre 2012.2, e utilizando o algoritmo Degree para todos os fóruns, a diferença entre as médias atinge 3,71 pontos, o maior valor da variável resposta deste estudo. Os resultados colhidos apenas ratificam a relação intrínsica existente entre a participação em fóruns de discussão e o rendimento escolar dos alunos nas disciplinas. Quanto às variações dos efeitos dos fatores ou combinações de fatores na execução do projeto de experimento 2k, os valores percentuais mostrados na Tabela 5 revelam uma forte influência do fator A ( Disciplina ), cujo SSA foi de 43,43%. Essa contribuição excessiva do fator A, correspondente a quase metade de todas as demais oscilações de fatores e combinações de fatores, destaca que cada disciplina possui particularidades bastante distintas, na forma de metodologia de ensino do professor, do seu grau de estímulo à utilização dos fóruns por seus estudantes etc. O fato de termos escolhido duas disciplinas bastante distantes uma da outra na grade curricular, sendo uma do primeiro período e a outra do sexto, pode ter contribuído para um valor percentual tão elevado. Outro fator cuja variação não pode ser desprezada foi o D ( Algoritmo ), cuja SSD foi de 21,91%. Em particular, é possível notar, a partir das variáveis resposta da Tabela 4, como a utilização do algoritmo Degree mostra-se mais promissora na identificação da diferença de médias dos alunos mais participativos e menos participativos, o que apenas confirma os resultados do experimento preliminar que realizamos. Os demais fatores B ( Semestre ) e C ( Quantidade de fóruns ), considerados isoladamente, possuem variações de 1,6% e 3,93%, respectivamente, bastante reduzidas em comparação com os dois primeiros fatores analisados, o que indica que o semestre da disciplina e a quantidade de fóruns abarcada não parecem influenciar os resultados do experimento. O valor percentual reduzido relativo à quantidade de fóruns, em particular, revela-se bastante promissor para pesquisadores e demais agentes da área de Educação que tenham interesse em antever tendências de rendimento escolar de estudantes. Uma vez que a análise de apenas metade dos fóruns (o que corresponde a aproximadamente 50% do andamento da disciplina) leva a números similares à análise de todos os fóruns de uma disciplina, a possibilidade de usar tais resultados para identificar alunos que interagem pouco e que, portanto, têm mais chances de obter um rendimento escolar precário mostra-se bastante animadora. O projeto de experimento proposto e detalhado neste trabalho é preliminar, no sentido de que apenas quatro fatores e dois níveis (modelo 24) foram considerados na sua execução. É desejável que mais experimentos sejam realizados, com uma restrição maior de fatores, como, por exemplo, a escolha de apenas disciplinas de um determinado período, e uma maior quantidade de níveis, para que o experimento aqui demonstrado seja devidamente embasado. Espera-se, contudo, que os resultados aqui apresentados definam uma linha de estudo para a realização de trabalhos futuros correlatos. 7. REFERÊNCIAS [1] Bakharia, A. & Dawson, S. SNAPP: A bird s-eye view of temporal participant interaction. Learning Analytics and Knowledge Conference, 2011. [2] BRUNO, Adriana Rocha; HESSEL, Ana aria Di Grado. Os fóruns de discussão como espaços de aprendizagem em ambientes on-line: formando comunidades de gestores (2007). Disponível em: http://www.abed.org.br/congresso2007/tc/420200712027p.pdf. Acesso em 16 jan. 2014. [3] arteleto,. Análise de Redes Sociais aplicações nos estudos de transferência da informação. Ci. Inf. Brasília, Brasil, PP 1-10, 2001. [4] Jun Zhang, ark S. Ackerman, Lada Adamic. Expertise Networks in Online Communities: Structure and. Algorithms. University of ichigan, 2007. [5] SILVA, J. C. ; BRITO, A.. Análise das interações online assíncronas dos aprendizes de um curso de Computação à distância. In: XVIII Congresso Internacional de Informática Educativa, TISE, 2013, Porto Alegre, RS. TISE, 2013.Formato para publicações em conferências. In Proceedings of the Third International Conference on Disability, Virtual Reality and Associated Technologies, ICDVRAT 2000. [6] Sobrenome1, N1. & Sobrenome2, N2. (2007) Formato de Referências. En emorias del Décimo Taller Internacional de Software Educativo TISE 2007, 1-3 Diciembre, Santiago, Chile pp. 20-21 898