Validação do Sistema de Gerência

Transcrição

1 Relatório de Acompanhamento Técnico de Projetos 03/08/201 5 p. 1/30 ANEXO ZF - Validação do Sistema de Gerência Validação do Sistema de Gerência Versão 1.0 : Infraestrutura OBAA-MILOS: Infraestrutura Multiagente para Suporte a Objetos de Aprendizagem OBAA Sigla do Projeto: OBAA-MILOS Referência: 2336/09 Número: Executores: Coordenador Geral: UFRGS Universidade Federal do Rio Grande do Sul UNISINOS- Universidade do Vale do Rio dos Rosa Vicari Coordenador (UNISINOS): João Carlos Gluz Proponente: FAURGS Fundação de Apoio a UFRGS Data: 13 de novembro de 2014 Autores: Luiz Rodrigo Jardim da Silva Pedro Ricardo Oliveira Heleno Alves João Carlos Gluz Sinos Projeto Infraestrutura OBAA-MILOS 1/30

2 p. 2/30 Sumário 1. Introdução Objetivo Escopo Estrutura do Documento Testes de Validação do Subsistema MS-Store Ambiente de Testes do MS-Store Teste de Desempenho de Carga Teste de Desempenho de Consulta Análise dos Testes de Desempenho do MS-Store Testes de Validação do Subsistema Fayol Ambiente de Testes do Subsistema Fayol Teste de Experimento Login - Acesso - Logout Teste Login - Acesso - Logout (federado) Teste Acesso sem Sessão Teste de Avaliação do Desempenho Análise dos Experimentos Testes de Validação do Subsistema Adapt-A-LO Metodologia de Avaliação dos Resultados da Adaptação Seleção de OAs e Execução da Adaptação Análise dos Resultados da Adaptação...22 REFERÊNCIAS...29 Projeto Infraestrutura OBAA-MILOS 2/30

3 p. 3/30 LISTAS DE ABREVIATURAS AAMAS ACL ADL AID AMS AOSE API APL ARIADNE AVA BDI BIOE CLEI CSBC DCMI DF DL FEB FIPA GUI HTTP HTTPS IA IEEE IEEE LOM IEEE-LTSC IES ILO IMS/GLC IMS-LOM ITS JADE JASON JDL LACLO LDAP LOM LORI MAS MERLOT International Conference on Autonomous Agents and Multiagent Systems Agent Communication Language Advanced Distributed Learning initiative Agent Identifier Agent Management System Agent Oriented Software Engineering Applications Programmers Interface Assessment and Planning Layer Alliance of Remote Institute of Electrical and Distribution Networks for Europe Ambientes Virtuais de Aprendizagem Belief Desire Intention Banco Internacional de Objetos Educacionais Conferência Latino Americana de Informática Congresso da Sociedade Brasileira de Computação Dublin Core Metadata Initiative Directory Facilitator Description Logic Federação Educa Brasil Foundation for Intelligent Physical Agents Graphical User Interface HyperText Transport Protocol Secure HyperText Transport Protocol Inteligência Artificial Institute of Electrical and Electronics Engineers IEEE Learning Object Metadata IEEE Learning Technology Standard Comitee Instituição de Ensino Superior Intelligent Learning Objects IMS Global Learning Consortium IMS Learning Object Metadata Intelligent Tutoring Systems Plataforma de Agentes que suporta o padrão FIPA Ambiente de Desenvolvimento de SMA para a linguagem AgentSpeak(L) Judgment and Decicion Layer Comunidade Latinoamericana de Objetos de Aprendizagem Lightweight Directory Access Protocol Learning Object Metadata Learning Object Review Instrument Multiagent System Multimidia Educational Resource for Learning and Online Teaching Projeto Infraestrutura OBAA-MILOS 3/30

4 p. 4/30 MILOS MPEG MPEG-7 OA OAI-PMH OBAA OC OMG OWL PAL PS RENOTE RBIE RDF RNP RMA SCORM SBIA SBIE SBTVD SD SMA SMI SQL SR STI TIC TISE TV UAM UML W3C WCCE WS XML XSD Multiagent Infrastructure for Learning Object Support Moving Picture Experts Group MPEG Multimedia Content Description Interface standards Objetos de Aprendizagem Open Archives Initiative - Protocol for Metadata Harvesting Objetos de aprendizagem Baseados em Agentes Artificiais Objeto de Conhecimento Object Management Group Web Ontology Language Perception and Action Layer Problem Solving Revista Novas Tecnologias na Educação Revista Brasileira de Informática na Educação Resource Description Framework Rede Nacional de Pesquisa Remote Management Agent Sharable Content Object Reference Model Simpósio Brasileiro de Inteligência Artificial Simpósio Brasileiro de Informática na Educação Sistema Brasileiro de Televisão Digital Strategic Dependencies Sistema Multiagente Social Mediated Interactions Structured Query Language Strategic Reasons Sistemas Tutores Inteligentes Tecnologias da Informação e Comunicação (TIC) Taller Internacional de Software Educativo Televisão Users and Agents Modeling Unified Modelling Language World Wide Web Consortium World Conference on Computers in Education Web Services Extensible Markup Language XML Schema Definition Projeto Infraestrutura OBAA-MILOS 4/30

5 p. 5/30 1. Introdução O objetivo mais geral do projeto Infraestrutura OBAA-MILOS é criar as bases tecnológicas que permitam efetivar a adoção da proposta de metadados de objetos de aprendizagem OBAA como o futuro padrão nacional para objetos de aprendizagem. Isto inclui: (a)a ampla divulgação e discussão sobre as características do padrão; (b) A elaboração e publicação de melhorias, adições e atualizações do padrão, além da geração de conteúdos e materiais baseados no padrão; (c) O projeto e implementação de ferramentas tecnológicas de apoio ao padrão para, por exemplo, utilização, compatibilização e verificação de OAs compatíveis com o OBAA. O projeto OBAA-MILOS envolve a especificação e a implementação de uma arquitetura de agentes que suporte os requisitos de adaptabilidade, interoperabilidade e acessibilidade previstos pelo padrão OBAA, sendo compatível com o panorama de padrões educacionais e multimídia atuais Objetivo Este relatório apresenta a especificação e os resultados dos testes de validação realizados com os protótipos iniciais dos diversos subsistemas que forma o Sistema de Gerência da infraestrutura MILOS. Conforme definido no relatório Especificação da Arquitetura do Sistema de Gerência - Versão 2.2, três subsistemas distintos compõem o Sistema de Gerência: O subsistema MS-Store, que implementa o repositório semântico da infrestrutura MILOS. O subsistema Fayol, responsável pela gerência da autenticação e controle de acesso aos serviços e conteúdos da infraestrutura MILOS. O subsistema Adapt-A-LO, que é o protótipo do módulo de adaptação multiplataforma para publicação de OA, restrito ao caso do padrão brasileiro de TV Digital Escopo Este documento certifica a realização de testes de validação dos requisitos de software dos protótipos dos subsistema componentes do Sistema de Gerência da Infraestrutura MILOS. Projeto Infraestrutura OBAA-MILOS 5/30

6 p. 6/ Estrutura do Documento Pretende-se neste documento descrever os experimentos realizados e apresentar os resultados obtidos com a validação do Sistema de Gerência da Infraestrutura MILOS. O relatório está organizado da seguinte forma: O capítulo 1 apresenta a introdução deste relatório. O capítulo 2 apresenta a validação do subsistema MS-Store O capítulo 3 mostra a validação do subsistema Fayol. O capítulo 4 mostra a validação do subsistems Adapt-A-LO. 2 Testes de Validação do Subsistema MS-Store O subsistema MS-Store implementa o repositório semântico utilizado neste projeto. Este repositório serve como base de dados local para o armazenamento dos metadados dos OA padrão OBAA. Assim o MS-Store constitui-se como um dos principais componentes da infraestrutura MILOS, sendo compartilhado com o Sistema de Busca da infraestrutura MILOS, documentado no relatório Especificação da Arquitetura do Sistema de Busca - Versão 2.0. Dada essa posição central na arquitetura da infraestrutura MILOS é necessário avaliar o desempenho do repositório utilizado, e esta avaliação se deu na forma de inserções de triplas RDF(Load) e de consultas (Query) executadas no repositório. A seguir é apresentado o relatório de testes conduzidos com o repositório MS-Search. Tendo em vista o compartilhamento desse sistema com o Sistema MSSearch de busca semântica da MILOS, uma versão preliminar desse relatório também faz parte do relatório Validação do Sistema de Busca, Versão Ambiente de Testes do MS-Store O seguinte ambiente computacional foi configurado para realização dos testes: Sistema operacional Linux Ubuntu versão 12.4; Processador Intel Core i7 2GHz; 2 gigabytes de memória; Disco rígido SATA de 350 gigabytes; Jena TDB versão ; Jena API versão 2.6.4; Projeto Infraestrutura OBAA-MILOS 6/30

7 p. 7/ Teste de Desempenho de Carga Para que fosse possível realizar os testes de desempenho de carga com um número significativo de objetos de aprendizagem, foi necessário selecionar uma fonte externa de dados e então extrair as informações nela contida. Essas informações estavam armazenadas na forma de metadados do padrão Dublin Core. A fonte escolhida foi a do BIOE [MEC, 2012; NASCIMENTO, 2010], onde consta na sua base aproximadamente objetos de aprendizagem. Para obter esses dados do BIOE foi utilizado o serviço de interface OAI-PMH do sistema MSSearch. Assim coleta das informações se deu por intermédio do protocolo OAI-PMH, oferecida pelo próprio BIOE. Porém, devido ao formato DublinCore que se encontram os metadados armazenados no BIOE, foi necessário usar o conversor disponível no serviço de interface OAI-PMH para converter esses metadados para o padrão de metadados OBAA. Na Tabela 1 é possível verificar a quantidade de objetos de aprendizagem carregados (Load) juntamente com seus respectivos tempos de carga no repositório. Tabela 1: Resultados do teste de carga de OA OA Tempo(Seg) Triplas RDF TPS , , , , , , , Teste de Desempenho de Consulta No teste de desempenho de consulta, foi executada uma consulta (Figura 1) no formato SPARQL, onde a mesma tem por objetivo recuperar todos os objetos de aprendizagem armazenados, ordenados por título. 1 Triplas por segundo Projeto Infraestrutura OBAA-MILOS 7/30

8 p. 8/30 Figura 1: Consulta SPARQL O tempo despendido para execução da consulta pode ser visto na Tabela 2. Tabela 2: Resultados do teste de consulta de OA OA Tempo(Seg) OA por Segundo 99 1,78 55, ,11 93, ,81 146, ,27 274, ,07 372, ,30 635, ,28 776, Análise dos Testes de Desempenho do MS-Store Os resultados obtidos no teste de desempenho de carga de OA apresentados na Tabela 1, mostram que o tempo de carga se manteve linearmente proporcional ao número de objetos, indicando uma possível complexidade máxima de ordem O(n) para esse processo. Inclusive, o processo de carga no repositório se mostrou com uma melhor performance com cargas acima de 2000 OA. De acordo com os resultados do teste de desempenho de consulta de OA, apresentados na Tabela 2, dados apresentados, o desempenho da busca mostra-se logaritmicamente proporcional ao número de 99 OA até os 4200 OA, passando a um desempenho mais linear após esta quantidade de OA. Apesar da necessidade de mais testes, esses dados são indicativos de um possível ótimo desempenho de ordem O(log(n)) para a busca, com um eventual máximo de ordem O(n), ambos resultados muito bons para consultas. Os resultados dos testes de desempenho de carga e consulta permitem concluir preliminarmente que esta tecnologia de repositório semântico poderá suportar uma relativa quantidade de OA, sem que a performance seja comprometida. Projeto Infraestrutura OBAA-MILOS 8/30

9 p. 9/30 3 Testes de Validação do Subsistema Fayol A metodologia para realização dos testes de validação do subsistema Fayol, em relação aos requisitos especificados para este subsistema, foi baseada na criação de cenários de configurações (usuários, perfis e recursos) e casos de uso (ações de acesso), seguida da condução de testes em laboratório para verificar se o protótipo apresentava o resultado esperado. Além de verificar as propriedades funcionais do protótipo e do mecanismo implementado de autenticação e autorização, também foi objetivo dos experimentos fazer uma avaliação preliminar do desempenho destes elementos, em conformidade com a prática de avaliação das soluções convencionais Ambiente de Testes do Subsistema Fayol Estes testes foram todos executados em uma máquina virtual com a seguinte configuração: 2 Processadores de 2 núcleos a 1.9 Gigahertz de frequência 4 Gigabytes de memória RAM Sistema Operacional Mac OS X Versão A máquina virtual, por sua vez, está hospedada em um servidor com a seguinte configuração: 2 Processadores Intel Xeon E de 6 núcleos a 1.9 Gigahertz de frequência 32 Gigabytes de memória RAM Sistema Operacional Windows Server 2012 de 64 bits Os testes de controle de acesso das seções 5.1, 5.2 e 5.3, foram executados em notebooks e nas máquinas do laboratório do projeto OBAA-MILOS, basicamente com a configuração: 1 Processador Intel i5 de 4 núcleos a 3 Gigahertz de frequência 4 Gigabytes de memória RAM Sistema Operacional Linux Ubuntu Versão Teste de Experimento Login - Acesso - Logout Neste cenário mais simples de teste, foram cadastrados usuários, perfis, recursos e a associação de perfis a usuários. O Use Case da figura 2 representa o experimento realizado. Projeto Infraestrutura OBAA-MILOS 9/30

10 p. 10/30 Figura 2 Use Case Login - Acesso Logout O usuário loga-se à plataforma fornecendo ID e senha corretos, não obtendo sucesso se informar incorretamente qualquer um dos parâmetros. Uma vez logado e autenticado corretamente, o usuário (agente) recebe um token identificador que será válido durante toda sua sessão, e será utilizado quando solicitar qualquer acesso ao sistema. A figura 3 apresenta a interface criada para validação do sistema Fayol após a execução do login do usuário "Julia". Figura 3 Validação de Login do Fayol Projeto Infraestrutura OBAA-MILOS 10/30

11 p. 11/30 Verificou-se que o sistema respondia corretamente, de acordo com o perfil do usuário solicitante. As figuras 4 e 5 mostram o resultado de uma ação permitida e uma não permitida solicitadas pelo usuário "Julia". Consta no perfil deste usuário que ele pode executar a aplicação Linnaeus da plataforma MILOS. A figura 4 apresenta o resultado "não permitido"quando da solicitação de execução da aplicação MSSearch. Figura 4 Validação de Solicitação "Não Permitida"do Fayol A figura 5 apresenta o resultado "permitido"quando da solicitação de execução da aplicação Linnaeus, que faz parte de um dos perfis do usuário. Projeto Infraestrutura OBAA-MILOS 11/30

12 p. 12/30 Figura 5 Validação de Solicitação "Permitida"do Fayol Observou-se que ao realizar o logout, o sistema invalidava o token do usuário, não permitindo sua utilização, necessitando de uma nova ação de login para receber um novo token válido. 3.3 Teste Login - Acesso - Logout (federado) Neste cenário, semelhante ao experimento da sessão anterior, foram cadastrados usuários, perfis, recursos e a associação de perfis a usuários em um container remoto ao agente que recebia as solicitações do usuário. A figura 6 apresenta o cenário deste teste. Projeto Infraestrutura OBAA-MILOS 12/30

13 p. 13/30 Figura 6 Validação Federada Todas as solicitações são repassadas ao agente capaz de autenticar e autorizar o usuário, retornando a resposta às requisições ao ponto de origem. Verificou-se o mesmo comportamento esperado, conforme o experimento anterior, evidenciando que o gerenciamento e o controle de acesso pode se dar local ou remotamente, ficando ao encargo do sistema a busca do local onde determinado usuário pode ser autenticado e autorizado. Nos casos em que um ID ou senha incorretos eram enviados, não conseguindo autenticar o usuário em nenhum dos agentes de controle da plataforma, a resposta de ID ou senha incorretos era retornada. 3.4 Teste Acesso sem Sessão Criou-se um cenário em que um agente necessitava executar uma aplicação da plataforma MILOS, sem que fosse necessário ou desejado o login deste agente ao sistema. A figura 7 apresenta o resultado deste teste. Projeto Infraestrutura OBAA-MILOS 13/30

14 p. 14/30 Figura 7 Validação Sem Sessão Verificou-se que o retorno do controle de acesso, estava de acordo com o perfil do agente solicitante, retornando corretamente se era permitido ou não a execução da aplicação desejada, sem a criação da sessão ou token para a realização da autorização. 3.5 Teste de Avaliação do Desempenho A medição da performance do sistema visa prever o impacto no aumento de usuários e consequentemente de requisições de acesso, permitindo ter uma idéia da viabilidade de aplicação das novas tecnologias empregadas neste trabalho, em comparação com soluções convencionais. Para realização destas medidas foi criada uma função no programa de testes, onde seleciona-se uma quantidade de acessos sucessivos de um determinado usuário, medindo o tempo para a execução destas requisições. Foram utilizados lotes de execuções com as quantidades de 500, 1000, 2000, 4000 e 8000 acessos sucessivos para cada lote. As execuções foram realizadas para respostas esperadas de "Acesso Permitido" e "Acesso não Permitido" separadamente. Também foram realizadas as mesmas quantidades de execuções para acessos com sessão (usuário logado) e sem sessão (usuário não logado). Para cada lote de execução, foi iniciado um container local JADE e encerrado logo após a execução e medição, desta forma, buffers que eventualmente tenham sido criados, não Projeto Infraestrutura OBAA-MILOS 14/30

15 p. 15/30 interferiram nas execuções subsequentes. O resultado final é composto da média aritmética de três execuções de cada lote definido. A tabela 3 apresenta as medições obtidas e a figura 8 apresenta um gráfico comparativo destas medições. Tabela 3 Medidas de Tempo em Segundos Com Uso de Sessão Sem Uso de Sessão Acessos Permitido Não Permitido Permitido Não Permitido 500 2, , , , , , , , , , , , , , , , , , , ,64062 Figura 8 Tempo médio para acessos Projeto Infraestrutura OBAA-MILOS 15/30

16 p. 16/ Análise dos Experimentos Verificamos que o sistema Fayol apresentou resultados positivos com relação aos requisitos definidos para seu projetos. Em todos os testes de verificação funcional os requisitos propostos foram atendidos. Com relação ao funcionamento integrado à plataforma MILOS, o sistema Fayol não produziu nenhum efeito indesejado, seja de queda de performance ou instabilidade, os agentes foram executados em containers JADE individuais ou em conjunto com agentes da subsistema MS-Store, utilizando bases TDB com a ontologia de acesso e com objetos de aprendizagem da plataforma OBAA-MILOS. O desempenho observado no teste de desempenho apresentado na seção 3.4 está de acordo com o esperado e é plenamente satisfatório com possibilidade de atender à demanda atual. Este teste em particular, permitiu verificar a escalabilidade do mecanismo implementado. A utilização de agentes sobre a plataforma de comunicação JADE permite sua distribuição em vários servidores, atendendo a situações onde o domínio de aplicação necessite atender um número elevado de solicitações do sistema. As soluções comerciais de autenticação e controle de acesso como o OpenLDAP ou outras soluções mais tradicionais certamente já foram exaustivamente testadas em funcionalidade e desempenho. Apesar disso os resultados apresentados na Tabela 3 fornecem evidências de um aumento de tempo linear em relação à demanda de solicitações de autenticação, indicando um bom desempenho em termos de escalabilidade. 4 Testes de Validação do Subsistema Adapt-A-LO Para validar o processo de adaptação de OAs para TV Digital e verificar se o conteúdo desses OAs foi adaptado de forma satisfatória foi conduzido um processo de testes de validação, dividido em três etapas principais: Metodologia de avaliação dos resultados do processo adaptação. Seleção de OAs e execução dos testes de adaptação. Análise de resultados da adaptação. As etapas citadas acima são descritas nas próximas seções. 4.1 Metodologia de Avaliação dos Resultados da Adaptação Conforme definido no Capítulo 8 do relatório Especificação da Arquitetura do Sistema de Gerência - Versão 2.2, o processo de transcodificação de conteúdos é a principal estratégia de adaptação de conteúdos da web para o SBTVD. O processo de transcodificação é a alteração de conteúdo de um formato para outro que seja aceito na plataforma que será visualizado, sem se preocupar, necessariamente, com otimizações no conteúdo para o ambiente de destino. Projeto Infraestrutura OBAA-MILOS 16/30

17 p. 17/30 Sendo assim, é importante salientar, que não é objetivo do presente trabalho avaliar se os conteúdos adaptados, produzidos a partir dos objetos aprendizagem originais apresentam mais possibilidades ou até mesmo são melhores, em termos de algum critério de avaliação, que os objetos originais. O objetivo do processo de avaliação é apenas verificar o quão semelhante o conteúdo adaptado se apresenta em relação ao conteúdo original. Para que seja possível saber a semelhança do OA com o OA adaptado para TV Digital foi desenvolvido um questionário de avaliação a ser ministrado a um público alvo específico. Através deste questionário pretende-se conhecer o nível de satisfação do grupo de pesquisa com o processo de adaptação do conteúdo. É importante analisar que durante a criação das questões sempre se procurou comparar os conteúdos tendo se em mente que, para atingir uma adaptação satisfatória, o objeto original tem que ser o mais semelhante ao original dentro dos aspectos de avaliação do questionário. Os aspectos de avaliação do questionário, e por conseqüência da comparação do conteúdo, foram baseado nos modelos de avaliação empregados pelo repositórios MERLOT[NESBIT, BELFER e 2002] e LORI [LEACOCK e NESBIT, 2007]. Os quesitos de avaliação empregados no MERLOT foram combinados com os aspectos de avaliação utilizados no LORI, resultando em um questionário com a seguinte estrutura: Qualidade de Conteúdo: representa o conceito qualidade do conteúdo existente tanto no LORI quanto no MERLOT. Neste quesito é avaliada a percepção dos participantes sobre a distribuição de idéias e do conteúdo no objeto adaptado. Efetividade Pedagógica: este quesito combina o conceito de efetividade potencial como ferramenta de ensino do MERLOT, com o alinhamento com os objetivos de aprendizado do LORI. As questões deste grupo irão avaliar se é possível atingir os objetivos de aprendizado com o conteúdo adaptado para a televisão digital. Usabilidade: quesito que combina a usabilidade de interação do LORI com o conceito de simplicidade de uso do MERLOT. Neste quesito é avaliado se o objeto de aprendizagem adaptado mantém um nível de usabilidade aceitável, apesar de a plataforma de TV Digital ser muito diferente do que o ambiente web. Design/Layout Visual: quesito equivalente ao design de apresentação empregado no LORI (o MERLOT não possui nenhum quesito similar a este). As questões deste tópico avaliam se o conteúdo adaptado mantém o layout do original sem perder informações ou características. Além, dos aspectos utilizados para avaliação no questionário desenvolvido, o modelo de avaliação LORI ainda possui outros quesitos: retorno e adaptação, motivação, acessibilidade, reusabilidade e aderência a padrões. O quesito retorno e adaptação não será utilizado neste questionário por se focar somente em conteúdo iterativo, que não é objeto do processo de transcodificação desenvolvido para o Adapt-A-LO. Motivação, que avalia interesse do publico alvo para utilizar um conteúdo e acessibilidade, que verifica se o Projeto Infraestrutura OBAA-MILOS 17/30

18 p. 18/30 objeto foi projetado para prover facilidades para portadores de necessidade especial, apesar de quesitos importantes, não serão avaliados no presente trabalho porque não se relacionam ao processo de transcodificação. O quesito de reusabilidade definido no LORI é um dos objetivos deste projeto, o objeto depois de adaptado já é reutilizável. Assim os itens (1) a (4) do questionário já avaliam de forma efetiva o grau de reuso do objeto na plataforma de TV Digital. Por fim a aderência a padrões não esta sendo avaliada por que o objeto de aprendizagem adaptado deve manter exatamente a mesma aderência aos padrões do original. Por exemplo, os objetos obtidos do BIOE [MEC, 2012; NASCIMENTO, 2010], que tem padrão IEEE-LOM devem se manter neste padrão de metadados e por conseqüência se mantém compatível com o padrão OBAA. Para aplicar o questionário foi selecionado um público alvo de dez analistas de sistemas e dez professores. Os analistas de sistemas escolhidos fazem parte do público alvo devido ao conhecimento de diversos formatos de conteúdo e como tratar estes formatos. Os professores foram convidados para avaliar melhor aspectos pedagógicos e didáticos. Os analistas selecionados trabalham em sua maioria com projetos de desenvolvimento de software e possuem formação superior em cursos da área de informática como: Ciências da Computação, Sistemas de Informação ou Análise de sistemas. O grupo dos professores tem formação superior em algum tipo e Licenciatura ou Pedagogia, e lecionam ou já lecionaram em alguma escola de nível básico médio ou superior. Foi enviado um com os cinco objetos de aprendizagem originais e seus respectivos conteúdos adaptados. Cada par conteúdo de aprendizagem original e adaptado possui um questionário. Os cinco questionários são iguais para permitir comparações durante a compilação de resultados. No enviado continha uma solicitação para que os convidados visualizassem o conteúdo original e o adaptado e depois respondessem o questionário de cada par de OAs original e adaptado. O publico alvo foi orientado para visualizar o conteúdo original no seu software de preferência. Os conteúdos são adaptados para que sejam visualizados no ambiente de televisão digital, no entanto, atualmente existem poucas pessoas com dispositivos com suporte a interatividade para televisão digital. Os dispositivos com suporte a interatividade, no momento da avaliação, não permitem que o usuário visualize um componente interativo próprio, somente o conteúdo enviado pelas emissoras. Para desenvolver e testar conteúdos interativos, hoje, podemos usar uma maquina virtual disponibilizada pelo projeto open ginga ( A instalação e utilização da maquina virtual desenvolvida para o SBTVD é um processo complexo que necessita de um conhecimento que pode durar um bom tempo de estudo. Para simplificar o processo de validação do conteúdo foi desenvolvido um simulador que permita os usuários visualizarem o conteúdo adaptado para televisão digital brasileira e entenderem como ele deverá ser utilizado e se comportar na televisão digital. Projeto Infraestrutura OBAA-MILOS 18/30

19 p. 19/30 Figura 9 - Simulando Comportamento TV Digital no Content-Viewer A figura 9 apresenta um software desenvolvido que simula o comportamento que o OA terá na TV Digital, tal como definido pelo SBTVD. Esta ferramenta foi chamada de Content- Viewer e possui na direita um controle remoto que simula alguns botões do controle padrão para TV Digital definido pelo SBTVD. Através desta ferramenta pretende-se dar uma simulação muito simplificada do ambiente de televisão digital para dar uma idéia de como o conteúdo adaptado deverá se comportar na televisão digital. Como instrumento de coleta de dados, utilizou-se um questionário on-line auto administrável, onde o respondente não necessita de auxilio do pesquisador para o seu preenchimento, contendo 8 questões de caráter fechado, ou seja, não apresenta opções para o respondente acrescentar nenhum tipo de observações ou comentários. Essas questões apresentam escolhas de respostas em escala de Likert de um a cinco [KLINE, 1986]. Essas perguntas estão divididas em 4 tópicos que foram elaborados de acordo com o modelo de avaliação LORI e pelo sistema de pontuação utilizado pelo repositório MERLOT. As perguntas do questionário são as seguintes: 1. Qualidade de Conteúdo 1.1. O conteúdo no objeto da tv digital pode ser entendido tanto quanto no objeto da web As idéias e o conteúdo NÃO estão distribuídas balanceadamente no objeto da tv digital quando comparado ao objeto da web. Projeto Infraestrutura OBAA-MILOS 19/30

20 p. 20/30 2. Efetividade Pedagógica 2.1. Como professor acredito que objeto de aprendizagem convertido para tv digital NÃO facilite o aprendizado como seu original da web Com o objeto de aprendizagem convertido para tv digital é possível entender o conteúdo da mesma forma que o objeto de aprendizagem na web. 3. Design/Layout Visual 3.1. O objeto de aprendizagem para a tv digital possui um layout tão adequado ao aprendizado quanto o objeto original da web Em relação ao layout e a visualização dos conteúdos, o objeto na tv digital PERDE suas características, quando comparado com este objeto na web. 4. Usabilidade 4.1. NÃO consegui usar o objeto de aprendizagem na plataforma de tv digital da mesma forma que na plataforma original web Quando estou utilizando o conteúdo para aprendizado a versão adaptada para tv digital pode ser controlada de forma similar que na plataforma original web. Na continuidade do processo de avaliação do sistema desenvolvido o questionário enviado foi analisado para avaliar se a adaptação foi satisfatória. A próxima Seção faz uma análise das respostas obtidas desse questionário, avaliando o quão satisfatória foi a adaptação de cada um dos cinco OAs testados. 4.2 Seleção de OAs e Execução da Adaptação De maneira geral, os OAs utilizados para os experimentos foram buscados no repositório BIOE [MEC, 2012] por sua abrangência nacional e quantidade vasta de conteúdo de aprendizagem mapeado em metadados padronizados. Os objetos de aprendizagem disponíveis no BIOE seguem o padrão IEEE-LOM e por isso são compatíveis com o padrão OBAA também. Somente quando um formato de conteúdo não estava disponível no BIOE, foram utilizados objetos de outros repositórios. Na etapa de seleção foi escolhido um conjunto de OA que preencham um escopo variado de conteúdos que não são possíveis de serem visualizados na TV Digital. Para tanto foram selecionados OA que contenham cinco tipos distintos de conteúdos, não suportados pelo SBTVD: PPT (PowerPoint Presentation): formato do arquivo do software Microsoft Power Point, muito utilizado para fazer conteúdos de apresentação em sala de aula, no entanto não foi encontrado nenhum exemplo no BIOE. PDF (Portable Document Format): formato padrão de disponibilização de conteúdo textual na internet. Existem muitos OAs neste formato em diversos Projeto Infraestrutura OBAA-MILOS 20/30

21 p. 21/30 repositórios, muitas vezes definido como formato padrão. O BIOE possui diversos exemplos deste tipo de conteúdo. DOC (Word Document): o software Microsoft Word e seu formato de armazenamento, o DOC, é também um formato muito comum de disponibilização de documentos textuais possuindo uma série de exemplos disponíveis na internet, no então não foi encontrado exemplos no BIOE. FLV (Flash Video File): é comum, atualmente, a distribuição de vídeos na web neste formato. No BIOE é possível encontrar exemplos de OAs neste formato. SWF (Shockwave Flash): conteúdos iterativos na internet normalmente estão disponíveis neste formato. O BIOE possui diversos exemplos de material de aprendizado interativo neste formato. Para comprovar a gama de formatos adaptado pelo sistema desenvolvido e ao mesmo tempo demonstrar que o sistema multiagentes Adapt-A-LO adapta OAs obtidos de repositórios públicos, o grupo de conteúdos define os cinco tipos citados. Dentre os cinco conteúdos citados, três são provenientes do BIOE (PDF, FLV e SWF) e outros dois são provenientes de outras fontes (PPT e DOC). Os dois últimos tipos são conteúdos produzidos pelo próprio projeto, uma apresentação do Adapt-A-LO e um artigo publicado do mesmo projeto. Através deste conjunto de OAs é possível ter uma boa avaliação do processo de adaptação sem ser exaustiva, tendo-se em vista que o sistema desenvolvido, hoje, aceita uma gama muito grande de conteúdos originais. Os objetos de aprendizagem selecionados para são apresentados na Tabela 4. Tabela 4 - OAs Selecionados para os Experimentos de Adaptação Formato Nome Origem Descrição PPT DOC PDF Adaptação de Conteúdo para Televisão Digital Adaptação de Conteúdo para Televisão Digital Movimento Harmônico Simples (MHS) Autor Autor BIOE Apresentação do sistema de adaptação de conteúdo para televisão digital, o Adapt-A-LO, e seus conceitos, no SBIE (Simpósio Brasileiro de Informática na Educação) Artigo sobre o sistema de adaptação de conteúdo para TV Digital, o Adapt-A-LO, publicado no SBIE Guia de experimento prático que possibilita ao aluno estudar o MHS ou movimento harmônico simples, utilizando as leis de Newton e verificar que o período de um pêndulo simples não depende da massa e nem da amplitude do pêndulo, quando o mesmo oscila com pequenos ângulos em relação ao ponto de equilíbrio. FLV Auroras Boreales BIOE O vídeo mostra imagens de várias auroras boreais. A aurora boreal é um fenômeno óptico visível no céu á noite em áreas próximas as regiões polares, devido as Projeto Infraestrutura OBAA-MILOS 21/30

22 p. 22/30 interações entre as partículas de vento solar, da ionização da atmosfera com o campo magnético terrestre. SWF Comparação de Corações BIOE Compara o coração humano com o de ave em funcionamento, mostrando as câmaras cardíacas e a separação do sangue rico e pobre em oxigênio. Após a seleção dos OA, o processo de adaptação de todos os OA selecionados (PPT, DOC, PDF, FLV e SWF) foi feito de forma automática através do sistema Adapt-A-LO, com o mínimo de intervenção humana, com o intuito de validar a qualidade dos conteúdos gerados por este processo. Para que isso seja possível a adaptação os objetos da tabela 4 de origem BIOE foram submetidos à adaptação diretamente no sistema multiagentes Adapt-A-LO através da interface web Adapt-A-LO-Web servindo também para validar as funcionalidades dessa interface e do subsistema Adapta-A-LO como um todo. Os objetos da tabela acima que na coluna origem estão com o valor Autor foram submetidos à adaptação via mensagem transmitida diretamente o sistema Adapt-A-LO. Através destas adaptações foi possível avaliar se o sistema pode ser adaptado de forma automática e com o mínimo de intervenção humana permitindo, assim, que o usuário possa realizar as o processo sem conhecimentos técnicos sobre objetos de aprendizagem e do seu conteúdo, conforme proposto em um dos objetivos específicos do projeto. Após a adaptação, os conteúdos resultantes foram submetidos ao processo de avaliação descrito na seção anterior. 4.3 Análise dos Resultados da Adaptação O questionário de avaliação de adaptação possui quatro tópicos de análise (qualidade de conteúdo, efetividade pedagógica, design/layout visual e usabilidade), cada um destes itens de análise possui duas perguntas uma de pontuação positiva e outra de pontuação negativa, para quebrar o impacto negativo ou positivo de alguma possível seqüência de respostas em uma mesma resposta reforçando a atenção necessária para responder o questionário. As perguntas positivas receberão um peso de 1 a 5 para suas respostas, por exemplo: O conteúdo no objeto da tv digital pode ser entendido tanto quanto no objeto da web. (5) concordo plenamente (4) concordo em grande parte (3) concordo ou discordo parcialmente (2) discordo em grande parte Projeto Infraestrutura OBAA-MILOS 22/30

23 p. 23/30 (1) discordo plenamente As perguntas negativas receberão um peso de 5 a 1 para suas respostas, por exemplo: Como professor acredito que objeto de aprendizagem convertido para tv digital NÃO facilite o aprendizado como seu original da web. (1) concordo plenamente (2) concordo em grande parte (3) concordo ou discordo parcialmente (4) discordo em grande parte (5) discordo plenamente Através desta escala é possível totalizar as questões. Com estas questões o objeto de aprendizagem adaptado que atingir quarenta pontos atinge um nível de satisfação máxima por estar igual ao original nos quesitos avaliados. Se um participante responder todas as questões com a opção concordo ou discordo parcialmente o objeto de aprendizagem deve receber vinte e quatro pontos, estando próximo a esta pontuação o objeto de aprendizagem será considerado com um nível de satisfação intermediária. Qualquer pontuação abaixo de vinte e quatro pode apontar um nível de adaptação não satisfatória, fazendo com que o processo de adaptação precise ser reavaliado. Do total de dez analistas e dez professores selecionados para participar do experimento, foram recebidas respostas de cinco analistas e cinco professores. As figuras a seguir apresentam uma análise dos resultados obtidos das respostas enviadas pelos participantes no experimento, através de gráficos que avaliam as pontuações atingidas. O objeto de aprendizagem 1, documento Power Point de extensão.ppt, recebeu 31.1 pontos no calculo final apresentado na figura 10 apresentada a seguir. O quesito 3, design/layout visual, recebeu a menor pontuação dentre os itens avaliados. Segundo observações enviadas pelos participantes a pontuação média do quesito, de 3.6 pontos, se deve a resolução que foi perdida durante o processo de conversão. No entanto a pontuação esta acima do que poderia ser considerada uma pontuação media. Projeto Infraestrutura OBAA-MILOS 23/30

24 p. 24/30 Figura 10 - Compilação de Resultados OA 1 (PPT) A figura 11 apresenta o gráfico de avaliação do processo de adaptação do OA 2 que é originalmente um documento Word de extensão.doc. Este objeto de aprendizagem tem uma avaliação melhor no quesito design/layout visual que seu antecessor, o OA1, mas tem uma pontuação pior quando avaliado o quesito usabilidade. A análise das observações enviadas pelos participantes indica que a pontuação no quesito design/layout visual isso se deve, principalmente, devido a pouca quantidade de imagens e a importância maior ao texto. Já a pontuação do quesito usabilidade se deve a necessidade de rolagem de texto que se torna mais complexa no controle remoto da televisão digital do que em um mouse utilizado nos computadores. Projeto Infraestrutura OBAA-MILOS 24/30

25 p. 25/30 Figura 11 - Compilação de Resultados OA 2 (DOC) A avaliação dos resultados da adaptação do OA 3 são apresentados na figura 12 a seguir. O objeto de aprendizagem 3 em sua versão original é um arquivo de extensão.pdf. O sistema multiagentes desenvolvido converte os arquivos PDF em imagens aonde cada página irá se transformar em uma imagem. Segundo a figura 12 podemos verificar que a adaptação deste conteúdo recebeu uma pontuação abaixo das analisadas anteriormente. Apesar de receber poucas observações sobre esta adaptação podemos determinar que o objeto de aprendizagem adaptado 3 sofre dos problemas citados nos OA 1 e no OA 2 ao mesmo tempo que é a resolução de imagem não semelhante e a rolagem de conteúdo. Projeto Infraestrutura OBAA-MILOS 25/30

26 p. 26/30 Figura 12 - Compilação de Resultados OA 3 (PDF) Conforme a figura 13, a adaptação executada no objeto de aprendizagem 4 recebeu a maior pontuação final dentre as adaptações executadas. O conteúdo original em questão é um vídeo de extensão.flv, ou seja um vídeo em flash. O sistema multiagentes de adaptação utiliza o software FFMPEG para apoiar o processo de adaptação de vídeo. Este software é conhecido pela qualidade de suas conversões, o que justifica a pontuação elevada. Muitos avaliadores só notaram a diferença entre o conteúdo original e o adaptado apenas pelo tamanho do arquivo final adaptado, com extensão.mp4. O único quesito que recebeu uma pontuação abaixo dos demais é a usabilidade, que segundo a observação dos usuários perde algumas funcionalidades de avanço e retrocesso no simulador desenvolvido. Projeto Infraestrutura OBAA-MILOS 26/30

27 p. 27/30 Figura 13 - Compilação de Resultados OA 4 (FLV) O último objeto de aprendizagem que compõem este processo de avaliação é um arquivo com conteúdo interativo de extensão.swf, formato flash interativo. Como pode ser visto na figura 14, esta adaptação recebeu a pior avaliação dentre os conteúdos adaptados, com a pontuação 26,25. Dois dos quesitos que se destacam ao conduzindo esta media para baixo são a efetividade pedagógica e a usabilidade. O sistema multiagentes desenvolvido disponibiliza uma interface para que o usuário possa gravar um vídeo de sua iteração com o objeto de aprendizagem iterativo, o que justifica a perda de interatividade e, por conseqüência a pior pontuação no quesito usabilidade. O usuário não perde a interação com o conteúdo, ele visualiza a iteração proposta pelo desenvolvedor de objeto de aprendizagem adaptado. Esta perda de interatividade pode ter influenciado também a visão dos participantes da efetividade pedagógica do conteúdo, que também perdeu pontuação neste conteúdo. Acredita-se que se o usuário tem conhecimento do conteúdo e sabe aplicar este material dentro de seu contexto de aprendizado este objeto pode atingir pontuações maiores no quesito efetividade pedagógica, ou seja, ao adaptar este conteúdo o desenvolvedor de objetos de aprendizagem adaptado deve gravar um vídeo que demonstre uma interação que seja previamente explicada em sala de aula ou no próprio vídeo. Projeto Infraestrutura OBAA-MILOS 27/30

28 p. 28/30 Figura 14 - Compilação de Resultados OA 5 (SWF) Como resultado final da analise de todos os resultados das adaptações podemos ver que todos ficaram acima da média de satisfação estabelecida que é 24 pontos. Todos os objetos adaptados ficaram com uma pontuação igual ou superior a 4 no quesito qualidade de conteúdo o que leva a crer que o objeto de aprendizagem adaptado mantém um grau similar de distribuição e qualidade de conteúdo. Projeto Infraestrutura OBAA-MILOS 28/30

29 29 REFERÊNCIAS ADL. Advanced Distributed Learning Initiative. Sharable Content Object Reference Model (SCORM) Version 1.3: The SCORM Overview. Alexandria: ADLnet, Disponível em: < Acesso em: out/2012. BARBONE,V.G., RIFON,L.A. From SCORM to Common Cartridge: A step forward, Computers & Education, BALL,S., TENNEY, J. Xerte A User-Friendly Tool for Creating Accessible Learning Objects, Lecture Notes in Computer Science 5105, pp. 291 a 294. BEZ, M, VICARI, R. M., SILVA, J., RIBEIRO, A., GLUZ, J. C., PASSERINO, L., SANTOS, E., PRIMO, T., ROSSI, L., BEHAR, P., FILHO, R. Proposta Brasileira de Metadados para Objetos de Aprendizagem Baseados em Agentes (OBAA). RENOTE, v. 8, p. 1-10, 2010 CAIRE, G., GOTTA, D., BANZI, M. WADE: A software platform to develop mission critical applications exploiting agents and workflows. Procs. of AAMAS 08. Portugal: GLUZ, J.C. e VICARI, R. MILOS: Infraestrutura de Agentes para Suporte a Objetos de Aprendizagem OBAA. Anais do SBIE 2010, João Pessoa, GLUZ, J. C.; VICARI, R. Uma Ontologia OWL para Metadados IEEE-LOM, Dublin-Core e OBAA. Anais do SBIE 2011, Aracaju, v. 1. p GLUZ, J.C., VICARI, R e PASSERINO, L. An Agent-based Infrastructure for the Support of Learning Objects Life-Cycle. Procs. of ITS 2012, Chania, Creta, Lecture Notes in Computer Science. New York: Springer, v p IEEE Learning Technology Standards Committee (LTSC). Standard for Learning Object Metadata, IEEE Standard Nova York, Institute of Electrical and Electronics Engineers, JENNINGS, N.; SYCARA, K.; WOOLDRIDGE, M. A Roadmap of Agent Research and Development. Journal Autonomous Agents and Multi-Agent Systems, Holanda, KLINE, P. A handbook of test construction: introduction to psychometric design. New York: Methuen & Co, KUNZE, J.; BAKER, T. The Dublin Core Metadata Element Set: RFC California: IETF, LEACOCK, T.; NESBIT, J. A Framework for Evaluating the Quality of Multimedia Learning Resources. Publicado em Educational Technology & Society, vol.10, n. 2, p , MEC. BIOE - Banco Internacional de Objetos Educacionais (BIOE) Normas para a definição dos metadados. Disponivel em: < Acesso em: 30 Abril NASCIMENTO, A. Repositórios no contexto da EaD: O Banco Internacional de Objetos Educacionais. Revista Eletrônica de Biblioteconomia e Ciência da Informação, vol. 15, NESBIT, J; BELFER, K.; VARGO, J. A Convergent Participation Model for Evaluation of Learning Objects. Canadian Journal of Learning and Technology, vol. 28, 2002.

30 30 SILVEIRA, E. L., GLUZ, J., Sistema LINNAEUS: apoio inteligente para a catalogação e edição de metadados de objetos de aprendizagem. Anais do SBIE 2012, Rio de Janeiro, SMITH, M., BASS,M., MCCLELLAN, G., TANSLEY, R., BARTON, M., BRANSCHOFSKY, M., STUVE, D., WALKER, J. H. DSpace An Open Source Dynamic Digital Repository, D-LIB Magazine., WOOLDRIDGE, M. An Introduction to MultiAgent Systems John Wiley & Sons Ltd, paperback. WEISS G., Learning in Multiagent Systems. In G.Weiss (Ed), Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence, p The MIT Press, Cambridge, MA.